Hanjie's Blog

一只有理想的羊驼

下载opencv_contrib:

1
2
3
4
5
git clone https://github.com/opencv/opencv_contrib

cd opencv_contrib

git checkout 3.4.5

官网下载sources。

1
2
3
4
5
6
7
8
9
10
11
12
13
sudo apt-get install build-essential git make git yams libgtk2.0-dev pig-config libavcodec-dev libavformat-dev python-dev python-bumpy python-tk libtbb2 libtbb-dev libjpeg-dev libpng12-dev libtiff5-dev libjasper-dev libdc1394-22-dev libswscale-dev libopenexr-dev libeigen2-dev libeigen3-dev libfaac-dev libopencore-amrnb-dev libopencore-amrwb-dev libtheora-dev libvorbis-dev libxvidcore-dev libx264-dev libqt4-dev libqt4-opengl-dev sphinx-common texlive-latex-extra libv4l-dev

mkdir build
cd build

cmake -D CMAKE_BUILD_TYPE=Release -D CMAKE_INSTALL_PREFIX=/usr/local -D WITH_TBB=ON -D BUILD_EXAMPLES=OFF -D BUILD_DOCS=OFF -D BUILD_PERF_TESTS=OFF -D BUILD_TESTS=OFF -D WITH_GTK_2_X=ON -D WITH_QT=ON -D WITH_OPENGL=ON -D WITH_VTK=ON -D WITH_CUDA=ON -D CMAKE_CXX_FLAGS="-std=c++11" -D CUDA_NVCC_FLAGS="-std=c++11 --expt-relaxed-constexpr" -D OPENCV_EXTRA_MODULES_PATH=/home/luohanjie/Documents/software/opencv-3.4.11/opencv_contrib/modules -D VTK_DIR=/home/luohanjie/Documents/software/VTK-7.1.1/build ..


make -j4
sudo make install

sudo /bin/bash -c 'echo "/usr/local/lib" > /etc/ld.so.conf.d/opencv.conf'
sudo ldconfig

给定图片\(I\)上的一个特征点\(\mathbf{x}\)和对应的搜索向量\(\mathbf{n}\),求在另一张图\(J\)中找到匹配的点\(\mathbf{x'}\)。假定在图\(J\)上的搜索起始位置为\(\mathbf{x} _{init}'\),搜索窗口为\(W\),迭代次数\(K\)(在实际使用中,我们往往会将\(\mathbf{x} _{init}'=\mathbf{x}\)123

计算步骤
  1. 分别对图像\(I\)和图像\(J\)建立金字塔\(\lbrace I^L \rbrace _{L=0,…,L _m}\)\(\lbrace J^L \rbrace _{L=0,…,L _m}\)\(L _m\)为给定的金字塔层数,一般为3(图像金字塔化一般包括两个步骤:首先对图像进行一次低通滤波进行平滑,然后对图像的横纵两个方向1/2抽样,从而得到一系列尺度缩小的图像。当L=0时,为原图,当向金字塔的上层移动时,尺寸和分辨率降低,伴随的细节就越少。我们从顶层开始对目标点进行跟踪,先获得一个粗糙的结果,然后将结果作为下一层的初始点再进行跟踪,不断迭代直到到达第0层。这是一种由粗到细分析策略)。
jinzita
  1. 初始化顶层金字塔的搜索偏移位置:\(\mathbf{g}^{L _m}=[g _{x}^{L _m}\ g _{y}^{L _m }]^T =[0\ 0]^T\)

  2. 从第\(L=L _m\)层(顶层)金字塔图像开始不断往下,对每一层图像作作以下操作:

(3.1) 计算特征点\(\mathbf{x}\)在金字塔第\(L\)层图\(I^L\)上的位置:\(\mathbf{x}^L=[p _x\ p _y]^T=\mathbf{x}/2^L\)

(3.2) 计算搜索起始位置\(\mathbf{x} _{init}'\)在金字塔第\(L\)层图\(J^L\)上的位置:\(\mathbf{x}'^L=[p' _x\ p' _y]^T=\mathbf{x} _{init}'/2^L\)

(3.3) 计算最速下降矩阵\(\mathbf{S}(u,v)=[I _x (p _x+u,p _y+v)\ I _y (p _x+u,p _y+v)]\mathbf{n}\)\((u,v)⊆W\)\(\mathbf{S}\)矩阵跟窗口\(W\)大小一致。其中,\(I _x (x,y)\)\(I _y (x,y)\)为图\(I^L\)\((x,y)\)位置\(X\)\(Y\)两个方向的梯度。

(3.4) 计算在特征点\(\mathbf{x}\)在第\(L\)层的空间梯度值\(\textstyle m^L = \sum _{(u,v)⊆W} \mathbf{S}(u,v)^2\)\(m^L\)体现的是,图\(I^L\)中,位于\(\mathbf{x}^L\)的窗口\(W\)内,图像在\(\mathbf{n}\)方向的梯度变化。

(3.5) 初始化位置迭代参数\(\mathbf{\Gamma}^0 = [{\Gamma} _{x}^0 \ {\Gamma} _{y}^0]^T = [0\ 0]^T\),参数记录了偏移位置,用于寻找偏移了的特征点。

(3.6) 变量\(k\)从1到\(K\)\(K\)为控制变量,用于控制(3.6.1)至(3.6.3)的迭代次数),迭代以下操作:

(3.6.1) 此时,特征点在图\(J^L\)的跟踪位置在\((p' _x+g _x^L+{\Gamma} _x^{k-1},p' _y+g _y^L+{\Gamma} _y^{k-1} )\),计算图像偏差值\(b^k = \sum _{(u,v)⊆W}[\mathbf{S}(u,v)[I^L (p _x+u,p _y+v)-J^L (p' _x+g _x^L+{\Gamma} _x^{k-1},p' _y+g _y^L+{\Gamma} _y^{k-1} )]\)

(3.6.2) 更新位置迭代参数\(\mathbf{\Gamma}^k=\mathbf{\Gamma}^{k-1}-(b^k/m^L)\mathbf{n}\)

(3.6.3)\(k=k+1\),回到(3.6.1)继续迭代。

(3.7) 在\(L\)层金字塔最终跟踪偏移:\(\mathbf{d}^L=\mathbf{\Gamma}^k\)

(3.8) 初始化下一层金字塔的跟踪偏移位置:\(g^{L-1}=2(g^L+d^L)\)

(3.9)\(L=L-1\),回到(3.1)继续迭代。

  1. 特征点\(x\)在图\(J\)中的匹配的点位置\(\mathbf{x}'=\mathbf{x} _{init}'+g^0+d^0\)
1d_klt

罗汉杰. 图像增强方法、装置、计算机设备和存储介质 [P]. 中国专利: CN109801244A,2019-05-24.
Github: https://github.com/HanjieLuo/Image-Enhancement-for-SLAM

Introduction

在使用Semi-direct Method1跑Euroc Dataset的v103数据时,发现效果很不好。导致错误的主要的原因有:图片太暗,对比度太低;图片亮度变化很大(不限于帧间,左右目有时候也会出现亮度不一致的情况)。于是,需要对输入图像进行预处理,提高图片的对比度,并且使得进行跟踪的两张图片亮度一致。

对于提高图片的对比度,最简单的方法是使用直方图均衡化。不过直方图均衡化有一些很明显的缺点,如变换后细节消失;不自然的过分增强。对于SLAM系统,往往会在过份增强的纹理上提取出一些关键点,而这些关键点我们认为是不稳定的(如下图的窗帘)。

所以,我们需要一种更加先进的图像增强算法用于SLAM的图像预处理。

image_enhancement1

根据BIMEF2算法提供的对比程序,我们测试了几个图像增强算法的结果。根据对比,我们认为LIME3算法无论在增强效果还有速度上都有较好的表现。

image_enhancement2
image_enhancement3

Image Enhancement

为了进一步提高算法性能,我们集合了LIME4和FGS5滤波算法,提出了一种新的图像增强算法。下图展现了增强算法的增强结果: image_enhancement4

为了满足SLAM系统的需求,我们对于增强图再进行了一次去噪还有对比度增强处理:

image_enhancement5 image_enhancement6

我们对参考帧和当前帧图像进行图像增强处理。经过处理后,两者的亮度差异已经变很小了。然后,我们再对当前帧进行线性变换,使得当前帧的平均灰度值和均方差与参考帧一致,从而达到亮度一致的目的。

Experiment

根据下图可以看出,我们的算法能够很好地恢复出图像暗处的纹理,并且对于噪音有比较好的抑止。

enhancement7

为验证图像增强算法对于Semi-direct Method的影响,我们设计了一个对比实验,分别对数据图片进行图像增强和直方图均衡化操作,并且输入到Semi-direct Method,观察输出的pose与ground truth pose的差异。

实验视频右下角结果窗口中,蓝点为根据Semi-direct Method结果进行的关键点重投影,而绿点是根据ground truth pose进行的重投影,当蓝点变红时,表示此时Semi-direct Method无解或者residual过大。

enhancement8

实验结果表明,我们的图像增强算法能够使得Semi-direct Method在Euroc v103 dataset中正常运行。并且相对于直方图均衡化,我们的图像增强法能够使得Semi-direct Method的结果精度有所提升。

相关博客:用于SLAM的图像增强算法(算法原理)

Github: https://github.com/HanjieLuo/Image-Enhancement-for-SLAM

0%