Hanjie's Blog

一只有理想的羊驼

为了测试新的双目SLAM系统,需要带有ground truth,depth信息的dataset。但寻找后发现这类dataset不多,于是尝试搭建AirSim仿真平台,希望能自己生成一些具有深度的双目数据。

系统环境:

  • 型号:Thinkpad T460p
  • 显卡:GeForce 940MX
  • 系统:Ubuntu 16.04.4 LTS
  • 内核:4.13.0-36-generic
  • CUDA: 9.1

显卡驱动

太新或太久的驱动都不行1,我尝试过使用396,但是场景会一片白,更换为384版本:

1
2
3
4
5
sudo apt-get remove --purge nvidia*
sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys FCAE110B1118213C
sudo apt-get update
sudo apt-get install nvidia-384

Install and Build2

根据这里注册Epic Games帐号,并且关联github账号。

We use the same compiler that Unreal Engine uses, Clang 5.0, and stdlib, libc++.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
sudo apt-get install build-essential mono-mcs mono-devel mono-xbuild mono-dmcs mono-reference-assemblies-4.0 libmono-system-data-datasetextensions4.0-cil libmono-system-web-extensions4.0-cil libmono-system-management4.0-cil libmono-system-xml-linq4.0-cil cmake dos2unix clang-5.0 libfreetype6-dev libgtk-3-dev libmono-microsoft-build-tasks-v4.0-4.0-cil xdg-user-dirs

sudo ln -s /usr/bin/clang-5.0 /usr/bin/clang
sudo ln -s /usr/bin/clang++-5.0 /usr/bin/clang++

clang -v
clang version 5.0.0-3~16.04.1 (tags/RELEASE_500/final)
Target: x86_64-pc-linux-gnu
Thread model: posix
InstalledDir: /usr/bin
Found candidate GCC installation: /usr/bin/../lib/gcc/x86_64-linux-gnu/5
Found candidate GCC installation: /usr/bin/../lib/gcc/x86_64-linux-gnu/5.4.0
Found candidate GCC installation: /usr/bin/../lib/gcc/x86_64-linux-gnu/6
Found candidate GCC installation: /usr/bin/../lib/gcc/x86_64-linux-gnu/6.0.0
Found candidate GCC installation: /usr/lib/gcc/x86_64-linux-gnu/5
Found candidate GCC installation: /usr/lib/gcc/x86_64-linux-gnu/5.4.0
Found candidate GCC installation: /usr/lib/gcc/x86_64-linux-gnu/6
Found candidate GCC installation: /usr/lib/gcc/x86_64-linux-gnu/6.0.0
Selected GCC installation: /usr/bin/../lib/gcc/x86_64-linux-gnu/5.4.0
Candidate multilib: .;@m64
Selected multilib: .;@m64
Found CUDA installation: /usr/local/cuda, version unknown

安装UnrealEngine

1
2
3
4
5
6
# go to the folder where you clone GitHub projects
git clone -b 4.18 https://github.com/EpicGames/UnrealEngine.git
cd UnrealEngine
./Setup.sh
./GenerateProjectFiles.sh
make

安装AirSim.git

1
2
3
4
5
# go to the folder where you clone GitHub projects
git clone https://github.com/Microsoft/AirSim.git
cd AirSim
./setup.sh
./build.sh

如果遇到mono-devel : Depends: libmono-cil-dev (= 3.2.8+dfsg-4ubuntu1.1) but it is not going to be installed 错误,将源换成mirrors.163.com的就可以了。

Built-in Blocks Environment3

为了测试安装结果,运行自带的Blocks Environment作测试。

RunUnrealEngine/Engine/Binaries/Linux/UE4Editor, Click on Projects tab, Browse button and then navigate to AirSim/Unreal/Environments/Blocks/Blocks.uproject

If you get prompted for incompatible version and conversion, select In-place conversion which is usually under "More" options. If you get prompted for missing modules, make sure to select No so you don't exit.

Press the Play button in Unreal Editor and you will see something like in below(use F1 to see help on keys).

Blocks Environment

"Computer Vision" Mode4

You can use AirSim in so-called "Computer Vision" mode. In this mode, physics engine is disabled and there is no vehicle, just cameras. You can move around using keyboard (use F1 to see help on keys). You can press Record button to continuously generate images. Or you can call APIs to move cameras around and take images.

To active this mode, edit settings.json that you can find in your Documentsfolder (or ~/Documents/AirSim on Linux) and make sure following values exist at root level(更多settings.json设置参考5):

1
2
3
4
{
"SettingsVersion": 1.2,
"SimMode": "ComputerVision"
}

设置好后,按Play button,效果如下。

Computer Vision

AirSim APIs6

1
2
sudo pip install msgpack-rpc-python
sudo pip install airs

在设置好Computer Vision Mode情况下,按下Play键运行仿真,然后打开一个终端(主要不要在IDE中运行,有可能会出现termios.error: (25, 'Inappropriate ioctl for device')错误),输入:

1
2
cd AirSim/PythonClient/
python cv_mode.py

会输出:

1
2
3
4
5
6
7
8
Connected!
Client Ver:1 (Min Req: 1), Server Ver:1 (Min Req: 1)

Press any key to set camera-0 gamble to 15-degree pitch
Press any key to get camera parameters
<instance> { u'fob': 90.0,
u'pose': <instance> { u'orientation':
...

Create Your Own Unreal Environment

以Modular Neighborhood Pack7为例。New Project > C++ > Basic Code,将项目名改为Neighborhood,注意设置no Starter Content。将包含Modular Neighborhood Pack数据的文件夹放置到Neighborhood项目文件夹的Content文件夹内。

Edit > Project Settings > Maps & Modes > Editor Startup Map设置为Demp_Map8

关掉,重启项目,等待场景打开后,Blueprints > Open level Blueprint,右击MatineeActor  Event BeginPlay,选择Break Link(s),然后关掉窗口。

If the environment comes with MatineeActor, delete it to avoid any startup demo sequences. There might be other ways to remove it as well, for example, click on Blueprints button, then Level Blueprint and then look at Begin Play event in Event Graph. You might want to disconnect any connections that may be starting "matinee"9.

Own Unreal Environment

From the File menu select New C++ class, leave default None on the type of class, click Next, leave default name MyClass, and click Create Class.

1
rsync -a --delete AirSim/Unreal/Plugins path/to/Project

Save Current,关闭软件。使用文本编辑器打开项目文件Neighborhood.uproject,编辑为:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
{
"FileVersion": 3,
"EngineAssociation": "4.18",
"Category": "Samples",
"Description": "",
"Modules": [
{
"Name": "LandscapeMountains",
"Type": "Runtime",
"LoadingPhase": "Default",
"AdditionalDependencies": [
"AirSim"
]
}
],
"TargetPlatforms": [
"MacNoEditor",
"WindowsNoEditor"
],
"Plugins": [
{
"Name": "AirSim",
"Enabled": true
}
]
}

重新运行Neighborhood.uproject,在World Settings > Game Mode中选择AirSimGameMode

gamemode

在Multi rotor模式下10,按play键运行场景,然后打开一个终端,输入:

1
2
cd AirSim/PythonClient/
python hello_drone.py

会输出:

1
2
3
4
5
6
7
Connected!
Client Ver:1 (Min Req: 1), Server Ver:1 (Min Req: 1)

state: <instance> { u'collision': <instance> { u'has_collided': False,
u'impact_point': <instance> { u'x_val': 0.0,

...
hello_drone

运行结束后,在\tmp\airsim_drone文件夹中,会有一些输出数据。

dronw_test_0
dronw_test_2
dronw_test_3.greene

罗汉杰,CVTE中央研究院
Slide

Introduction

我们生活在三维的空间中,然而,传统的摄像机和图像传感器只能获取二维的图像,缺乏深度的信息,这对感知和了解真实的物体造成了极大的限制。而最近几十年,随着高清,高速图像传感器和计算能力的不断发展,三维表面成像技术在研究,工程和商业上取得了显著的成果。特别是结构光三维表面成像技术,已经运用到各个地方中,从MEMS组件的表面测量到大面积平面厚度测量(2.5m×0.45m)1。结构光的显著的优点是能够通过非接触的方式,建立高分辨率,全幅的物体三维模型,合适于运用在对成像面积,精度有一定要求的应用中。

一般的3D影像技术中,可以用一个坐标系为\(\text{(x,y,z)}\)的空间中描述三维物体的属性。而3D表面成像技术,是专门用来测量物体表面的。测量的结果可以用一个以\(\lbrace z=h(x,y),x=1,2,...,L,y=1,2,...,M \rbrace\)为形式的矩阵来描述。\((x,y)\)为笛卡尔坐标系中的点坐标,\(z\)为该点的高度。

本文主要讲述构光三维表面成像技术,特别是相位测量轮廓术(Phase measuring profilometry, PMP)的原理和实现方式。

Structured-light 3D Surface Imaging System

下图2描述了一个经典的结构光三维表面成像系统。它包括一个投影模块(Projector),图像获取模块(Camera)和处理模块(Computer)。通过对目标物体表面主动投影一个有一定结构的二维纹理图像(如图所示的黑白光栅图),获取其随着物体表面高度变化而变形的二维纹理图,然后利用处理模块根据算法计算出物体表面三维几何结构。

structuredlight1

结构光三维成像技术根据实现方式的不同能分为很多类。根据拍摄次数的不同能分为多次拍摄(multiple-shot)和单次拍摄(single-shot)两个大类3。如果物体保持静止,并且应用对于获取时间没有严格要求的情况下,多次拍摄的方法一般能产生更可靠和更准确的结果。然而,如果物体是运动的话,则可以利用单次拍摄的方法获取物体在某个时间点的三维表面图像。本文中,我们主要讨论多次拍摄技术中的相位测量轮廓术(phase-measuring profilometry,PMP,也称作Fringe projection profilometry。Phase shift method 属于PMP的一种)。

structuredlight2

相对于Binary code和Gray code等编码结构光法,PMP不需要复杂的编码,并且算法可以根据每一个像素点的信息计算出高度数值,从而实现全幅高精度测量。在相位法中,通常包含以下步骤4

  1. 投影一个结构纹理图像(通常是一个正弦光栅图案)到待测物体表面。
  2. 记录被物体高度所相位调制的光栅图像。
  3. 利用光栅分析技术提取相位。
  4. 使用合适的相位展开算法,获得与物体高度等比例变化的连续相位分布。
  5. 标定系统,将展开了的相位分布映射到真实世界的三维坐标系中。

在每一个步骤中,都存在多种的变体。而根据相位提取方法的不同,相位法可以分为Phase shift profilometry (PSP,也称作Phase stepping profilometry),Fourier transform profilometry (FTP),Wavelet transform profilometry (WTP),Spatial filtering profilometry (SFP)等几个大类。本文主要讨论PMP中的Phase shift profilometry。

Phase Measuring Profilometry

Model

PMP方法的光学几何结构如下图5所示。投影模块产生的正弦光栅图像投影到放在参考平面(Reference plane)的物体表面上,所折射的光被图像获取模块(Camera)捕获。由于所投影的正弦图在列方向都是以相同模式改变的,所以物体的轮廓能够通过每一行的计算结果组建起来。

structuredlight3

在上图的例子中,我们假设O点为光轴跟参考平面的交点,O点被用作坐标原点并且相位为0。投影到参考平面上的正弦光栅图周期为\(p_{o}\),原始正弦光栅图周期为\(p\)\(p=p_{o}\cdot\cos\alpha\)。Camera中的传感器接收到在物体表面D点反射的光线;如果没有物体的话,传感器中的同一位置将会接收到在参考平面上的C点所反射的光线。相应地,物体表面D点折射的光线,跟没有物体的情况下水平面上G点折射的光线相同。所以投影图像在D点的相位相跟在G点的相位相等,有:

\[\begin{align} \phi_{D}=\phi_{G} \end{align}\]

\(\phi_{C}=2\pi OC/p_{o}\)为投影图像在C点的相位值。点D跟点C的相位差为:

\[\begin{align} \Delta\phi_{CD} &= \phi_{C}-\phi_{D}=\phi_{C}-\phi_{G} \label{eq:2.2} \newline &= 2\pi OC/p_{o}-2\pi OG/p_{o}=2\pi CG/p_{o} \notag \end{align}\]

根据几何关系,有:

\[\begin{align} CG=OD(\tan\alpha+\tan\beta)\label{eq:2.3} \end{align}\]

根据公式\(\ref{eq:2.2}\)\(\ref{eq:2.3}\),有:

\[\begin{align} OD=\frac{\Delta\phi_{CD}\cdot p_{o}}{2\pi(\tan\alpha+\tan\beta)}\label{eq:2.4} \end{align}\]

OD即为物体在点O的高。上式的一般式为:

\[\begin{align} h(x,y)=\frac{[\phi_{o}(x,y)-\phi_{r}(x,y)]\cdot p_{o}}{2\pi(\tan\alpha+\tan\beta)}\label{eq:2.13} \end{align}\]

\(\phi_{o}(x,y)\)为在点\((x,y)\)中的相位,\(\phi_{r}(x,y)\)为在相应点中参考平面上的相位。在实际系统中,由于\(\beta\)的值接近于\(0^{\circ}\),所以公式\(\ref{eq:2.13}\)也可以写成以下近似公式6

\[\begin{align} h(x,y)\approx\frac{[\phi_{o}(x,y)-\phi_{r}(x,y)]\cdot p_{o}}{2\pi\tan\alpha}\label{eq:2.5} \end{align}\]

从公式\(\ref{eq:2.5}\)可以看出,物体的高度信息可以通过提取投影在物体上的正弦图像相位值和投影在相应位置的水平面上的相位值计算所得。下一小节将介绍如何使用相移法(Phase shift profilometry)进行相位提取。

Phase Shift Profilometry

当在光照稳定,Camera是线性的情况下,所拍摄的图像中某点\((x,y)\)的光照强度\(I(x,y)\)能够表达为以下公式7

\[\begin{align} I(x,y)=B(x,y)+C(x,y)\cos\phi(x,y)\label{eq:2.6} \end{align}\]

\(B(x,y)\)为背景光强,\(C(x,y)\)为正弦光栅的幅度值,\(\phi(x,y)\)为受物体高度调制后的相位值。\(I(x,y)\)可以通过Camera获得,为了消掉公式中的\(B(x,y)\)\(C(x,y)\)而得到\(\phi(x,y)\),我们使用一种称作相移法的相位提取算法。在相移法中,相位将移动\(k(k\geq3)\)次,每次移动相等的值\(\theta_{k}\)\(\theta_{k}<2\pi\)。则公式\(\ref{eq:2.6}\)可以写成:

\[\begin{align} I_{k}(x,y) &= B(x,y)+C(x,y)\cos[\phi(x,y)+\theta_{k}] \label{eq:2.7} \newline &= B(x,y)+C(x,y)[\cos\phi(x,y)\cos{\theta_{k}}+\sin\phi(x,y)\sin\theta_{k}] \notag \end{align}\]

一般我们获取4张图片8。令\(\theta_{k}=(k-1)\pi/2\)\(k=\lbrace 1,2,3,4 \rbrace\),代入公式\(\ref{eq:2.7}\),可以得到:

\[\begin{align} B(x,y) & =\frac{1}{4}[I_{1}(x,y)+I_{2}(x,y)+I_{3}(x,y)+I_{4}(x,y)]\label{eq:2.8}\newline \cos\phi(x,y) & =\frac{I_{1}(x,y)-I_{3}(x,y)}{2C(x,y)}\label{eq:2.9}\newline \sin\phi(x,y) & =\frac{I_{4}(x,y)-I_{2}(x,y)}{2C(x,y)}\label{eq:2.10} \end{align}\]

从公式\(\ref{eq:2.9}\)\(\ref{eq:2.10}\)可以得到:

\[\begin{align} \tan\phi(x,y)=\frac{I_{4}(x,y)-I_{2}(x,y)}{I_{1}(x,y)-I_{3}(x,y)}\label{eq:2.11} \end{align}\]

因此我们得到相位值:

\[\begin{align} \phi(x,y)=\arctan\left(\frac{I_{4}(x,y)-I_{2}(x,y)}{I_{1}(x,y)-I_{3}(x,y)}\right) , \phi(x,y)\in[-\pi,\pi)\label{eq:2.12} \end{align}\]

然后物体表面高度可以根据公式\(\ref{eq:2.5}\)得出。

相移法由于利用多幅图像的光强信息计算得每一点的相位,具有一定的抗噪能力。但在采样的过程中,要求物体保持静止,所以不适合于动态测量。下图显示当\(k=4\)时,使用相移法将4张不同相位的正弦光栅图像投影到物体表面时的照片。可以看出,投影的光栅图像每次移动四分之一个周期。

structuredlight4

Phase Unwrapping

我们通过公式\(\ref{eq:2.12}\)计算获得相位值\(\phi(x,y)\)。然后在反正切计算中,所得的结果总是在\([−π, π)\)之间,而真正的相位即绝对相位应该是连续的,所以我们在相位展开时,需要作相应处理。

假定\(\phi^{wrap}\)表示被包裹的相位值,那么对相邻的两个相位\(\phi _1^{wrap}\)\(\phi _2^{wrap}\)进行展开运算\(U(\phi _2^{wrap}, \phi _1^{wrap})\)

\[\begin{align} U(\phi _2^{wrap}, \phi _1^{wrap}) = \phi _2^{wrap} - 2\pi R[(\phi _2^{wrap} - \phi _1^{wrap}) / 2\pi]\label{eq:2.14} \end{align}\]

\(R(\cdot)\)表示四舍五入到最接近的整数。所以,对于\(\phi _s^{wrap}\)的相位展开操作为:

\[\begin{align} \phi _{s}^{unwrap} = \sum _{t = 1}^s U( \phi _{t}^{wrap} , \phi _{t-1}^{wrap}) \label{eq:2.15} \end{align}\]

我们这里仅仅介绍了一种简单的相位展开操作,它对于相位展开时的路径十分敏感,错误的路径会导致错误的展开结果(如下图所示)。

structuredlight5

Appendix

Generation of Sinusoidal Pattern

相位测量轮廓术需要将具有不同相位的正弦光栅图案投影到物体表面上。传统方法采用两束激光,利用干涉原理生成正弦光栅图,相位的移动利用压电晶体实现9。然而激光干涉产生的斑点噪音会影响光栅图像的光强分布。另一方面,由于压电晶体的非线性属性,使得相位移动的产生误差。也有一些相位移动是通过步进电机位移平台实现的10。但系统的精度也难免受到平台移动时的震动而影响。

液晶投影仪能够利用个人电脑控制投影的图像。通过投影软件生成正弦光栅图像,它提供了一种高效的结构光投影方案。我们假设液晶投影仪的分辨率为\(R\times C\)。对于生成的正弦光栅图中的每一列\(c\)\(c=0,1,2,...,C-1\),有:

\[\begin{align} F_{n}(r,c) & =\lbrace 1+\sin\lbrace \frac{2\pi}{p}[r+(k-1)\delta] \rbrace \rbrace \cdot127.5\newline r & =0,1,2,...,R-1 \notag \label{eq:3.1} \end{align}\]

\(F_{n}(r,c)\)是相移\(k\)步后的光栅图中\((r,c)\)位置的像素值,在我们的例子中,\(k=\lbrace 1,2,3,4 \rbrace\)\(p\)是以像素为单位的光栅周期;\(\delta\)为相位移动增量。当\(|k|=4\)时,相位的增量为\(\pi/2\),所以相应地,\(\delta=p/4\)。下图显示了使用软件生成的正弦光栅图,每一张图都比上一张图往右移动了四分之一个周期。

structuredlight6

罗汉杰. 摄像头快门的调控方法、装置、计算机设备及存储介质:中国,CN201810146484.9[P]. 2018-07-24.

Introduction

输入图像的质量所决定往往能决定视觉系统的表现。传统的摄像头快门控制程序是以人的感官作为评判标准的。它们控制快门时间,使得曝光度控制在合理的范围,使得照片对比度强,亮度适中,照片中物体边缘轮廓清晰,色彩丰富,符合人的观感。如果使用传统的快门控制方法,我们可以获得一张对于人来说感观良好的照片,但是此时的图片中梯度信息可能并不是最丰富的。而对于无论是基于特征点还是灰度信息的视觉SLAM系统来说,图像的梯度信息都是十分重要的。所以对于视觉SLAM系统来说,使用传统快门控制方法获得的照片往往不是一张最佳的照片。

ae

上图展示了其中一个户外拍摄时经常会发生的情况。左图使用摄像头自带的自动曝光程序所拍摄的图片,而右图为图像梯度最大时的图片。我们分别在这两张图上提取FAST Feature Keypoints,可以看到,两者能提取的关键点数目差距非常大。

在本文中,我们提出一种用于视觉SLAM的摄像头快门控制方法,它会使得照片中的梯度信息最大,方便后续的机器视觉任务。

Exposure Prediction

在曝光预测程序中,我们需要预测增大/减少快门时间时,图片的可能发生的变化。这里,我们通过模仿光圈的变化而对图片进行曝光预测。我们对于图片中每一个像素点\(I(x,y)\)进行一次\(f_{F-stop}(I(x,y),k)\)操作,定义如下:

\[\begin{align} f_{F-stop}(I(x,y),k) = I_{k}(x,y) &= \begin{cases} I(x,y)(\sqrt 2)^k, & I_{k}(x,y)<255 \newline 255, & otherwise \end{cases} \end{align}\]

在这里,\(k\)为光圈大小参数,\(f_{F-stop}\)函数模仿了摄像头的光圈值k发生改变时,图片灰度值发生的变化。

kvalue

由上图可以看出,当\(k\)为负数并且越小时,光圈值越小,曝光量越少,图片越暗;当\(k\)为正数并且越大时,光圈越大,曝光量越多,图片越亮(\(k=0\)时表示原图)。我们可以对原图\(I\)进行一系列的\(f_{F-stop}\)操作,模仿由于快门时间变化而对曝光量所造成变化。在我们的程序中,\(k\)值设置为-1, -0.5, 0, 0.5, 1。

Image Quality Metrics

参考Zhang1提出的方法,我们设定了图片质量评估函数\(Q(I)\),用于估计图片\(I\)的图片质量,当\(Q(I)\)的值越大时,我们认为图片的质量越好,图中可获取的特征点数量越多。

首先,给定一张图片\(I\),假定它的长为\(w\),宽度为\(h\)。我们首先计算图片中每一个像素\(I(x,y)\)的梯度向量大小:

\[\begin{align} g(x,y)=‖∇I(x,y)‖^2 \end{align}\]

然后我们对所有的\(g(x,y)\)从小到大进行排序,获得了一个经过排序后的梯度值集合\(G= \lbrace g(x,y) \rbrace\),并且\(G_i\)表示集合\(G\)中第\(i\)个数,\(i∈[0,s),s=w*h\)

我们定义图片\(I\)的梯度质量评估函数\(Q(I)\)为:

\[\begin{align} Q(I) = \sum\limits_{i \in [0,s)} {W_i}{G_i} \end{align}\]

其中,权重函数\(W_i\)定义为:

\[\begin{align} W_i &= \begin{cases} \frac{sin(πi/2ps)^k}{‖W‖}, & i<ps \newline \frac{sin(\frac{π(s-ps-i)}{2(s-ps)})^k}{‖W‖}, & i≥ps \end{cases} \end{align}\]

其中\(p \in (0,1]\)\(k\)均为控制参数,根据经验,我们一般设置为\(p=0.8\)\(k=5\)。权重函数\(W_i\)的作用在于压制过小/过大的梯度值,避免图片噪点等干扰。

在下面的实验中,我们在同一场景中,获取不同曝光时间的照片,并且计算各个图片的FAST关键点数目和质量评估值。可以看到,两者的极值位置基本一致。

iq iq iq

Exposure Control

经过了曝光预测步骤后,我们获得一系列不同\(k\)值的图片\(I_k\),然后我们对于每一张\(I_k\)计算对应图片质量值\(Q(I_k)\),并且获得\(Q(I_k)\)值最大时对应的\(k\),定义为\(k'\)。然后我们根据下式计算新的快门速度\(∆t_{next}\)

\[\begin{align} ∆t_{next} &= ∆t(1+ck') \end{align}\]

其中\(∆t\)为当前的摄像头快门速度,\(c \in (0,1]\)为控制参数,我们一般设置为\(c=0.2\)

当图像过暗时,\(∆t_{next}\)的值会变大;当图像过亮时,\(∆t_{next}\)的值会变小;但图片质量最好时,\(k'\)的值为0,\(∆t_{next}\)保持不变。对于同一个场景,无论起始快门速度为何值,经过上述方法不断迭代后,最终会稳定于一个快门值,获得一张质量较好的图片。

Initialization Strategy

通过上述步骤可知,无论快门初始速度如何,对于同一个场景,主动快门控方法最终会令快门速度值稳定于一个最优值。但当快门初始速度与最优值相差太远时,需要较长的迭代时间才能达到。所以,为了减少第一次运行程序时的迭代时间,这里,我们首先根据一组给定的快门时间\(T= \lbrace ∆t_{i};i=1…n \rbrace\),拍摄一系列照片\(I_{∆t_i}\),图片质量值\(Q(I_{∆t_i })\)。我们选取\(Q(I_{∆t_i })\)中的最大值时所对应的\(∆t_i\)为快门的初始值。这样做的好处是主动快门控方法能够以一个比较快的时间使得快门时间达到最优值。根据经验,我们一般将\(T\)设置为\(T= \lbrace 1,5,10,100 \rbrace\),单位为毫秒。

Validation

我们对同一个场景分别使用摄像头自带的自动曝光程序2,Shim's method3,Zhang's method4,和我们提出的方法控制摄像机快门进行拍摄,然后在图片上提取FAST关键点,通过关键的数目评价各种快门控制程序。

aec_experment1
aec_experment2
aec_experment3
aec_experment4
aec_experment5
aec_experment6

通过对比实验可以看出,我们提出的方法能够获得梯度信息最大的图片。

0%