基于立体视觉的在线实时测量系统设计与实现

侯一凡 王栋 邢帅 徐青 葛忠孝

摘要：为了满足深空探测器实时测量天体表面形貌的需求，设计并实现了一套基于立体视觉的在线实时测量原型系统。该系统通过立体相机实时获取空间天体的立体影像，利用每次观测的一组立体影像来重建其局部表面形状；再对每次重建的局部模型进行连接，得到空间天体完整的表面形貌模型。通过仿真实验验证了该系统的可行性， 数据处理的速度与精度可以满足对深空目标进行实时测量的需要。

关键词：立体视觉；实时测量；模型连接；影像匹配；序列立体影像

中图分类号：TP391.41 文献标志码：A

Abstract：In order to satisfy the realtime demand of deep space probe map topography of celestial body， an online mobile realtime mapping prototype system based on image stereo vision was designed and implemented in this paper. Stereo images of space object was obtained in realtime by the stereo camera， a group of observed stereo images was used to reconstruct its surface shape， and then the local reconstructed model was connected to generate the whole surface topography model of the space object. The feasibility， accuracy and speed were proved by experiment. The results show that it can meet the demend of realtime mapping.

Key words：stereo vision； realtime mapping； model connection； image matching； sequence stereo image

0 引言

目前，深空探测器在空间天体的抵近过程中主要依据单个高分辨率光学传感器与激光测距仪等科学仪器来测量其表面信息[1-3]。这种方式虽然有机械结构简单、易操作的特点，但是存在处理速度慢、地形点稀疏等不足，无法满足探测器精确着陆和避障导航的需求。其原因是单个光学传感器必须依靠在不同位置的多次成像来进行摄影测量处理，而探测器位置与姿态的变化会使影像内容存在明显差异，导致后续的密集匹配与坐标解算十分困难；现有的激光测距数据往往比较稀疏，在空间天体表面的密集测量中只能起到辅助作用， 因此，有学者提出采用立体视觉测量的方法来对空间天体进行实时测量[3-6]。

华盛顿大学与微软公司[7]合作为火星卫星“探测者”号研制了宽基线立体视觉系统，系统使用同一个摄像机在“探测者”的不同位置上拍摄图像对，根据两次拍摄图像时摄像机的相对位置，利用高效的图像匹配计算得到图像对中各点的三维坐标，使“探测者”号能够在火星上对其即将跨越的几千米内的地形进行精确的定位和导航。传统的目标分割算法难以在高速实时环境中得到令人满意的结果，麻省理工学院计算机系针对这一特点，提出了一种用于智能交通工具的传感器融合方法，由雷达系统提供目标深度的大致范围，利用双目立体视觉提供粗略的目标深度信息，结合改进的图像分割算法，能够在高速环境下对视频图像中的目标位置进行分割[8]。日本大阪大学自适应机械系统研究院研制了一种自适应双目视觉伺服系统，利用双目立体视觉的原理，识别每幅图像中相对静止的三个标志，以预测出目标下一步运动方向，实现了对运动方式未知目标的自适应跟踪[9]。国内哈尔滨工业大学等[10-11]构建了一套异构双目活动视觉系统，通过将一个固定摄像机和一个可以水平旋转的摄像机分别安装在机器人的顶部和中下部，利用双目协调技术使机器人同时捕捉多个有效目标，实现了全自主足球机器人导航。

以上系统和方法有自己的优缺点和适用性，在各自的领域都取得了一定的成功，但是还存在以下问题：

1）获取的场景三维信息不完整。有的系统仅获取场景中部分标志物的三维信息，有的系统仅获取场景中部分物体的三维信息，有的系统虽然获取了整个场景的三维信息但密度不够，不能表达场景中的一些细节信息。

2）获取的场景三维信息未能整合。立体相机每一次拍摄的立体图像均可以生成对应场景的三维模型，但随着立体相机的移动，并没有考虑模型之间的关系，将每次重建的三维模型整合在一起，以实现对大范围场景的整体测量。

3）系统实时性不足。上述系统中，对于仅获取场景中部分标志物三维信息的系统来说，基本可满足实时响应的要求，但对于需要获取全部场景精细三维信息的系统来说，其处理往往是线下的，还不能满足实时响应的要求。

为此，结合深空目标的实时精确测量，本文设计并实现了一套立体视觉在线移动实时测量原型系统，即通过立体相机获取空间天体的序列立体影像，并经过影像处理以得到其表面完整的三维信息。

1 在线实时测量系统的设计

1.1 硬件平台构建

本系统设计由影像数据采集模块、立体视觉实时处理模块和结果输出模块等构成，下面给出本系统的设计示意图（如图1所示）。其中，影像数据采集模块是由一对立体相机和一个影像采集卡组成，立体视觉实时处理模块应用计算机来进行数据处理，而结果输出模块是利用OpenGL开发库来构建2.5维演示场景并由显示器演示出来。

立体相机与计算机之间用路由器、千兆网线进行连接，既提高数据传输的速度，又可增长数据传输的距离。立体视觉实时处理模块由通用的CPU和存储器组成，主要负责立体影像数据的接收、运算处理以及三维信息的输出。最后，由效果显示模块演示本系统在移动过程中在线处理所得到的结果。

1.2 软件设计与流程

立体视觉的基本原理是从两个或多个视点观察同一景物，以获取物体在不同视角下的图像，通过三角测量原理计算图像像素间的位置偏差（即视差）来获得三维信息。通过序列立体影像对的模型连接，可以将每次拍摄后生成的天体局部形貌模型统一起来，生成完整的天体形貌信息，其难点在于精确确定相邻两组立体影像对之间的几何关系。本文通过相邻立体影像对之间的模型匹配，提取出一定数量的同名模型点，据此建立相邻立体影像对模型之间的空间变换模型，并通过模型纠正将两组模型归化至同一坐标系下。下面给出系统实现的具体流程（如图2所示）。

单个立体影像重建目标天体三维信息的步骤包括相机标定、核线影像纠正、影像匹配以及前交模型坐标等，为了获取密集的三维信息，本文采用了半全局匹配方法来获取立体影像的密集同名点。而单个立体模型之间的连接是通过稀疏匹配前后影像间的同名点，以解算模型之间的连接参数，进而可将各个单独模型规划至同一坐标系中。下面具体给出立体影像密集匹配与模型连接的具体实现方法。

2 关键技术实现

2.1 半全局匹配

目前，常用的逐像素影像匹配算法有置信传播（Belief Propagation， BP）算法、图例（Graph Cut， GC）算法和半全局匹配（Semi Globel Matching， SGM）算法等。通过参阅相关文献对比发现， SGM作为一种基于互信息和多方向动态规划的影像匹配算法，具有匹配效果好、速度快、鲁棒性强等特点， 因此，本文采用SGM算法作为空间天体表面立体影像的匹配算法，基本思想是：先基于互信息执行逐像素代价计算，再用多个一维的平滑约束来近似一个二维的平滑约束。

2.2 序列立体模型的连接

通过相邻立体影像对之间的模型匹配，提取出一定数量的同名模型点，据此建立相邻立体影像对模型之间的空间变换模型，并通过模型纠正将两组模型归化至同一坐标系下。其原理是依据同一相机在相邻时刻获取的影像中存在同名像点及其对应的模型三维坐标，以此为连接点，通过相似变换可以将得到的连续立体模型连成一个整体。而相邻时刻前后影像间的同名像点需要匹配获得，快速鲁棒性特征（Speeded Up Robust Feature， SURF）算子是当前计算机视觉领域应用较多的一种特征点提取与匹配算法，其具有稳定性好、速度快且正确率高的特点， 因此，本文采用SURF算子匹配前后影像间的稀疏同名点，进而得到立体模型间对应的连接点。

由式（4）可知，式中含有7个未知参数，而一对连接点的方程个数为3，因而解算它们就至少需要3个不在一条直线上的同名特征点。在实际处理过程中，为了保证精度、可靠性，常需要4个或4个以上的同名特征点来答解变换参数。由式（4）的线性化方程就可以计算出前后立体模型之间的变换关系，即7个变换参数，反过来由这些参数可将后一个模型三维点云转换至前一个模型中，序列立体模型连接的处理流程如图4所示。经过序列立体模型的连接，探测器在移动过程中所重建的目标天体局部模型可以整合到第1组立体模型的坐标系中，形成整个探测区域完整的三维模型。

3 实验分析

3.1 实验条件

为了模拟深空探测器测绘天体形貌和识别其表面特征，课题组构建了一套行星表面抵近测绘综合仿真实验系统，其硬件平台由高精度三维运动平台、高精度姿态调整平台、运动控制单元、光学测量系统、激光雷达测量系统以及地形沙盘等部分构成，其地面仿真实验平台整体结构及行星表面地形模拟沙盘如图5所示。

为了模拟深空探测器递进小行星天体并对其表面形貌进行测绘的过程，本实验堆建了该小行星的局部形貌模型。为了验证小行星天体表面形貌测量的精度，本文在形貌模型表面设置了圆形标志点，以便后续与激光测距数据进行精度对比。

3.2 实验数据及其处理

通过控制综合仿真实验系统的三维运动平台，就可以由立体相机获取形貌模型光学序列立体影像对，下面给出部分影像数据如图6所示。

结合已知的标定结果，可以直接纠正获取的立体影像对，每帧影像对纠正所花费的时间约为18ms。由于影像对纠正时间只与其大小有关，因而不同影像对纠正的时间是基本一致的。接着，利用前文所述的SGM算法对纠正后的立体影像对进行逐像素匹配，其深度范围设置为0至64像素，得到相应的视差图如7所示。由于目标地形是连续起伏的，从而立体影像的匹配点与参考点的顺序是基本一致的，因此本系统在数据处理过程中将视差值为负或大于64的匹配结果视为误匹配并剔除它。据统计，应用SGM算法匹配立体影像所花费的时间为120～150ms，随机对30组立体影像进行匹配，平均耗时为137.3ms。其原因是不同立体影像对得到的有效同名点个数存在差异，误差点剔除与同名点匹配所花费时间不一样。但是，一般情况下，立体影像对的匹配时间小于150ms，由同名像点计算对应的三维坐标所费时间仅为30～35ms。而立体影像对拍摄的间隔时间往往大于1s，显然立体影像对重建三维信息满足在线实时测量要求。

由SURF匹配算法获取序列立体像对间的模型连接点，上面4组影像对之间的连接点个数分别为1298、1370和1552，分别花费了189ms、201ms和233ms。根据前文序列立体模型的连接方法，将各个独立模型统一规划至第1个模型坐标系中，连接顺序按照立体相机获取立体影像的顺序进行。实验中共获取立体影像为51对，包含3条航带且每个航带17对立体影像，从立体影像对获取、独立模型生成至模型坐标的归一化共花费时间约61s，其中部分时间消耗在模型坐标转换上。下面给出整个探测区域的三维形貌模型及其叠加纹理后的结果（如图8和图9所示）。

图8是通过分层设色的方法来表示形貌模型的高程变化，从低到高采用了由蓝至红色彩来渐进表示；图9是结合构像方程将影像纹理映射到重建的形貌模型上，更好地展示了小行星表面模型的形貌特征，如撞击坑、小山丘以及沟壑等形貌，同时可以显示出标志点的位置。

由图10可见，BP算法、GC算法主要存在两点不足：首先，因算法中无一致性检查，造成匹配深度中存在不同程度的漏匹配区域；其次，因其算法为像素级匹配，使得匹配结果出现较为明显的深度层次。在效率方面，其他算法匹配耗时为260～310ms之间，约为SGM算法耗时的两倍。由上实验可以看，SGM算法匹配结果不仅无漏匹配区域，而且深度图的灰度变化相对平滑，耗时较少，能够达到准实时的效果，是一种较好的密集匹配算法。

3.3.2三维信息重建精度的对比

为了评价地形形貌重建的精度，本实验利用激光扫描仪获取了模拟地形的三维激光点云数据（如图11所示），其坐标精度可达毫米级，可作为重建形貌模型的参考标准。

首先，分别从序列立体影像对重建的形貌模型和激光扫描仪获取的形貌模型中提取出对应的标志点，应用空间相似变换原理将两个模型统一至统一坐标系下；再任意选择其中部分对应的标志点坐标进行比较，计算出它们的高程差，给出相应的精度评价。实验中，随机抽取了10个相对离散的检查点，其结果如表3所示。

从表3中可看出，序列立体影像重建的形貌结果与激光扫描仪获取的结果之间相差不超过10%，最大误差为31.9mm。其误差产生的原因：一方面，重建结果与扫描结果统一坐标系时所使用的对应三维点坐标是通过人工交互选取而得的，存在一定的主观误差；另一方面，立体影像和相邻影像的匹配精度都是像素级的，虽然匹配速度有所提高但降低了匹配精度，加上模型间连接会进一步传递误差。

4 结语

结合未来空间小天体的探测需求，本文设计并实现了一套立体视觉在线移动实时测量原型系统，其创新之处在于该系统利用立体相机代替了传统的单相机，可以同时获取天体表面的立体影像并实时重建其三维信息；通过匹配相邻立体影像的同名点，以此作为连接点将立体模型归化至统一坐标系中，形成探测区域整体的三维模型。实验结果显示，本文方法能够生成独立形貌模型并将各个模型规划至一个整体，且能够满足在线实时测量的应用需求。

当然，在实验过程中我们发现了该系统主要存在两大问题，即影像匹配的精度问题和数据处理的速度问题。随着探测器获取的影像数据越来越多，重建生成模型的数据量越来越大，系统处理的速度随之越来越慢。下一步，研究重点是采用子像素级匹配方法来提高立体影像和前后影像的匹配精度，采用数据分块处理策略来提高系统运行的速度。

参考文献：

[1]MELOSH H J. Planetary Surface Processes[M]. Cambridge： Cambridge University Press， 2011：124-135.

[2]ZUBER M T， SMITH D E， CHENG A F， et al. The shape of 433 eros from the NEARshoemaker laser rangefinder[J]. Science， 2000， 289（5487）： 2097-2101.

[3]徐伟彪， 赵海斌. 小行星深空探测的科学意义和展望[J]. 地球科学进展， 2005， 20（11）： 1183-1190.（XU W B， ZHAO H B. Deep space exploration of asteroids the science perspectives[J].Advances in Earth Science， 2005， 20（11）： 1183-1190.）

[4]PREUSKER F， SCHOLTEN F， MATZ K D， et al. Global shape of （4） vesta from dawn FC stereo images [J]. LPI Contributions， 2014， 1773：2027.

[5]蓝朝桢， 耿迅， 徐青，等. 基于序列影像的小天体三维形状重建方法研究[J]. 深空探测学报， 2014， 1（2）： 140-145.（LAN C Z，GENG X，XU Q， et al. 3D shape reconstruction for small celestial body based on sequence images[J]. Journal of Deep Space Exploration， 2014， 1（2）：140-145.）

[6]张广军.视觉测量[M].北京： 科学出版社， 2008： 55-61.（ZHANG G J. Vision Measurement[M]. Beijing： Science Press， 2008： 55-61.）

[7]OLSON C F， ABIRACHED H， YE M， et al. Widebaseline stereo vision for Mars rovers[C]// Proceedings of the 2003 IEEE/RSJ International Conference on Intelligent Robots and Systems. Piscataway， NJ： IEEE， 2003： 1302-1307.

[8]FANG Y J， MASAKI I， HORN B. Depthbased target segmentation for intelligent vehicles： fusion of radar and binocular stereo[J]. IEEE Transactions on Intelligent Transportation Systems， 2002， 3（3）：196-202.

[9]ASADA M， TANAKA T， HOSODA K. Visual tracking of unknown moving object by adaptive binocular visual servoing[C]// Proceedings of the 1999 IEEE International Conference on Multisensor Fusion and Intelligent Systems. Piscataway：IEEE，1999：249-254.

[10]高庆吉，洪炳熔，阮玉峰.基于异构双目视觉的全自主足球机器人导航[J].哈尔滨工业大学学报，2003， 35（9）： 1029-1032. （GAO Q J， HONG B R， RUAN Y F. Navigation of smallsize autonomous soccer robot based on isovision system with two cameras[J]. Journal of Harbin Institute of Technology， 2003：35（9）： 1029-1032.）

[11]崔跃军. 基于双目相机的小行星软着陆导航方法及其仿真平台研究[D]. 哈尔滨：哈尔滨工业大学，2009.（CUI Y J. Research and simulation platform on navigation algorithms based on binocular vision for softlanding asteroid [D]. Harbin： Harbin Institute of Technology，2009.）