准实时双目视觉测量系统的设计与实现

侯一凡， 王　栋， 唐永鹤， 邢　帅， 徐　青

信息工程大学地理空间信息学院，河南 郑州，450052



准实时双目视觉测量系统的设计与实现

侯一凡， 王栋， 唐永鹤， 邢帅， 徐青

信息工程大学地理空间信息学院，河南 郑州，450052

结合立体相机与计算机等硬件设备，本文设计并实现了一套双目视觉测量原型系统。该系统首先利用张正友标定法解算出相机的内部参数及其相对位置关系；然后实时纠正所获取的目标场景立体影像，用半全局匹配(SGM)方法对立体影像进行逐像素匹配，计算目标场景的深度图和三维点云坐标；最后实验验证了该系统的可行性，测试了立体影像获取与目标重建的速度。结果表明，该系统具有一定的实时性与较强的可靠性。

双目视觉；标定；半全局匹配；核线影像；实时测量

1　引　言

双目视觉通过模拟人眼处理景物的方式可以获取目标物体的三维信息，具有非接触、速度快、精度高、自动化程度好等诸多优点，可以大大提高工业生产效率，逐渐成为人们研究的热点[1-3]。随着数字传感器技术和计算机技术的迅速发展，工业摄像头能够实时获取目标物体的数字影像，而计算机能够实时接收影像数据并进行高速处理，使得实时双目视觉测量系统具备了硬件基础。近年来，计算机视觉测量在理论方面也取得了一定的发展，尤其是摄像机的标定、立体影像的匹配等关键技术。例如，张正友[4]提出了一种新的可靠性较好的摄像机标定方法，使得在线标定更加快速方便；范大昭[5]等提出了一种基于相位相关的小基高比影像匹配方法，取得了很好的匹配效果；Heiko Hirschmuller和高波[6，7]提出了一种基于互信息(MI)的半全局匹配方法(Semi-Global Matching，SGM)，取得了较好的匹配效果，而Daniel Scharstein[8]对该方法以及其他几种经典的匹配方法进行了总结和归类等。

本文先利用相关的硬件设备构建了一套系统平台，并通过操作系统和相关驱动对设备进行测试和控制；再依据设备特点、系统要求，合理安排双目视觉测量系统处理流程。即首先利用张正友标定法解算出相机的内部参数及其相对位置关系；然后实时纠正所获取的目标场景立体影像，用SGM方法对立体影像进行逐像素匹配，计算目标场景的深度图和三维点云坐标；最后，实验测试了该系统的实时性、稳定性，分析显示重建的三维效果。

2　双目视觉测量系统的构建

本文所构建的准实时双目视觉测量系统是一套由软、硬件相结合的系统，主要包括影像获取模块、视觉测量处理模块、结果显示模块等。其中，影像获取模块由两个工业摄像机组成，本系统采用德国的Baslerace摄像机，其具体参数如表1所示。它们分别被固定在铁架上且镜头方向基本一致，以便获取目标物体的立体影像。

表1工业摄像头参数表

传感器类型CCD分辨率1280×1024像素采帧频率60fps传感器尺寸6.8×5.4mm像素大小5.3×5.3μm镜头焦距25mm

视觉处理模块由通用的CPU和存储器组成，主要负责立体影像数据的接收、运算处理以及三维信息的输出。本系统直接采用联想ThinkPad T430i型笔记本，其具体参数如表2所示。

表2计算机配置参数

CPUIntel(R)Core(TM)内存2.0G显卡NVIDIA独显频率2.40GHz硬盘500G接口网口、串口等

两个工业摄像机与计算机之间用路由器、千兆网线进行连接，既能够提高数据传输的速度，又可以增长数据传输的距离。在计算机中安装摄像机驱动、设置网口协议，则可以对摄像机进行有效控制并实时获取影像数据。

为了便于立体影像重建目标三维信息、节省处理时间，本系统在三维重建之前先对立体摄像机之间的空间关系进行了标定，即解算出摄像头的内部参数和他们之间的位置、方位关系；然后将这些参数存入指定空间，以便视觉处理实时调用。整个系统设计的处理流程如图1所示。

首先，结合已知的标定参数，对立体影像进行非畸变化和核线校正，生成行对准的校正影像；然后，采用SGM方法(见3.2节)对纠正后的立体影像进行逐像素匹配，获取密集的同名像点；再利用影像之间的几何关系计算同名像点所对应目标点的三维坐标；最后，由结果显示模块演示三维重建的效果。其中，核线校正是将立体影像上的核线投影至平行于摄影基线的影像对上，使得重叠影像上的同名像点必然位于同名核线上[9]；而摄像机标定和影像匹配是处理流程中极为关键的两步，下面给出其具体的实现过程。

图1　双目视觉测量系统处理流程

3　关键技术实现

3.1摄像机标定

摄像机的标定需要解算每个摄像机的内部参数和两个摄像机之间的位置关系。其中，内部参数包括摄像机的焦距f、像主点坐标(cx,cy)和镜头的畸变参数(k1,k2,p1,p2,k3)等，而位置关系包括摄像机之间的旋转矩阵R和平移矩阵T。目前，摄像机标定方法有实验场法[10,11]、张正友法、Tsai两步法[12]和自标定法[13]等，它们有各自的优缺点，如表3所示。

表3四种标定方法的对比

方法硬件要求算法精度实验场法室内标定场简单高张正友法标定板一般一般Tsai两步法标定板一般一般自标定法无复杂低

图2　棋盘格标定板及其坐标系

经过比较发现，张正友法和Tsai两步法操作方便、稳定可靠以及精度较好，但后者解算的畸变参数个数少于前者，因而本文采用前者作为摄像机的标定方法，以便得到更好的畸变纠正效果。该方法需要一块棋盘格标定板，其表面由一组十分规则的正方形组成且边长为定值 ，可以构成一个物方坐标系(如图2所示)。

由图2可知，棋盘格的角点是一种典型的X型角点，其提取与定位的步骤参见相关文献[1]。下面给出双摄像机标定流程图(如图3所示)。

图3　摄像机标定流程图

摄像机标定的具体步骤：

第一步，在不考虑镜头畸变的情况下，依据针孔模型来解算单个摄像机的焦距、像主点坐标和像片的位置、方向；

第二步，考虑镜头的径向畸变和切向畸变，以第一步得到的结果为初始值，用最小二乘方法迭代求解出更高精度的内、外参数；

第三步，依据左右影像的外参数，可以解算出它们之间的位置关系。

3.2影像匹配

目前，常用的逐像素影像匹配算法有Belief Propagation算法、Graph Cuts算法和SGM算法等。通过参阅相关文献[5,9]对比发现，SGM算法作为一种基于互信息和多方向动态规划的影像匹配算法，具有匹配效果好、速度快、鲁棒性强等特点。因此，本文采用SGM算法作为立体影像的匹配算法。基本思想是：先基于互信息执行逐像素代价计算，再用多个一维的平滑约束来近似一个二维的平滑约束。

假设参考影像像素p灰度为Ibp，对应待匹配影像的同名点q灰度为Imq，函数q=ebm(p,d)表示匹配影像上对应于参考影像像素p的核线，核线参数是d，那么，基于MI的匹配代价函数[9]为：

CMI(p,d)=hIb,fD(Im)(Ibp,Imq)-hIb(Ibp)-hfD(Im)(Imq)

(1)

其中，hIb(Ibp)、hfD(Im)(Imq)分别表示以像素p、q为中心的块图像的熵，hIb,fD(Im)(Ibg,Img)表示两个块图像的联合熵。

沿着路径r方向，像素p的代价Lr(p,d)由递归方式定义为：

(2)

其中，P1、P2为惩罚系数。将各个方向的代价相加，可以得到总的匹配代价

(3)

那么，对于每一个像素点p，深度dp=mindS(p,d)。最后，还需要进行一致性检查，即依据匹配像点的顺序及其之间的距离，来判断遮挡和错误匹配，以确保同名像点的唯一性。具体实现过程如图4所示。

图4　SGM匹配算法流程

4　实验情况

4.1立体摄像机的标定

本文实验采用的标定板是由复合材料制成，其外形大小为400×300mm，棋盘格阵列为12×9，每个格子的边长为30 mm。而双摄像机均配备25 mm的定焦镜头，视场角约为15°。为了同时获

取分别率较好且满足标定要求的序列立体影像，先将标定板放置双摄像机正面约两米处，再由计算机程序触发摄像机获取16组标定板影像，如图5所示。

(a) 　左摄像机获取影像

(b)　右摄像机获取影像图5　双摄像机分别获取的标定板影像

在棋盘格角点提取过程中，角点检测窗口的大小为11×11，每张影像共提取角点数为88个。根据前文所述的方法进行标定，其结果如表4和表5所示。

表4左右摄像机内部参数表

左摄像机误差右摄像机误差fx/像素2352.234922.638152363.166322.65101fy/像素2351.584542.693452362.388322.68103cx/像素319.467332.68410314.525732.87803cy/像素284.905411.34325251.761041.25910k1-0.125740.01363-0.136170.01469k22.551810.236611.320560.26180p10.005770.000170.001810.00011p2-0.001720.000130.000800.00012k30.000000.000000.000000.00000

表5左右摄像机的相对位置

X/mY/mZ/m结果-0.00657-0.05537-0.00209误差0.001140.001580.00091α/°β/°γ/°结果83.07098-0.01790-6.32929误差0.090260.009700.01914

结合标定的摄像机内参数，纠正每幅影像并获取标定板角点的位置，计算得到它们的误差分布图，如图6所示。

(a) 　左像标定效果

经过统计得到左摄像机在像平面坐标系的x、y方向上的平均中误差为(0.03898,0.04561)，右摄像机在x、y方向上的平均中误差为(0.03775,0.04431)，误差单位为像素。从图5中可以看出，标定板占了影像的大部分区域，棋盘格角点相对均匀地遍布整个像面，进而通过它们的精度分析可以代表整个立体影像纠正的精度。从图6可以看出，各影像中角点误差最大为0.2个像素，绝大部分角点误差在0.1个像素以内，基本满足前文所述的子像素精度。

4.2双目视觉的实时测量

本系统的影像采集设备是一对工业摄像机，用计算机控制可以同时获取目标场景的立体像对，每帧像对的大小为2.5 M。而采用千兆以太网来传输数据，其所花费的实际时间约为30 ms。当处理完并显示出场景深度后，系统自动读入最后传入的影像数据，重复前面的立体影像处理操作、生成场景深度图。下面给出一组某时刻获取的目标场景核线纠正后的立体影像，如图7所示。

(a)　左像

(b)　右像图7　纠正后的立体像对

结合前面的标定结果，可以直接纠正获取的立体像对，其花费的时间为18 ms。由于影像纠正时间只与其大小有关，因而不同影像纠正的时间是基本一致的。接着，本系统用SGM方法对纠正后的立体像对进行逐像素匹配，其深度范围设置为0至64像素。下面是匹配后目标场景的深度图和三维模型，如图8所示。

(a)　深度图

(b)　三维模型演示图8　目标场景的深度图

图8(a)中采用图像灰度表示目标区域的深度，其中从白至黑分别表示目标区域由高至低的高程。从图中的深度信息与真实的地形信息进行比对，可以发现本文采用的SGM算法具有较好的匹配效果。核线影像的最大特点是同名像点在同一条核线，而SGM算法在核线影像的基础上加入了一致性检查的方法，进一步提高了匹配的正确率。即连续曲面上的同一目标点在核线影像中的顺序应该是一致的，从而可以减少匹配的错误率。利用Scharstein提供的测试平台[7]测试上述立体像对的匹配效果，其非遮挡区域误匹配率为 11.5%，总体误匹配率为17.8%，视差边界误匹配率为2.6%。图8(b)中采用色条表示方法来渲染地形的三维信息，从蓝至红分别表示地形由低到高。由图可知，生成的三维地形中有两处明显的撞击坑区域和一处山地区域，与真实地形相比完全一致，这也说明本文所述方法具有一定的可靠性。

为了进一步测试系统的实时性和实用性，我们将双摄像机绕着目标物体进行缓慢移动，从不同角度重建其深度信息。下面给出某段时间内每帧像对匹配所花费的时间，如图9所示。

图9　某段时间内每帧像对匹配所需时间趋势图

由图9可以看出，每帧像对匹配的时间并不一致，其原因是，不同角度的立体像对存在遮挡不一样、边缘点个数不一样等情况，其匹配计算的时间则存在一定的差别，但是这种差别一般只在很小的范围内波动。经过统计可知，纠正后的立体像对匹配所花费的平均时间为119 ms，而从影像获取到生成深度图所花费时间小于170 ms。

5　结　论

本文将计算机视觉技术与硬件设备相结合，设计了一套准实时双目视觉测量系统。首先，利用张正友标定法对立体摄像机进行标定，计算得到它们的内部参数及其之间的相对位置关系；接着，由标定结果来纠正立体影像，从而得到核线影像，以提高影像匹配的速度和正确率；然后利用SGM方法对纠正后的立体影像进行逐像素匹配，并估计其正确率；最后，生成目标场景的深度图和三维模型。实验证明本文方法是正确可行的，并测试了系统运行所花费的时间，结果表明该系统具有一定的实时性，能够重建出质量较好的深度信息。

[1]张广军. 视觉测量[M]. 北京：科学出版社，2008.

[2]徐青, 吴寿龙, 朱述龙等. 近代摄影测量[M]. 北京：解放军出版社,2000.

[3]Carlos Cuadrado, Aitzol Zuloaga, Jose L.Marttin, etc. Real-time Stereo Vision Processing System in a FPGA[C]. IEEE Industrial Electronics, IECON 2006 Annual Conference on,2006.

[4]Zhengyou Zhang. A Flexible New Technique for Camera Calibration[J]. IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, 2000,22(11):1330-1334.

[5]范大昭，申二华，李禄等. 基于相位相关的小基高比影像匹配方法[J]. 测绘科学技术学报，2013，30(2)：154-157.

[6]Heiko Hirschmuller. Stereo Processing by Semiglobal Matching and Mutual Information[J]. IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, 2007，30(2)：328-341.

[7]高波. 从双目立体图像中恢复三维信息的研究[D]. 上海：上海交通大学，2007.

[8]Daniel Scharstein，Richard Szeliski. A Taxonomy and Evaluation of Dense Two-frame Stereo Correspondence Algorithms[J]. Internatioal Journal of Computer Vision, 2002, 47(1):7-42.

[9]耿则勋，钦桂勤. 核线几何的解析分析[J]. 遥感信息，2000(4):11-12.

[10]D.C. Brown. Close-range Camera Calibration[J]. Photogrammetric Engineering, 1971, 37(8):855-866.

[11]T.A. Clarke, J.G. Fryer. The development of Camera Calibration Methods and Models[J]. Photogrammetric Record,1998,16(9):51-66.

[12]R.Y. Tsai. A Versatile Camera Calibration Technique for High-accuracy 3D Machine Vision Metrology Using Off-the-shelf TV Cameras and Lenses[J]. Robotics and Automation, 1987, 3(4):323-344.

[13]C.S. Fraser. Digital Camera Self-calibration[J]. ISPRS Journal of Photogrammetry & Remote Sensing, 1997(52): 149-159.

Design and Development of Quasi Real-time Stereo Vision Measurement System

Hou Yifan， Wang Dong， Tang Yonghe, Xing Shuai， Xu Qing

Institute of Geospatial Information, Information Engineering University, Zhengzhou 450052, China

A set of binocular vision measurement prototype system is designed and developed combining stereo cameras with computer and other hardware equipment. Firstly, the Zhang Zhengyou calibration method is used to calculate the intrinsic parameters of the cameras and their relative position relations. Secondly, stereo images of the target scene are corrected in real time, the SGM method is used to match the images pixel by pixel, and the depth map of target scene and 3D point cloud coordinate are calculated. Finally, an experiment is conducted to verify the feasibility of the system and the speed of stereo image obtaining and target reconstruction is tested. The result shows that the system possesses good reliability.

stereo vision; calibration; semi-global matching; epipolar image; real-time measurement

2015-11-18。

国家自然科学基金资助项目(41371436)，国家重点基础研究发展计划(973计划)资助项目(2012CB720000)。

侯一凡(1982—)，女，博士研究生，主要从事摄影测量与遥感方面的研究。

P223

A