多光电跟踪仪视频图像的目标测距方法设计与实现

河南中光学集团有限公司 王向阳 梁 涛 徐妙语 张 锐

多光电跟踪仪视频图像的目标测距方法设计与实现

河南中光学集团有限公司 王向阳 梁 涛 徐妙语 张 锐

目标到摄像机距离的估计是成像探测中的一个技术难题，具有重要的军事和民用价值。设计并实现了基于多光电跟踪仪视频图像的目标测距方法：首先，对多个光电跟踪仪摄像机进行标定；然后，对每个光电跟踪仪视频图像进行运动检测提取目标，并提取目标图像区域的SIFT特征点；第三，对不同光电跟踪仪视频图像中提取目标特征点进行匹配；第四，根据相机参数对匹配的特征点进行三维重建；最后，计算三维重建点到相机的平均距离作为目标距离。实验结果表明，所提出的测距算法可获得不超过±10%的相对测量误差，是一种比较可行的被动测距方法。

目标测距；被动测距；摄像机标定；双目视觉；视觉测量；SIFT特征

1.引言

在现代军事作战、反恐、反走私等斗争中，快速准确的识别和定位侦查目标成为人们关心的首要问题，而目标距离的精确估计是一个重要环节。

目标测距的方法很多，按照是否需要从外部向被测对象施加能量可分为主动测距和被动测距两种。主动测距法[1]使用激光等波束或具有一定纹理结构的白光投射目标，通过分析光束的传播时间或反射光的纹理形变来确定目标距离，如激光测距、结构光法、莫尔条纹法、位相测量法等，其优点是精确度比较高，缺点是发射各种波可能致伤目标或暴露自身目标，而且设备复杂、不利于便携、增加成本等。被动测距方法则直接通过目标的视频图像信息来估算目标距离，包括立体视觉[2]、运动测距法[3]、单目测距[4]等。

目前我国陆地边界线和海岸线已经基本建立了全覆盖、全天候、24小时的视频监控网络。通过构建路上重点地段、海上重点区域的视频监控站点，综合运用白光、红外、雷达、激光等多种探测手段，大大提高了边海防信息获取能力，对加强边海防管控具有十分重要的意义。本文以边海防视频监控站目标探测为背景，基于双目视觉原理，设计和实现了一种根据多光电跟踪仪视频图像进行目标测距的方法，该方法是一种被动测距方法，具有不增加成本、方法简单有效的特点。

2.目标测距的原理和流程

本文采用的目标测距方法是基于双目立体视觉原理，目标测距时，假定光电跟踪仪不动，并同时有两个光电跟踪仪捕获目标。测距过程包括如下七个步骤：1）摄像机标定：首先对两个光电跟踪仪摄像机和C1和C2分别进行标定，得到摄像机C1和C2的内外参数；2）图像采集：同步采集两个光电跟踪仪摄像机视频图像I1和I2；3）目标区域选取：对I1和I2进行目标选取，提取目标区域A1和A2；4）特征提取：分别提取A1和A2的SIFT特征点集P1和P2；5）特征匹配：将基础矩阵作为模型，采用RANSAC算法进行特征匹配，得到匹配点对集合；6）三维重建：通过标定后的摄像机模型，重建匹配点对集合对应的三维点集合Q；7）距离计算：计算Q中各点到摄像机光心的平均距离作为目标到摄像机的距离。

距离具体流程如图1所示。本文将在后续内容进行详细介绍。

2.1 摄像机标定

摄像机标定是指建立摄像机图像像素位置与场景点位置之间的关系，根据摄像机模型，由已知定标点的图像坐标和世界坐标求解摄像机的模型参数。

标定主要原理是光学中的小孔成像模型[5]，即：三维场景点与二维像平面上的像点满足中心射影关系，如公式（1）所示：

其中：1）K称为相机内参数矩阵。因为K中参数只与相机的内部结构有关；2）[R|t]为摄像机外参数矩阵，描述了摄像机坐标系与世界坐标系之间的位置关系。P= K[R|t]为称为投影矩阵。

摄像机标定就是要通过相机标定方法得到参数K和[R|t]的值。本文使用三维靶标，采用Tsai方法[6]对摄像机C1和C2分别进行标定。摄像机标定后，提取至少两幅图像的匹配点联立方程，就能求解出空间点的三维坐标，此过程也称为三维重建。

图1 目标测距流程图

2.2 目标区域选取

可以采用两种方法选取测距目标：1）用户交互选取测距目标区域；2）通过运动目标检测提取测距目标区域：采用背景差分法[7]来进行运动目标检测，将当前帧图像与背景图像进行差值计算，得到差值图像，再通过建立背景的混合高斯模型[8]对背景和运动目标进行分割，提取运动目标区域。

2.3 特征提取

对两个光电跟踪仪同步采集的图像I1和I2提取的运动目标区域A1和A2，采用SIFT特征提取算法[9]，分别提取A1和A2的SIFT特征点集P1和P2。SIFT特征点集是一种相似不变量，即对图像尺度变化和旋转是不变量。然而，由于构造SIFT特征时，在很多细节上进行了特殊处理，使得SIFT对图像的复杂变形和光照变化具有了较强的适应性，同时运算速度比较快，定位精度比较高。SIFT算法计算的主要步骤包括：1）尺度空间极值检测；2）关键点的定位；3）确定关键点的方向；4）生成特征点描述子。最后生成的特征描述子为128维的向量。

2.4 特征匹配

提取两幅图像目标区域A1和A2的SIFT特征点集P1和P2后，下一步就是进行特征匹配，得到P1和P2中的匹配点对集合S。本文将匹配过程分为粗匹配和精匹配两个阶段来完成：

（1）粗匹配：采用基于欧式距离的最近邻匹配算法（Nearest Neighbor-NN）完成，其过程是：首先对特征点集P2利用kd-tree建立索引建构；然后对特征点集P1中每一点a，在中利用kd-tree进行搜索，查找与a对应的最近邻特征向量b1以及次近邻特征向量b2，如果最近邻除以次近邻的距离比值小于某个给定的比例阈值，即dist(a,b1)/ dist(a,b2)＜T（实验中T的取值为0.6），则b1为a的匹配；否则认为a在P2中没有匹配。通过粗匹配过程得到匹配点对集合S1。

（2）精匹配：通常，通过粗匹配得到的匹配点对集合S1中存在虚假匹配，应该予以剔除，精匹配过程就是为了剔除这些虚假匹配。由于对同一场景拍摄的两幅图像中任意一个匹配点对(a,b)满足对极几何（Epipolar Geometry）约束关系，而对极几何约束关系在数学上可以用基本矩阵（Fundamental matrix）来表示。两幅图像之间的基本矩阵F是一个3×3的秩2奇异方阵，具有7个自由度；对两幅图像的匹配点对(a,b)，满足aTFb=0；由于每一组匹配点对可以提供关于F的未知元素的一个线性方程，如果两幅图像中有足够多的匹配点(＞7)，就可以利用它们联立方程组来计算未知的基本矩阵F，求解基础矩阵本文采用的是改进的8点法[10]。

由于对极几何约束关系可以用基本矩阵来表示，因此将特征点对的几何约束关系转化为基本矩阵的模型参数估计问题。本文采用改进的RANSAC方法来精确估计两幅图像之间的基本矩阵F，同时剔除S1中的虚假匹配。RANSAC算法中虚假匹配的判断标准如下：根据8点法估计出的基础矩阵，计算特征点到对应极线的垂直距离作为约束（小于1.5个像素），将不满足约束关系的匹配，视为虚假匹配，也称为outlier（正确的匹配点对称为inlier）。RANSAC算法认为，只要随机进行N组抽样（N要足够大），就能在一定的置信水平P（一般取0.99）下保证至少有一组抽样是没有被污染的（不包含outlier），最小的抽样次数N满足如下的条件：

其中ε是数据错误率（outlier所占的比例），k是求解模型所需的最少数据。

本文基于RANSAC算法的虚假匹配剔除过程为：

1）根据置信水平和数据错误率，计算需要进行的抽样数N；

2）从粗匹配点对集S1中均匀随机地抽取8组匹配点对，采用的是改进的8点法，计算近似基本矩阵Fran；

3）用未抽取到的每一组对应点来验证Fran，如果极线距离足够小，则认为这个对应是与Fran一致的正确匹配点对，重新计算数据错误率并更新N；

4）重复第2)和第3)步，直到完成N组抽样的处理；

5）根据最大正确匹配点对数和最小误差方差，从多个近似基本矩阵Fran中选择最优的参数模型FR；

6）利用FR计算正确匹配点对集合S，并根据S重新计算最终的基本矩阵F。

2.5 特征点三维重建

得到正确的匹配点对集合S 后，由于摄像机C1和C2已经标定，对S中任意一对匹配点对(a,b)，将a和b分别代入公式（1）后得到一个联系方程组即可解出(a,b)对应的三维点M。由于(a,b)是匹配点对，理论上方程组有唯一解，但是在实际应用中，由于标定误差等的影响，可能没有确定的解，可以采用SVD分解的方法来确定最优解。

2.6 目标距离计算

对匹配点对集合S中的每对匹配点进行三维重建后，得到运动目标上的一个三维点集Q，求Q中所有点到摄像机C1和C2光心的平均距离，即为目标到摄像机的距离。

3.实验结果和分析

图3 三维标定靶标和两个相机标定图像

图4 目标测距实例

实验使用两个光电跟踪仪设备进行目标测距。实验过程如下：1）测距前先对两个光电跟踪仪摄像机进行标定。采用三维标定块作为靶标（如图3(a)所示，十字交叉点为定标点，其三维坐标已知），利用Tsai方法进行标定。2）测距时，同步采集两个摄像机的图像I1和I2，在两种图片上选择要测距的目标区域，对目标所在的矩形框使用SIFT提取特征并进行匹配，得到匹配点后进行三维重建，计算目标框内特征点到摄像机光心的平均距离作为目标距离，并显示在目标框上面，如图4(b)所示。实验得到C1中目标到相机的测量距离为255cm，目标到相机的真实距离为273cm；C2中目标到相机的测量距离为251 cm，目标到相机的真实距离为264cm。计算得到两相机C1和C2的相对误差分别为6.6%、4.9%，实验结果表明，相对误差在10%之内。

4.结束语

本文设计并实现了一种基于多光电跟踪仪视频图像的目标测距方法。该方法预先对光电跟踪仪摄像机进行标定；目标测距时，通过对输入的多幅图像进行目标区域选取、特征点提取、特征匹配、三维重建过程，计算目标离摄像机的距离。特征点提取采用SIFT方法，特征匹配采用RANSAC参数估计方法，三维重建采用SVD方法。实验结果表明，所提出的测距算法可获得不超过±10%的相对测量误差，是一种比较可行的被动测距方法。

后续还要对算法进行如下改进：1）如果SIFT特征点提取的数量不足，可以加入Harris特征点作为补充。Harris特征点描述了物体的角点特征，二者取长补短；2）本文提出的方法中假定光电跟踪仪不运动。如果光电跟踪仪运动，可以考虑在光电跟踪仪水平和俯仰范围内的多个预置位置（按照一定步长得到的）对目标进行拍照，采用光束平差法对光电跟踪仪的各个位置的相机参数进行自标定并同时得到特征点的三维坐标。

[1]张广军．机器视觉[M]．北京：科学出版社,2005．

[2]许仲仁．远程岸基光电系统测距方法讨论[J]．舰船科学技术,2000(1)：19-22．

[3]赵勋杰,高稚允．光电被动测距技术[J]．光学技术,2003,29(06)：652-656．

[4]黄桂平,李广云,等．单目视觉测量技术研究[J]．计量学报,2004,25(04)．

[5]马颂德,张正友．计算机视觉—计算理论与算法基础[M]．北京：科学出版社,1998．

[6]R．Y．Tsai．An efficient and accurate camera calibration technique for 3D machine vision[C]．Proc．IEEE Conf． on Computer Vision and Pattern Recognition,1986,364-374．

[7]崔久林．视频图像目标提取技术的研究[D]．长春：长春理工大学,2006．

[8]N．Friedman,S．Russell． Image segmentation in video sequences： a probabilistic approach[C]．Proceedings of the Thirteenth Annual Conference on Uncertainty in Artificial Intelligence． San Francisco： Morgan Kaufmann Publishers,1997,175-181．

[9]D．G．Lowe．Distinctive image features from scale-invariant keypoints[J]．International journal of computer vision,2004,60(2)：91-110．

[10]R．I．Hartley．In defense of the8-point algorithm[J]． IEEE Transactions on Pattern Analysis and Machine Intelligence, 1995,19(6)：580-593．

[11]C．Harris,M．Stephens．A combined corner and edge detector[C]．4th Alvey vision conference,Manchester,UK,1988,15-50．

[12]N．Snavely,S．M．Seitz,R．Szeliski．Modeling the world from internet photo collections[J]．Int．J．Comput．Vision．2008,80(2)：189-210．

[13]B．Triggs,P．McLauchlan,R．I．Hartley,et al．Bundle adjustment- a modern synthesis[J]．Vision algorithms：theory and practice,1999,1883(1883)：298-372．

王向阳（1985-），男，大学本科，现供职于河南中光学集团有限公司，研究领域为安防监控、视频图像处理、安防系统集成。