基于显著性检测的双目测距系统

安果维，王耀南，周显恩，谭建豪

（湖南大学 机器人视觉感知与控制技术国家工程实验室，湖南 长沙 410082）

双目视觉测距技术是计算机视觉技术的一种应用。它具有通过对人类双眼处理景物方式的模拟感知周围环境空间深度的功能[1]。在一些领域，机器视觉正在代替人眼成为有效的新工具。双目视觉在机器人导航与避障、机械臂的引导、三维成像、汽车导航等诸多领域都极具应用价值[2-3]。与目前其他测距方法相比，双目测距具有成本低、精度高、方便快捷等优点[4-5]。作为计算机视觉的分支，双目视觉技术在近些年来得到了长足的发展[6]。

双目视觉测距技术的基本原理是基于物体在左右相机像平面成像的相差，利用相似三角形的几何关系，得到物体距相机的距离[7]。其中的关键部分则是对左右视图进行匹配得到特征点的相差。而surf算法的特征点匹配具有稳定性高，实时性高的特点[8]。本文在对视图进行显著性检测的基础上，用surf算子对提取出的目标区域进行特征点匹配。准确地得到了目标的距离，并提高了测距过程的实时性。

1 双目视觉测距系统

本文设计的双目视觉测距系统旨在为旋翼飞行器机械臂系统提供目标物体的距离信息，如图1所示，双目相机安装在旋翼飞行器机械臂系统的机械臂末端，通过双目相机对目标物体的实时测距并反馈距离信息，来控制旋翼飞行器机械臂系统操作实现抓取功能。双目视觉系统的原理图如图2所示。

图1 双目视觉系统实物Fig. 1 Real object drawing of binocular vision system

图2 双目视觉结构原理Fig. 2 The principle diagram of the binocular vision

假设左右相机的焦距和其他相关参数均相等，且平行放置。镜头基线均垂直于成像平面，左右相机满足轴 重合，轴平行，左右相机像平面重合。左右相机的成像像差只在轴存在。目标为物体上一点，在摄像机坐标系下坐标为()，点在左右像平面的成像坐标分别为的一组匹配点对。图2为该模型在X-Z平面的投影成像图。左右相机光心、平行放置相距为基线距离T。相机焦距为，点距离相机平面的距离为，则由相似三角形几何关系[9-10]可得:

推导可得：

图3 平面成像图Fig. 3 The projection onplane

2 本文方法

为了提高双目测距过程的实时性，本文设计了一种双目视觉成像测距模型，并重点研究了目标检测识别与左右视图特征匹配的问题，提出了一种基于显著性检测的双目视觉测距方法。根据目标物体在视图中颜色对比度比较明显的特征，采用基于直方图对比度(histogram contrast, HC)的显著性值检测方法[11]提取检测目标区域。针对相机焦距会随距离变化产生误差的特点，提出了一种用多组实验数据拟合相机焦距的方法，随后对检测到的目标物体应用surf算子[8]进行匹配，得到目标物体的距离信息，算法流程如图4所示。

图4 本文算法流程图Fig. 4 The flowchart of the proposed method

2.1 相机畸变校正

在本文模型中主要考虑相机的径向畸变问题[12]。由图5可以看出，由于径向畸变的存在，在远离图像中心的区域a与区域b，现实当中的直线已经出现明显的弯曲。设不考虑畸变的图像坐标为，畸变之后的图像坐标为，则两者的对应关系满足:

在考虑到畸变参数之后把世界坐标系下的点反投影到图像坐标系下，并与理想无畸变的参数进行最大似然估计，得到式(8)，可以采用LM算法进行计算求取最优解。

然后由式(9)与式(10)，

2.2 双目测距模型焦距的拟合

在双目视觉的测距过程中，由于误差存在的原因，随着距离的变大，测量的焦距逐渐增大[13]，焦距与距离近似满足线性关系如式(11)。于是本文采用测量多组数据进行线性回归拟合以得到焦距的方法。其中，求取焦距与实际距离的拟合公式为

由方程组

表 1 拟合焦距所测得的数据Table 1 Measured data by fitting the focal length

实验所得线性回归方程拟合所得图像如图7所示。

图7 线性拟合图像Fig. 7 Linear fitting image

2.3 图像的显著性检测

图像的显著性区域检测是近年来计算机视觉和图像预处理领域的研究热点之一，其本质是模拟人眼观察自然界图像时的视觉选择性注意机制，是一种视觉注意模型[14]。显著区域检测在图像检索、图像分割、目标识别[15-17]等诸多领域有广泛的应用。

本文采用CHENG的基于直方图对比度(histogram contrast, HC)的图像像素显著性值检测方法[11]。该方法利用人的视觉系统对高对比度的视觉信号比较敏感的特点，首先定义一个像素的显著性值，根据该方法的原理，一个像素的显著性值与它和图像中其他像素颜色的对比度相关，所以在图像中像素的显著性定义为

将式(20)按照像素顺序展开得到：

可以看出，由于没有考虑空间的关系，在这种定义下，具有相同颜色值的像素会具有相同的显著性值，因此把具有相同颜色值的像素归在一起，可以得到每个颜色的显著性值

图8与图9为显著性检测的实验效果图。

2.4 目标区域的提取

在得到目标物体的显著图后，首先对显著图进行腐蚀与膨胀操作，去除显著图中的噪点干扰，如图10所示。随后根据显著图中得到的目标区域信息对原图做与运算，则目标区域内像素值不变，目标区域外像素值置零，将目标区域从原图中提取出来，如图11所示。在此基础在上，对所得到的图像信息进行判断，只对像素不为零的值进行特征点匹配，处理流程如图12所示。

图8 显著性检测前效果图Fig. 8 Renderings before significance detection

图9 显著性检测后效果图Fig. 9 Renderings after significance detection

图10 对显著图先腐蚀后膨胀效果图Fig. 10 Renderings after erosion and dilate

2.5 surf算法特征点检测

由于SIFT算子在检测的过程中存在计算数据大，耗时长的问题，Bay等[8]提出了一种对尺度和旋转具有鲁棒性的快速鲁棒的特征描述方法(speed up robust features，surf)。surf检测算子与sift检测算子类似，首先构建尺度空间，初步检测极值点，在确定特征点主方向后确定特征点描述子。与sift对图像构造金字塔图不同，surf是通过改变滤波器的大小构造金字塔图层构建尺度空间，在此基础之上采用Hessian矩阵检测极值点，对检测的速度有很大提高。

图11 目标区域从原图中提取出后效果图Fig. 11 Renderings after extracted the target area from original image

图12 目标区域处理流程图Fig. 12 The flowchart of target area processing

2.5.1 Hessian矩阵确定特征点

在surf算子检测特征点的过程中Hessian矩阵判别式尤为关键，在构建尺度空间后，当Hessian矩阵判别式的局部值最大时所检测出的即为待选的特征点。在图像I中，点处尺度为，则其Hessian矩阵为

由于高斯滤波与近似高斯滤波的差异性，用滤波响应的相对权重系数来平衡Hessian矩阵行列式，一般取0.9。

图13 框状滤波模板代替高斯二阶偏导滤波Fig. 13 Frame filter template instead of Gaussian secondorder partial derivative filter

2.5.2 surf描述子

为了保证surf特征点的描述子具有旋转不变的特性，需要确定特征点的主方向。以某个特征点为圆心，在半径为6的(为尺度因子)邻域内用边长为4的Harr小波模板在X、Y方向上求取Harr小波响应。用一个圆心角为π/3的扇形窗口，以特征点为圆心旋转遍历一个完整的圆形区域，计算每个扇形窗口包括的图像点的Harr小波响应总和，其中最大的响应即为该特征点的主方向。

在此基础之上，构造一个带方向(前面计算的主方向)的正方形区域，边长设定为20，首先把区域划分成16(4×4)个子域，对每个子域计算其主方向与垂直方向上的Harr小波响应，并计算这样每个子区域可以用一来表示。将区域内得到的64个值组合起来，就得到了此特征点的surf特征描述子。

2.5.3 surf算法特征点匹配

双目立体视觉系统中最关键且最重要的一步是立体特征匹配[18]。在双目立体视觉系统中的立体匹配通常是通过寻找两幅图像中能够检测到的具有明显特征的元素如角点，边缘或者区域进行匹配。由双目立体视觉测距原理可知图像匹配的准确度决定了测量距离的精度[19]。

surf特征匹配采用近邻欧氏距离比例法，通过对图像中特征向量属性进行判断，来达到两幅图像匹配成功的目的[20]。在本文算法过程中，首先计算左图中局部特征点的特征向量与右图中待匹配特征点特征向量的欧氏距离，即式(24)，通过比较最近邻欧式距离和次近邻欧式距离之比来剔除因为噪声干扰而引起的匹配错误的特征点，即式(25)。如果大于某个阈值，则认为对应的最近邻欧氏距离匹配点与次近邻欧氏距离匹配点和其他待匹配特征点都很接近，将这一配对剔除[18]。

3 算法效果与结果对比实验

3.1 显著性检测前后对比实验

为了降低双目视觉测距的误差，降低特征匹配的错误率，本文首先对使用的相机进行了单目标定，用标定后的参数对原始图像进行了畸变校正。在此基础之上本文采取了10组目标与角度不同的图片，图为应用显著性检测方法前后surf算子匹配时间对比，可以看出在应用本文算法之后，匹配时间缩短，实时性提高，如表2所示。

表 2 算法处理前后时间对比Table 2 The time comparison before and after the algorithm processing ms

3.2 拟合焦距前后对比实验

为了测量距离更加准确，本文对相机的焦距进行了焦距拟合。并与未进行焦距拟合的实验结果进行对比。表中拟合前的测量值为将目标1与目标2实验数据计算所得焦距代入测距模型所得到的实验结果。拟合后测量值为进行线性拟合后所得焦距代入测距模型中，所得到的实验结果，如表3、表4所示。

可以看出，在该测距模型中，与拟合实验中目标1、目标2比较接近的距离误差较小，随着测量距离与目标1、目标2的距离的差距的增大，测量误差增大较快。使用进行线性拟合后的焦距测量的实验结果，相对于未进行线性拟合算出的焦距测量的实验结果，随着距离的增加误差增大较慢，测量的距离准确性增高明显。

表 3 焦距拟合前测距实验结果对比Table 3 Distance measurement results before fitting of focal length

表 4 焦距拟合后测距实验结果对比Table 4 Distance measurement results after fitting of focal length

4 结束语

本文主要提出了一种在双目视觉测距系统中通过显著性检测方法识别出目标物体，在应用特征点来进行双目视觉中左右视图的匹配，来准确获得物体距离信息的方法。本文在对相机畸变校正后，对相机进行了焦距拟合，与相机拟合前的实验结果进行对比，得到了误差更小的实验结果。本文方法旨在为旋翼飞行器中机械臂系统提供待抓取物体的深度信息。通过实验可得，本文方法得到的目标物体的深度信息准确可靠，为旋翼飞行器机载机械臂的任务抓取提供了可靠准确的数据支持。