基于会聚型双目立体视觉的测距模型

蔡雁翔,谢海成,于天琪,羊箭锋

(苏州大学 电子信息学院,江苏 苏州 215006)

1 引 言

视觉是人类感知外部客观世界的主要方式之一,人类日常所获取和接收到的大多数信息都是通过视觉[1],因此,用计算机和视觉传感器等仪器来模拟人类的大脑和眼睛的计算机视觉成为了热门研究方向。

按照视觉传感器的数量,计算机视觉可以简单分类为单目、双目和多目视觉[2]。其中,双目视觉一般由两个成像设备从不同的角度同时获取同一场景的两幅图像,并根据图像恢复出物体的三维坐标信息[3],以便后续测距、三维重构等应用的开发。

双目视觉测距方法一般采用棋盘格标定法[4]进行标定,以此为基础来进行图像畸变校正,并利用立体匹配和视差原理来得到距离[5]。其中,立体匹配作为关键的一步对测距结果的准确性产生重要影响。现有的匹配方法多是基于特征的匹配,例如,基于半全局特征匹配的SGBM(Semi-global Block Matching)算法[6]、基于局部特征匹配的SIFT(Scale-invariant Feature Transform)算法[7]、ORB(Oriented FAST and Rotated BRIEF)算法[8]等。对于特征区别较大且特征较明显的物体来说特征匹配是一种便捷的方法,但是当左右两幅画面中出现多个高度相似的目标且目标表面光滑时,由于高度相似且弱纹理表面会导致无法进行有效匹配,所以基于特征的匹配本身存在局限性。

针对上述问题,本文采用基于特征和空间位置的目标匹配方式,并将其应用到双目视觉测距模型中,建立了一种基于会聚型双目立体视觉的测距模型。

2 基于会聚型双目立体视觉的测距模型总体框架

传统双目立体视觉中,按照双目摄像机的摆放位置和它们的光轴是否平行,可以分为双目光轴平行模型和双目光轴交汇模型[9],如图1所示。

图1 双目视觉模型

图1中Ol和Or为左右两台摄像机的光心;b为光心之间的距离;f表示摄像机焦距; πl和πr为左右摄像机的成像平面。P为三维空间中任意一点,在左摄像机成像平面πl上的投影为pl,在πr上的投影为pr,z为点P到两台摄像机光心连线的垂直距离。

理想情况下,两台完全相同的摄像机左右平行放置,成像平面πl和πr共面,且它们的光轴相互平行,被称为是双目光轴平行模型。但实际研究过程中,无法保证左右摄像机的光轴处于平行状态,所以更常用的模型是双目光轴交汇模型。本文在双目光轴交汇模型的基础上,建立了基于会聚型双目视觉的测距模型。

首先,针对特征匹配存在局限性的问题,采用了基于特征和空间位置的匹配方式,先利用特征进行目标检测,再根据目标的空间位置关系进行匹配。其次,考虑到人类通过控制眼球转动始终让感兴趣的目标处于视野中央这一视觉习惯,同时因为从图像中心至边缘,畸变程度越来越明显,图像中心几乎不存在畸变的这一现象,提出了“会聚型”的概念,即在摄像机的基础上增加了舵机来模拟眼球的转动,通过控制舵机来控制摄像机视角会聚于指定目标,达到使目标物体的成像位于图像中央的效果,以此来减小图像畸变对指定目标的影响。最后,该模型依据三角形原理来计算距离。

因此,本文的测距模型总体框架如图2所示,主要包括双目图像采集、目标匹配、基于舵机的角度控制和距离测量四个部分。

图2 模型框图

在理解设计思路的基础上,对各部分算法进行详细研究。

3 基于特征及空间位置的目标匹配

本文的目标匹配主要包含目标检测和目标匹配两个步骤,流程图如图3所示。

图3 基于特征及空间位置的目标匹配流程图

目标检测是计算机视觉技术中的一项关键的任务[10],经典的运动目标检测算法有背景差分法、帧间差分法、光流法[11]。主流的深度学习目标检测算法主要分为双阶段检测算法和单阶段检测算法,分别以R-CNN和YOLO为代表[12]。

而通常需要做处理的视频或图像都是彩色的,因此颜色信息可以作为目标检测的一个重要特征和依据。经典的颜色空间有RGB,HSV,lab,YCbCr和YUV等[13]。本文中选择的颜色空间是HSV颜色空间,并且详细讨论了一种简单背景下基于HSV颜色特征的目标检测方法。在实现目标检测效果的基础上进行后续的匹配工作。

3.1 颜色空间的转换及图像滤波

首先利用RTSP协议从摄像机中实时读取两路视频。其次,摄像机采集到的视频图像是BGR格式,需要将BGR格式图像转为HSV格式。从RGB空间转换到HSV空间的转换算法的公式[14]为如式(1),转换结果如图4所示。

图4 图像格式转换

(1)

颜色空间转换完成后,选择合适的阈值对图像进行二值化处理,去除背景部分。之后对二值化图像进行形态学腐蚀膨胀处理和高斯滤波处理,保证轮廓提取的精度。具体处理效果如图5所示。

三是选择好播区。今年，飞播造林选择了几种类型的造林地块，即完成整地的未造林地、整地造林的未成林地、播前使用镐头搂沟的宜林地、灌木林地、高山远山宜林地。通过苗情调查，我们认为，飞播造林地块应尽可能进行播前整地或搂沟，为种子出苗提供了良好的土壤环境，同时可以有效避免水冲使种子集中到低洼处。几种形式的地块出苗率较好的是完成整地的未造林地和整地造林的未成林地，其余依次为播前使用镐头搂沟的宜林地、灌木林地、高山远山宜林地。

图5 具体处理效果图

3.2 轮廓提取和矩形框标定

目标检测需要对清晰光滑的二值图像进行轮廓提取操作,这里只检索最外面的轮廓。得到目标的轮廓之后,画出轮廓的外接矩形,并记录矩形框中心点。目标检测的效果如图6所示。

图6 矩形框标定结果

3.3 基于空间关系的目标匹配

当只有一个目标物体时,左右两个摄像机图像中只能找出一个轮廓,可以直接将两个画面中检测到的目标对应起来。但是当目标物体有两个及以上时,就需要进行目标匹配。本文根据左右摄像机的成像具有高度重叠性的特点,采用基于空间位置的方式进行两幅图像中多个相似目标的匹配,并利用欧式距离来进行判断。

按照两个目标的情况来考虑,摄像机图像经过处理后得到的两个目标矩形框位置如图7所示。

图7 左右摄像机图像示意图

由于左右两幅图像的分辨率是相同的,所以可以将两幅图像重叠,将四个矩形框放在同一个图像坐标系中去考虑,如将右图的目标框映射到左图的画面中相同位置。图8表示的是两个目标可能的两种匹配方式:一种是A1对应A1′,A2对应A2′;另一种是A1对应A2′,A2对应A1′。

图8 两个目标时的两种匹配情况

当目标都位于同一个坐标系中之后,就可以直接计算相对应的两个矩形框中心坐标之间的欧式距离。分别计算出图8中两种匹配方式的欧氏距离之和后进行比较,欧氏距离比较小的就是最佳匹配。根据以上讨论可知,πl平面上的A1对应πr平面上的A1′,πl平面上的A2对应πr平面上的A2′。同理可知,如果有两个以上的相似目标,可以同样根据上述的基于欧氏距离的方式来进行目标匹配。

由于双目视觉的左右画面具有高度的重叠性,导致左右画面中目标表面特征无明显差异,使用同一个目标识别算法对左右画面进行目标识别,可保证相同的识别结果,即在左图中能识别的目标,在右图中也能进行正确识别。在完成对双目视觉左右画面中的目标识别框定过程后,通过欧式距离对双目视觉左右画面中的同类型的目标进行匹配,是一种在逻辑层面上的匹配规则,且更符合人类左右双眼对目标匹配的习惯,不仅可以实现多类型目标之间的匹配,同时还能实现相似目标之间的匹配。

4 基于舵机的角度控制及测距模型

4.1 摄像头视角控制

摄像头的角度控制也就是通过控制舵机,转动摄像头视角,使摄像头光轴会聚于目标物体。

本文采用的方法是根据目标检测结果自动控制舵机。根据前文实现的目标检测和目标匹配可以得到左右两幅图像中指定目标对应的两个矩形框及其中心坐标。以左摄像头为例,将矩形框中心与整幅图像中心位置的水平坐标不断进行比较,以两个坐标值的相对大小来判断舵机向左或向右水平转动2°。不断重复以上过程直到两个水平坐标的差的绝对值小于20个像素值,即认为摄像头在水平方向上转到了合适的位置。

控制两个摄像头整体转动时,由于两个摄像头在同一平面,所以以左摄像头为准,且与水平方向的转动方式类似。当两个方向上,摄像头都转动到合适的位置时,两个摄像头就对准了指定目标。

图9为两个摄像头转动效果的平面和侧视示意图。两个摄像机的初始位置是随意摆放的,经过舵机转动后,两个摄像头光轴会聚于目标物体上。图10为图像中目标成像位置的变化示意图,经过舵机的转动,目标成像会移动到图像中心位置。

图9 摄像头转动效果示意图

图10 目标成像位置变化示意图

4.2 测距模型

本文中的两台摄像机是动态的,相对位置不固定,不能用棋盘格标定法进行标定,也就无法通过视差原理来测距。考虑到水平方向上的两台舵机相对位置固定,左右舵机转轴中心距离不变,因此选择测量的距离是目标到左舵机转轴中心的距离,并且根据模型实际运行效果,选择利用三角形原理来计算距离。

本文采用舵机控制转轴旋转使目标物体成像位置在图像的中心,图11(a)为实际摄像头转动的平面示意图。

(a)实际摄像头转动平面示意图

图中O1和O2为初始状态左右两台摄像机的光心,O1′和O2′为转动后左右两台摄像机的光心,摄像机通过支架与舵机固定在一起,可以看到舵机转动完成后,目标物体、摄像机和舵机转轴中心处于一条直线上。目标物体和两个舵机的转轴中心构成了一个三角形,简化示意图如图11(b)所示。

根据解三角形原理:

(2)

其中,b、α和β已知,根据可以求得目标物体到左舵机转轴中心的距离:

(3)

5 实验结果及分析

本文采用基于HSV颜色空间的目标检测方法,在简单背景情况下,选择灰色为待识别颜色,通过设置合适的高、低阈值来实现较好的识别效果。检测效果如图12所示。

图12 目标检测结果

模型检测到特定颜色的物体后,将会根据空间位置对两幅图像中的目标进行匹配,舵机将根据匹配结果将指定目标的成像移动到图像中央。将模型进行测试,舵机能够达到使指定目标成像位于图像中央的效果。图13(a)为单个目标;图13(b)为两个目标,此时指定从左到右第二个物体为目标。

(a)单个目标

而采用SIFT和ORB方法对目标框内进行特征提取时,由于目标表面光滑且高度相似,提取到的特征多数位于目标边缘,且匹配存在较多误差。特征检测和匹配结果如图14、15所示。

(a)SIFT

(a)SIFT

在实现摄像机光轴自动会聚目标物体的功能后,接着进行了多次距离测量,测量结果如表1所示。

表1 距离测量结果

从表1中的测量结果来看,本文的测距方法相对误差在6.5 %以内,平均相对误差为4.13 %。

总体来说,本文设计的模型能够测量出目标到左舵机转轴中心的距离,与实际距离相比存在一定的误差,但误差在可接受范围内。

6 结 论

本文针对双目视觉测距方法中相似目标匹配存在困难这一问题,提出了采用基于特征和空间位置关系的匹配方式,并应用到测距模型中,研究了基于会聚型双目视觉的测距模型。实验表明,该模型能够实现简单背景下对特定目标物体的检测及匹配,摄像机能够根据设计要求自动会聚于目标物体,且能够测量出目标到左舵机转轴中心的距离,证明了本文模型的可靠性。然而,由于摄像机图像采集具有延时、舵机角度控制精度不足,导致测试结果与实际距离相比存在误差。后续考虑采用性能更好的硬件模块进行实验,以减小测距误差。