基于深度学习的双目测距系统分析

李 丹,洪明峰

(安徽工业大学 电气与信息工程学院,安徽 马鞍山 243002)

0 引言

无人驾驶技术对室外环境中的目标检测与距离测量有着极高的要求.传统的目标检测采用了诸如梯度直方图[1]和尺度不变特征变换[2]等方法,在视觉导航[3]和智能视频监控[1]中获得良好的检测效果.但传统的目标检测方法计算量较大,时间复杂度高.随着深度学习的发展,目标检测方向上提出了越来越多的基于卷积神经网络(CNN)的方法,例如2014年提出的基于分类思想的R-CNN,之后被改进为fast-R-CNN[5]和faster-R-CNN[6].Yang等[7]提出了Fast-YOLO模型,并结合半全局匹配(Semi-global Matching, SGM)算法识别和定位物体.Liu Wei[8]等提出SSD,使用多尺度特征图进行目标检测.Howard Andrew G[9]等人提出了深度可分离卷积MobileNet网络,使深度学习以较高的速度运行在移动端以及嵌入式平台上.基于深度学习的目标检测算法,比传统算法具有速度快、精度高、鲁棒性高等特点.

在距离测量上,现有的应用技术是激光雷达等主动式传感器[10-11]但其造价昂贵,且测量范围有限;而摄像头作为一种被动式传感器,价格低廉,测量范围广,具有广阔的应用前景.在摄像头测距这一方面,双目视觉技术是一种常用的方法,它利用两个及以上摄像头同时拍摄得到不同视角的同一目标图像,并借助双目相机模型[12]矫正左右图像的畸变,最后通过图像点的立体特征匹配计算出目标物的部分三维信息,完成目标检测及距离测量.其中立体特征匹配方法是从图像的边缘,颜色和纹理等特征中找到图像对的对应点[13].如背景差异方法[14]和光流方法[15]可用于从连续视频帧的背景中提取运动对象,并将它们应用于智能交通的背景[16].

本文设计了一种新型的双目测距系统,结合实时性的要求,使用MobileNetv3-ssdlite进行目标检测后截取目标图片,通过特征点匹配算法,获得双目图像上相匹配的特征点,最终利用三角测量原理计算得出目标障碍物的深度信息.该系统能够在树莓派4B上实现目标物的距离测量,具有成本低、精度较高,实时性强,并能获得丰富的目标深度信息等优势.

1 硬件平台设计

实验主体是双目摄像头拍摄的图片,经过树莓派进行处理,实现对目标物的检测并测量距离.实验所使用的硬件平台主要由双目视觉传感器和树莓派2部分组成.

本文采用的照片采集设备是具有100万像素的高清同步双目摄像头模组,模组实物如图1所示.

该摄像头焦距为2.1mm,具体参数性能如表1所示.

表1 相机性能参数

实验系统采用树莓派4B,在Linux中处理双目摄像头采集图像及后续相关操作,树莓派4B如图2所示.

图2 树莓派系统

2 基于Matlab的双目相机标定及误差分析

由于 OpenCV 的标定结果极不稳定,所以本文中相机标定的方法采用张正友平面标定法,并通过使用Matlab进行标定实验的操作.标定完成后将获取的参数保存备用.通过读入左右相机采集的标定板图像同时进行标定,获取相机内外参数、畸变系数及右侧摄像机相对于左侧摄像机的位置参数.标定过程如下所述.

1) 左右相机标定.

使用标准黑白棋盘格来制作标定板,然后获取不同角度的标定板图像.本文实验一共采集40对标定板图片,共计80张图片.采集的标定板样本图如图 3所示.

图3 标定板图片

2) 双目相机立体标定.

将摄像机拍摄到的左右目的标定板的图片加载到Matlab标定工具箱的双目标定程序中,如图4所示.

图4 双目标定棋盘格角点检测图

由摄像机标定实验所得到最终的参数如表2～3所示. 双目摄像机外参为右摄像机相对左摄像机的变换参数,旋转矩阵为

3) 摄像机标定误差分析.

图5为双目立体标定重投影误差图,重投影误差均值为0.5.从图6中标定板相对摄像机的空间位置可看出,本实验采集的标定板图像移动角度较明显,有利于提高摄像机的标定精度.

表2 左侧摄像机标定

[0.081 65 -0.066 90 -0.000 26 -0.000 47 0.000 00].

表3 右侧摄像机标定

[0.090 47 -0.090 38 0.000 01 -0.000 21 0.000 00].

图5 双目立体标定误差

图6 标定板空间位置图

3 深度学习双目测距算法

本文将MobileNetv3-SSDlite模型用于目标物检测识别,提取前方视野中的物体.具体描述为利用自己的数据训练出MobileNetV3,并抽出其中的两层特征层作为Backbone加入到SSD中,同时在SSD网络中补充四层卷积层进行特征提取,最后通过训练进行分类和回归.MobileNetv3是一种基于深度可分离卷积的分类网络,适于在嵌入式平台上使用.MobileNetv3网络结构如图 7所示,结合了v1,v2和MnasNet的结构,在达到相同精度下相对于v2速度提升了25%.

图7 MobileNetv3网络结构

为了降低在移动设备上的计算开销,MobileNetv3使用改进后的swish作为激活函数,即hard-swish激活函数,其表达式为

(1)

SSD利用多尺度特征图进行目标检测,对较小物体的检测能力,明显优于同类型的YOLO模型,其网络结构如图8所示.

本文选择差异值哈希算法(dHash)对提取出的目标图像计算指纹信息和汉明距离,通过汉明距离的大小判断两张图片的相似性并匹配出左右目中的同一物体.同时,本文提出了一种改进的ORB特征匹配算法,利用一种高效且鲁棒性较强的LDB (Local Different Binary)[17]描述子代替BRIEF描述子进行匹配,并引用一种基于网格的运动统计匹配方法剔除误匹配点,完成特征点的提纯,算法流程如图9所示.

图8 SSD网络结构

图9 基于网格运动约束的ORB特征匹配算法流程

本文通过使用局部图像的特征点匹配来获取双目图像上目标物对应特征点.这种基于检测目标特征点的测距算法只关注部分点对,减少了计算量.同时采用Bouguet算法进行立体校正,将图片上的点映射到理想状态下,之后通过三角测距算法进行距离计算.

3.1 Bouguet算法

Bouguet算法将标定获取的旋转矩阵分解成rl和rr,分解后的旋转矩阵称为合成旋转矩阵.接着利用双目立体标定求得的平移矩阵T,构造变换矩阵Rrect,将图像校准为行对准状态.

通过变换矩阵将左视图的极点变换至无穷远处.左右摄像机的投影中心之间的平移向量就是左极点的方向,构造的e1为

(2)

e2的方向与主光轴方向正交,沿着图像的方向,与e1垂直;e2方向可通过e1与主光轴方向的叉积并归一化获得.

(3)

e3与e1和e2正交,即e3是e1和e2的叉积.

e3=e1×e2.

(4)

则变换矩阵Rrect为

(5)

左右摄像机的成像平面行对准的旋转矩阵为

(6)

最后计算出平行校正后双目摄像机的内参数矩阵和重投影矩阵,通过重映射的方法,完成立体校正,如图10所示.

(a) 立体校正前

(b) 立体校正后图10 立体校正效果

3.2 三角测距算法

如图11所示,P点是待测量点,OR、OT为左右相机的光学中心,p和p’为P在左右相机上的成像点,XR、XT为图像上的横坐标值,B为相机间距,f相机焦距,Z为待求的距离.

图11 三角测量原理

设d为p和P’的距离,则

d=B-(XR-XT).

(7)

根据相似三角形原理

(8)

可得

(9)

完成立体校正后,点对满足共面行对准关系,根据三角测距算法即可求得待测物体的实际距离.

4 实验结果分析

4.1 MobileNetv3-SSDlite网络目标检测结果

利用MobileNetv3-SSDlite网络进行室外目标检测的效果如图12所示,左右2张图是双目摄像模组同时拍摄得到.在较为复杂的外部环境下,MobileNetv3-SSDlite网络对目标车辆的识别度依旧良好.

图12 MobileNetv3-SSDlite识别效果

4.2 dHash算法匹配结果

通过dHash算法进行左右目同一目标物匹配的效果如图13所示,同种颜色款代表同一目标物,可以看出,dHash算法对室外场景下目标车辆的匹配准确率较高.

图13 dHash匹配效果

4.3 改进的ORB特征点匹配算法结果

经由MobileNetv3-SSDlite获取到目标图片后,再经过改进的ORB算法进行特征点匹配,特征点匹配结果如图14所示.在室外环境下,改进后的ORB算法剔除了错误的匹配点,特征点的匹配精确度较高,体现出改进ORB算法的优越性.

4.4 距离测量结果

对实际距离与测量距离进行拟合,拟合结果如图15所示.将拟合的距离值与实际测量值对比可知,误差范围为(28.56±0.012) mm.满足无人驾驶车辆对距离测量的误差要求.

图14 匹配结果

图15 测量值拟合结果

5 结语

随着计算机视觉与无人车技术的发展,本文探索了基于深度学习的双目测距系统.该系统利用树莓派对双目相机拍摄的二维图像进行处理,通过相机标定、立体校正后,使用MobileNetv3-SSDlite深度学习网络模型识别目标物体,利用特征点匹配算法获取物体特征点对,通过三角测量实现对目标物距离的测量,在实际应用中验证了本系统的有效性.