一种单双目结合的全景避障测距方法

曹文君　赵祚喜　刘雄　李叶林

摘 要： 基于平行双目的测距技术已经较为成熟，而在许多实际应用中两相机的位置并不平行，导致两相机视场重叠区域大幅减少，从而缩小了测距范围。针对此问题，提出一种单双目结合的全景测距方法。该方法通过在视场重叠区域使用双目测距，在非重叠区域使用单目测距，以实现在整个视场都能实现障碍物测距，并且将此方法推广到全景相机上实现360°方位的测距。通过实验验证该测距方法的精度，实验结果表明，该方法具有较好的测距精度，能满足避障的精确性要求。

关键词： 避障； 重叠区域； 测距； 单双目结合； 全景相机

中图分类号： TN948.41?34； TH761.2 文献标识码： A 文章编号： 1004?373X（2017）05?0038?04

Abstract： The range finding technology based on parallel binocular vision has become relatively mature， but the unparallel position of the two cameras in the practical applications can reduce the field overlapping area of the two cameras， so as to shorten the scope of range finding. Aiming at the above problems， an omnidirectional range finding method combining binocular vision with monocular vision is proposed， in which the binocular range finding is used in the FOV overlapping area， and the monocular range finding is used in the non?overlapping area to realize the obstacle range finding in the omnidirectional FOV. The method is popularized to the omnidirectional range finding of the panorama camera. The precision of the range finding method was verified with an experiment. The experimental results show that the method has high range finding accuracy， and can meet the accuracy requirement of the obstacle avoidance.

Keywords： obstacle avoidance； overlapping area； range finding； monocular and binocular combination； panorama camera

0 引 言

機器视觉是人类利用计算机实现人的视觉功能对客观世界三维场景的感知、识别和理解，是一个相当全新而且发展迅速的研究领域[1]。基于各类传感器的机器人避障研究一直是机器人研究领域的热点，例如利用激光雷达、超声波等传感器[2?6]。激光雷达和超声波的原理都是通过主动发射脉冲和接收反射脉冲来测距的，因此当多个机器人同时工作时，相互之间可能产生干扰，而视觉是被动测量，不存在这种问题。将视觉传感器与接触传感器、激光雷达和超声波等其他传感器相比，机器视觉测量到的障碍物信息更丰富、完整，而且增加了障碍物的检测范围，这使得通过视觉传感器准确获取信息成为智能机器人避障的主要发展方向之一。

传统的局部视觉系统尽管成像形变较小、使用方便，但观察范围有限，只能观测到摄像机前方几十度视场内的目标，在场地复杂环境下能够提供的信息较少，不利于优化避障决策。因此，国内外都开始了对全景视觉系统的研究。杨鹏等针对足球机器人比赛中要求快速准确获取目标位置信息的特点， 设计了由双曲面折反射全景视觉和前向视觉共同构建而成的机器人视觉系统[6]。周宗思将全方位视觉传感器采用两个相同结构的双曲面折反射摄像机同轴同向上下安装，然后根据双目测距原理检测障碍物[7]。文献[8]提出一种只使用一个全景相机检测静态障碍物的绝对距离，这种方法不需要知道基线长或人工标记，但是需要确定相机中心距地面的距离。文献[9]将两个Ladybug3上下对齐重叠构成全方位立体视觉系统，获取3D深度图，实现距离的测量，缺点是需要2个全景相机，体积大、成本高。

本文基于以上背景提出了一种单双目结合的测距方法，实验结果证明该方法具有较好的测距精度，能满足避障的精确性要求。

1 单双目测距策略

本文研究的双目视觉系统镜头分布及测量范围的平面示意图，如图1所示。根据其视场分为四个区域，A区为视场重叠区，B、C区为非重叠区域，即只有一个摄像机能观测到的区域，以及一个盲区，即两个摄像机都观测不到的区域。O0，O1分别为cam0，cam1的光心，Z0，Z1分别为光轴，[β]是两摄像机所成的夹角（[90°<β<180°]），[φ]是摄像机的最大水平视角，两摄像机的最大视角相等。当摄像机的边界线出现在相邻相机视场中时，称边界线为对应摄像机下的视场分界线[10?11]。A区的两视场分界线所成角度为重叠角[θ]。

则相邻摄像机重叠区域的角度[θ]的计算公式为：

投射到图像平面上的各个区域的关系示意图如图2所示。其中[W]为采集到单幅图像的宽度，根据式（1）与图2的三角关系可以计算出重叠区域的宽度[d：]

在求出重叠区域的宽度[d]后，即可确定视场分界线的位置。根据视场分界线判断障碍物是否存在重叠区域，来确定使用双目测距或单目测距。假设cam0中一个视角边界[l0]与[x]轴重合，[l2]为最左边界；[l1]为cam1的最右边界，[l3]为最左边界，如图3所示。

在图3中，[α0]为cam0的非重叠视场，[α1]为cam0与cam1的重叠视场，[α2]为cam1的非重叠视场。由式（1），式（2）可得：

若摄像机的视场中存在障碍物[（x，y），]定义[G（x，y）]为被测障碍物与视场分界线的关系函数，以此判断其障碍物是否在重叠区域。函数如下：

根据[G（x，y）]取值，即可判断被测障碍物处于摄像机的视场内位置。若障碍物处于重叠区域中，则开启双目测距机制；若处于非重叠区域中，则开启单目测距机制。

本文将以上提出的单双目结合测距策略应用于全景相机Ladybug3，实现360°测距。Ladybug3全景相机是一种多相机球面全景成像系统，它由6个200万像素SONY镜头相机组成，其结构如图4所示。

全景相机Ladybug3的镜头成正五边形分布，其中侧面5个相机负责拍摄水平方向图片，顶部1个相机负责拍摄垂直方向图片，能同时采集6幅图像。侧面5个相机可以形成5对单双目组合，从而实现360°障碍物测距。

2 重叠区双目测距

如果障碍物处于图1的A区域中，则两个摄像机可以同时观测到此障碍物。此时，开启双目测距机制，当对两个摄像机的摆放位置不做特别要求，两摄像机之间有任意的旋转和平移，这样便构成了非平行配置双目立体视觉。

设两摄像机的有效焦距分别为[f0]和[f1，]取cam0的坐标系为[O?xyz，]图像坐标系为[O0?X0Y0，]cam1的坐标系为[O1?x1y1z1，]图像坐标系为[O1?X1Y1，]空间任意一点[P（x，y，z），][P]点在左右图像上的坐标分别为[P0（X0，Y0）]和[P1（X1，Y1）。]

根据透视变换的三角关系等式可以得到：

[X0=f0xz， Y0=f0yz， X1=f1x1z1， Y1=f1y1z1] （5）

而cam0的坐标系与cam1的坐标系之间的相互位置关系可以通过空间变换矩阵[M]来表示。

[xryrzr=Mxyz1，M=r1r2r3txr4r5r6tyr7r8r9tz=Rt] （6）

式中：[R]和[t]分别为[O?xyz]坐标系与[O1?x1y1z1]坐标系之间的旋转矩阵和原点之间的平移向量。可以推导出空间点的三维坐标为：

通过摄像机标定技术得到了左右相机的有效焦距及左右相机之间的旋转矩阵[R]与平移向量[t，]则只要通过匹配算法获得空间物点在左右像平面上所成像点的坐标，就可以按照式（7）计算出空间物点的三维空间坐标及深度信息。

下面以cam0和cam1为例阐述对障碍物测距：由Ladybug3的SDK同步获得图像；利用Matlab标定工具箱对摄像机进行标定，得到内外参数；使用RANSAC?SIFT匹配算法对采集的图像进行匹配，获取特征点坐标；利用透视模型推导式（7）计算距离。测量距离与实际距离及误差如表1所示。

3 非重叠区单目测距

如果障碍物处于图1的B或C区域中，则只有一个摄像机可以观测到此障碍物。此时，开启单目测距机制。单目视觉系统一般对摄像机进行内、外参数标定， 建立测量坐标参考系，采用对应点标定法获取图像的深度信息，然后求得物体的距离。对应点标定法是指通过不同坐标系中对应点的对应坐标求解坐标系的转换关系，在标定过程中，由于受器材限制，无法做到十分精确地记录一个点在世界坐标系和图像坐标系中的对应坐标。

本文采用数据回归建模的方法[12]建立测距模型，先获取距离样本点与像平面之间较为稠密的一一对应关系， 再用数据回归分析的方法建立该映射关系对应的测距模型。该方法不用再单独考虑成像模型、成像系统误差、透镜畸变等带来的影响， 而是在进行回归拟合时隐含地加以解决。与以前方法相比，计算复杂性不高，但相对而言，准确性和鲁棒性较高，且无须在使用前标定相机。

回归建模所需的观察数据来自定标实验。从1.2 m处开始测量，每隔0.2 m测量一次，一直到5 m处，共20个观察值。由记录所得的观察数据，采用非线性回归对该模型进行拟合。

回归模型进行非线性回归建模：

式中：[D]为要求取的实际距离；[y]为像平面垂直高度值；[（b0，b1，b2）]为未知参数；[ε]为零均值的随机变量。定义[y1=y，][y2=y2，]利用最小二乘法对参数[（b0，b1，b2）]进行估计，像平面垂直高度[y]对实际距离[D]的回归方程为：

最后，利用检验假设检验显著性水平，验证上述回归方程是否有意义，结果表明回归方程有意义。使用非线性回归模型求得的测量距离与实际距离及误差见表2。

4 实验结果分析

對表1，表2的实验结果进行分析， 可以看出：双目测距结果最大误差在5 m处，达到4.30%，误差随着距离的增大逐渐增大；单目测距结果的最大误差为3 m时的8.67%，误差的变化较为随机，并不随着距离的增大而增大，但是误差明显比双目测距要大。实验中的测距相对误差最大为9.78%，测距绝对误差最大为0.76 m，其中，在5～10 m范围最大误差为0.57 m，在10～20 m 范围内最大误差为0.76 m。可见，在要求的安全行车距离范围之内，本文提出的测距算法完全可以满足测距的准确性要求。

5 结 论

本文提出了一种单双目结合的全景测距方法。该方法通过在视场重叠区域使用双目测距，在非重叠区域使用单目测距，充分利用整个视场实现障碍物测距。此方法对于多目全景相机解决360°障碍物探测具有指导性意义。同时，实验结果分析表明，该方法具有较好的测距精度，能满足避障的精确性要求。

本文下一步将把单双目结合测距策略应用于多目全景相机Ladybug3中，实现全方位障碍物检测。同时，针对单目测距精度较低的问题继续进行实验，对一定距离障碍物分别采用双目和单目方式测距，得出所用相机两种方式测距之间的定量误差关系，用于校正实际使用时单目测距区的测量值。

注：本文通讯作者为赵祚喜。

参考文献

[1] 张广军.机器视觉[M].北京：科学出版社，2005.

[2] 刘杰，闫清东，唐正华.基于激光雷达的移动机器人避障控制研究[J].计算机测量与控制，2015，23（3）：787?790.

[3] 蔡自兴，郑敏捷，邹小兵.基于激光雷达的移动机器人实时避障策略[J].中南大学学报（自然科学版），2006，37（2）：324?329.

[4] 李恒，徐小力，左云波.移动机器人超声波测距避障系统设计[J].现代电子技术，2014，37（3）：157?159.

[5] 韩军，常瑞丽，陈志灵.智能移动机器人超声波测距定位系统的研究[J].煤矿机械，2009，30（8）：66?68.

[6] 杨鹏，高晶，刘作军，等.基于全景与前向视觉的足球机器人定位方法研究[J].控制与决策，2008，23（1）：75?78.

[7] 周宗思.全方位视觉技术及其在移动机器人导航中的应用[D].杭州：浙江工业大学，2008.

[8] MILLNERT O， GOEDEME T， TUYTELAARS T， et al. Range determination for mobile robots using an omnidirectional ca?mera [J]. Integrated computer?aided engineering， 2007， 14（1）： 63?72.

[9] YANG Liangliang， NOGUCHI Noboru， ISHII Kazunobu. Deve?lopment of a real time multi?lens based omni?directional stereo vision [R]. US： Perkin Elmer， 2012.

[10] KINDLMANN U， WHITAKER R， TASDIZEN T， et al. Curvature?based transfer functions for direct volume rendering： methods and applications [C]// Proceedings of 2003 IEEE Visualization Conference. Salk Lake： IEEE， 2003： 513?520.

[11] LUNDSTROM C， LJUNG P， YNNERMAN A. Local histograms for design of transfer functions in direct volume rende?ring [J]. IEEE transactions on visualization and computer graphics， 2006， 12（6）： 1570?1579.

[12] 沈志熙，黄席樾.基于数据回归建模的单目视觉测距算法[J].计算机工程与应用，2007，43（24）：15?18.