结合图像分割和点云分割的障碍物检测算法

莫建文，芦爱余，张 彤

（1.桂林电子科技大学 信息与通信工程学院，广西 桂林541004；2.桂林电子科技大学 机电工程学院，广西 桂林541004）

0 引 言

基于图像的障碍物检测［1，2］主要涉及模式识别、图像处理、人工智能等理论。基于双目视觉的障碍物检测，现已有很多研究，但都有一定的不足。其代表性的方法有基于双目视觉图像分割方法，这种方法首先对单图像分割出障碍物，然后利用双目视觉获取障碍物的深度信息［3，4］。该方法受光照影响较大，存在漏检的风险。另外基于V－视差的障碍物检测方法［5］，利用了深度信息进行障碍物检测［6，7］，能准确检测出垂直于路面的障碍物，但不适用于曲面道路或其它不规则的障碍物的情况。基于检测车道线的障碍物检测［8］，通过先检测出道路标线再检测障碍物的方法，对无标线道路中的障碍物检测无能为力。

为解决上述问题，本文提出了一种结合均值漂移（Mean Shift）图像分割和点云分割的障碍物检测方法，首先获取障碍物的三维点云，然后将点云视差图与Mean Shift图像分割结果进行比较，最终确定障碍物。通过本文方法，在获得稀疏三维点云的情况下，能准确地检测出不同深度、倾斜面和不规则的障碍物。

1 结合图像分割和点云分割的障碍物检测模型

在现实场景中，通常将高于路平面的物体视为障碍物。通过立体匹配和重投影变换计算物体的三维点云，能反映物体在真实空间中的大小和相对摄像机的深度。在如图1所示双目摄像机平行于路平面的情况下，路平面上每一点在Y 轴方向的值Yc都相同。在真实场景三维点云中分割出路平面点云，剩下的点云即为障碍物点云。由于受光照、遮挡、低纹理等影响，立体匹配计算生成的三维点云存在空洞区域，利用三维点云分割方法不能完整分割出障碍物。因此，结合Mean Shift图像分割技术，将分割后的子图与障碍物点云对应的视差图像区域比较判断，能得到完整的障碍物并进一步保证障碍物的正确性。具体流程如图2所示。

图1 摄像机与路平面平行的模型

图2 障碍物检测流程

本文以左图像为基准图像，采用半全局立体匹配SG－BM 算法［9］进行立体匹配计算视差图，视差图上每一元素经过三维重投影方法计算得到三维点云的（Xc，Yc，Zc）值。使用基于Mean Shift图像分割算法，对基准图像进行彩色图像分割。校正后的彩色图像对、图像分割结果、未处理的三维点云和视差图如图3到5所示。

图3 彩色图像对

图4 基准图像分割结果

图5 三维点云

2 障碍物检测

2.1 障碍物点云分割

从障碍物点云中分割出障碍物，首先需要去除地平面及检测范围外的点云。具体按以下步骤进行：

（1）分割检测范围内的三维点云。本文设定检测范围的最小深度Zmin为0.5m，最大深度Zmax为2.5m。根据深度检测范围，将大于Zmax和小于Zmin的点云去除，剩下障碍物点云和路面点云。

（2）分割路面点云。根据本文中路平面检测方法，可检测出路平面点云Y 轴坐标值为Yc，以h表示路平面最终高度值，Δh 为可检测的最小障碍物高度，则h＋Δh 作为障碍物与路面点云的分割阈值。将三维点云中Yc值大于h＋Δh 的点云分割为障碍物点云。去除道路点云后，障碍物点云分割结果如图6所示。

图6 障碍物点云分割结果

（3）不同位置的障碍物点云分割。这一步骤是对不同深度的障碍物和同一深度不相连的障碍物进行分割。将步骤 （2）中分割得到的障碍物三维点云投影Zc轴上，在Zc轴上不连续的位置进行分割，得到不同深度的障碍物点云；对相同深度的障碍物点云，在Xc轴上进行投影，在Xc轴上不连续的位置进行分割。通过X，Z轴的投影分割，原始三维点云变成一对一的区域分割点云。每个点云区域对应一个障碍物。障碍物的远近通过分割点云的Z 坐标分量确定，高度通过Y 分量确定，宽度通过X 坐标分量确定。

2.2 均值漂移分割算法

仅依靠三维点云分割得到的障碍物点云来判断障碍物，在双目匹配条件差的情况下易误判为多个障碍物。将分割出的障碍物点云对应的视差图结合Mean Shift图像分割得到子图进行比对的方法能更准确判断障碍物的正确性和区域。

基于Mean Shift的图像分割算法［10－12］，是一种区域分割方法，这种分割方法适用于灰度图像和彩色图像，受图像纹理影响较少，分割后的图像边界清晰，在较复杂的环境下仍能得到较好的分割结果，具有较强的鲁棒性。

Mean Shift算法是一种在密度分布数据中寻找局部稳定极值的方法。Mean Shift算法的步骤如下：

（1）选择搜索窗口参数，包括窗口的初始位置、类型、形状、大小等；

（2）计算窗口的重心，可带权重计算；

（3）设置窗口的中心不在重心处；

（4）重复步骤 （2），直至窗口重心位置稳定不变。

使用矩形的窗口计算重心，图像像素分布的重心计算如式 （1）所示

Mean Shift算法在图像分割上的应用，可分为图像平滑和分割两部分。Mean Shift算法实现的图像分割，是将收敛于同一极值的所有点归为同一类，并将符合条件的类合并，从而实现分割。例如一幅彩色图像，维数为（x，y，R，G，B）。选择的窗口半径为空间半径和颜色半径，运用Mean Shift算法扫描空间，寻找数据密度最高的点，然后将数据连通起来，从而实现图像分割。

2.3 稀疏点云下的障碍物的检测

由于受光照、遮挡、低纹理等影响，立体匹配计算生成的三维点云存在空洞区域，利用2.1中的三维点云分割方法不能完整分割障碍物。结合Mean Shift图像分割技术，将稀疏障碍物点云对应的视差图与该区域附近的通过Mean Shift分割出的图像子图判断重叠的比例，才能得到完整的障碍物并保证障碍物的正确性。

如图7所示，设七边形为Mean Shift分割得到的子图，五边形为障碍物点云对应的视差图，子图区域的长和宽构成外接矩形A1B1C1D1，障碍物点云对应视差图构成外接矩形A2B2C2D2，设判断为障碍物的比例因子为α（0＜α≤1）。根据子图和障碍物点云对应视差图的位置，判断子图是否为障碍物的步骤如下：

（1）比较两个矩形的重合区域，若两个矩形不相交，则判断子图不是障碍物，对下一子图进行判断。

（2）若两个矩形相交，如图7所示，相交于E和F点，若边D1E 与边D1C1的比例小于α，则判断子图不是障碍物；若边D1E与边D1C1的比例大于或等于α，则对重叠的区域进行下一步判断。

（3）重叠区域判断，图7中A2FC1E 组成的区域为重叠区域。分别二值化重叠区域内的子块和障碍物视差图，将二值化后的图像相减，计算值为0的像素总数占重叠区域像素总数的比例，若比例大于α，标记子图为障碍物。

（4）重复上述步骤，对所有子图和障碍物视差图进行比较，判断子图是否为障碍物。对所有的子图进行比较后，合并标记为障碍物的子图，最后在基准图像中标记出障碍物。图像分割往往会分割出许多面积很小的子图，为减少计算量，不对较小面积的子图判断。

图7 重叠判断图例

3 实验结果与分析

本文设定检测范围在离摄像机距离为0.5 m 至3 m，摄像机离地面高度约为0.5 m，本文中Mean Shift图像分割方法设定的空间半径为20，颜色半径为40。如图4 所示，分割后的图像边界清晰，获得了较好图像分割效果。

使用结合Mean Shift图像分割方法分割出的子图与障碍物三维点云对应的视差图进行比对的检测方法，如图8所示，系统通过视差图所获得的三维点云分割如图6所示，分割出的障碍物点云对应的视差图如图8 （b）所示，障碍物检测效果如图8 （c）所示。对倾斜于路面的、不规则的和不同深度的障碍物进行检测，检测效果如图9所示。从表1可以看出，在检测范围内，对垂直于路平面、倾斜面、不规则和不同深度的障碍物均能正确检测出来，检测误差较小。识别软件系统如图10所示。

图8 垂直于路平面的障碍物检测

图9 障碍物检测结果

表1 不同条件下的障碍物检测结果

图10 障碍物检测系统

4 结束语

本文提出使用结合Mean Shift图像分割方法分割出的子图与障碍物三维点云对应的视差图进行比对的检测方法。算法能在在双目匹配条件差，容易误判断为多个障碍物的情况下，获得较准确的检测结果，但在无人驾驶和自主移动机器人应用中，往往需要检测出路面，这是今后开展研究的一个重要方向。

［1］Vitor GB，Lima DA，Victorino AC，et al.A 2D／3D vision based approach applied to road detection in urban environments［C］／／Intelligent Vehicles Symposium.IEEE，2013：952－957.

［2］Benzerrouk A，Adouane L，Martinet P.Obstacle avoidance controller generating attainable set－points for the navigation of multi－robot system ［C］／／Intelligent Vehicles Symposium.IEEE，2013：487－492.

［3］ZHANG Huaixiang，ZHU Jingchen.Research strategy based on binocular vision obstacle avoidance algorithm ［J］.Hangzhou University of Electronic Science and Technology，2013，33 （4）：31－34 （in Chinese）.［张怀相，朱金成.基于双目视觉的避障策略算法研究 ［J］.杭州电子科技大学学报，2013，33 （4）：31－34.］

［4］WANG Ping，HAN Xie，HAN Yan.Extracting depth information of the object based on binocular vision technology ［J］.Science Technology and Engineering，2014 （2）：56－61 （in Chinese）.［王平，韩燮，韩焱.基于双目视觉技术的物体深度信息的提取 ［J］.科学技术与工程，2014 （2）：56－61.］

［5］MIAO Xiaodong，LI Shunming，SHEN Huan.Road vehicles detection by visual methods ［J］.Sensors and Microsystems，2010 （2）：5－8 （in Chinese）. ［缪小冬，李舜酩，沈峘.路面车辆的视觉检测方法［J］.传感器与微系统，2010 （2）：5－8.］

［6］Huh K，Park J，Hwang J，et al.A stereo vision－based obstacle detection system in vehicles［J］.Optics and Lasers in Engi－neering，2008，46 （2）：168－178.

［7］Oniga F，Nedevschi S，Meinecke MM，et al.Road surface and obstacle detection based on elevation maps from dense stereo［C］／／Intelligent Transportation Systems Conference，2007：859－865.

［8］HU Changchun，ZHAN Yongzhao，LIU Zhiqiang.Lane offset detection and early warning based on edge features ［J］.Computer Applications and Software，2009，26 （1）：118－119（in Chinese）.［呼长春，詹永照，刘志强.基于边缘特征的车道偏移检测与预警 ［J］.计算机应用与软件，2009，26 （1）：118－119.］

［9］Yang Qingxiong.Stereo matching with color－weighted correlation，hierarchical belief propagation and occlusion handling［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2009，31 （3）：492－504.

［10］Senthilkumaran N，Rajesh R.Edge detection techniques for image segmentation－a survey of soft computing approaches［J］.International Journal of Recent Trends in Engineering，2009，1 （2）：250－254.

［11］Ikemura S，Fujiyoshi H.Real－time human detection using relational depth similarity features［M］／／Computer Vision－ACCV.Berlin：Springer Berlin Heidelberg，2011：25－38.

［12］Tao W，Jin H，Zhang Y.Color image segmentation based on mean shift and normalized cuts ［J］.IEEE Transactions on Systems，Man and Cybernetics，Part B：Cybernetics，2007，37 （5）：1382－1389.