结合自适应阈值与动态ROI的地标线检测方法

尹震宇,尹 聪1,,张飞青1,,徐光远1,,徐福龙1,

1(中国科学院大学,北京 100049)

2(中国科学院 沈阳计算技术研究所,沈阳 110168)

3(辽宁省国产基础软硬件工控平台技术研究重点实验室,沈阳 110168)

0 引 言

车间自主巡检机器人完成巡检任务的基本前提是其能够在车间中规定区域内自主移动,这就必须具备自主导航定位的能力.传统的室内导航定位技术包括磁感应导航、标识码定位、射频识别定位以及红外线定位等[1],这些方法的灵活性较差,一旦车间布局发生变化,就需要耗费一定的人力和物力对其进行维护.而视觉导航主要通过摄像头获取外部环境信息,并利用车间环境中某些人工特征进行识别来完成导航任务,具有自主性强、可靠性高、响应速度快等优点[2].近年来,随着视觉传感器、嵌入式等技术的快速发展,视觉导航已广泛应用于工业生产、仓储物流和港口码头等领域.

在实际的车间中,受室内环境的限制,一般采用人工特征来辅助机器人完成视觉导航任务.为了尽可能减少对环境的改造,可以利用现成的通道地标线作为特征进行检测和识别.车间中的通道地标线通常具有高度结构化和颜色标准化的特点,其中5s现场管理规范中规定作业通道必须采用“黄线绿底”[3]进行标识,这为基于视觉信息的导航方式提供了极大便利.然而在不同的车间中,黄色地标线的磨损程度不同,颜色阈值也千差万别,即使是在同一个车间中,随着光照变化、地面积水以及油渍粉尘污染等因素的影响,相邻帧之间的地标线阈值也会有略微的差异,容易造成地标线分割不完整或分割混乱的情况.因此,本文提出了一种基于自适应颜色阈值分割与动态感兴趣区域(regionofinterest,ROI)划分相结合的地标线检测方法(AdaptiveThresholds-DynamicROI,AT-DROI),用来检测生产车间中的地标线.本文的主要工作内容总结如下:1)提出了一种基于HSV颜色空间的阈值自适应地标线检测方法(AdaptiveThresholds,AT),最大限度保证地标线提取的完整性;2)提出了一种动态感兴趣区域划分方法(DynamicROI,DROI),尽可能去除图像中的干扰信息;3)最后在自采集的3组干扰类型不同的实际车间场景视频序列上进行了大量对比实验,经实验验证,本文提出的算法对存在地面倒影、地面积水、光照不均、障碍物遮挡以及油渍粉尘污染等因素影响的复杂场景仍然具有较高鲁棒性.

1 相关工作

目前,主流的车道线检测算法主要包括3类:基于模型的方法、基于特征的方法以及基于深度学习的方法[4],车道线检测的一般步骤如图1所示.

图1 车道线检测的一般步骤Fig.1 General steps for lane line detection

基于模型的检测方法是利用了结构化道路具有几何特征较为显著的特点,通过建立相应的车道线模型,确定模型参数,从而识别出车道线[5].樊超等人[6]为了解决恶劣天气以及光线变化强烈等复杂路况下车道线检测效果较差的问题,提出了一种采用核Fisher线性判别分析灰度变换以及混沌粒子群的车道线检测算法;洪伟等人[7]为了提高车道线检测的实时性和鲁棒性,利用基于抛物线模型的随机采样一致性拟合方法来完成车道线的提取,并对不同的干扰因素进行相应的优化域调整,实现了车道线的鲁棒提取;Wang等人[8]在DBSCAN聚类算法以及改进的RANSAC算法的基础之上提出了一种快速车道线检测方法,并取得了良好的检测效果,同样提高了车道线检测的实时性和鲁棒性.

基于特征的检测方法利用车道线形状、纹理以及颜色等方面与背景之间存在较大差异的特点,将车道线从图像中提取出来[9].李超等人[10]提出了一种帧间关联的车道线检测方法,利用改进的自适应阈值边缘检测算法,提取出车道线特征,然而由于实际车间中机械设备众多,生产现场混乱,用该算法提取出的边缘特征图像中包含了大量的干扰信息,导致算法的误检率较高;刘雁斌等人[11]提出了一种特征结合的多阈值车道线检测方法,分别结合车道线边缘特征和颜色特征进行特征提取,然而由于感兴趣区域的选取是固定的,无法动态地适应环境的变化,导致算法检测效果较差;鱼兆伟等人[12]提出了一种基于动态感兴趣区域的车道线检测算法,通过消失点检测来建立动态感兴趣区域,然后利用颜色特征来提取车道线信息,将该算法用于车间地标线检测时,由于车间中作业通道狭窄,在图像两侧的非车道区域中仍然有大量的干扰信息堆积.

基于深度学习的检测方法是通过搭建人工神经网络,并利用海量数据集训练网络的检测方法,能够自主学习并获取特征,对复杂环境有很好的鲁棒性,但往往需要复杂的卷积神经网络模型和训练模型标记大量的数据,对运行的硬件设备要求较高,开发和运行的成本也都偏高[13].Qin等人[14]提出了基于结构感知的车道线检测算法UFLD,通过对原始图像进行分块处理,将车道线检测转变成为预测车道线在每一块上的位置问题,大大降低了计算复杂性,提高了检测速度.

上述检测方法通常用于公路车道线检测,对车间中的地标线检测效果并不理想.与公路车道线相比,车间中的地标线虽然更具有高度结构化的特点,但是由于机械设备众多、生产现场混乱以及作业通道狭窄等原因,图像的中下部分往往会包含更多的非路面信息;另外由于车间中通常采用环氧树脂地板,因此地面倒影和反光也较为严重;在老旧车间中通常还存在地面积水、光照不均、油渍粉尘污染以及因年久失修而磨损严重的情况,导致地标线检测的误检和漏检率较高.针对上述问题,本文提出了一种基于自适应阈值分割与动态ROI划分的车间地标线检测方法,该方法以分块图像为基础,按照特定特征对图像进行搜索,并剔除其中的离群噪声点.为了最大限度地提取出地标线信息,将环境因子与采样点相结合计算出特征颜色的双门限阈值,从而完成特征区域的初步分割.然后利用粗细粒度掩膜抑制特征图像中的干扰信息,最终提取出地标线特征.

2 本文算法研究

针对在地面倒影、地面反光、光照不均、障碍物遮挡以及油渍粉尘污染等复杂车间场景下,车间地标线检测误检率、漏检率高的问题,本文提出了一种基于自适应阈值分割与动态ROI划分的车间地标线检测方法AT-DROI,首先采用改进的自适应双阈值分割算法,尽可能完整地提取出地标线特征,然后利用改进的动态ROI划分算法来尽可能抑制特征图像中的干扰信息,以此达到降低误检率和漏检率的效果.

2.1 改进的自适应双阈值分割

颜色阈值分割作为一种简单实用图像分割技术,因其逻辑简单、易于实现和分割效果良好等特点,而广泛应用于医学图像分析、自动驾驶以及工件缺陷检测等领域,但如何确定最佳阈值以达到最优分割一直都是其中的难点问题[15].

一些经典的方法包括大津法、最大熵法以及迭代阈值法等在前景和背景之间颜色差异较大的情况下虽然也能取得较好的分割效果,但其大都是在灰度图像的单通道中进行分割[16],无法充分利用图像的颜色特征,而且抗干扰能力差,无法在复杂的实际车间中投入使用.针对这一问题,一些学者提出了基于HSV的颜色阈值分割、基于HSV彩色空间与改进OTSU的图像分割[17]、结合HSV和RGB两个颜色空间进行图像分割[18]以及基于HSV色彩模型与区域生长等图像分割方法[19],虽然这些算法能够在特定的研究背景下取得不错的分割效果,但因为阈值的选取比较固定,在环境较为复杂的动态背景下容易出现分割不完整或分割混乱的现象,无法稳定地完成分割任务.针对上述存在的问题,本文提出了一种基于HSV颜色空间的阈值自适应地标线检测方法AT,如表1算法1所示,根据车间地标线的磨损和受污染程度进行动态的阈值分割,以保证最大限度地提取出地标线信息,减少算法的漏检率.算法的示意图如图2所示.

表1 AT算法伪代码Table 1 Pseudo code of AT

图2 自适应双阈值分割示意图Fig.2 Adaptive double threshold segmentation

步骤1.由于HSV颜色模式更适合用来从图像中分割出指定颜色,因此按照公式将原始RGB图像转换到HSV颜色空间,同时按照公式(1)将原始RGB图像转换为灰度图像.

Gray(x,y)=0.5R(x,y)+0.5G(x,y)+0B(x,y)

(1)

其中Gray(x,y)为灰度图像像素值,R(x,y)、G(x,y)和B(x,y)分别是红、黄和蓝三通道中的像素值.

步骤2.由于地标线通常位于图像的中下部,因此把图像从中部到底部分割成若干个互不重叠大小为m×n的子块.其中n取图像的宽度,m一般取8～16.子块的数量直接影响特征提取的效果,数量越多,越能描述地标线的细节信息,所提取出来的地标线特征越明显,但干扰信息相应地也会增加.

步骤3.为了能够自适应地提取出图像中的黄色地标线,需要对地标线的颜色进行采样,以确定地标线的颜色范围.在RGB颜色空间中,黄色具有关系:R分量≈G分量>>B分量,因此对每一个图像子块采样其中具有最大η值的像素点HSV分量:

η=(R+G-B)

(2)

步骤4.由于障碍物遮挡、地标线磨损等因素的影响,图像中的地标线并非是连续不断的,因此在某些子块中就可能不存在地标线,或者是车间中还存在其他黄色非地标线物体,这样在采样地标线的HSV分量时就可能会发生误采样,因此采用公式(3)对误采样得到的离群点进行剔除:

(3)

其中,Hmean为采样点的H分量均值,Hvar为采样点的H分量方差;Smean为采样点的S分量均值,Svar为采样点的S分量方差;Vmean为采样点的V分量均值,Vvar为采样点的V分量方差.只有同时满足上面3个条件的像素点才会被保留,其他像素点作为离群值被剔除.

步骤5.经过离群值剔除后,可以认为保留的采样点是相应子块中最具代表性的地标线像素点.在实际的车间环境中,地标线的颜色阈值的区间大小会随着地标线的陈旧程度变化,因此引入环境因子k来描述阈值区间的大小,k的取值范围为0.2～0.7,对于比较陈旧的地标线,k取较大值,对于比较整洁的地标线,k取较小值.地标线的阈值范围见公式(4):

(4)

其中,Hmax为保留的采样点中H分量的最大值,Hmin、Smin、Vmin分别为保留的采样点中H分量、S分量、V分量的最小值.因此下门限阈值为[Hlower,Slower,Vlower],上门限阈值为[Hupper,Supper,Vupper].令HSV图像中在上下门限阈值内的像素值置1,不在上下门限阈值内的像素值置0,得到掩膜图像.

步骤6.将灰度图像与掩膜图像做与运算,最终得到分割出来的地标线特征图像,分割效果如图3所示.

图3 阈值分割实验效果Fig.3 Threshold segmentation of experimental effects

2.2 改进的动态ROI区域划分

摄像头所采集的图像中通常存在着大量与车道线无关的区域或者有效信息极少的部分,如果直接在原图上进行数据处理,不仅会降低算法的执行效率,还容易对车道线的提取造成干扰,导致误检的发生,所以有必要在原图之上建立一个ROI区域.

在对公路车道线进行检测的相关研究中,一般认为车载摄像头采集到的图像中所包含的非路面信息主要有天空、树木以及建筑物等,而这些干扰信息主要分布于图像的中部或者上部区域,图像下部区域所含有的干扰信息较少,所以传统方法一般直接截取图像的下半部分作为ROI区域,并在此基础上进行相关的数据处理[20].这种处理方式在道路宽敞、路面环境简单的场景下能够取得较好的效果.

与公路上的车道线检测相比,车间中的地标线虽然更具有高度结构化的特点,但是由于机械设备众多、生产现场混乱以及作业通道狭窄等原因,图像的中下部分往往会包含更多的非路面信息.如果只是简单地选取图像中下部分作为ROI区域,会因为过多的干扰信息的存在而导致误检的发生,无法稳定地提取出地标线信息.针对上述存在的问题,本文提出了一种动态ROI区域划分方法DROI,如表2算法2所示,通过对行灰度值以及列灰度值进行统计来动态地建立粗细粒度掩膜,在保留图像中地标线信息的基础上,尽可能地去除图像中的干扰信息.算法的示意图如图4所示.

表2 DROI算法伪代码Table 2 Pseudo code of DROI

图4 动态ROI划分示意图Fig.4 Dynamic ROI partitioning

步骤1.计算整个地标线特征图像的灰度均值.

步骤2.观察地标线特征图像可以发现,地标线主要集中于图像的中下部区域,上部区域含有的有效信息较少,因此可以在上部区域建立粗粒度掩膜矩阵.首先提取出各行的灰度均值,然后从第1行每隔3行采样一次,如果从第G行之后的连续20个采样点均满足公式(5):

(5)

其中,k为环境因子,Mw为整个地标线特征图像的灰度均值,Mr为某一行的灰度均值.得到行号G如果在图像的前1/4区域内,则从把第G行到图像底部划定为ROI区域,否则规定图像后3/4区域为ROI区域,这样就得到了粗粒度掩膜矩阵.

步骤3.经过粗粒度ROI区域划分,去除了位于图像顶部区域的干扰信息,但观察发现在图像中下部两侧区域仍然存在大量干扰信息,这就需要建立细粒度ROI区域来去除.首先对特征图像矩阵左乘非零元素全为1的上三角矩阵,得到一个自底向上逐层累加矩阵.计算公式如式(6)所示:

(6)

其中,Im×n为含有干扰信息的地标线特征图像,Am×n为得到的逐层累加矩阵.然后利用公式(7)来计算区域划分门限阈值T:

(7)

其中,Mw为整个地标线特征图像的灰度均值,Irows为特征图像的行数.令逐层累加矩阵A中小于等于区域划分门限阈值T的像素点置为非零值,大于T的像素点置为零值就得到了细粒度掩膜矩阵.

步骤4.将粗粒度掩膜矩阵与细粒度掩膜矩阵合并,并与包含干扰信息的地标线特征图像做与运算,最终得到所提取的地标线特征图像,提取效果如图5所示.

图5 动态ROI划分实验效果Fig.5 Dynamic ROI division of experimental effects

3 实验结果与分析

3.1 实验环境

为了验证本文所提出的地标线检测方法的性能和实际应用价值,选取了采集自实际加工车间的3组干扰类型不同的视频序列,其中video1视频序列的采集时间为中午12点左右,此时室内具有较强的环境光,导致地面倒影、地面反光等问题较为突出;video2和video3视频序列采集时间为早上9点左右,由于没有打开灯光照明,所以光线较为昏暗,另外,video2序列中还存在较为严重的地标线遮挡、阴影等问题;video3序列中存在严重的油渍粉尘污染和地面积水等问题.

在实验过程中,由于视频序列相邻帧之间具有极高的相似性,因此每隔6帧提取一幅图像,每组共提取出100帧图像,并将图像分辨率统一为640×480进行实验.实验所用的软硬件配置如表3所示.

表3 实验中的软/硬件配置Table 3 Software/hardware configuration in the experiment

3.2 评价指标

实验采用准确率(Acc)、假阳性(FP)、假阴性(FN)3种指标来对算法的检测效果进行定量评估[21].实验的目标是获得较高的准确率的同时保证假阳性和假阴性处于较低的水平,较高的假阳性和假阴性会对巡检机器人的自主导引造成误导.准确率是指标注图像中的地标线像素点被拟合图像正确拟合的占比,用公式(8)表示:

(8)

其中,Ci是指标签图像中的地标线中心像素点被拟合图像正确预测的数量,Si是指标签图像中真正的地标线中心像素点数.中心像素点被正确拟合与否是指拟合图像和标注图像在同一Y轴高度的地标线中心像素点之间的水平距离是否超过一定阈值,如果在阈值之内可以认为该行地标线中心点拟合正确,否则拟合错误,本实验设定阈值为标签图像中相应高度的地标线宽度.假阳性是指拟合图像中拟合错误的地标线中心像素点在拟合图像中所有地标线中心像素点的占比,用公式(9)表示:

(9)

其中,Fpred是指拟合图像中拟合错误的地标线中心像素点数量,Apred是指拟合图像中所有地标线中心像素点数量.假阴性是指标注图像中未被正确拟合的地标线中心像素点在标注图像中所有地标线中心像素点的占比,用公式(10)表示:

(10)

其中,Tmark是指标注图像中拟合正确的地标线中心像素点数量,Amark是指标注图像中所有地标线中心像素点数量.

3.3 实验结果定量分析

为了定量地分析本文算法对车间中通道地标线检测的实时性和鲁棒性,本文选取了前文介绍的准确率(Acc)、假阳性(FP)和假阴性(FN)3种指标以及算法的处理速度(FPS)来衡量算法的检测效果.通过在自采集的3组实际车间视频序列上进行了大量的实验,实验结果如表4所示.

表4 基于评价指标的实验结果Table 4 Experimental results based on evaluation indicators

结果表明,本文算法能够满足实际工作中对准确率和实时性的要求,而且在存在地面倒影、地面反光、光照不均、障碍物遮挡以及油渍粉尘污染等复杂场景下均能取得较好的检测效果,说明算法具有较好的泛化能力.如图6所示为本文算法在不同干扰因素下的地标线检测效果.

图6 在不同干扰因素下的地标线检测实验效果Fig.6 Effect of landmark lines under different interference factors is detected

为了对比本文算法的检测效果和性能,将本文算法与文献[10]、文献[11]和文献[12]在video3序列上进行对比试验,实验结果如表5所示.

表5 不同算法在video3序列上的对比结果Table 5 Results of different algorithms on video3 sequences

由对比试验可知,本文算法不仅能够降低算法的误检率和漏检率,在算法的处理速度上也具有一定的优势,对车间中的地标线具有较好的检测效果.

4 总 结

本文针对车间中常见的地面倒影、地面积水、光照不均、障碍物遮挡以及油渍粉尘污染等环境因素的影响导致对地标线进行检测时的误检和漏检率高的问题,提出了一种基于自适应阈值分割与动态ROI划分的车间地标线检测方法AT-DROI,并重点介绍了改进的自适应阈值分割以及改进的动态ROI划分算法的实现过程.通过对比试验,相比于文献[10]、文献[11]以及文献[12],本文算法的准确率平均提高了4.7%,FP值降低了53.3%,FN值降低了44.5%,算法的运行速度平均提升了8.7%.另外本文算法在地面倒影、地面反光、光照不均、障碍物遮挡以及油渍粉尘污染等复杂车间场景下仍然具有较好的实时性和鲁棒性,可应用于生产车间中的无轨巡检机器人自主导航系统,具有一定的实际应用价值.