复杂工况下视觉AGV导航标识带中心线的提取研究

佘宏杰,赵燕伟,冷龙龙

(浙江工业大学 特种装备制造与先进加工技术教育部重点实验室,杭州　310014)



复杂工况下视觉AGV导航标识带中心线的提取研究

佘宏杰,赵燕伟,冷龙龙

(浙江工业大学 特种装备制造与先进加工技术教育部重点实验室,杭州310014)

针对光照不均匀、导航标识带破损、少量杂物干扰的复杂工况条件下，对视觉AGV采集到的路面导航标识带图片进行特征提取，采用灰度化、中值滤波进行了图像预处理，研究了Otsu法和迭代法等动态阈值分割算法以及形态学在图像分割中的应用，并对预处理图像作了分割对比实验;然后对分割后的图像进行边缘提取，分析了基于最小二乘法和Hough变换算法的直线拟合原原理，提出了Hough算法下基于边缘线的中心线拟合算法，并作了直线拟合对比试验;实验表明，复杂工况下，采用基于形态学和Otsu算法相结合的方法对图像进行分割，得到的二值图像边界更完整，效果更好，基于Hough变换算法较最小二乘法能更精确有效地提取出导航标识带中心线及其方程。

视觉AGV；数学形态学；阈值分割；Hough变换

0　引言

自动引导车 AGV(automatic guided vehicle)是指装有电磁或者光学等智能导引装置，能够沿着导引路径自动行驶，具有智能避障以及各种预警和移载功能的无人运输车。近年来，随着自动化水平的提高，AGV的应用范围不断扩展，广泛地应用于工业、军事、交通等领域。

基于视觉导引的AGV是利用摄像头采集行驶路面的图片信息，通过计算机进行数字图像处理，识别出路径信息，继而控制车辆的运行。主要有两种方式，一种是标识带图像识别方法，它是在AGV行走路径的地面上贴上明显的导向色带，利用摄像头动态摄取标识带图像并计算出AGV中心相对于标识带中心线的方向和距离偏差，以控制车辆沿着中心线运行。另一种是利用摄像头动态摄取AGV路径周围环境的图像信息，与设定的路径周围环境数据库中的图像信息进行比较，从而确定当前AGV位置并对继行路线做出决策，这种方法不需设置物理路径，在理论上具有最佳的柔性，但实际应用还存在问题，主要是实时性差和路径周围环境信息库建立比较困难。利用机器视觉,通过识别路径上的条带状标实现自主导航仍是现阶段智能AGV车辆研究的导向方法[1]。相较传统的电磁导航、磁带导航等导引方式，这种视觉导航具有导引精度高、路径设置和变更简单灵活、智能化程度高等优点。视觉系统对于视觉AGV而言就如同眼睛对于人一样，是非常重要的组成部分，其中图像处理环节更是至关重要，能否正确有效地提取出标识带的中心线直接关系到AGV导航的精度，对车体控制的准确性和稳定性具有决定性的作用。 视觉信息的处理技术是自动引导车研究中的关键技术之一[2]。

1　图像预处理

AGV的导航标识带是一条贴在地面上的有色色带，安装在车体上的摄像头拍摄采集路面图片，然后进行图像处理。首先，要将图片灰度化，因为彩色图片数据量大，处理所需时间较长。灰度化之后如图1(a)所示。

采集图像过程中由于受光照强度、镜头清洁度、摄像机的抖动等因素影响，不可避免地会含有噪声。为了使图像更有利于提取特征信息，需要对图像进行滤波去噪处理。因为标识线的边缘信息准确与否对图像的识别结果有着较大的影响, 所以在选择滤波方法时, 要保证滤波处理后的图像边缘细节不产生模糊化现象[3]。中值滤波对于噪声有良好的滤除作用，特别是在滤除噪声的同时，能够较好地保护图像的边缘，使之不被模糊。因此对灰度化后的图像进行中值滤波处理，基于处理速度考虑，采用了3*3的滤波算子，滤波结果如图1中(b)所示。

图1　图像灰度化与中值滤波

2　图像分割与边缘提取

在AGV实际行驶途中，光照强度事实上是不均匀的，采集到的图片局部有明有暗，会为图像分割提取标志带边缘带来了很大的困难。由于路面图像的特点是目标与背景对比鲜明，直方图呈现较明显的双峰，且AGV对图像处理有较高的实时性要求，因此图像的分割采用阈值法，阈值分割具有计算简单、运算效率较高、速度快的优点。阈值分割的公式如下：

(1)

t为分割阈值，一般的1表示目标，0表示背景。其中分割阈值的确定是关键，一般采用动态阈值分割方法，即算法根据图像自动确定分割阈值。

2.1迭代法和Otsu法

迭代法是一种在图像分割过程中选择合适阈值的方法，它是基于逼近的思想通过阈值迭代的方式，利用程序自动计算出比较合适的分割阈值[4]。迭代算法的具体分割步骤入如下：

1)选取初始阈值t0，t0为图像灰度的中值。

2)利用阈值t把图像分成两个部分，R1和R2，其灰度均值分别为g1和g2。其中：

(2)

3)计算新的阈值ti+1:

(3)

4)重复2～3，直到ti+1和ti的差小于某个值。

Otsu算法[5]又称作最大类间方差法，该算法计算简单，处理迅速，被认为是自适应阈值分割方法中的最优算法。它的原理是选取使得目标与背景差别最大，即类间方差最大的分割阈值为最佳阈值。

设图像像素总数为N,包含有l个灰度级，对应灰度级为i的像素个数为ni，几率 ：

(4)

整个图像的灰度均值：

(5)

t为分割阈值，将图像划分为两类R0和R1，即R0={0,1,2...t}，R1={t,t+1,t+2...l-1}，灰度均值分别为：

(6)

其中：

(7)

由以上式得：

(8)

类间方差为：

(9)

使上式最大的t值即为最佳分割阈值。

图1中的灰度图片基于迭代法和Otsu算法的图像分割结果分别如图2中的(a)和(b)所示。(a)中的标识带的顶部并没有完整地分割出来，(b)中图像背景部分还存在较多白点，且标识带顶部也没有分割出来，可见对于光照不均匀的图像迭代法和Otsu算法的分割效果并不好。

2.2基于形态学和Otsu的图像分割

数学形态学应用于图像处理，其基本思想是利用一个结构元素作为探针，放入图像内部用于探测和提取图像特征。形态学的基本运算包括腐蚀、膨胀、开运算和闭运算[6]。设A和B为空间Z的集合，A表示原始图像，B表示结构元素。则B对A的膨胀：

(10)

(11)

B对A的腐蚀：

(12)

B对A的开运算：

(13)

B对A的闭运算：

(14)

对于灰度图像定义一个比图像中目标大的结构元素作开运算，就可以滤除目标，获得大致的背景亮度，再用原图减去背景得到目标图像，从而解决光照不均匀带来的问题。图像分割具体步骤如下：

1)定义结构元素，与原始灰度图作开运算，获取背景图像；

2)原始灰度图减去背景图像，得到目标图像；

3)基于Otsu算法对目标图像进行阈值分割，获得目标的二值图像。

因为AGV在行驶过程中，采集到的图片大小相同且作为提取目标的标识带宽度不变，所以结构元素只需定义一次，其大小稍大于图像中标识带的像素宽度。结构元素定义为直径60像素的圆形结构，按上述步骤的分割过程如图3所示。

图3　基于形态学和Otsu的图像分割

从实验结果可以看出，分割的图像边缘清晰完整，比迭代法和Otsu算法分割的效果好。

2.3边缘提取

对阈值分割得到的二值图像需要提取其中标识带的边缘线，利用形态学运算，先用结构元素对图像进行膨胀，再与分割图像相减，可以得到标识带的两条边缘线，实验中结构元素选用直径为4像素的圆形结构，边缘线提取结果如图4所示。

图4　边缘提取

3　直线拟合

3.1基于最小二乘法的直线拟合

首先对图4的边缘线的图像逐行扫描，提取白色像素点对应的坐标，将每行的第一个和最后一个点取平均值，即可得到标识带中心线上的一系列点，如图5中的(a)所示。

最小二乘法拟合直线[7]是比较常用的一种方法，速度快效率高，其原理是通过寻找一组最佳的函数匹配使得误差的平方和最小化。已知一系列的点(x1,y1)(x2,y2),…设要拟合的曲线模型设为y=f(x)，最小二乘法是使φ=∑|yi-f(xi)|2最小，通过对其求导可得到每个系数的方程，再将点带入方程组可求出各个系数，最终得到方程表达式。

利用最小二乘法拟合标识带中心线，可以设直线方程为:

y=kx+b

(15)

根据上述原理，误差平方为:

(16)

分别对其关于k和b求导得：

(17)

将(a)图中的一系列点坐标带入上式，可以求解出系数k和b，从而得到中心线方程。但是由于在Matlab7.0中图像的坐标原点位于左上角，还需进行坐标系转换，使得坐标原点位于图像中间，竖直向上为纵坐标正向，水平向右为横坐标正向。转换后的中心线及其方程如图5中的(b)所示。

对于受干扰较少的图像，最小二乘法能够较好地拟合得到标识带的中心线及其方程。但是当图像中存在较多干扰点等因素时，取得的效果就不理想了，如图5中(d)所示，可看出原图不仅光照不均而且地面有一些分散的孔洞，受此影响获取的中心点则比较分散，如图5中(c)所示,拟合得到的直线就不再是标识带的中线了。

图5　最小二乘法拟合直线

3.2基于Hough变换的中心线拟合

3.2.1Hough变换

Hough变换[8]实现了从图像空间到参数空间的映射，它的主要优点是抗干扰能力强，受噪声和几何形状间断的影响比较小，常用来作直线的检测。其基本思想在于点线间的对偶性，即图像空间中共线的点对应参数空间相交的线，而参数空间中相交于一点的直线在图像空间中都有共线的点对应。Hough参数空间的坐标系为极坐标，如图6所示，参数方程为：

(18)

图6　Hough变换坐标系

对于图像空间任意一点(x,y)，θ∈[0,180°]，计算相应的ρ值，建立的累加数组A(ρ,θ)即为目标图像的Hough变换图像。开始时，数组A为零，再对图像空间中的每个给定点，θ取遍所有可能的值，计算出对应的ρ，根据ρ和θ的值对A累加。遍历完图像后，A(ρ,θ)的值即为在点(ρ,θ)处共线点的个数。(ρ,θ)的值同时也给定了直线方程的参数，可得到点所在的直线。

3.2.2标识带边线检测

用Hough变换检测标识带边线的算法步骤为：

1)初始化(r,θ)空间的数组；

2)遍历图像中的所有物体点，对每一点按变换域的各个点加1；

3)获取变换域的值大于设定阈值的点；

4)根据获取的点在原空间内画出直线；

5)选取长度最长的直线，即为标识带边缘线。

对图7中(a)所示的二值图像进行如上步骤的边线检测，其结果如图7所示，(b)为Hough变换检测到的所有长度大于设定阈值的直线，(c)为最长的直线，即标识带的边缘线。

图7　Hough变换提取标识带边线

3.2.3中心线拟合

图7中得到的是标识带的边缘线，按照前面的算法，提取到的最长的直线可能是标识带的左边缘线也可能是右边缘线，依据这根线进行AGV的导航是不稳定的，最佳方法是提取标识带的中心线。

1)逐行获取两幅二值图像中白色点的位置索引，分别存放于行向量A和B中；

4)为左边缘线则中心线在标识带边缘线基础上向右补偿W/2，为右边缘线则向左补偿W/2；

5)拟合中心线并进行坐标系转换，获得以图像中心为原点的直线方程。

基于上述算法进行中心线拟合，判定最长直线为标识带的左边缘线，因此向右补偿半个标识带宽度，实验结果如图8所示。

图8　中心线拟合

4　实验及结论

实验是在Matlab7.0下完成的，实验图片为工业车间实景采集。采集到的图片包含光照不均匀、标识带破损、有少量杂物干扰等多种工况。对这些图片进行图像预处理后，进行基于形态学和Otsu算法的动态阈值分割，再进行基于Hough变换的中心线拟合，均可准确有效获取到用于视觉AGV导航的标识带中心线及其方程，实验结果如图9所示。

图9　复杂工况下标识带中心线提取实验

相比较传统的迭代法和Otsu法，形态学与Otsu法相结合的方法，得到的标识带分割图像边界更完整，基于Hough变换的中心线拟合相较于最小二乘法直线拟合更能适应复杂的工况条件，获得准确的中心线及方程。

[1]刘二林, 詹跃东, 宋孙浩. 双目视觉在 AGV导引中的应用研究[J]. 昆明理工大学学报:工版, 2005 ,30(5A): 56-58.

[2] 谭小军, 郭志豪. 基于视觉的机器人导航算法研究[J] . 中山大学学报(自然科学版),2004(6):127-131.

[3] 钟玉琢, 乔秉新, 李树青. 机器人视觉技[M].北京:国防工业出版社,1994.

[4] 柯慧燕. Web文本分类研究及应用[D].武汉:武汉理工大学,2006.

[5] Otsu N.A threshold selection method from gray-level histogram[J]. IEEE Trans on SMC, 1979, 9(1):62-66.

[ 6] 陈虎, 周朝辉, 王守尊. 基于数学形态学的图像去噪方法研究[J]. 工程图学学报, 2004, 2: 116-11.

[7] 孙涵, 任明武, 杨静宇. 一种快速使用的直线检测算法[J].计算机应用研究,2006,2(5):257-260.

[8] 叶富东. 基于霍夫变换的图形检测算法[J]. 湖北生态工程职业技术学院学报, 2011, 9(3): 45-49.

Study on Center Line Extraction for AGV’s Guide Ribbon Under Complex Conditions

She Hongjie, Zhao Yanwei, Leng Longlong

(Ministrial key lab. of E&M of Special Eguipment, Zhejiang University of Technology, Hangzhou310014, China)

Aiming at the complex condition of non-uniform lighting,damaged ribbon and a few clutter interference , the guided ribbon pictures of AGV based on vision has been collected to extract features, conducting the image pretreatment by using the methods of Graying and Median filter,study on the dynamic threshold segmentation methods include Otsu algorithm and Iterative method and the application of mathematical morphology in image processing, and make image threshold segmentation experiments respectively to analysis.Then extract the boundary of the segmented image ,analysis on the least-square and Hough transform methods ,a algorithm of ribbon’s center line fitting based on the Hough transform is proposed , and using the methods respectively to obtain ribbon’s center line and its mathematical Equation .Experimental results show that under the complex conditions ,using the method based on Otsu algorithm and mathematical morphology to segment image can get better effect on Boundary integrality of binary image ,and using the algorithm based on Hough transform to extract ribbon’s center line and its mathematical Equation can be more accurate and effective.

visual guided AGV; mathematical morphology; threshold segmentation; Hough transform

2015-07-07；

2015-09-06。

国家自然科学基金项目(51275477)。

佘宏杰(1991-)，男，安徽合肥人，硕士研究生，主要从事AGV视觉导航及避障方向的研究。

1671-4598(2016)01-0212-04

10.16526/j.cnki.11-4762/tp.2016.01.058

TP3

A