再生稻收割机的视觉导航路径检测方法

郭翰林, 洪瑛杰， 张 翔, 林 建

(福建农林大学机电工程学院，福建 福州 350002)

再生稻收割机的视觉导航路径检测方法

郭翰林, 洪瑛杰， 张 翔, 林 建

(福建农林大学机电工程学院，福建 福州 350002)

采用机器视觉技术研究再生稻收割机导航路径检测方法.根据农田再生稻图像特点，基于HSV空间的S分量结合Otsu算法得到初始分割阈值T；为更好地保留不同成熟度再生稻植株特征，加入修正因子-a，得到分割阈值T-a二值化图像.将土壤路径从再生稻植株中分割出来，根据形成的植株左右边界区域特征，提出逐行扫描图像动态检测导航路径的中间离散点集，利用基于已知点的Hough变换检测出稻桩行间导航路径.结果表明：处理一幅像素419×310的图像平均耗时0.064 s，具有较好的实时性，对稻叶交叠现象具有较强的适应性，拟合的导航线符合人眼视觉感官判断.

再生稻; 农田环境; 视觉导航; Hough变换; 直线检测

联合收割机辅助驾驶已成为普遍关注的问题，而实现联合收割机辅助驾驶的核心是对其预行驶路径进行检测，即导航[1].如何实现自主导航是农业机器人领域的研究热点之一，视觉导航技术凭借其探测范围广、获取信息完整等优势，成为目前国内外应用较多的机器人导航方式[2].其关键环节在于通过图像处理技术准确可靠地提取导航基准线.目前该方面的研究大多是针对外层视野范围内农田的作物行和边缘或者作物垄沟的导航中心线检测.吴刚等[1]将摄像机安装在收割机顶部采集图像，根据已收获区域、未收获区域和非农田区域的不同颜色特征，通过统计分析和边缘检测方法确定直线上的候选点，采用改进的Hough变换完成直线检测.Toru[3]研究了一种应用于农田精密喷洒农药和作物中耕管理的图像处理算法，对作物行进行边缘检测后，利用最小二乘法拟合出导航线.唐泽华[4]在育秧农田视野范围内，根据秧苗行的特点去除无关秧苗行，然后采用Hough变换提取秧苗行直线.吴佳艺[5]研究了中低层桑树图像特点，利用区域生长的方法分割桑树与路径，然后采用Hough变换生成中心线，其研究对象行间距较大，树叶交叠干扰少，视野范围内采集的图像易于处理.但有关通过深入作物行的中低层采集图像来提取导航线等方面的研究较少.

随着视觉应用的推广，对农田作物进行诸如施肥、除草、灌溉等操作时, 机器人可以深入作物行的中低层行走，并得到广泛应用.再生稻的特点是在一季稻成熟之后，大约只割下植株上2/3的部位，收取稻穗，保留下面的1/3植株[6]，这就要求行走轮尽量避免碾压稻桩.因此，需要深入再生稻中底层采集路径信息，通过机器视觉技术检测导航线.本文针对再生稻植株生长不确定性、株间空隙等特征，基于HSV颜色空间的S分量对获取的图像进行灰度化，并采用修正阈值二值化S分量灰度图，以保留更完整的植株特征，分割出的图像基本反映出再生稻植株的走势特征；并提出逐行扫描图像动态检测导航路径的中间离散点集，最后采用基于已知点的Hough变换获得导航路径.

1 材料与方法

1.1 图像分析与预处理

为缩短算法开发周期，利用普通数码相机于福建省农业科学院水稻研究所再生稻试验田(福州市仓山区盖山镇)采集图片，结果如图1a所示.头季稻收获时，采用排水烤田以利于收割机行走，田间现场如图1b所示，针对再生稻叶子和稻桩生长的复杂性，选择合适的色彩空间进行图像分割.采用RGB空间的2G-R-B特征因子、HSV空间的S分量、 YCrCb空间的Cb分量进行灰度化试验比较，整个灰度空间被分为灰度值具有明显差异的再生稻植株区域和路径区域，利用饱和度差异的S分量将路径从复杂的图像信息中分割出来，结果如图2所示.

a.试验田;b.中低层再生稻植株.图1 田间图像Fig.1 Image in the cropland field

图2 S分量灰度图Fig.2 Grayscale image of S variate

1.2 阈值分割

选用改进的最大类间方差法(Otsu)[7-8]获取S分量图的初始分割阈值T，并进行二值化处理，结果如图3a所示.结合S分量的直方图特征(图3b),二值化时适当降低分割阈值有助于保留植株的特征，减少不同成熟度枯黄色茎叶的干扰.因此，对分割阈值加入修正因子-a，以阈值T-a二值化S分量图.经多幅图像试验，a取12可以达到较为满意结果(图3c).农田图像总体上被分为白色植株区域和黑色路径区域，所形成的植株左右边界体现出再生稻走势特征.

a.修正前二值化图像;b.S分量直方图;c.修正后二值化图像.图3 修正阈值的二值化图像Fig.3 Binarized image of modified threshold

1.3 除噪等后续处理

图4 去噪生后的图像Fig.4 Image after denoising

得到二值图像后，植株区域出现黑色空洞；路径区域出现白色点状噪声，为排水烤田后土壤长出的幼小绿色杂草带来的噪声.经分析，首先用7×7结构元素进行膨胀扩大区域的连通性分析[9]，然后采用连通域面积去噪法[10]，面积TH1取800个像素点能得到较好的效果，最后用5×5结构元素进行形态学闭运算进一步去除噪声，结果如图4所示.

1.4 检测导航路径点集

根据形成的植株左右边界区域特征，检测图像每一行中所有黑点总数.其中，大部分黑点代表路径，少量黑点存在于植株背景中.提出的动态检测路径中点的算法具体步骤如下：

(1)建立一个空矩阵A，其大小规格与去噪后的图像一致，记为M×N，并初始化临时变量m=0，k=0；

(2)对去噪后的图像进行逐行逐列扫描，设扫描图像初始点为图像的左上角点，i值由上到下依次增大，j值由左到右依次增大，若当前图像点(i，j)的像素值为0，则m++(m记录此行黑点总数)，同时记k=m/2；

(3)对步骤(2)的行再次进行扫描，确定出路径中的点坐标值，若当前图像点(i，j)的像素值为0，则k--，直到k==0时，记录此时的坐标(i，j)，并取像素值255存入A中；

(4)扫描至M行后停止扫描.否则继续执行步骤(2)操作.

图5 特征图上提取路径拟合点 Fig.5 Fitting points of navigation path after processed image

将A值存到去噪后的图像，则路径中点集的提取效果如图5所示.白点表示提取的结果，代表路径中点的平均位置.由于图像尺寸较大且存在噪声干扰，检测结果局部点出现较大的偏差，但是从选点原则和统计学的角度考虑，这并不影响整体结果.因此该算法对二值化图像中的空洞和点状噪声具有一定的抗干扰性.

1.5 提取导航线

检测到路径拟合点后就可提取导航线的信息.作为导航路径的农作物,自然形成的垄行基本上为直线,或相对于轮式移动机器人前进方向局部范围内近似于直线,因此目前研究中一般使用直线路径模型[11].可根据再生稻植株走势特征的二值化图像检测导航线，使轮式收割机沿着导航线行走，减少压桩率.目前直线检测方法很多，最为常用的是最小二乘法、标准Hough变换和基于已知点的Hough变换[12]等.由于再生稻植株间存在空隙和稻叶交叠现象，用最小二乘法拟合直线，提取再生稻左右边界间的直线易受到干扰，容易导致拟合基准线出错.而Hough变换对图像的随机噪声、部分信息缺失等情况具有较好的适应性，被广泛应用于诸多领域[1].因此本文采用标准的Hough变换和基于已知点的Hough变换2种方法进行比较.其中，Opencv提供了标准Hough变换函数Houghlines检测直线，结果如图6所示.标准的Hough变换是一种全局性的检测方法,具有极佳的抗干扰能力,但其直线累加器的阈值不易控制，处理速度较慢[13].因此,采用基于已知点的Hough变换提取导航线信息.基于已知点的Hough变换将标准Hough变换的运算过程简化为基于一个已知点的一元映射, 通过对检测对象特征的分析，获取少量的目标像素特征点，减少处理对象，在保留标准Hough变换抗干扰能力强的基础上简化了计算过程,极大地提高了处理速度[11].其中，基于已知点的Hough变换检测直线的过程见文献[14].由于图像尽头的稻叶长势相对不规则，因此已知点的选取从图像M/2行开始向下扫描图像的所有路径拟合点，计算其横坐标和纵坐标的平均值位置，记为已知点.

a.标准的Hough变换;b.基于已知点的Hough变换.图6 Hough变换检测导航路径Fig.6 Navigation path detected by Hough transform

2 结果与分析

为验证算法的有效性，在试验田以不同拍摄角度采集再生稻图像进行对比试验，检测导航路径，图像尺寸为419×310像素.利用较有代表性的5幅再生稻图像分别以标准Hough和基于已知点的Hogh进行对比试验，结果如图7所示.

a1～a5.标准Hough变换结果;b1～b5.基于已知点的Hough变换结果.图7 导航路径检测试验对比图 Fig.7 Comparison on pathway images after navigation

由图7可以看出，基于已知点的Hough提取导航线保持了标准Hough的精度，仍体现了标准Hough极强的抗干扰能力，且避免了标准Hough变换累加器阈值不易确定的问题.表1显示了这2种算法的耗时对比，结果表明基于已知点的Hough耗时更少，容易满足收割机辅助驾驶的实时性要求.结果表明该方法能在有效分割再生稻植株和路径的基础上，实现再生稻植株在中低层复杂背景下提取导航路径.尽管噪声的干扰部分路径拟合点偏离路径中间，但Hough算法具有较好的纠偏能力和鲁棒性，因此其处理结果仍基本体现路径的中心线位置，有较好的适用性.同时也表明该方法在稻叶交叠情况下，对导航路径检测具有较好的适应性，拟合出的导航线基本反映了再生稻的走势特征，符合人眼视觉的感官判断.

表1 标准Hough和基于已知点Hough算法的耗时对比Table 1 Comparison of time between standardized Hough and known point based on Hough

3 讨论

农田采集的再生稻图像在HSV空间中以S分量灰度化，结合Otsu算法得到初始分割阈值.同时加入修正因子-a二值化图像，并运用形态学等后续处理分割出植株区域和路径区域，以动态扫描方式检测路径拟合点.利用基于已知点的Hough变换拟合导航路径，提高了导航线检测效率.试验结果表明，该方法对中低层稻叶交叠现象具有一定的抗干扰性.但当稻叶交叠严重时该方法的背景分割效果降低，且当农田周围的风力较大时，植株容易出现变形，导致图像分割和中心线检测出现偏差，这还有待今后进一步研究.

[1] 吴刚,谭彧,郑永军,等.基于改进Hough变换的收割机器人行走目标直线检测[J].农业机械学报,2010(2):176-179.

[2] 迟德霞,任文涛,由佳翰,等.水稻插秧机视觉导航信息获取试验[J].沈阳农业大学学报,2015(5):575-580.

[3] TORU T. Research in autonomous agriculture vehicles in Japan[J]. Computer and Electronics in Agriculture, 2000,25(1):133-153.

[4] 唐泽华.基于机器视觉的步行插秧机自主导航关键技术研究[D].杭州：浙江理工大学,2013.

[5]吴佳艺. 基于机器视觉的农林环境导航路径生成算法研究[D]. 杭州：浙江工业大学，2009.

[6] 朱鸿,陈鸿飞.福建省再生稻研究现状与展望[J].亚热带农业研究,2006,2(3):170-175.

[7] OTSU N. A threshold selection method from gray-lever histogram[J]. IEEE Trans on SMC, 1979,29(1):62-66.

[8] 张振升,朱名日.基于HSI颜色空间的蔗糖结晶图像分割方法[J].计算机工程与应用,2011(11):190-193.

[9] 冈萨雷斯.数字图像处理[M].2版.阮秋奇,译.北京:电子工业出版社,2003.

[10] 赵德升.基于机器视觉的精确喷施智能除草装置杂草实时识别技术[D].镇江：江苏大学,2009.

[11] 曹倩,王库,杨永辉,史小磊.基于TMS320DM642的农业机器人视觉导航路径检测[J].农业机械学报,2009(7):171-175.

[12] 刘兆祥,陈艳,籍颖,等.基于机器视觉的农业车辆路径跟踪[J].农业机械学报,2009(S1):18-22.

[13] 张甜.高茬水田耕整路径机器视觉识别方法研究[D].武汉：华中农业大学,2014.

[14] 黄小刚.水田除草机器人视觉导航路径与参数获取方法研究[D].广州：华南理工大学,2013.

(责任编辑:叶济蓉)

Method of identifying the vision navigation path for ratooning rice harvester

GUO Hanlin, HONG Yingjie, ZHANG Xiang, LIN Jian

(College of Mechanical and Electronic Engineering, Fujian Agriculture and Forestry University, Fuzhou, Fujian 350002, China)

A method of identifying the vision navigation path for ratooning rice harvester is proposed based on machine vision technology to reduce the rate of rice straw rolled. Based on the characteristics of ratooning rice image in the farmland, an initial segmentation thresholdTwas obtained based on S variate in HSV space, by Otsu algorithm. In order to maintain the integral feature of ratooning rice area under different maturity stages, a modified factor -awas incorporated to get segmentation thresholdT-a, which was used to binarize the grayscale image. Then the ratooning rice area was divided into sections of left and right by harvester pathway. A dynamic method for identifying discrete points in the navigation path was proposed based on the boundary feature and scanned image. Lastly, the vision navigation path was identified by the known point Hough transform in the ratooning rice area. The results demonstrated that the average time of processing a 419×310 pixel image was 0.064 s, which met the timing requirement in the field. Moreover, navigation line accords with human visual recognition, and exerts strong adaptability to noises like overlapped leaf.

ratooning rice; cropland field; vision navigation; Hough transform; line detection

2016-07-12

2016-10-15

福建省自然科学基金资助项目(2016J01701)；福建农林大学机械工程学科整体学科水平提升计划项目(612014049).

郭翰林(1989-)，男，硕士研究生.研究方向：机械制造自动化技术.Email:ffharlen@126.com.通讯作者林建(1971-)，男，副教授.研究方向：计算机控制和视觉算法.Email:1827740@qq.com.

TP391.9

A

1671-5470(2017)03-0356-05

10.13323/j.cnki.j.fafu(nat.sci.).2017.03.020