农业机械视觉导航技术研究进展

余帅振，张富贵，张龙，郑乐，闫建伟

（550025 贵州省 贵阳市 贵州大学 机械工程学院）

0 引言

视觉导航技术是我国建设智慧农业的基础之一，可缓解当前农村劳动力不足等问题，同时能提高农业机械作业的质量和效率[1-3]。视觉导航技术已用于执行多种农业任务，如种植[4]、作物收获[5]和除草[6]等。它是利用视觉传感器感知周围环境信息，为机器运动提供依据的导航技术。视觉导航技术与GPS 和激光雷达等导航方式相比，具有成本低和操作简单等优点。根据摄像机的数目，视觉导航分为单目视觉导航[7]、双目视觉导航[8]和多目视觉导航[9]。在农业领域实际运用中，作业机械对实时性要求较高，故主要采用单目视觉导航和双目视觉导航。

农业机械视觉导航的关键步骤包括图像预处理和导航路径提取。目前，国内外研究聚焦于对上述步骤的改进，解决农业机械视觉导航技术面临的挑战，如图像预处理无法较好地去除图像中的阴影和光照变化等噪声干扰，并且导航路径提取算法存在实时性差和准确性不足等问题。

本文总结视觉导航技术的关键步骤图像预处理与导航路径现有提取方法面临的挑战，并分别对国内外在上述关键步骤的改进方法进行详细综述；针对农业机械视觉导航面临田端换行和实时性挑战，提出了2 种相应解决思路；最后阐明了农业机械视觉导航技术未来发展方向。

1 图像预处理

农业机械作业环境通常比较复杂，导航效果易受环境干扰，如作物和田垄旁长有杂草、拍摄的图像受光照变化干扰等[10]，如果直接对原始图像进行处理，会影响导航系统的实时性和准确性。为了快速及准确提取作物特征信息，去除图像的噪声，对获取的原始图像采用图像预处理操作。图像预处理主要包括颜色空间的选择、作物灰度特征提取、图像滤波、图像分割等[11]。

针对传统图像预处理方法提取作物特征效果较差的问题，研究人员提出以下改进：（1）采用多颜色特征融合更好地呈现作物特征信息；（2）建立图像灰度法的评价体系，更准确判断作物与背景的区分程度；（3）采用自适应滤波更好保留作物特征信息，去除图中噪声；（4）采用基于深度学习的图像分割，能有效提高作物特征提取准确度。上述改进有效提高了作物特征提取效果，但计算量增加，造成导航系统的实时性变差。

1.1 颜色空间的选择

不同的颜色空间强调的颜色特征不同，根据作物特定的颜色特征选择合适的颜色空间至关重要。在传统方法中通过比较作物在多种颜色空间的效果，选取其中最佳颜色空间，这种方法比较复杂，且不能很好表达作物的颜色特征。为了解决上述问题，研究人员提出了多颜色特征融合和自动选择最优颜色空间的方法。Hernández 等[12]提出了一种新的颜色处理概率方法。该方法不仅可以为植物/土壤分割创建最佳颜色模型，而且能为每个问题选择最合适的颜色空间，在最佳空间和通道中生成颜色模型；Li 等[13]引入LAB 颜色空间中的高斯混合模型来描述作物像素的分布，并应用超像素技术进行结构保持，能够更好地表达作物颜色特征。

1.2 作物特征提取

颜色空间包含大量杂草和土壤等背景的颜色信息。如果直接对彩色图像进行阈值分割处理，耗时比较长，并且存在大量噪声容易造成分割效果不佳，故采用提取作物特征和灰度化方法。

常用的作物特征提取方法包括超绿灰度法[14]、超绿-超红灰度法[15]、S 分量法[16]等，但上述传统方法仍存在一些不足，如缺少一套标准的评价体系，不能根据特定的环境设定出最佳的提取方法等。为了解决上述问题，宋宇等[17]通过对多幅样本图像进行预处理得出最佳α值。当α值过大容易造成过度提取，相反就容易造成欠提取。该方法与2G-R-B 相比，能更好提取作物的特征；Wang 等[18]采用一种暗原色灰度法，将像素的RGB 中3 个颜色通道的最小值作为灰度值。该方法可提取作物的非绿色特征，实现了非绿作物与背景的有效分离；陈少杰[19]提出了一种评价参数e 对图像灰度化效果的评价方法。在灰度图像中，e 越大则目标区域与背景越容易区分，e 越小则难以区分。

1.3 图像滤波

由于相机的硬件、图像拍摄和处理等过程容易产生噪声，干扰后续图像处理，常采用图像滤波处理，即尽可能保留图像细节的条件下抑制目标图像的噪声，是图像预处理不可缺少的操作，预处理效果会影响后续图像处理的有效性、可靠性及分析。

常用的图像滤波包括均值滤波[20]、高斯滤波和中值滤波[21]，这些方法都只采用固定的滤波窗口，容易在处理噪声时牺牲掉部分的图像细节[22]。为了解决上述问题，郭丽等[23]提出了一种自适应中值滤波方法，根据子块中噪声干扰大小来确定滤波窗口大小；赵玲玲[24]在自适应滤波基础上进一步改进，当判断图像像素不是噪声时，直接输出；刁智华等[25]提出了一种新的排序方法，将传统的中值滤波排序次数从36 次减少到21 次。

1.4 图像分割

上述图像处理突出了目标特征，改善了图像分割的效果。目前，基于阈值分割是最常用的图像分割方法，它是将灰度图像中每个像素的灰度值与一个或多个预设阈值进行比较，然后根据比较结果将像素分为相应的类别[26]。

目前常用阈值分割的方法有Otsu 法[27]、迭代阈值分割和最大熵阈值分割[28]，但这些方法都只使用单个特征进行背景和作物的分割，当背景中存在与作物相似的特征，分割效果将大幅下降，故研究人员提出以下改进方法：Chen 等[29]通过比较分析了6 个单一特征和不同融合策略的综合识别性能，得到了玉米苗期田间杂草检测的最佳多特征融合方法；Hu 等[30]提出一种图形杂草网络，可以从复杂牧场采集的RGB图像中识别多种类型的杂草。

2 导航路径提取

提取导航路径是视觉导航重要一环，直接影响农业机械的作业精度和安全。提取导航路径主要包括作物行的特征点检测、导航参考线的拟合和导航路径的提取。

在单目和双目2 种视觉导航方式中，提取导航路径的过程存在差异，但作物行的特征点拟合算法相似。在单目视觉导航中，从二值图像中提取导航路径有2 种方法：（1）通过边缘检测算法提取作物行边界；（2）通过滑动窗口方法获得作物行中心线。在双目视觉导航中，通常采用图像匹配和高程图分割提取作物行中心线。这2 种方法的效果如图1 所示。

作物在种植过程种子存在未发芽或漏播，作物生长边界普遍不规则等问题，造成传统导航路径提取算法面临实时性差和准确性低等挑战。针对上述问题，研究人员做出以下改进：（1）采用提取作物行中心线方法有效减小作物边界不规则的影响，且该方法实时性较好；（2）采用3 次B 样条法解决曲线拟合，增加拟合算法的适用范围；（3）采用蚁群算法和简化算法步骤有效减少运算量。

2.1 作物行边缘检测

在二值图像中，作物行的边缘是灰度值在空间或梯度方向上发生突变的像素集合。常用边缘检测的方法有Canny 算法、Sobel 算法和Roberts 算法[32]。但传统边缘检测算法面临抗椒盐噪声能力差和阈值选择适应性差等问题。鉴于此，杜绪伟等[33]提出了一种改进的Canny 算法，利用双边滤波来替换高斯滤波进行图像预处理，能保留更多的图像边缘细节和有效地去除噪声；Zhang 等[34]提出一种基于Canny 的改进图像边缘检测算法，结合改进的自适应中值滤波来降低图像噪声，改进后的算法解决了传统Canny 算法的不足，在去除椒盐噪声的干扰和保留图像边缘细节方面效果更好；Bustacara-Medina 等[35]提出在非极大值抑制步骤中加入曲率信息，以解决传统Canny 算法的不足，可以获得准确的边缘识别。

2.2 作物行候选点的检测

通过拟合作物行边界确定导航路径，这种方法计算量较大，实时性较差。研究人员先检测作物行候选点，再拟合候选点获得作物行中心线，大大提高了运算速度。单目视觉导航和双目视觉导航的检测方法不相同，分述如下：

2.2.1 单目视觉导航方法

在单目视觉导航中，作物行候选点常用的检测方法有基于水平条的方法[36]、基于类聚的方法[37]，这2 种方法面临许多挑战，如作物在种植过程种子未发芽或漏播、杂草密度较大等对提取候选点的影响。为克服上述问题，研究人员提出基于滑动窗口的方法。王爱臣等[38]提出一种类聚窗口提取作物行的候选点的方法，以图像高度的1/10 为窗口高度，通过垂直投影法确定类聚窗口带宽，然后把K-means 聚类中心点作为作物行的候选点；Zhang 等[39]提出一种结合距离约束和特征点之间角度约束的位置聚类算法，设置距离阈值和角度阈值排除伪特征点，减少了行间杂草和作物间隙的影响；Garcıá 等[40]提出通过拟合多条抛物线，寻找过最多点的抛物线，就可以解决作物行间的间隙。

2.2.2 双目视觉导航方法

在双目视觉导航中，作物行获选点的检测过程包括：使用匹配算法对灰度图进行目标特征提取和立体匹配，再设置高度阈值，获得作物的高程图。

（1）图像匹配

对图像中目标特有的特征信息进行提取，根据相似性度量和搜索策略进行图像间的特征匹配，寻找特征间最佳的匹配对应关系，称为图像匹配。目前常用图像匹配算法有SIFT 算法[41]、SURF 算法[42]和ORB 算法[43-44]等。上述方法的不足：SIFT 算法的运算复杂且匹配精度较低，ORB 算法存在特征点分布不均匀、特征错配多和鲁棒性差等问题。针对这些问题，研究人员提出多种改进方法。Qiao等[45]采用图像双边滤波的改进SIFT 特征提取算法，可以提高边缘响应稳定的特征点的提取效果，同时抑制边缘响应不稳定的特征点的提取，从而提高匹配精度；Li 等[46]将基于C4.5 算法的决策树加入到传统FAST 中，将原始数据分成2 棵决策树，使特征提取性能更加稳定，特征点提取更高效；赵谦等[47]提出一种SURF-RANSAC 算法，采用自适应阈值方法实现特征点粗匹配，减少人为设定阈值对匹配结果的影响，通过特征向量构建余弦约束对随机采样一致性算法进行改进，实现对匹配点对的提纯。

（2）高程图构建

通过立体匹配可获得视差图，并计算特征点的3D 坐标信息，获得作物的高程图。参考作物平均高度，设置2 个高度阈值提取作物行的特征点，其余特征点视为噪声去除。由于精匹配后得到的匹配点非常稀疏，直接生成高程图的效果不佳，故需要对匹配点进行增强处理。Zhang 等[48]采用模板大小为4×4 的形态扩张算子对相邻区域的特征点进行扩张。

2.3 导航基准线的确定

导航基准线拟合是基于视觉导航的关键一步，导航基准线是否准确，直接影响机器行驶的安全性。提取导航基准线的过程包括：（1）根据作物行的特征点拟合参考线，参考线一般选取离机器最近两侧的作物行边界或作物行中心线；（2）提取参考线之间的中心线，此中心线即为导航基准线。

传统的参考线拟合方法包括Hough 变换[49]、PCA 方法[50]、最小二乘法等。上述方法在特征点近似直线分布的拟合效果较好，但农业环境较为复杂，特征点分布一般呈曲线或不规则形状。针对此问题，研究人员提出了一系列解决方法。Chen 等[51]提出了一种预测点霍夫变换算法。与传统的Hough算法相比，该算法改进了遍历角度范围，提高了交叉路口检测范围，具有更好的抗干扰性和实时性；孟庆宽等[27]采用人工蚁群算法进行特征点拟合。该算法与传统的拟合方法相比，具有更好的拟合速度和准确性；关卓怀等[52]提出一种3 次B 样条曲线方法，将1 个相邻的拟合关键点作为一组，每组拟合生成一条三次B 样条曲线，全部样条曲线连接就形成拟合曲线。

3 待解决的关键问题与展望

目前，基于视觉导航的农业机械已用于执行多种农业任务，但也面临着诸多问题：（1）在双目视觉导航中，需根据作物行边界获得置信密度图，再提取导航参考线。目前常用的2 种方法：一是通过图像分割和边缘检测提取作物行边界，此过程耗时长，实时性不佳；二是根据实地测量，设定作物行宽度阈值与相邻作物行间距阈值，从而确定作物行的边界，但只适用于相机位于作物行中心线正上方，适用范围较小。（2）基于视觉导航的农业机械在田端换行时，无法通过作物行的信息有效提取导航路径，造成实际运用受到限制。

针对上述问题，本文提出解决思路：针对问题（1），采用垂直投影检测高程图中作物行边界。将高程图进行垂直投影，统计各列特征点的数量，将数量发生突变的地方视为作物行边界。与现有方法相比，该方法过程简单且适用范围广。针对问题（2）提出新的田端换行法。该方法分为：①提取相邻2 根导航路径，并计算之间距离S；②田端检测。当拍摄图片的上部分像素发生突变，从而判定前方出现田端，计算此时机器到田端的距离D；③田端换行。通过里程计估计机器行驶距离D 时，判定机器到达地头，然后绕自身旋转90°，直线前进S，再次同方向绕自身旋转90°，即完成一次田端换行。与现有方法相比，该方法易于获取田端换行导航路线。

随着深度学习在视觉导航中的应用，作物与背景的分割变得更加准确，可以适应更为复杂的环境。但目前算法耗时较长，如何提高实时性成为研究热点之一。智慧农业对农业机械视觉导航系统的准确性提出更高要求，因单一视觉传感器获得信息有限，且易受环境变化干扰，因此采用多传感器信息融合可对环境信息进行冗余和互补。视觉传感器与其它传感器信息融合的导航方式是未来研究重点之一。

随着自主驾驶农业机械的普及，多机协同作业技术可发挥机群作业优势，提高农机作业效率。实现多机协同已逐渐成为研究热点之一。