基于多目视觉的田间导航线提取方法*

马秋宇，黄良永

（广西科技师范学院职业技术教育学院，广西 来宾 545004）

0 引言

农机设备自主导航技术是实施精准农业的基础，可以降低劳动强度，提高作业效率[1-2]。自主导航技术已广泛应用在农田耕种、除草、施肥、喷药、收割等方面[3-4]。农机设备自主导航的关键是田间导航线的提取，近年来众多学者针对田间导航线的提取算法进行了深入的研究。如利用人工蜂群算法将获得的导航特征点拟合导航路径[5]；通过K-means（K 均值聚类）估算提取作物行中心线[6]；基于分区域特征点聚类的秧苗行中心线提取方法[7]；利用区域生长算法拟合导航线[8]；使用改进的轻量化Deeplab-MV3（深度学习）模型识别垄径区域，获取导航中线[9]；利用改进YOLOv7（深度神经网络）模型得到两侧果树行线的定位参照点，然后拟合导航线[10]；利用HSV 颜色空间，选用H 分量二值分割，对分割图像进行填充处理，根据特征曲线拟合导航线[11]。

综上所述，目前对导航线的提取，多数处于图像坐标下，仅对获取的单幅图像提取导航线，且图像获取范围没有统一标准，提出的算法适用范围窄，直接应用到导航设备上会产生较大误差。在图像采集过程中，一般情况下视觉范围近的图像可为导航线提供准确定位，视觉范围远的图像可为导航线提供方向。本研究通过图像采集设备获取不同视觉范围下的近景图像和远景图像，利用图像处理算法和形态学操作获取二值图，将背景像素中点作为导航特征点，通过坐标系转换，将图像坐标系下导航特征点映射到同一地面坐标系，继而对多幅图像映射后的导航特征点进行融合；最后由最小二乘法进行直线拟合。该算法将导航线的提取从图像坐标系转换到了地面实际坐标系下，对农机设备的自主导航具有重要意义。

1 研究方法

通过图像采集设备获取田间图像，采用归一化超绿特征（2G-R-B）获取灰度图，再用Otsu 算法和形态学填充操作对图像进行分割，获取二值图，提取背景像素中点作为导航特征点；然后通过坐标系转换，将四幅图像的导航特征点映射到同一地面坐标系，通过加权平均获取最终导航特征点；最后通过最小二乘法拟合导航线，总体研究流程如图1所示。

图1 总体研究流程

2 图像预处理

2.1 图像采集

本研究自制图像采集设备如图2 所示，其利用四个与地面具有不同高度差的摄像头依次获取田间不同视觉范围下的近景图像和远景图像。

图2 图像采集设备

2.2 图像分割

由于获取的田间图像为彩色图像，为使农作物部分更明显突出，使农作物和土壤明显区分开，需对获取的田间图像进行预处理。由于农作物的RGB 图像中，G 颜色分量占比最高，可以通过提高G 分量最大限度分离作物和背景，即超绿特征（2G-R-B）灰度化方法，G、R、B 为绿、红、蓝颜色分量像素值。为增加农作物和背景土壤的对比度，还需对灰度图进行归一化处理。因此，对图3（a）采用归一化2G-R-B 超绿特征获取图像灰度图，如图3（b）所示；灰度图可以有效区分农作物和土壤背景，然后采用Otsu 阈值分割自适应生成阈值获取二值图，阈值分割可以将整个图像分成两个区域，白色表示农作物，黑色表示土壤背景，如图3（c）所示；最后采用形态学填充操作对分割图像进行进一步降噪处理，形态学运算可有效增强区域的连通性，消除噪声对垄行检测的影响，如图3（d）所示，大部分噪声被滤除。

图3 图像预处理

2.3 特征点提取

特征点的提取是导航线拟合的前提，图像预处理中已经将农作物和土壤背景分离。特征点提取方法有很多，根据图像处理情况，采用背景像素中点作为导航特征点，通过拟合导航特征点获取导航线。

3 实验结果与分析

3.1 坐标系转换

由于每幅图像的坐标系不同，多幅图像无法融合，因此要把多幅图像的导航特征点放到同一坐标下，需要进行坐标系的转换。

BP 神经网络算法属于非线性分类器，可以实现从输入到输出的任意非线性映射，由于田间环境属于复杂的非线性环境，因此利用BP 神经网络算法建立图像坐标系到地面实际坐标系的坐标系转换模型，图像坐标系的像素坐标作为输入，将对应的实际坐标作为输出建立神经网络。建立图像坐标系到地面实际坐标系转换模型的步骤如下：

1）确定地面实际坐标系与图像坐标系的原点。地面实际坐标系（OXY）的原点根据实际场景设置，图像坐标系（OUV）的原点一般为采集图像的左上角。

2）选取BP 神经网络的训练样本。采用大小相等、黑白相间的正方形格子作为标定纸，在地面均匀分布。地面实际坐标系下的每一个实际坐标位置在图像坐标系下都有一个与之对应的像素坐标，如图4 所示。其中，图像坐标系下坐标的单位为像素，地面实际坐标系下坐标的单位为厘米。选取一定数量的样本值对网络进行训练，样本值的选取按照平均主义原则，以图像坐标的中点为中心，四个象限平均取值。

图4 坐标对应示意图

3）构建网络模型。以图像坐标（u，v）为输入，以对应的地面实际坐标（x，y）为输出建立神经网络模型。

4）对网络进行训练和测试。利用训练样本对网络进行训练，然后利用测试样本检测网络的泛化能力。

通过以上四步即可实现图像坐标系到地面坐标系的转换，将每一幅图像的导航特征点映射到同一地面坐标系，在同一地面坐标系下，将导航特征点进行融合，融合方法是将特征点加权平均，获取最终导航特征点，导航线提取过程如图5 所示。由于导航线大多近似直线，因此采用最小二乘法进行导航线拟合。

图5 导航线提取过程示意图

3.2 实验结果

利用该方法进行了5 组田间实验，并对比了实验结果，对比结果如表1 所示。在同一地面坐标系下，拟合后导航线系数a的绝对值普遍高于单条导航线的值。其中，a表示导航线斜率，斜率的绝对值越大，表明直线越接近y轴，即直线倾斜角度越小，导航线拟合精度越高。

表1 导航线拟合系数对比结果

4 结论

目前田间导航线的提取主要是在图像坐标系下，主要涉及三个步骤：图像预处理、特征点提取、导航线拟合。图像预处理阶段是目前的研究热点，主要是为了有效区分作物和土壤背景，田间图像的获取容易受环境因素的影响，例如光照强弱、土壤干湿、有无遮挡等因素。因此，很多学者通过改变颜色空间模型降低环境对图像处理的影响，主要的颜色空间模型包括RGB、HIS、HSV、YUV等。虽然通过颜色空间模型的改变，图像处理效果有所提高，但是每一种颜色空间模型都有其局限性，并不能适应所有的田间环境。本研究主要是将图像坐标系转换到了地面实际坐标系，将不同范围内的导航特征点映射到同一地面坐标系，再将导航特征点进行融合，最后通过最小二乘法拟合融合导航线。该方法为真实环境下降低山区农业机器人自主导航误差提供了思路。