玉米行间导航线实时提取

杨 洋，张博立，查家翼，温 兴，陈黎卿※，张 铁，董 祥 ，杨学军

（1. 安徽农业大学工学院，合肥 230036；2. 安徽省智能农机装备工程实验室，合肥 230036；3. 中国农业机械化科学研究院，北京 100083）

0 引 言

高地隙植保机在进行玉米田间植保作业时要求车轮沿垄间行走，由于驾驶员视野遮挡严重，易出现轮胎压苗现象，如何避免车轮压苗亟需解决。

近年来众多学者针对拖拉机、收获机、果园植保机等的自动导航作业系统开展研究并取得一定成果[1-8]，为高地隙植保机的自动驾驶提供了基础。针对高地隙植保机田间自动驾驶，刘兆朋等[9]基于 RTK-GNSS技术开发高地隙喷雾机自动导航作业系统，实现喷雾机在极少人工干预下自动植保作业。陈黎卿等[10]设计了高地隙植保机辅助驾驶系统，夏祥孟[11]开展了植保机器人全局路径规划研究。Seong等[12]基于GPS和超声波传感器开发了喷雾机自主导航作业系统，基于超声波检测实现了避障识别并设计了规避路径。基于卫星定位技术开发无人驾驶系统，根据田块几何信息规划全局行走路径，但是无法解决高地隙植保机车轮压苗、伤苗问题。

实现高地隙植保机玉米田间自动作业的关键是玉米垄间导航路径的实时获取。玉米通常采用条播种植，可以通过提取玉米苗带中心线规划车轮垄间行走路径[13]。张铁民等[14]通过视觉监测系统，对不同颜色的标识线、绿色植物与裸露地面的分界线等路径进行识别和导航控制。廖娟等[15]以秧苗为研究对象，提出了基于分区域特征点聚类的秧苗行中心线提取方法，用于插秧机导航行走。宋宇等[16-17]基于机器视觉提取玉米根茎导航线，用于农业机器人玉米行间行走导航。基于机器视觉提取作物中心线，大多数学者结合颜色特征分割图像中的作物或垄沟，再通过Hough变换或最小二乘法提取作物中心线[18-20]。文献[21]采用随机Hough完成玉米作物行提取，处理时间约290 ms，文献[22]采用大豆垂直投影图获取作物特征点，然后利用最小二乘法拟合导航轨迹，平均耗时185 ms，文献[23]基于图像特征点粒子群聚类算法完成玉米根茎识别，耗时为423.7 ms。通过对国内外文献分析可以看出，目前导航线提取算法主要存在田间适应性差，运行速度慢等问题，无法满足导航线实时提取的要求。

高地隙植保机田间植保作业速度可达15 km/h，稳定、高效和准确的导航线提取算法是自动导航的前提，目前大多数基于机器视觉提取导航线的算法耗时大于100 ms。基于此，本文提出了高地隙植保机车轮在玉米行间行走的动态ROI（Region of Interest, ROI）区域划分算法，然后在动态ROI区域内提取导航线，并通过算法对比试验和田间导航试验验证本文算法的可靠性和准确性。

1 高地隙植保机底盘机器视觉系统

1.1 高地隙植保机底盘简介

高地隙植保机底盘结构简图如图 1所示[10]，主要由柴油机、高地隙车桥、转向油缸、高地隙轮胎、自动转向系统和机器视觉系统等组成。高地隙植保机底盘离地间隙1.1 m，轴距1.6 m，轮距1.3 m。传动系统采用HST静液压变速箱，能够实现底盘无极变速。转向系统采用伺服电机驱动全液压转向器，车轮转向精度为0.1°。导航摄像头安装在车轮上方，离地高度1.5 m。

图1 高地隙植保机底盘基本结构Fig.1 Basic structure of chassis for the high-clearance plant protection machine

1.2 玉米苗带图像视频采集

如图1所示，图像采集设备采用CMOS机器视觉摄像头，相机距离地面高度1.5 m，倾斜角度30 °，利用相机成像原理对相机进行标定。图像分辨率为 1 920像素×1 080像素，视频帧率为12帧/s，格式为AVI。

在安徽省宿州市埇桥区灰古镇安徽农业大学皖北综合试验站（116°97′E、33°63′N）采集玉米苗带视频，玉米种植农艺行距为60 cm。分别在2019年7月2日（时期Ⅰ，玉米平均高度30 cm，光照强度37 600 LX）、7月8日（时期Ⅱ，玉米平均高度50 cm，光照强度102 300 LX）和7月14日（时期Ⅲ，玉米平均高度70 cm，光照强度149 200 LX），开展玉米苗带视频采集。

图像处理软件采用Python3.6和C语言混合编程，其中 Python编译器为 PyCharm。图像处理硬件采用研华MIC-7700型工控机，处理器Inter Core i7（主频2.6 GHz），显卡GTX1660（显存6 G），内存8 G。

1.3 导航线实时提取与路径跟踪流程

基于机器视觉的高地隙植保机玉米行间导航线提取流程如图 2所示，首先通过安装在车轮正前方的相机获取车轮正前方玉米苗带图像信息，然后对采集到的图像进行预处理，确定导航ROI，并在导航ROI内采用最小二乘法拟合导航线，最后根据路径跟踪控制算法实现高地隙植保机玉米行间行走。

图2 导航线提取流程Fig.2 Process of navigation line extraction

2 图像预处理与苗带分割

为了减少光照强度对图像识别的影响，将颜色分量R、G、B值进行归一化[24]，采用归一化后的颜色分量代替原有颜色分量，克服不同光照强度对苗带特征提取的影响，计算方法如式（1）所示。

式中r、g和b分别为颜色分量R、G和B的归一化值。

分别在弱光和强光条件下俯拍玉米田间图像，选取2种光照条件下各40帧视频图像，每幅图像提取20个玉米和土壤测试点，进行颜色分量R、G、B值统计分析。如图3a和图3b所示，颜色分量变化规律的不确定直接影响玉米与土壤背景的准确分割。通过对颜色分量归一化处理，确保不同光照条件下颜色分量变化规律相同，结果如图3c和图3d所示。

采用超绿特征算子对玉米苗带图像进行灰度化处理，超绿特征算子计算方法如式（2）所示。

式中Eg(x,y)为像素点(x,y)的灰度值。

采用超绿特征算子计算土壤和玉米苗带图像灰度值，统计结果如图 4a，统计结果表明玉米不同生长时期土壤背景灰度值显著小于玉米。以超绿特征算子为玉米分割阈值，采用最大类间方差法[25-27]分割玉米和土壤背景，不同时期玉米二值化分割效果如图4c所示。

图3 颜色分量统计结果Fig.3 Statistical results of color components

图4 不同时期玉米与土壤背景分割结果Fig.4 Segmentation results of corn and soil background in different periods

田间杂草、秸秆以及玉米叶片外展噪声，直接干扰静态ROI的提取。采用形态学膨胀和腐蚀去除噪声，并连通小范围断垄区域，结果如图4d所示，该区域可用于车轮对行行走路径规划效果较好。图像预处理与苗带分割为后续的ROI可靠提取提供了必要条件。

3 车轮可行走动态ROI确定

如果直接对相机采集的图像进行处理，单帧图像处理时间普遍大于300 ms[28]，无法满足导航作业的实时性需求，为此本文提出在可行走动态ROI内开展导航线提取。

3.1 静态ROI确定

玉米种植采用条播法，行与行之间保持相同的距离，垂直投影法能够较好的应用于条播作物导航线提取。针对垂直投影法应对复杂环境适应性差，容易出现苗带中心线拟合角度偏移大，且耗时较长的问题，本文将垂直投影法用于初始帧图像处理，确定静态 ROI，然后在静态ROI的基础上确定导航动态ROI。

3.1.1 图像带划分

由于相机俯拍角度的影响，玉米苗带在图像中并不是相互平行的，无法直接对图像使用垂直投影，因此需要将图像划分成若干图像条。在采集图像W×H像素范围内按照Δh像素高度划分图像带，如图5a所示。图像带垂直投影结果如图5b所示。

图5 图像带划分与垂直投影结果Fig.5 Image band division and vertical projection results

3.1.2 ROI区域的几何表达

确定静态 ROI，需要定位玉米行中心点，采用垂直投影法获取玉米行中心点的步骤如下：

1）从下至上依次对划分的图像带进行编号1、2、…、n、…、N，其中N为图像带总数，根据聚类计算结果本文取10。采用公式（3）计算图像带W×Δh像素范围列像素累加值，得到列像素曲线Z(j)，如图5所示。

式中下标j为图像带像素点列坐标；下标i为图像带像素点行坐标。

2）确定图像带中玉米行中心点。设置阈值T，当Z(j-1)＜T＜Z(j+1)时，图像带像素列坐标j为上升列序号；当Z(j+1)＜T＜Z(j-1)时，j为下降列序号，其中阈值T根据公式（4）～（6）计算。上升点与下降点的中心点即为图像带中玉米行中心点。

式中M为图像带所有列像素累加和的均值；E为图像带列像素累加值标准差。

3）按照上述步骤对所有图像带进行相同操作，得到W×H像素范围内的所有玉米行中心点。

4）在编号1的图像带中，从W/2位置向两侧扫描，记录两侧扫描的第 1个像素点坐标分别为 ()，(，计算2个像素坐标点的中点水平位置Wc。

5）在编号为2的图像带中，扫描线从Wc处向两边扫描，并执行步骤 4）。以此循环，最后确定编号为N的图像带左右 2行作物行中心点的像素坐标分别为()。

6）采用公式（7）对和进行运算，获得梯形ROI的4个顶点的像素坐标，基于顶点位置确定ROI。

式中（X1,）为ROI左下角像素坐标，（）为ROI右下角像素坐标，（）为ROI左上角像素坐标，（X4,）ROI右上角像素坐标。A和B的值根据图6确定。

3.1.3 静态ROI内玉米苗带特征点聚类

如图6所示，在图像带中定义圆心坐标P(x,y)，直径Δh的圆CR，在图像带中从ROI左侧边界向ROI中心线移动圆CR，统计圆CR中的像素不为0的像素点数，如图7所示。当圆CR中包含像素点数最多时，记录此时圆心像素坐标，从ROI中心线向ROI右侧边界执行相同操作。在已划分的图像带中执行此操作，最终获得特征点集l、r。使用最小二乘法拟合特征点集l、r，得到左右两侧玉米苗带识别线和导航线。

图6 ROI几何表示Fig.6 Geometric representation of Region of Interest(ROI)

采用上述算法，确定静态ROI并提取玉米苗带特征点共耗时473.7 ms，由于静态ROI在相机开机后自动确定，此时尚未开展导航作业，较长的处理时间不影响导航作业的实时性。

3.2 动态ROI确定

由静态ROI提取的苗带中心线确定动态ROI，并在动态ROI内提取玉米苗带识别线，实现ROI的动态更新。

3.2.1 动态ROI更新

1）计算由静态 ROI提取的苗带中心线端点像素坐标，分别记为（，0），（，0）和（,N×Δh），（,N×Δh），如图7。根据的坐标值，按照公式（7）计算动态ROI的顶点像素坐标。

图7 动态ROI更新Fig.7 Update of dynamic ROI

2）通过视频上一帧获取的导航线，将动态ROI划分为P区域与Q区域，如图8所示，并在左右区域内分别采用特征点聚类，得到特征点集p、q，采用最小二乘法拟合特征点集，得到左右两侧玉米苗带识别线和导航线。

3）计算步骤 2）得到的玉米苗带识别线像素位置坐标，重复步骤1）和2），更新ROI的顶点像素位置坐标，得到玉米苗带识别线，实现动态ROI的更新。

图8 玉米苗带线与导航线Fig.8 Corn seedling belt line and navigation line

3.2.2 动态ROI划分可行性分析

选取连续 225帧视频，进行人工划分 ROI，将本文方法得到的动态ROI与人工划分的ROI进行对比。选取梯形ROI的4个顶点，计算人工划分ROI与算法划分ROI在1、2、3、4点的水平像素差值，评价动态ROI划分的准确性，试验结果如图9所示。

图9 人工划分ROI与算法划分动态ROI的对比Fig.9 Comparisons of dynamic ROI between algorithm and manual

以1、2、3、4点的像素距离为指标评价算法动态ROI提取准确性，由于图像上部玉米苗带水平像素距离小，所以1和2点水平像素距离对ROI划分的影响更显著，基于此确定评价指标计算如公式（8）。

式中 ΔX1、ΔX2、ΔX3和 ΔX4分别为 1、2、3、4 点水平像素距离；a为上边界水平像素距离的影响因子，b为下边界水平像素距离的影响因子。a和b表征ROI上边界像素距离和下边界像素距离对算法 ROI标定与人工标定 ROI的差异程度，a和b的取值按公式（9）所示。

式中X12为1点和2点苗带水平像素距离，X34为3点和4点苗带水平像素距离。

人工划分ROI与本文算法划分ROI的差异统计结果如图10所示，算法划分ROI与人工划分ROI的像素偏差收敛在10像素左右，说明本算法具有良好的收敛性。

图10 水平像素误差Fig.10 Horizontal pixel error

随机选取500帧图像，采用该算法进行动态ROI划分，结果如图11所示，动态ROI的划分准确率为98.2%，动态ROI提取耗时20 ms，与静态ROI相比，耗时显著减少，表明本文提出的动态ROI划分算法能够满足高地隙底盘植保机的田间苗带对行导航行走的可靠性和实时性。

图11 不同情景下的动态ROI划分结果Fig.11 Dynamic ROI division results under different scenes

4 行间行走航向角计算

完成动态ROI提取后进行玉米行间行走导航线实时提取，并基于提取结果计算底盘的玉米行间行走航向角。在动态ROI内识别两侧苗带中心线，其斜率分别记为k1和k2，根据角平分线斜率求取公式（10）计算导航线斜率k，以底盘中轴线为Y轴，计算得到导航线与底盘中轴线偏角，即航向角θ(°)。

由图图像采集过程中存在大量随机干扰（如底盘抖动、刮风导致苗带摆动以及缺苗等），因此本文采用卡尔曼滤波方法确定导航线偏角[29-31]。

导航线偏角卡尔曼滤波模型采用状态空间模型描述：

式中xt和xt-1分别表示t和(t-1)时刻导航线相对于底盘中轴线的偏角状态；yk表示t时刻的观测值；f为系统参数，为一维离散数据，取值为 1；uk-1表示(t-1)时刻系统的控制量，ut-1=0；g为测量系统参数，为一维离散数据，取值1；qt表示高斯白噪声；rt为观测高斯白噪声。

qt、rt均符合高斯分布，设高斯分布的协方差矩阵分别为过程噪声Qt和观测误差Rt。由试验可知相机晃动造成的苗带识别误差最大，可归属于观测误差Rt，经过反复试验，确定观测噪声Rt=0.3；刮风导致玉米叶片晃动属于环境因素，引起的误差较小，属于过程误差，经过试验，确定过程噪声Qt=0.02。基于上述分析建立导航线偏角滤波模型时间更新和状态更新模型：

式中和xˆt-1分别表示t和(t-1)时刻的预估状态值；Pt-1表示(t-1)时刻的最优误差协方差；Jt表示卡尔曼增益；I表示系统模型维数，I=1；Pt表示t时刻的最优误差协方差，其中初始误差协方差=0.01。

通过玉米苗带图像视频采集系统采集底盘静止状态下车轮正前方苗带视频和底盘以0.5 m/s速度行走时车轮正前方苗带视频。底盘静止状态下，设置车轮与苗带对齐，理论航向角为0，底盘沿着苗带行走，通过人工标定图像苗带获取导向线。视频采集过程中风速3.4～5.4 m/s（微风），光照37 600 LX，温度35.2 ℃。

底盘静止时的导航线提取结果及其滤波效果如图12a，可见基于卡尔曼滤波处理获取的航向角与人工航向角的误差显著减小。底盘静止状态下理论航向角应该保持不变，但是刮风导致玉米苗带随风摆动，产生航向角变化。对于底盘运动工况，由于底盘晃动、叶片摆动和缺苗等因素影响，航向角变化如图12b，可见通过卡尔曼滤波可以获取稳定的航向角，与人工航向角的误差显著减小。

图12 不同底盘状态下的航向角曲线Fig.12 Heading angle curve under different chassis state

5 试验结果与分析

为了判断导航线提取的准确性，以人工提取的玉米苗带导航线作为评价标准，验证本文算法的准确性。通过人工标定视频图像最合理的导航线，定义人工与本文算法提取的导航线之间的夹角为误差角，用于评价本文算法的准确性。当误差角度大于5°，视为导航线提取无效。

对采集的玉米苗带视频进行导航线提取，随机挑选100帧图像进行人工提取导航线，本文算法提取导航线与人工提取结果的平均误差为1.157°，单帧图像导航线提取耗时平均97.56 ms（标准偏差8 ms）。

采用文献算法处理拍摄的玉米苗带视频，并针对拍摄的玉米图像进行文献算法参数调试，确保能够准确分割玉米苗带和土壤背景后，进行算法导航线提取准确性和算法耗时对比，结果如表1所示，提取效果如图13所示。文献[21]采用Hough变换提取导航线，该方法的玉米苗带识别率为84%，导航线提取准确率为78%，单帧图像处理耗时 420 ms。文献[22]采用垂直投影法提取导航线，该方法的玉米苗带识别率为 65%，导航线提取准确率为40%，单帧图像耗时360 ms。文献[21]和文献[22]的苗带识别率较低的主要原因是算法对整幅图像进行处理，非行走区域的杂草、秸秆等噪声影响苗带中心线的识别。此外，由于相机晃动，相机采集的图像覆盖区域也会有很大偏移，因此由苗带中心线拟合出的导航线会产生跳动现象，甚至可能出现导航线跳出车轮正前方的可行走区域，导致无法进行田间导航行走。

表1 不同算法的导航线提取准确率和耗时对比Table 1 Comparison of accuracy and time-consuming of different algorithms for navigation line extraction

图13 不同算法的玉米行间导航线提取效果对比Fig.13 Comparison of extraction effects of navigation lines between corn rows by different algorithms

2019年7月16日，在安徽省肥东县杨清传家庭农场开展田间试验，玉米平均株高62 cm，行距60 cm，高地隙植保机底盘离地间隙1.1 m，轴距1.6 m，轮距1.3 m。传动系统采用HST（Hydraulic Stepless Transmission）静液压变速箱，能够实现底盘无极变速。转向系统采用伺服电机驱动全液压转向器，车轮转向精度为0.1°。采用拉杆式直线位移传感器（品牌：MIRAN，型号：PR1，精度：0.01 mm）测量高地隙植保机转向油缸伸缩位移，标定车轮转角和油缸位移关系，获得车轮转角。通过北斗移动基站（北斗信通，型号C201-AT-680）获得底盘行驶速度和位置坐标，将底盘作业速度信号反馈给静液压变速箱控制器，控制底盘作业速度为0.5 m/s。选择玉米苗带为直线的区域开展试验，试验前检查传感器参数、动态ROI区域提取是否正常，试验过程中实时监测底盘位置坐标、车轮转角。

试验结果如图14所示。试验结果表明算法能够稳定地获取航向角，由于试验区域玉米苗带近似为直线，底盘车轮沿着玉米苗带行走，因此导航偏转角在 0°上下波动（图14a）。以航向角为自动转向系统输入，基于PID算法控制底盘自动转向，底盘车轮转角在 0°上下浮动（图14b），高地隙行走轨迹近似直线行走。在100米导航行走过程中， 人工统计车轮压苗21株（共计952株玉米），压苗率2.2%。

图14 田间导航试验结果Fig.14 Test results of field navigation

6 结 论

本文以不同时期玉米苗带为研究对象，基于机器视觉提取高地隙植保机玉米行间行走导航线。通过颜色分量归一化、超绿特征算子以及最大类间方差法对采集视频帧进行图像预处理，为导航线的可靠提取提供必要条件。提出底盘车轮可行走视觉区域（动态ROI区域）划分算法，并在动态ROI区域内提取导航线。本文提出的算法提取导航线与人工提取结果平均误差1.157°，准确率为96 %、视频单帧图像处理平均耗时97.56 ms（标准偏差8 ms），算法能够满足高地隙植保机田间对行行走的准确性和实时性要求。田间试验表明，高地隙植保机车轮沿着玉米行行走，车轮转角在 0°上下浮动，为后续的高地隙植保机无人植保提供技术支持。