基于Kinect视频技术的葡萄园农药喷施路径规划算法

肖 珂，高冠东，马跃进



基于Kinect视频技术的葡萄园农药喷施路径规划算法

肖 珂1,2，高冠东3，马跃进2※

（1. 河北农业大学信息科学与技术学院，保定 071001； 2. 河北农业大学机电工程学院，保定 071001； 3. 中央司法警官学院信息管理系，保定 071000）

为实现对葡萄园的精准喷施，减少药品浪费和污染，该文使用微软Kinect融合彩色和深度图像信息，提出了基于样条区域的叶墙区域（leaf wall area，LWA）平均距离计算方法以及基于路径偏差的喷施路径规划方法，并实现了一套软件路径规划算法和硬件喷施实验平台相结合的精准喷施算法及系统。算法首先使用形态学方法对Kinect采集的彩色视频图像进行图像分割，以准确划分LWA区域；进一步结合深度图像，提出基于样条区域的LWA平均距离计算方法，用于准确测算喷施设备距LWA的距离；最后，提出路径偏差及矫正规划方法，引导喷施系统保持最佳行进路径。并且，为了能够对精准喷施算法进行实际检验，设计实现了喷施臂可调的自走式喷施试验平台。试验结果证明，路径规划算法计算的喷施距离和路径偏差与测量值差值及方差都较小，算法结果精确；能够准确测算喷施距离并规划最优路径，实现葡萄园的精准喷施。

算法；农药；图像分割；深度图像；葡萄园；叶墙区域；喷施距离

0 引 言

长期以来，由于农药的有效利用率低，不仅浪费了大量的农业化学品和水资源，还对环境造成污染。为了缓解农药大量喷洒给环境造成的压力，精准喷施技术越来越受到人们的重视[1-5]。精准喷施技术主要有2个研究方向，一是目标识别，即识别和定位靶标区域。农药喷施时的主要标靶区域是叶墙区域（leaf wall area，LWA），其主要参数需要通过传感器进行采集[6-8]。二是路径规划，即规划出喷施设备的喷施路径，以实现精准喷施。

在靶标探测技术方面，激光雷达靶标探测技术[9-10]通过发射激光点云获得树冠的内部结构，但没有对喷施路径进行规划。基于超声传感靶标探测技术[11-14]通过发射声波实现对树冠外形轮廓的检测，声波的反射易受果树叶片角度及运动影响，影响探测精度。红外传感靶标探测技术[15-16]可以快速实现对树冠外形的检测，精度和分辨率高。近红外传感器探测范围小且不均匀，需要多个传感器协同运作，增加了处理难度和误差。基于机器视觉靶标探测技术[17-18]中，摄像机能够根据颜色信息分割出叶墙区域和高度、密度等参数，缺乏距离信息的采集，而且叶墙区域的检测容易受复杂背景的影响。

在喷施路径的规划方面，目前部分研究采用能够调节高度、角度的多喷头装置，在一定范围内随时调节各喷头的高度、角度和喷施量，即针对每个喷头规划喷施路径[19-20]。Osterman等[21]提出了使用多个采样点的距离信息和线性估计方法计算喷施路径，随着采样点数量的增多影响了系统的实时性，最终只能选择5个距离信息采样点。Tarquis 等[22]介绍了一种基于激光的对果园目标区域进行估计的方法。由Kim[23]提出通过计算机和激光雷达模拟产生一个果园，给出每个激光位置的距离值。为了模拟树木，L系统被应用在果园中[24-25]。在车辆上安装激光雷达传感器以建立相关树木模型，将雷达数据融合GPS创建一个当地的树木三维地图，进而估算喷施命中率，控制喷雾器流量[26-29]。

本文采用图像形态学方法对LWA区域进行分割，然后结合深度图像数据，提出了基于样条区域的LWA平均距离检测方法，用于计算喷施设备与LWA间的距离，并进一步提出路径偏差计算方法及路径矫正规划方法，以实现对喷施设备偏离最佳喷施路径时进行路径矫正和规划，使喷施设备能够保持处于最佳喷施路径，实现精准喷施。

1 喷施参数估计及路径规划方法

为了实现对果园果树的智能化精准喷施，首先需要对果树叶墙区域进行识别，检测其与喷施系统的距离，并估计喷施参数，调整喷头喷施距离及强度，进一步才能够对喷施路径进行规划，并实现喷施距离达到最优的路径规划结果，保证喷施药品和能耗的最小化。

1.1 LWA距离检测方法

机器视觉检测LWA的研究中，大多采用图像处理技术对视频序列中的各帧图像进行分析和处理，只依赖于获取的彩色图像信息，利用颜色差异、亮度信息和边缘信息等提取出LWA。通过图像腐蚀的方法细化获得LWA区域[16]。但是，当后排果树作为背景时会被误判为LWA区域，存在易受光照及背景影响的缺点，且存在距离估算不准确问题。Kinect不仅能够采集彩色视频信息，还能够通过红外发射器获得深度图像，深度图像中每个像素点的像素值代表距离，因此可以获得更为精确的距离信息，辅助检测LWA及各项参数。

1.1.1 LWA分割算法

LWA距离检测首先要从视频图像中准确分割出LWA区域。由于葡萄为藤本植物，其种植需要人工搭建葡萄架，供其攀爬和生长，因此一般会形成明显规整的绿色叶墙，有利于LWA区域的分割和定位。本文采用颜色分割的方法确定LWA，对RGB图像的彩色图层进行减法运算，并进一步对其进行图像形态学处理，以获得准确的LWA分割结果。

首先，对LWA的分割首先使用颜色分割的方法对彩色图像进行处理，利用RGB图像的Green层和Red层的像素值进行减法运算，所得结果值大于0即为图像绿色区域，并获得二值化图像。由于是计算图像彩色层间的差值，根据差值是否大于0作为阈值决定二值化结果，因此这种相对差值减少了天气环境（主要为亮度差异和变化）对二值化分割的影响，具体的计算公式如下

式中I(,)、I(,)分别为彩色图像Green层和Red层在()处的像素值，I(,)为二值化结果图像。

由于叶墙存在叶片间隙和阴影，获得的二值化结果图像中存在一些分布不均匀的小间隙和小空洞，在喷施时无法避开这些小空隙，过多的小间隙也容易影响LWA轮廓的提取，对喷施控制效果也会造成一定影响，因此需要填充图像中的小间隙和空洞。本文采用膨胀算法对LWA内的小空隙进行填充，具体采用形态学图像闭运算的算法[17]，使用5×5正方形矩阵的结构元素对图像中的白色像素进行一次膨胀和一次腐蚀处理，实现对LWA内“空洞”的填充。但是，一些干扰噪声会因此形成噪点，并且有些叶墙中较大的空隙仍然存在，因此本算法进一步使用300像素去噪声处理，初步滤除小区域及噪点，并采用空洞填充的方法，使用邻域4连通的方式对较大空洞进一步填充，最终获得完整的待喷施LWA区域。LWA分割过程示意图如图1所示，其中1a为原始图像；1b为G、R颜色层相减后二值化结果图；图1c为图像经闭运算填充，再经开运算去噪后的结果图；1d为经空洞填充后的LWA分割结果。由于天气环境比较恶劣是不适合进行农药喷施的，因此采集图像和试验是在天气情况较好的环境即晴朗或阴天、微风的条件下进行。

图1 LWA分割过程示意图

1.1.2 基于样条区域的LWA平均距离检测方法

为了有效估算LWA与喷施设备间的距离，并进一步测算喷施设备与LWA间的垂直距离，首先需要采集深度图像中的距离信息。由于LWA中叶片位置参差不齐、伸展方向有一定差异，使得深度图像中小区域内的距离信息存在较大差异，单点距离差值较大，导致距离测算的不准确。因此，需要计算LWA小区域内的平均距离，以平均距离值作为喷施设备与LWA的距离用于垂直距离的测算。

本文提出基于样条区域的LWA平均距离检测方法。由于本系统需要测算出图像场景两侧LWA与Kinect的距离，以进一步估算出Kinect与LWA间的垂直距离。而由于葡萄叶自然生长，叶墙表面凹凸不平且存在叶间缝隙，假如只取LWA中的某点的距离值作为LWA与Kinect的距离，会存在较大误差。因此本文在图像两端各标出宽度为20像素值的竖直样条区域，分别计算深度图像中，位于两样条内并属于LWA区域的像素点的距离均值，作为测算的LWA与喷施设备上Kinect间的平均距离，以减少单点测算带来的误差影响。计算公式如式（2）所示。

式中D(,)为深度图像在(,)处的像素值，即距离值；为像素点个数；LWA为LWA二值化分割图像；S为样条区域宽度，mm；、分别为图像宽度和高度，mm；Dis为LWA平均距离，mm。

样条区域的位置取在图像的两端是由于：第一，图像场景为纵深图像，图像两端位置的叶墙与喷施设备距离最近，Kinect测量的深度数据也较为准确；图像中心位置叶墙与喷施设备距离较远，场景纵深一般为10 m以上，超出了Kinect的测量范围。第二，便于计算叶墙与喷施设备的垂直距离。由于Kinect的水平视角为54°，其中心方向与设备行进方向一致，因此便于根据平均距离计算设备与叶墙间的垂直距离。由于彩色图像边缘经一系列处理后会出现干扰和瑕疵点，深度图像边缘也会出现空白条带，因此本文在选取样条位置时向图像中心水平偏移了10个像素宽度，以减少干扰。用于计算LWA平均距离的样条区域如图2中标出的位于图像两侧的竖直样条区域所示，样条中非LWA区域会被去除。

图2 用于计算LWA平均距离的样条区域

1.2 喷施路径规划方法

喷施路径的规划主要根据喷施设备与LWA的间距、喷头最佳喷施距离和喷施设备当前方位，对喷施设备的行进路线进行计算和规划，当行进路径与规划路径相偏离时，能够提示矫正偏差的规划路径，达到最优化的喷施行进路径，并调节喷头连接杆的长度，以使喷施设备的喷头与LWA间保持最优距离，从而获得最佳的喷施效果、最小的药品损耗及减少药品扩散污染。

1.2.1 喷施距离测算

喷施路径规划首先要获得喷施设备（主要为视频采集设备Kinect）与LWA间的垂直间距，再减除喷施设备的宽度，即为测算出的喷施距离。因此，需要由Kinect采集的深度图像信息计算出的LWA平均距离，作为Kinect视场内与LWA间的距离值，再根据Kinect水平视角范围计算出与LWA的垂直间距。喷施距离的具体计算方法如图3所示。

注： O为Kinect摄像头镜头位置，矩形框为Kinect的视场范围，A为LWA样条中值点，B为O点的垂点，C为拍摄视场中心点。

图中左侧直线代表叶墙区域LWA，Kinect的水平视角为54°，则其采集图像的中心与边缘的夹角∠约为水平视角的1/2，在此近似取∠≈27°，而∠=90°，因此可以求得∠=∠−∠=63°，又由于长度已知，为式（2）的计算结果Dis，则Kinect与LWA间垂直间距可由以下公式求得：

求得的结果再减去喷施设备幅宽的一半即为LWA与喷头之间的距离，即

式中W为喷施设备幅宽，mm；Dis为喷头与LWA间的喷施距离，mm。

1.2.2 路径偏差计算

为了对喷施路径进行规划使其达到最优，就需要计算葡萄行间路径、行进方向及最优喷施距离间的差值，以规划和矫正行进路径。因此，首先需要定位葡萄行间路径范围，即LWA与地面的分界线，从而获得地面可行进路径范围。

由于LWA边缘线较为曲折，无法使用霍夫变换等方法计算其直线的分界线，因此本文采用最小二乘法对LWA边缘点进行线性拟合，以获得分界线。LWA边缘点由LWA分割结果图像经过图像形态学的边缘检测算法获得，边缘检测公式如式（5）所示。

获得LWA边缘检测结果图像后，以边缘上每个点的坐标作为线性拟合的数据集，使用最小二乘法拟合LWA边界直线，要求得的线性拟合的直线公式如下

需根据LWA边缘点集求得直线公式中的系数、，以获得拟合的分界直线。其中系数、的最佳估计值计算公式如下

式中x,y∈I为LWA边缘点，并且由于LWA及边缘线主要在图像下半部分，因此y∈[/2,]，为图像高度，为边缘点集的数量。由于葡萄LWA一般位于视场内的左右两侧，因此需要根据LWA左右两部分边缘点集，拟合获得左右两侧LWA分界线。

LWA边缘检测及分界线拟合如图4所示，图4a是对图1d进行边缘检测的结果，图4b为分界线拟合结果，图4c为分界线标注结果。

拟合获得LWA分界线后，根据喷施设备当前位置下与LWA的喷施距离，结合喷头最佳喷施距离和葡萄行间距，即可计算最优路径与当前路径的水平方向偏差，用于路径矫正。路径的偏差值首先根据式（4）计算获得的左右两边喷施距离，求取与距离均值间的差值，即为路径偏差值，其计算公式如下

或者

式中Dis和Dis分别为利用式（4）求得的左右两侧喷施距离，mm；为路径偏差值，mm，其值为负数表示喷施设备应向左移动，为正数则应向右移动，以减小偏差值并矫正喷施路径。

图4 LWA边缘检测及分界线拟合结果

此外，利用拟合的2条LWA分界线，能够划定葡萄行间可行驶路径，用于检验路径偏差值是否会超出可行驶路径区域，即计算当前行驶路径是否在2条LWA分界线内，以保证规划的路径在可行驶路径范围内。当前行驶路径的计算以视场底部中心点为基准，按照喷施设备宽度计算其在视场图像中的行驶路径。因此，需要把现实世界中的设备宽度转换为图像二维坐标宽度，即进行三维世界坐标系到二维图像坐标系的转换。设世界坐标系中点及其坐标为(,,)，其对应的图像坐标中的点(,)，则其对应转换关系为

式中f为摄像机焦距，mm。本文中Kinect摄像头焦距已知；Z为测得深度值，mm；喷施设备轮距宽度为940mm，即为X值；则可计算出喷施设备在图像中的宽度，并据此计算出设备在图像中的行进路线，标示于图中，如图5所示。图中中间的虚线为设备中心延伸线，两边的2条直线为喷施设备行进路线。

1.2.3 路径矫正及规划线的生成

本文的精准喷施系统需要根据路径偏差对喷施设备的行进路径进行矫正，并生成用于矫正路径的规划线，以引导设施系统按照最佳喷施路径行进。根据式（9）或式（10）计算出的路径偏差值，带入到式（11）中，转换为二维图像坐标，即可求出行进路径在采集图像中的路径矫正值。为了生成矫正路径规划线，需要先计算出喷施设备的转向角度，设图像坐标中设备中心延伸线上某点(,)路径偏差值为Δ（行进路径的矫正主要为水平方向的矫正，因此偏差值也仅为轴上的差值），则转向角度计算方法如下

然后，进一步计算喷施设备转向路线，喷施车辆转向路径示意图如图6所示，则喷施车辆左侧车轮的行进轨迹方程为

右侧车轮的行进轨迹方程为

式中(x,y)、(x,y)分别为左右两轮在图像中的坐标点（即1.2.2中标出的喷施设备宽度线在图像最下方的两端点），为喷施车辆前后轴距，mm；W为前轮轮距，mm。

注：为喷施车辆前后轴距，mm；W为前轮轮距，mm；为转向角度，rad。

Note:is the wheelbase of spraying vehicle, mm;lis tread of front wheel, mm;is the steering angle, rad.

图6 喷施车辆转向示意图

Fig.6 Rotation diagram of spraying vehicle

以上公式计算出的行进路线图为俯视图，而实际在Kinect拍摄图像中应该显示以Kinect摄像头为中心点坐标的轨迹，即世界坐标下的驾驶员视角。因此，其轨迹坐标也应进行世界坐标的变换，并生成矫正路径规划线，显示于彩色图像内，路径规划结果如图7所示，7a、7b图像分别表示在种植品种为玫瑰香和巨峰的葡萄园内运用本算法进行路径规划的结果图，并且分别为不同状态下的检测结果，图7a中喷施设备位于葡萄行间路径偏右位置，因此矫正路径规划线偏向左侧；7b中喷施设备位于路径左侧，因此矫正路径规划线偏向右侧。

根据矫正路径规划线，可以引导喷施设备保持在路径正中位置行驶，再根据式（4）计算出的喷施距离，可以输出控制左右喷施臂在0～10 cm范围内进行调节，使喷头与LWA保持最佳喷施距离，实现精准喷施。算法规划的路径也即为最佳喷施路径。

注：绿色虚线所示曲线为矫正路径规划线，蓝色虚线为喷施试验平台中心线，绿色实线为喷施试验平台行进线，红色实线为路径边界线。

2 精准喷施实验平台软硬件设计

本文研究的精准喷施实验平台分为果树识别控制算法软件和可控硬件平台2部分，果树识别控制软件部分主要完成LWA检测、喷施控制参数估计、行进路径规划等果树识别和喷施控制算法功能，可控硬件平台部分包括装有Kinect和喷雾器臂的自走式喷施平台、便携式工控机、电源等。

2.1 喷施控制算法框架设计

本文主要利用精准喷施算法软件处理系统规划最优喷施路径，实现对喷施设备的控制，达到精准喷施的设计目标。总体算法流程如图8所示：首先，通过Kinect获取彩色及深度视频图像。进而，使用彩色图像的RGB图像层进行处理，以获得图像中绿色区域，初步分割出LWA区域。然后，把分割出的LWA区域与深度图像进行匹配，根据深度图像数据测算LWA平均距离。进一步，根据喷施设备宽度、喷头的喷施范围、喷施距离等设备参数，测算喷施设备的最佳喷施距离。然后，根据深度图像测算获得的LWA平均距离以及设备最佳喷施距离，计算最佳喷施路径，以及当前路径与最佳喷施路径间的差值，即路径偏差。最后，为了实现对喷施系统行进路线的优化并保证喷施间距的最优化，需要对喷施路径进行规划和预测，即根据路径偏差对行进路径进行矫正，并且规划出用于导航的最优规划路径，使喷施系统达到喷施效果的最优化。

图8 精准喷施算法流程图

2.2 喷施系统硬件平台设计

本喷施系统中的Kinect被固定安装在平台上，通过一台拖拉机拖拽行驶。Kinect完全扫描果园某一行植株时，拖拉机沿现场匀速行驶。本系统还包括液压阀、移动式喷雾器臂、空气导管、空气辅助喷雾器、视频处理设备。喷雾器臂包含上、中、下4组扇形喷雾喷头，最佳喷施距离为3～40 cm，由液压杆控制可以调整喷雾器臂水平方向距离，调整范围为0～10 cm。喷施系统可以通过处理软件输出控制信号调节喷施距离。如图9所示。

图9 喷施系统硬件平台

本系统的视频处理部分主要由一台微软Kinect和一台电脑组成并配备一个移动电源。Kinect通过将标准的RGB摄像机和深度传感器相结合，能够获取场景的3维特征信息[30]。试验使用的是微软出的XBOX 360 Kinect1.0传感器，型号为1473。为了初步验证本文算法的有效性，试验中首先使用Kinect Studio采集视频图像。喷施系统算法的开发使用了Matlab与VC++混合编程，以快速实现算法并进行试验。此外，为了对路径规划效果进行检验，在平台上还安装了全球定位系统GPS，以准确得知系统的全局位置。

3 试验结果及分析

3.1 试验条件

本文的试验场地为中国河北省保定市（中国北方）的葡萄园。试验中的葡萄品种为玫瑰香和巨峰2种，均为5 a树龄，种植株距为1 m，行距为3 m，架高2 m，果树的平均高度约为2.2 m。喷施农药时，喷施设备沿葡萄架行间路径行进，对路径两侧葡萄同时进行喷施。试验时间为2016年5月20～24日，试验时的气象条件值为：平均温度20～24 ℃，相对湿度20%～40%，风力为1～2级。

3.2 喷施距离测算结果及分析

为了检验喷施距离的测算结果与实际距离值之间是否有差异，及存在差值的分布情况，本文对算法计算的喷施距离结果与实际测量距离间的关系进行了试验，并对试验结果进行统计和分析。

试验过程中，在果园的不同葡萄架行间使喷施系统静止，使用本文算法，根据Kinect采集数据，按照式（3）测算喷施距离计算值LWA；同时喷施系统向前移动到Kinect采集数据的位置，用卷尺测量Kinect两摄像头中心位置到两侧葡萄LWA的垂直距离，每个位置共测量3次，取3次测量结果的平均值作为实际喷施距离的测量值，然后对2组数据进行统计和分析。试验在葡萄园中随机选取了30个测量点，在测量点上使喷施设备位于路径偏左、中心和偏右位置的次数达到平均值，每点测量左右两侧距离，因此试验共测量和计算了60组喷施距离数据。表1列出了试验数据值，并计算了测量值及算法计算值的均值及与的均方误差（MSE）。从表1中的30组数据可以看出，除了个别差异较大的数据（如第14、18、25组的计算值与测量值差异稍大），测量值与计算值的均值差异较小，左右两侧计算值与测量值差值的均方误差MSE分别为3.7和1.9 cm，差值较小。

表1 喷施设备距左右侧LWA距离数据

综上所述，通过对试验数据的分析可以看出，本文算法计算的喷施设备到LWA间距离与实际测量值差异较小，证明算法能够较为准确的计算出喷施设备与LWA间的距离。

3.3 路径偏差计算结果及分析

为了检验计算的路径偏差值是否准确，即检验路径矫正和规划线是否准确有效，本文利用式（9）路径偏差值计算公式，对30个数据采集点的路径偏差测量值和计算值进行了计算和对比。试验结果如图10所示。

图10 路径偏差值折线图

由图10可知，测量值和计算值2条曲线之间差异较小，曲线在约±30 cm范围内摆动，其中正值表示喷施设备偏左，负值表示喷施设备偏右；其差值曲线在0轴上下摆动幅度较小，说明计算值与测量值之间的差值较小。此外，计算了计算值与测量值差值的方差为2.29 cm，证明两值间差值较小。

由试验证明，本文算法计算的路径偏差值与实际测算的路径偏差值之间的误差较小，喷施设备喷头最佳喷施距离范围为30～40 cm，计算误差基本不会对喷施设备保持最佳喷施距离产生较大影响，因此试验证明本文算法计算的路径偏差值准确，即本文算法对喷施行进路径的矫正和生成的规划路线也准确有效。

此外，本文对算法处理速度进行了检测，在未对算法进行优化的情况下，检测了30个数据采集点的算法处理时间，其处理单帧图像所耗平均时间为0.574 9 s。对算法的优化和实时算法的实现为本项目下一步研究的重点内容之一。

4 结 论

1）本文提出了基于样条区域的LWA平均距离检测方法，其中采用图像彩色层差值进行二值化分割，可以减小天气环境对检测结果的影响。本算法用于计算喷施设备与LWA间的距离，为喷施路径规划打下基础。

2）本文提出了路径偏差计算方法及路径矫正规划算法，以实现对喷施设备偏离最佳喷施路径时进行路径矫正和规划，并对喷施设备在路径中偏左和偏右等多种状态下进行了实验检测，均能通过导航线引导喷施设备处于最佳喷施路径，实现精准喷施。

3）为了检验方法的准确度，本文在葡萄园中进行了实地试验，针对2项关键数据喷施距离和路径偏差，共采集测量了30个位置点的试验数据。通过对关键数据测量值和计算值的统计及分析证明：本算法计算的左右两侧喷施距离与实际测量值差值的方差分别为3.7和1.9 cm，可见差值较小；路径偏差计算值与测量值差值的方差为2.29 cm，差异也较小。由此可以证明，本文算法计算的喷施距离和路径偏差数值准确。

[1] 廖娟，臧英，周志艳，等. 作物航空喷施作业质量评价及参数优选方法[J]. 农业工程学报，2015，31(增刊2)：38－46.

Liao Juan, Zang Ying, Zhou Zhiyan, et al. Quality evaluation method and optimization of operating parameters in crop aerial spraying technology[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(Supp.2): 38－46. (in Chinese with English abstract)

[2] 罗陆锋，邹湘军，程堂灿，等. 采摘机器人视觉定位及行为控制的硬件在环虚拟试验系统设计[J]. 农业工程学报，33(4)：39－46.

Luo Lufeng, Zou Xiangjun, Cheng Tangcan, et al. Design of virtual test system based on hardware-in-loop for picking robot vision localization and behavior control[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(4): 39－46. (in Chinese with English abstract)

[3] Plessen M M G, Bemporad A. Reference trajectory planning under constraints and path tracking using linear time-varying model predictive control for agricultural machines[J]. Biosystems Engineering, 2017, 153: 28－41.

[4] Faiçal B S, Freitas H, Gomes P H, et al. An adaptive approach for UAV-based pesticide spraying in dynamic environments[J]. Computers and Electronics in Agriculture, 2017, 138: 210－223.

[5] 陈盛德，兰玉彬，李继宇，等. 植保无人机航空喷施作业有效喷幅的评定与试验[J]. 农业工程学报，2017，33(7)：82－90.

Chen Shengde, Lan Yubin, Li Jiyu, et al. Evaluation and test of effective spraying width of aerial spraying on plant protection UAV[J].Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(7): 82－90. (in Chinese with English abstract)

[6] Walklate P J, Cross J V. Regulated dose adjustment of commercial orchard spraying products[J]. Crop Protection, 2013, 54(12): 65－73.

[7] Gil E, Gallart M, Llorens J, et al. Spray adjustments based on LWA concept in vineyard. Relationship between canopy and coverage for different application settings[J]. International Advances in Pesticide Application, Aspects of Applied Biology, 2014, 122: 25－32.

[8] Xiao Ke, Ma Yuejin, Gao Guandong. An intelligent precision orchard pesticide spray technique based on the depth-of-field extraction algorithm[J]. Computers and Electronics in Agriculture, 2017, 133: 30－36.

[9] Duga A T , Delele M A , Ruysen K, et al. Development and validation of a 3D CFD model of drift and its application to air-assisted orchard sprayers[J]. Biosystems Engineering, 2016, 154: 62－75.

[10] 苏伟，展郡鸽，张明政，等. 基于机载LiDAR数据的农作物叶面积指数估算方法研究[J]. 农业机械学报，2016，47(3)：272－277.

Su Wei, Zhan Junge, Zhang Mingzheng, et al. Estimation method of crop leaf area index based on airborne LiDAR data[J]. Transactions of the Chinese Society of Agricultural Machinery, 2016, 47(3): 272－277. (in Chinese with English abstract)

[11] 俞龙，洪添胜，赵祚喜，等. 基于超声波的果树冠层三维重构与体积测量[J]. 农业工程学报，2010，26(11)：204－208.

Yu Long, Hong Tiansheng, Zhao Zuoxi, et al. 3D-reconstruction and volume measurement of fruit tree canopy based on ultrasonic sensors[J].Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2010, 26(11): 204－208. (in Chinese with English abstract)

[12] Tomas P, Andrew J L. Real time canopy density estimation using ultrasonic envelope signals in the orchard and vineyard[J]. Computers and Electronics in Agriculture, 2015, 115: 108－117.

[13] 姜红花，白鹏，刘理民，等. 履带自走式果园自动对靶风送喷雾机研究[J]. 农业机械学报，2016，47(增刊1)：189－195.

Jiang Honghua, Bai Peng, Liu Limin, et al. Caterpillar self-propelled and air-assisted orchard sprayer with automatic target spray system[J]. Transactions of the Chinese Society of Agricultural Machinery, 2016, 47(z1): 189－195. (in Chinese with English abstract)

[14] Li H, Zhai C, Weckler P, et al. A canopy density model for planar orchard target detection based on ultrasonic sensors[J]. Sensors, 2016, 17(1): 31.

[15] Zou W, Wang X, Deng W, et al. Design and test of automatic toward-target sprayer used in orchard[C]//IEEE International Conference on Cyber Technology in Automation,Control and Intelligent Systems, IEEE ,2015: 697－702.

[16] Narváez F J Y, Pedregal J S D, Prieto P A, et al. LiDAR and thermal images fusion for ground-based 3D characterisation of fruit trees[J]. Biosystems Engineering, 2016, 151: 479－494.

[17] Li M, Shi Y, Wang X, et al. Target recognition for the automatically targeting variable rate sprayer[J]. IFIP International Federation for Information Processing, 2010, 346: 20－28.

[18] Hoevar M, Širok B, Jeji V, et al. Design and testing of an automated system for targeted spraying in orchards[J]. Journal of Plant Diseases and Protection, 2010, 117(2): 71－79.

[19] Jejčič V, Godeša T, Hočevar M, et al. Design and Testing of an ultrasound system for targeted spraying in orchards[J]. Strojniski Vestnik, 2011, 7-8(57): 587－598.

[20] Stajnko D, Berk P, Lešnik M, et al. Programmable ultrasonic sensing system for targeted spraying in orchards[J]. Sensors, 2012, 12(11): 15500－15519.

[21] Osterman A, Godeša T, Hocˇevar M, et al. Real-time positioning algorithm for variable-geometry air-assisted orchard sprayer[J]. Computers and Electronics in Agriculture, 2013, 98: 175－182.

[22] Tarquis A M, Méndez V, Walklate P J, et al. L-system tree model and LIDAR simulator: Estimation of spray target area[J]. WSEAS Transactions on Biology and Biomedicine, 2006, 3(2): 81－88.

[23] Kim A M. Simulating full-waveform LIDAR[D]. Monterey:Naval Postgraduate School,2009.

[24] Prusinkiewicz P, Karwowski R, Měch R, et al. L-studio/cpfg: A Software System for Modeling Plants[C]// Applications of Graph Transformations with Industrial Relevance, International Workshop, Kerkrade, The Netherlands, Proceedings. DBLP, 1999: 457－464.

[25] Costes E, Smith C, Renton M, et al. MAppleT: simulation of apple tree development using mixed stochastic and biomechanical models[J]. Functional Plant Biology, 2008(35): 936－950.

[26] Polo J R R, Sanz R, Llorens J, et al. A tractor-mounted scanning lidar for the non-destructive measurement of vegetative volume and surface area of tree-row plantations: A comparison with conventional destructive measurements[J]. Biosystems Engineering, 2009, 102(2): 128－134.

[27] Campoy J, Gonzalez-Mora J, Dima C. Advanced sensing for tree canopy modeling and precision spraying[C]//ASABE Annual International Meeting, 2010,0300(10): , 1009470.

[28] Khot L R, Ehsani R, Albrigo G, et al. Air-assisted sprayer adapted for precision horticulture: Spray patterns and deposition assessments in small-sized citrus canopies[J]. Biosystems Engineering, 2012, 113(1): 76－85.

[29] Wellington C, Campoy J, Khot L, et al. Orchard tree modeling for advanced sprayer control and automatic tree inventory[J]. 2012.https://www.researchgate.net/publication/265437727

[30] Kamel Boulos M N, Blanchard B J, Walker C, et al. Web GIS in practice X: A Microsoft Kinect natural user interface for Google Earth navigation[J]. International Journal of Health Geographics, 2011, 10(45): 1－14.

Pesticide spraying route planning algorithm for grapery based on Kinect video technique

Xiao Ke1,2, Gao Guandong3, Ma Yuejin2※

(1.,,071001,; 2.,,071001,; 3.,,071000,)

This paper performs a precise spraying algorithm and builds an experimental platform including hardware of spraying equipment and software of spraying route planning algorithm. With the color images and depth images captured by Microsoft Kinect, it proposes leaf wall area (LWA) average distance calculation method based on spline regions and spraying route planning method based on route deviation for precise spraying of grapery. The purpose of this algorithm is to optimize the spraying route for keeping the suitable distance between LWA and sprinkling nozzle, and reduce the waste or pollution of the pesticides. The algorithm consists of 2 modules including LWA segmentation and distance estimation module, and optimal spraying route planning module. Firstly, to detect the distance between the platform and LWA, the morphological method is adopted to segment the color video frames captured by Kinect for dividing the LWA region accurately. The binary images were created by green layer minus red layer in color images. Then, closing and opening operation were performed for filling and de-noising. And to get continuous LWA, 300 pixels filling algorithm was used to fill the hollows or gaps in LWA. Secondly, a method of calculating LWA average distance based on spline regions is proposed combined with the information of depth image, which is used to accurately estimate the distance between spraying equipment and LWA precisely. The average distance is more reliable than single point distance because there are usually some hollows and gaps in LWA, which will lead to big errors when fetching the distance data from depth image. Finally, a route deviation and correction planning method is presented to guide and keep the spraying system in the optimal route. The errors that result from the spraying system drifting off the route center were computed by the LWA average distance to adjust the spraying arm into optimal spraying distance. And the corrective navigation lines were calculated by these errors and drawn in the video to plan the best spraying route. In the hardware of the precise spray experimental platform, the self-propelled spraying equipment with adjustable sprayer arms was designed and implemented. The self-propelled spraying platform included an air assisted sprayer and 2 moving sprayer arms with 4 nozzles, a Kinect at the head of platform, a laptop PC (personal computer) for planning the spraying route, and a power supply. To test the effectiveness of this algorithm, the experimental data were collected at 30 positions randomly within a big grapery in the North China. The experimental results showed that the differences and variance of the spray distance and route deviation between calculated values and measured values were small. The mean square errors of spraying distance were 3.7 and 1.9 cm respectively at the left and right of spraying system. And the variance of route deviation was 2.29 cm, which is also small. According to the adjusting range of sprayer arms, it will not affect the results of estimating best spraying distance and route. Therefore, it is proved that the results of this algorithm are accurate, and this spraying system can accurately estimate the spraying distance and plan the optimal route to spray precisely in grapery. Moreover, the processing time of the algorithm was also tested, which is 0.574 9 s per frame without program optimization. Hence improving the speed and realizing the real-time system is one of the important parts in our further work

algorithms; pesticides; image segmentation; depth image; grapery; leaf wall area; spraying distance

10.11975/j.issn.1002-6819.2017.24.025

TP391

A

1002-6819(2017)-24-0192-08

2017-08-10

2017-11-04

国家重点研发计划（2016YFD0201100）；河北省研究生创新项目（1099009）

肖 珂，副教授，博士生，主要从事农业信息化研究工作。 Email：xiaoketeaching@sina.com

马跃进，教授，博士生导师，主要从事农业机械化研究。 Email：mayuejin58@126.com

肖 珂，高冠东，马跃进. 基于Kinect视频技术的葡萄园农药喷施路径规划算法[J]. 农业工程学报，2017，33(24)：192－199. doi：10.11975/j.issn.1002-6819.2017.24.025 http://www.tcsae.org

Xiao Ke, Gao Guandong, Ma Yuejin. Pesticide spraying route planning algorithm for grapery based on Kinect video technique[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(24): 192－199. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2017.24.025 http://www.tcsae.org