基于机器视觉的采茶机割刀控制方法

王财盛，朱 威，徐召飞，胡安国

(1.浙江工业大学 信息工程学院，杭州 310023; 2.永康市威力园林机械有限公司，浙江 金华 321300)

基于机器视觉的采茶机割刀控制方法

王财盛1，朱 威1，徐召飞1，胡安国2

(1.浙江工业大学 信息工程学院，杭州 310023; 2.永康市威力园林机械有限公司，浙江 金华 321300)

针对现有乘坐式采茶机切割的茶叶质量偏低的问题，提出了一种基于机器视觉的采茶机割刀控制方法；首先对相机参数进行低复杂度的标定，然后采用动态阈值分割方法和颜色分类器，提取茶叶图像中的嫩芽区域，并设计间接定位法定位弧形割刀位置；接着通过计算两个指定区域的嫩芽面积及它们的和与差异，得到弧形割刀左右两侧的动作参数；最后将动作参数传给下位机，控制割刀到达预期位置；该方法分别对单株茶树和实地茶园进行了实验，结果表明该方法能够准确定位弧形割刀位置和识别嫩芽区域，实现割刀位置的自适应调整，具有较好的茶叶切割效果，切割得到的嫩芽比例可达70%以上。

采茶机；机器视觉；割刀控制；间接定位法；颜色分类器

0 引言

中国是茶叶的主要原产地，也是世界上茶叶种植、消费、出口最大的国家之一。茶叶的采摘属于劳动密集型作业，随着我国城市化、工业化进程的不断深人，农业劳动力不断向工业部门转移，农村人口不断向城镇转移，农村劳动力越来越紧张，这使得采茶工越来越难招。目前，我国茶叶采摘和用工的矛盾已经成为茶叶产业发展的瓶颈[1]。现代化的采茶机械在茶园广泛应用，能有效地提高茶叶的生产效率，实现高质量的规模化生产，降低劳动强度和管理成本，是我国茶业高质规模化生产的必由之路。

目前各种农业收割机正在蓬勃发展[2-6]，包括蔷薇收割机，白芦笋收割机和各类水果收割机等。在茶叶采摘方面，市场上主流使用是手提或背负式采茶机。该类采茶机主要以小型汽油机为动力，配置集叶风机、送风管道、传动机构、切割器机架和集叶袋等机构，其工作方式为非选择性一刀割方式，虽然具备较高的采茶效率，但是携带劳动强度大，同时缺乏对茶叶嫩芽的选择性，切割的茶叶质量参差不一，工人进行后续筛选耗费时间长，人力成本高。文献[7]中提出的履带乘坐式全自动采茶机，采用液压驱动，地隙灵活可调，采用的双动往复式圆弧刀片和双风机集叶系统，切割平整，集叶效果好。该采茶机主要的特点是实现了茶机自走乘坐功能，减轻了采茶工人的劳动强度，但是其割刀工作方式仍为非选择性切割，不能动态适应复杂的茶叶生长情况，存在嫩芽完整率和嫩芽率偏低的问题。文献[8-9]中提出的图像处理技术可以自动识别茶叶嫩芽，并运用定位采摘的方法可以保证茶叶嫩芽的完整性，但是定位采摘的效率较低，主要适用于名优茶而不适用于大宗茶，且其使用的嫩芽识别方法只考虑了茶叶嫩芽和老叶的颜色差异，而忽略了采茶环境中其他颜色的干扰，鲁棒性仍待提高。

针对现有机械切割茶叶存在的质量较低的问题，可从茶树修剪和茶叶切割两个方面进行研究。在修剪工艺方面，通过修剪将茶树培养成适合机采的树形和切割面，同时定期清理茶树两边过道，使得乘坐式采茶机能平稳工作；在切割技术方面，可实时调整割刀的高度和角度，使割刀弧面与茶树切割面相吻合。本文对茶叶切割技术进行研究，针对现有乘坐式采茶机切割得到的茶叶质量偏低的问题，设计了一种基于机器视觉的采茶机割刀控制方法，实现割刀高度和角度的自适应调整，具有较好的茶叶切割效果。

1 乘坐式自动化采茶机原理

图1所示为本文采用的乘坐式自动化采茶机结构图，该采茶机主要由驾驶室、摄像头、工控一体机、下位机、左伺服滑块、右伺服滑块、履带和割刀等组成。为了适应南方的丘陵地形，该乘坐式自动化采茶机在机械上采用了独特的全液压驱动履带行走机构，降低了采茶机的重心，增加了采茶机的爬坡能力，并有效减少了采茶机作业时产生的颠簸现象，使摄像头采集得到的图像更加清晰，从而提升割刀的控制精度。

图2所示为乘坐式自动化采茶机的割刀控制系统框图，工作流程如下：首先操作人员坐在驾驶室检查采茶机各部分是否正常并开启采茶机和工控一体机；接着，操作人员启动采茶应用程序，并按下相机标定按钮；相机标定成功后，操作人员按下采茶按钮，相机会将实时采集得到的图像通过USB接口传给工控一体机，经嫩芽识别方法得到图像中嫩芽区域的牙尖直线；然后，通过嫩芽牙尖直线和割刀的相对位置计算得到割刀控制参数；最后，工控一体机将割刀控制参数通过RS232传给下位机，下位机通过驱动器1和驱动器2分别控制左、右伺服滑块，使割刀达到期望位置。整个工作过程中，操作人员可以通过工控一体机的显示器，看到采茶机的运行状况和割刀的动作过程，如遇到特殊情况，操作人员可以及时手动控制采茶机割刀，保证整个采茶过程的安全性和可靠性。

图2 采茶机控制系统框图

2 嫩芽识别方法

为了保证采茶机切割茶叶的效果，首先需要通过视觉方法识别出嫩芽。本文设计的嫩芽识别方法使用色差图像动态阈值化方法将茶叶嫩芽和老叶初步区分开，并设计了基于机器学习的颜色分类器进一步区分嫩芽和复杂背景颜色，提高嫩芽识别的稳定性。

色差图像动态阈值化方法利用了茶叶嫩芽为嫩绿色，其绿色分量较大而蓝色分量较小的特点，首先提取原始茶叶图像的R、G和B分量图像，接着采用绿色分量与蓝色分量的差值图像作为特征提取的基本模型，如式(1)所示，其中ImgG为原始采茶图像的绿色分量图像，ImgB为蓝色分量图像，Imgsub为绿色分量和蓝色分量的差值图像；然后使用Otsu法[10]处理该差值图像，得到阈值TH，大于TH的区域即为初步得到的嫩芽区域。

(1)

图3为色差图像动态阈值化方法处理基本色谱图像得到的结果图，该色谱图像包含红橙黄绿蓝靛紫共7种基本颜色，且每种颜色从左到右，由浅及深，其中黑色方框区域为色差图像动态阈值化处理后初步得到的颜色区域。分析图3可知，绿色中颜色较浅部分(绿色的左边3个颜色区域)与颜色较深部分(绿色的右边两个颜色区域)被正确划分，因此色差图像动态阈值化方法能够正确区分嫩绿色和深绿色，即茶叶嫩芽颜色和老叶颜色，但无法精确区分复杂背景颜色，如部分黄色区域(黄色的中间3个颜色区域)容易被误划分，需要进一步处理。

图3 色差图像动态阈值化结果图

为了进一步区分复杂颜色背景和嫩芽颜色，本文对事先准备好的充足的颜色样本进行大量的学习训练，得到一个基于机器学习的颜色分类器，使用该颜色分类器进一步处理色差图像动态阈值化方法得到的初步结果图，识别得到嫩芽的精确区域，具体过程如下：

首先，为了减少样本训练难度，本文先将颜色进行了归并，再基于色差图像动态阈值化方法得到的初步结果图中，黄色和绿色区分度较差，而红色、橙色、蓝色、靛色和紫色的区分度较佳的特征，本文将黄色归为一类颜色，绿色归为一类颜色，色系相近的红色和橙色归为一类颜色，蓝色、靛色和紫色归为一类颜色，共4类颜色；接着，提取各类颜色样本的R、G和B分量，计算各分量的均值，并采用高斯混合模型[11]为训练模型进行学习训练，得到颜色分类器。然后，使用该颜色分类器对色差图像动态阈值化方法初步得到的所有嫩芽区域进行分类，得到精确的嫩芽区域。图4为使用颜色分类器处理图3得到的结果，图4中的各类颜色均被正确划分，效果较佳。图5(a)为茶叶原始图，图5(b)为经色差图像动态阈值化和颜色分类器分类后得到的嫩芽区域图，其中红色部分为识别得到的嫩芽区域。由该图可见，色差图像动态阈值化和颜色分类器能精确区分嫩芽、老叶和复杂背景，得到精确的嫩芽区域，为下一步的割刀控制打下基础。

图4 颜色分类器处理结果图

图5 嫩芽识别前后比较

3 割刀控制方法

3.1 低复杂度相机参数标定法

由于本文是根据图像上割刀与嫩芽区域相对位置计算割刀实际需要升降的高度，因此需要知道实际距离与图像距离的关系。由于本文采用的是单个摄像头，常用的相机标定方法无法获得实际物体在成像平面的深度信息，本文所设计方法只要求知道计算割刀实际动作高度与图像上割刀相应改变的高度的比例关系，其他深度信息并非本文侧重点。基于上述分析，本文设计了一种低复杂度的标定方法，该方法是通过改变割刀整体高度，计算割刀动作前和动作后在图像上的纵向坐标，从而得到割刀实际动作高度与图像上割刀改变的高度的比例系数。由于割刀为弧形，在切割过程中常被茶叶遮挡，定位较为复杂，而图1乘坐式自动化采茶机的割刀定位横杆形状笔直，在割刀上方，无茶叶遮挡，定位较为容易，且与割刀为固定连接，即两者相对位置不变。因此，为提高定位精度，减少计算量，本文采用割刀定位横杆代替弧形割刀进行标定。首先将割刀定位横杆的颜色涂成红色，而割刀的其它部位颜色涂成非红色。具体标定过程如下：

1)割刀位置初始化，使割刀调整到水平状态。

2)读取割刀及其定位横杆图像，并提取R、G和B分量，利用式(2)计算超红算子图像SubR，若SubR小于0，则将其置0，其中ImgR、ImgG和ImgB分别表示图像的R、G和B分量，m和n分别为G和B分量的比例系数，经实验，m和n分别取值1和0.3效果较佳。

SubR=ImgR-m×ImgG-n×ImgB

(2)

3)使用Ostu动态阈值化方法对超红算子图像ImageR进行二值化处理，并对该二值图进行腐蚀、膨胀和填充处理，去除噪点，得到割刀定位横杆区域。

4)使用基于最大圆盘骨架提取算法[12]提取割刀定位横杆区域的骨架。

5)使用最小二乘法处理割刀定位横杆骨架，拟合得到割刀定位横杆中心线。

6)计算割刀定位横杆中心线中心位置的初始高度，记为HGbegin。

7)提升割刀整体高度20 mm，重复步骤2)～步骤6)，得到动作后割刀定位横杆中心线中心位置的高度，记为HGend。

8)利用式(3)计算实际距离与图上距离的比值Scale。

(3)

如图6所示，图(a)为割刀初始位置图像，经步骤1)～步骤8)处理后，得到割刀定位横杆的位置，其骨架线用粗直线标记，该粗直线在图(a)中的高度HGbegin为279.8 pixel，图(b)为割刀整体高度提高20 mm后的图像，同理可得割刀定位横杆在图(b)中的高度HGend为302.7 pixel，计算可得实际距离与图上距离的比值Scale为0.873 mm/pixel，计算复杂度低，精度高，速度快，标定方法较佳。

图6 割刀标定图

3.2 割刀定位

由于割刀是弧形的，在切割过程中常被茶叶遮挡，且割刀较细，颜色形状等特征不明显，因此，本文采用了一种间接定位法，即利用割刀定位横杆的位置计算割刀所在位置。如图7所示，以图像左上角为原点，水平向右方向为x轴方向，竖直向下方向为y轴方向，建立直角坐标系，记割刀定位横杆实际长度为lReal，割刀中心距离割刀的实际垂直距离为dReal，割刀实际半径为rReal，且在节3.1的步骤5)中已得到割刀定位横杆中心线，可计算得到其斜率和中心点坐标，由式(4)可得到割刀定位横杆图上长度lPic，割刀中心距离割刀的图上垂直距离为dPic和割刀图上半径为rPic，由割刀定位横杆的直线方程可以计算得到过其中心的垂线的直线方程，从而得到割刀的圆心坐标，并根据割刀的扇形角度及其图上半径，就能画出割刀的拟合线。

(4)

如图8所示，黑色直线为拟合得到的割刀定位横杆，黑色弧线为割刀线，图中，黑色弧线基本与割刀所在位置重合，本文采用的间接定位法能精确地定位到割刀位置，即使是在复杂环境下，仍能较好地识别割刀线，效果较佳，为割刀自动化控制打下基础。

图7 割刀结构图 图8 割刀定位效果图

3.3 割刀控制流程

割刀控制流程如图9所示，每帧图像的具体步骤如下：

图9 割刀控制流程图

1)读取割刀图像，进行割刀定位，得到割刀定位横杆及割刀之间的位置。

2)分别计算割刀定位横杆及割刀之间左右区域S1和S2内的嫩芽面积，分别记为SBud1和SBud2。S1和S2的区域如图10所示，其中，O1为割刀的中点，O2为图像顶部的中点。

图10 区域划分图

3)计算SBud1与SBud2的和，记为Sum，若ThMin<=Sum<=ThMax，则割刀不动作，并执行步骤(4)；若Sum>ThMax，则提高割刀整体高度10 mm，并结束操作；若Sum

4)由式(5)计算得到SBud1与SBud2的差异程度，记为DifBud，若-Ths<=DifBud<=Ths，则割刀不动作，并结束操作；若DifBud>Ths，则调低割刀右侧高度10 mm，并结束操作；若DifBud<-Ths，则调低割刀左侧高度10 mm，并结束操作。由于机械结构的限制，左右两侧割刀高度差最多可达300 mm，割刀角度最多可达10°。

(5)

4 实验结果及分析

本文采茶机割刀控制方法的硬件运行平台为集成低功耗处理器和触摸显示屏的工控一体机，该工控一体机的型号为1037 U，4 G内存，128 G固态硬盘，且支持8～36 V直流宽压，能够较好地适应采茶机上的电压波动，显示屏采用12寸电阻式触摸屏，分辨率为1024x768。图像采集模块采用工业运动相机，分辨率为800x600，采用全局快门，能够很好地捕捉动态物体，其镜头采用视角范围较大的广角镜头。软件操作系统为Windows，开发平台为QT5，基本算法库为Halcon12，实验中ThMin取10000，ThMax取15000，Ths取0.5。

图11(a)为拍摄的单株茶树图像，环境光照较强，图像较亮。由于有白色通风管遮挡，割刀定位横杆被分割成大小相近的黑色方块，且部分方块有较严重的反光现象，本文采用的横杆骨架识别方法具有较高的鲁棒性，如图11(b)所示，黑色直线即为识别得到的横杆中心线，即使横杆区域反光较为严重，横杆中心线定位依然准确。图11(b)中的黑色曲线为割刀所在位置，割刀曲线基本正确，可知本文采用的低复杂度相机参数标定法能够准确定位割刀高度和角度，效果较佳，且计算量较小。图11(c)为嫩芽识别图，对比图(a),图(c)中黑色区域标记了识别得到的嫩芽区域，基本覆盖了图(a)中所有的嫩芽。图11(d)中黄色部分为指定区域S1中的嫩芽区域，蓝色部分为指定区域S2中的嫩芽区域，计算得到指定区域嫩芽面积SBud1和SBud2分别为6435和1708，两者之和Sum为8143，Sum小于ThMin，则调低割刀整体高度，最终得到图11(e)的结果，图中指定区域嫩芽面积SBud1和SBud2分别为9308和3459，两者之和Sum为12767，Sum大于ThMin且小于ThMax，两者的差异程度DifBud为0.46，DifBud大于-Ths且小于Ths，此时嫩芽与割刀的相对位置较佳，实验结果满足采茶要求。

图11 单株处理结果

图12(a)为茶园实地拍摄的一帧图像，与图11(a)相比，环境光照较弱，图像较暗。图12(b)中的黑色直线为识别得到的割刀横杆中心线，黑色弧线为由割刀横杆中心线位置计算得到的割刀线，该弧线基本与实际割刀吻合。图12(c)为嫩芽识别图，虽然茶叶上方有采茶机遮挡，光线不佳，部分嫩芽颜色变暗，被误识别为老叶，但是被误识别的茶叶基本离割刀较远，而离割刀较近的嫩芽光线较好，基本被正确识别，即指定区域的嫩芽能被较好地识别。图12(d)为割刀动作前指定区域的嫩芽图，其中左边虚线框中白色部分为指定区域S1中的嫩芽区域，右边虚线框中白色部分为指定区域S2中的嫩芽区域，计算得到指定区域嫩芽面积SBud1和SBud2分别为3413和2383，两者之和Sum为5796，Sum小于ThMin，按割刀控制流程调整割刀高度，最终得到图12(e)，图12(f)为其指定区域嫩芽检测结果。此时指定区域嫩芽面积SBud1和SBud2分别为5670和4988，两者之和Sum为10658，Sum大于ThMin且小于ThMax，两者的差异程度DifBud为0.064，DifBud大于-Ths且小于Ths。由图可知，即使在光照较弱的情况下，最终得到的割刀位置仍然较佳。本文方法在茶园实地进行测试，其稳定性较好，切割得到的嫩芽比例超过70%。

图12 茶园实地处理结果

5 结束语

在本文提出的基于机器视觉的采茶机割刀控制方法中，低复杂度相机参数标定法能有效解决单个相机无法获取图像深度信息的问题，间接定位法定位割刀能有效降低计算复杂度，并提高定位精度，动态阈值分割法和颜色分类器能准确地识别嫩芽区域。该方法主要解决现有乘坐式采茶机盲割造成的茶叶质量偏低和嫩芽率低下的问题，有效地提高采茶机的茶叶切割效果，是自动化采茶机的重要组成部分。

[1] 汤一平,王伟羊,朱 威,等.基于机器视觉的茶陇识别与采茶机导航方法[J].农业机械学报, 2016, 47(1): 45-50.

[2] Du X, Chen D, Zhang Q, et al. Dynamic responses of sweet cherry trees under vibratory excitations[J]. Biosystems Engineering, 2012, 111(3): 305-314.

[3] De-An Z, Jidong L, Wei J, et al. Design and control of an apple harvesting robot[J]. Biosystems engineering, 2011, 110(2): 112-122.

[4] Kohan A, Borghaee A, Yazdi M, et al. Robotic harvesting of rosa damascena using stereoscopic machine vision[J]. World Applied Sciences Journal, 2011, 12(2): 231-237.

[5] Dong F, Heinemann W, Kasper R. Development of a row guid ance system for an autonomous robot for white asparagus harvesting[J]. Computers and electronics in agriculture, 2011, 79(2): 216-225.

[6] Ji W, Zhao D, Cheng F, et al. Automatic recognition vision system guided for apple harvesting robot[J]. Computers & Electrical Engineering, 2012, 38(5): 1186-1195.

[7] 韩 余,肖宏儒,秦广明,等. 我国茶园机械研究新动态[J]. 中国农机化学报, 2013,34(3):13-16.

[8] 韦佳佳,陈 勇,金小俊,等.自然环境下茶树嫩梢识别方法研究[J].茶叶科学,2012,32(5): 377-381.

[9] 张 浩,陈 勇,汪 巍,等.基于主动计算机视觉的茶叶采摘定位技术[J].农业机械学报, 2014, 45(9): 61-65.

[10] Gonzalez R C，Woods R E.Digital Images Processing：3rd Edition[M]. Beijing: Publishing House of Electronic Industry, 2007.

[11] 李 航. 统计学习方法[M]. 北京：清华大学出版社, 2012.

[12] 刁智华, 吴贝贝, 魏玉泉, 等. 利用最大圆盘提取作物行骨架的改进算法[J]. 中国农机化学报, 2016, 37(7): 141-144.

CutterControlMethodofTea-pickingMachineBasedonMachineVision

WangCaisheng1,ZhuWei1,XuZhaofei1,HuAnguo2

(1.CollegeofInformationEngineering,ZhejiangUniversityofTechnology,Hangzhou310023,China;2.YongkangValidGardenMachineryCorporation,Jinhua321300,China)

To improve the low picking quality of traditional tea-picking machine, a cutter control method based on machine vision is proposed. First, a low complexity calibration method for camera parameters is designed. Second, the cutter is located by an indirect location method. Then, R、G and B components are obtained from the tea image, and a dynamic threshold and a color classification are used for recognizing the tea bud. In addition, tea bud areas of two designated areas are calculated, and the parameters of cutter action is acquired by the sum and differ of the two areas. Finally, the parameters are sent to the inferior machine and the inferior machine adjusts the cutter to the desired position. Experimental results show that the proposed method can locate the cutter and recognize the tea bud accurately, and achieve adjusting the cutter adaptively and the bud rate is more than 70%.

tea-picking machine; machine vision; cutter control; indirect location; color classification

2016-11-10；

2016-11-25。

“十二五”国家科技支撑计划项目(2014BAD06B06);国家自然科学基金项目(61401398)。

王财盛(1991-)，男，硕士研究生，主要从事机器视觉算法方向的研究。

1671-4598(2017)04-0070-05DOI：10.16526/j.cnki.11-4762/tp

TP

A