基于图像信息的茶叶二维采摘坐标的提取

裴　伟，王晓林

(中国计量学院 机电工程学院，浙江 杭州 310018)



基于图像信息的茶叶二维采摘坐标的提取

裴伟，王晓林

(中国计量学院 机电工程学院，浙江 杭州 310018)

茶叶嫩芽识别是实现智能采摘的前提，茶叶识别之后采摘位置参数的提取也是实现智能采摘的关键所在。文章首先分析了机械采茶的整体实现方案，并论证了由茶叶图像获取二维采摘位置的可行性。然后针对图像处理后获取的茶叶嫩芽的二值图像，根据图像中每株嫩芽的外形轮廓去提取最小外接矩形，并标记该矩形的中心点，以该点作为采摘坐标点。得到了茶叶采摘的二维位置参数，为后续茶叶的智能采摘提供依据。

茶叶智能采摘；茶叶图像；位置参数；最小外接矩形

中国是世界上重要的茶叶生产国和销售国，而且生产不断加快，产量与日剧增。然而，近年来随着劳动力成本的增加，很多地区在茶叶采摘季节出现了大规模的劳动力缺口，导致茶叶鲜叶不能得到及时采摘。为解决中国茶叶采摘劳动力缺乏、人力采摘速度低等问题，目前已有基于剪切工作方式的采茶机械，但是这种采茶机采摘时老、嫩叶一起采，缺乏选择性，并有部分叶片遭到破损，从而降低了茶叶的采摘品质。因此，需要研制具有选择性、低损伤率的智能化茶叶采摘机械。茶叶嫩芽的识别是实现智能采摘的前提，国内外研究人员对茶叶识别进行了广泛研究，并取得了一系列成果。

目前的茶叶嫩芽识别研究主要是基于其颜色和形状特征进行的。杨福增等[1]在RGB颜色空间中提取茶叶图像的G分量，再根据茶叶嫩梢的形状特征进行边缘检测，开展了嫩芽识别研究。汪建[2]结合HIS颜色空间和区域生长的改进方法完成了茶叶嫩叶的分割，该算法能很好地将嫩叶从茶叶中分离出来，并较好地保存了嫩叶的轮廓信息。由此可以看出，通过图像处理的方式完全可以实现茶叶嫩芽的识别提取。茶叶嫩芽的采摘定位也是实现智能化采摘的关键所在，国内外研究人员对农产品的采摘定位进行了广泛研究。双目视觉技术在农产品的采摘定位方面得到了广泛应用。蒋焕煜等[3]采用双目立体视觉技术获取了温室内番茄的三维位置信息，用于指导采摘机器人进行自动化采摘作业。金理钻[4]利用双目视觉技术实现了黄瓜机械化采摘的定位问题。张浩[5]等提出一种基于光栅投影轮廓术的茶叶嫩梢定位系统，为研究名优茶智能采摘机解决了茶叶嫩梢定位问题。

通过图像处理得到茶叶嫩芽的图像之后，再利用得到的图像进行采摘位置信息的提取，然后将这些信息提供给采摘执行机构的驱动控制器，最终实现茶叶的智能化采摘。本文首先整体分析了茶叶机械化采摘的实现方案以及由图像确定茶叶嫩芽采摘位置的可行性。然后，根据图像中茶叶嫩芽的外部轮廓，通过Matlab软件编程提取其最小面积外接矩形，并标记该矩形的中心点，以该中心点作为采摘点并将这些中心点的坐标数据输出为txt文本文件或者Excel表格文件。这样就得到了茶叶采摘的位置参数，为后续茶叶智能采摘机的研究提供技术支持。

1　茶叶机械采摘的整体分析

目前，国内外普遍采用的是剪切式的采茶机，其工作原理是利用机械动力带动刀片运动，快速剪切并收集茶树芽叶。这种采茶机老叶嫩芽一起采，没有选择性，只适用于大宗茶叶的采摘，不适于名优茶鲜叶原料的采摘。名优茶鲜叶原料要求幼嫩、匀齐，要实现名优茶的机械化采摘，需要研制新型的采茶机。要达到名优茶的鲜叶采摘要求，一种实现方式就是通过摄取茶蓬面的茶叶图像，利用图像处理的方法进行茶叶嫩芽的识别，然后对每株茶叶嫩芽分别采摘收集。

通过以上分析，可以制定以下方案实现名优茶的机械化采摘：摄取茶树图像→识别图像中的茶叶嫩芽→确定每株茶叶嫩芽的采摘点→分别对每株茶叶嫩芽进行采摘收集。在进行图像拍摄时，基于茶叶竖直向上向阳生长以及茶叶嫩芽基本都位于茶蓬表面的特性，采取相机在茶树正上方垂直向下的拍摄方式，这样茶叶嫩芽在水平面内的位置与其在图像中的位置就一一对应起来，以便后续采摘位置参数的确定。然后利用图像处理的方法将茶叶嫩芽从图像中识别并提取出来，以确定单株茶叶嫩芽的采摘点。

图1为采用垂直拍摄方式所拍摄的一株茶叶图像。对图1中的茶叶嫩芽进行采摘，就要在二维平面内适当的位置进行下刀，然后在茎根部将其切断并进行收集。理论上来说，在茶叶嫩芽的整个外部轮廓的360°范围内任何位置进行下刀都是可行的。但是为了简化刀具的设计并使刀具下探后尽可能地靠近茶叶嫩芽茎根部，需要选取一个相对理想的下刀位置。为了达到上述两个要求，采摘点可以设置为图1中黑色三角标记的两个位置中的一个，这样就可以使刀具下探后更接近茶叶的茎根部，方便后续采摘工作的完成。分析可以发现，这两个点大致为茶叶嫩芽主轴方向的中间点两侧，即茶叶的横向中间段位置，可据此进行采摘点的确定和提取。

图1　单株茶叶嫩芽图像Fig.1　Tea shoot image

2　根据茶叶图像确定采摘位置参数的可行性分析

目前的茶树种植方式多为单行条栽，采摘面通常修剪成平面或弧形，这样的种植方式十分有助于机械化采茶。根据向阳生长的特性，茶叶嫩芽一般都是竖直向上生长的，所以对于修剪成平面的茶树，其茶叶嫩芽就大致分布在某一水平面的范围内，因此提出通过摄取茶树茶蓬面的图像来确定茶叶嫩芽在水平面内的相对位置的方案。

2.1相机的成像原理

照相机的镜头相当于一个凸透镜，来自物体的光经过照相机的镜头后会聚在胶片或者感光电子元器件上，成倒立、缩小的实像。相机镜头通常由一块或者多块光学玻璃组成的透镜组，基本单元为凹透镜、凸透镜，或其组合。理论上而言，一个简单的凸透镜就是一个镜头，但是在实际应用中，镜头需要各种透镜的组合来矫正光学畸变。但仅就成像原理而言，透镜和透镜组是一样的。图2为相机的成像原理图。图中点O为相机镜头的光心，OO1所在直线为光轴，物面上的线段AB在成像平面上的成像为A′B′。但是单目照相的单幅图像只能提供三维物体的平面影像，不存在成像深度信息。例如，图2中相机镜头出发的射线OA上所有的点在成像平面上的投影是唯一的。以OA延长线上的C点为例，其在成像平面上的投影点与A点的投影点重合，因此由图像确定出的点C在物面上的位置就是A点，而点C在物面上的实际投影位置为C′，所以由图像确定点C的位置时就存在偏差，偏差值为AC′。在图2中，由几何关系可以得出偏差的计算公式：AC′=CC′ × tan(θ/2)。由此可以看出该偏差随着点C距物平面的距离的增大而增大，随着OC与光轴夹角的增大而增大。

2.2茶叶采摘位置参数的确定

先对茶树进行拍照，然后根据图像确定茶叶嫩芽水平投影面内的位置信息。对应于图2的成像原理图，点C即为茶叶嫩芽的实际位置，点A为由图像确定的茶叶嫩芽在标定物面上的位置，而茶叶嫩芽在标定物面上的实际投影位置为C′，所以在标定的物面上由图像确定的茶叶嫩芽的采摘点A与实际的采摘点C′存在偏差AC′。假设茶树被修剪成平面，而且相机在茶树上方垂直向下拍摄，由于茶树的新芽一般都是在老枝长出并且向上生长，所以茶叶嫩芽就大致分布在同一水平面上，其纵深方向上的跨度不是很大，反映在图2中即CC′比较小。通过上述分析可知，一幅图像中图像的边缘部分偏差最大，因为图像边缘部分对应的θ最大，即为相机的视场角。因此，为了减小偏差，应当选用视场角较小的相机进行拍摄。举例进行分析：设茶叶嫩芽在纵深方向的跨度CC′ =20 mm，对于不同的相机视场角θ，可以根据公式AC′ =CC′ × tan(θ/2)来计算偏差值，表1为不同视场角下的偏差值。

图2　照相机成像原理Fig.2　Camera imaging principle

表1中数据是相应视场角拍摄的图像中的最大偏差，越靠近图像中心，这个偏差就越小，因此这个偏差对于确定茶叶的采摘位置来说影响不大，所以通过茶叶图像来确定采摘位置参数的方案是可行的。在相机视场角θ确定的基础上，如果物距(即相机相对与拍摄物的距离)OO1已知，那么可以用以下公式求出单次摄影的跨距：AB=2OO1× tan(θ/2)。假设已知OO1=1000 mm，θ =23，则AB=2×1000×tan 11.5≈ 407 mm。实际茶蓬面的宽度为1000 mm左右，那么完成整个茶蓬面拍摄需要拍摄2 ～ 3次。

表1CC′=20 mm时不同视场角下的偏差值

Table 1Deviation values of different viewing angles in the case of “CC′=20 mm”

视场角/°812142345偏差AC'/mm1.402.102.464.078.28

2.3茶叶嫩芽采摘坐标点的提取原理

几何图像的外接矩形是指完全包含了图形上所有的点、线，且各边均与图形相接触的矩形。一个图形的外接矩形有无穷多个，其中面积最小者称为最小外接矩形(minimum enclosing rectangle，MER)。它在一定程度上描述了该图形的某些几何特征，即该物体在主轴方向上的长和宽，可以用于描述图像轮廓的特征。因此，可以通过求解茶叶嫩芽外轮廓的最小外接矩形来确定该茶叶嫩芽的采摘点。

常用求解最小外接矩形的方法是目标旋转法。其基本原理是将图形在90°范围内等间隔(记间隔值为α，则旋转次数为90/α)地旋转，每次旋转后记录其坐标系方向上的外接矩形，然后取这些外接矩形中面积最小的矩形为原图形的最小外接矩形。但是该方法的缺点是一般情况下得不到准确的最小外接矩形，因为它的求解精确度取决于拟定的旋转间隔的大小。而如果要减小旋转间隔，则旋转次数就会增加，计算量变大。

程鹏飞等[6]提出以下两个假设并对其进行了证明：(1)任意一个多边形的最小面积外接矩形和其凸包的最小面积外接矩形是等价的；(2)凸多边形的最小面积外接矩形至少有一边经过该凸多边形的一边。基于以上假设，针对本研究的研究对象，采用以下方法实现茶叶嫩芽外形轮廓最小外接矩形的提取：第一步，求出图像中茶叶嫩芽的凸包；第二步，选取所得凸包的一条边，求出该边与水平轴正向的夹角θ，然后判断，如果θ<90°，则将图像以角度θ进行旋转，如果θ≥90°，则将图像以(θ-90°)的角度进行旋转，记录旋转后该图像在坐标系方向上的外接矩形；第三步，顺序选择凸包其他边，并重复第二步的方法；第四步，比较每次旋转后得到的坐标系方向上的外接矩形的面积，其中面积最小者按其旋转的角度进行逆向旋转即为原图像的最小外接矩形。

以一个简单的五边形为例，来说明以上算法的实现过程。一个多边形以及其各个边与水平轴的夹角如图3 a所示，五边形为凸多边形，因此其凸包为其自身。选取图3 a中30°边作为旋转起始边，将多边形旋转30°并求取其在坐标系方向上的外接矩形，结果如图3 b所示。然后依次选取其余4条边，将图像进行旋转并求解旋转后的坐标系方向上的外接矩形，结果如图3 c-f所示。分别求出图3 b-f中5个外接矩形的面积，其中面积最小的即为原多边形的最小外接矩形。经过计算，图3 e中的外接矩形的面积最小，所以图3 e中的外接矩形即为原多边形的最小外接矩形，将该矩形按其旋转角度进行逆向旋转就得到原图像的最小外接矩形，如图3 a所示。

图3　最小外接矩形的求解过程Fig.3　The process of solving minimum enclosing rectangle

2.4 茶叶嫩芽采摘坐标点提取的实现

图4为自然环境下摄取的茶叶原始图像，可以通过图像处理的方法将嫩芽从图像中识别出来，识别结果如图5所示。根据图像处理后得到的茶叶嫩芽的图像，利用上一节提出的最小面积外接矩形的算法提取嫩芽的外部轮廓，进而确定出嫩芽的采摘点。

本研究利用Matlab[7]软件编程实现茶叶嫩芽外轮廓的最小外接矩形的提取。读入图像后，进行连通区域(每株茶叶嫩芽形成一个连通区域)的标记，然后对每一个连通域求解最小面积外接矩形，并标记其中心点位置。部分程序代码如下：

图4　茶叶原始图Fig.4　Original image of tea leaves

图5　茶叶嫩芽二值图像Fig.5　The binary image of tea shoots

I=imread('e:1.jpg');

bw=im2bw(I);

[L，n]=bwlabel(bw);%标记连通域

stats=regionprops(L);%区域属性

imshow(bw);

for i=1∶max(max(L));

hold on

[r c]=find(L==i);

[rectx，recty，area，perimeter]=minboundrect(c，r，'a');% 'a'是按面积算的最小矩形

line(rectx，recty);

x=(rectx(1)+rectx(2)+rectx(3)+rectx(4))/4;

y=(recty(1)+recty(2)+recty(3)+recty(4))/4;

plot(x，y，'x');%标记中心点

end

对于经过图像处理后得到的茶叶嫩芽图像图5，运行上述程序后，处理结果如图6 a所示。从图中结果可以看出，该程序能够实现每株嫩芽的最小面积外接矩形的提取以及中心点的标记。为了更清晰地显示得到的外接矩形以及中心点，将上述程序中的“imshow(bw)”语句去掉，即不显示原有的茶叶二值图像，可以得到如图6 b所示的处理结果。需要注意的是，图6 a和图6 b的显示方式是不同的，图6 a是以图像左上角为坐标原点的，而图6 b是以左下角为坐标原点，但是两图中图像各点坐标还是一一对应的，只是图6 b为了以常规坐标系的方式显示，将图6 a进行了上下翻转。因此，最终得到的采摘点(即最小外接矩形中心点)的坐标还是以原图像左上角为坐标原点的。

利用最小外接矩形原理提取茶叶嫩芽外形轮廓，并对最小外接矩形中心进行标记以后，需要将此中心点的坐标位置导出成数据文件，以便后续采摘驱动控制器对这些数据进行读取。Matlab提供了多种数据导出的方法，常用的导出数据命令有fprintf，dlmwrite，xlswrite。fprintf函数可以将数据按指定格式写入到文本文件中，也可以显示字符串、计算结果。dlmwrite将一个矩阵写到由分隔符分割的文件中。xlswrite可以将数据写入Excel表格文档中。

文中上述程序已经实现茶叶嫩芽最小外接矩形的提取以及其中心点的标记，此外还要将此中心点的坐标数据导出，为后续的智能采摘提供依据。为此，需要引入一个矩阵A，其中A的行数即为图像中茶叶嫩芽的个数，列数为2列，分别存储茶叶嫩芽在图像中的横、纵坐标。因此，在上述程序中加入以下语句即可实现采摘坐标的存储：A(i，1)=x；A(i，2)=y。利用以下语句实现数据的导出：dlmwrite('A-out.txt'，A)或者xlswrite('A-out'，A)，其中前者是将数据导出到txt文本文件中，后者则是将数据导出到Excel表格中。这样，就将所有茶叶嫩芽外接矩形的中心点坐标进行了输出。

3　结论与讨论

智能化是未来农业机械的发展方向，具有广阔的应用前景。开展农作物采摘机器人的研究对于适应市场需求、降低劳动强度、提高经济效率有着重要的现实意义。而目标定位是制约智能化采摘研究的一个重要因素。目前，国内外研究人员对于农作物采摘的定位问题进行了比较广泛的研究，其中双目立体视觉技术被广泛应用。双目立体视觉是基于视差原理并利用成像设备从不同的位置获取被测物体的2幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。蒋焕煜等[3]将双目立体视觉技术应用于番茄的采摘定位，定位误差为±20 mm。金理钻[4]对黄瓜采摘机器人的工作过程进行了系统的研究，在黄瓜采摘位置的确定过程中也利用了双目立体视觉技术。由此可见，双目立体视觉技术在番茄、黄瓜这类果蔬的采摘定位中的应用是可行的。但是茶叶有其自身的特点，茶叶嫩芽尺寸较小且分布比较密集，所以双目立体视觉技术难以应用于茶叶采摘的定位问题。国内外很多学者对茶叶嫩芽的识别进行了研究，大多是利用摄取的茶叶图像通过图像处理的方法进行嫩芽的识别提取，因此想到利用图像信息进行茶叶采摘的定位。张浩等[5]为解决茶叶嫩梢定位问题，提出了一种基于计算机主动视觉的嫩梢定位方法，通过茶树上方摄像机摄取的茶树图像确定茶叶水平方向的采摘坐标，在采摘点的确定过程中利用了质心法。

图6　最小外接矩形提取结果Fig.6　The extraction result of minimum enclosing rectangle

本文首先从整体上分析了茶叶机械化采摘的实现方案以及由图像确定茶叶采摘位置的可行性，然后以图像处理得到的茶叶嫩芽图像为基础，根据茶叶嫩芽图像外轮廓对其最小外接矩形进行提取，以各最小外接矩形的中心点为嫩芽的采摘点，从而实现茶叶采摘信息的提取。

通过Matlab编程实现最小外接矩形的求解以及中心点的标记，处理结果如图3和图4所示，并且将中心点坐标数据进行了输出。相对于利用质心法确定的采摘点，本文提取的采摘点更能反映茶叶嫩芽的茎根部所在，而且本文还对成像过程中造成的误差进行了分析，说明由图像信息确定采摘点具有可行性。综上，本研究实现了基于图像信息的茶叶二维采摘信息的提取，为后续茶叶的智能化采摘奠定了基础。

[1]杨福增，杨亮亮，田艳娜，等.基于颜色和形状特征的茶叶嫩芽识别方法[J].农业机械学报，2009 (S1):119-123.

[2]汪建.结合颜色和区域生长的茶叶图像分割算法研究[J].茶叶科学，2011，31(1):72-77.

[3]蒋焕煜，彭永石，申川，等.基于双目立体视觉技术的成熟番茄识别与定位[J].农业工程学报，2008，24(8):279-283.

[4]金理钻.基于双目视觉的黄瓜采摘机器人关键技术的研究 [D].上海:上海交通大学，2013.

[5]张浩，陈勇，汪巍，等.基于主动计算机视觉的茶叶采摘定位技术[J].农业机械学报，2014，45(9):61-65.

[6]程鹏飞，闫浩文，韩振辉.一个求解多边形最小面积外接矩形的算法[J].工程图学学报，2008，29(1):122-126.

[7]苏金明，王永利.MATLAB图形图像[M].北京:电子工业出版社，2005.

(责任编辑侯春晓)

The two-dimension coordinates extraction of tea shoots picking based on image information

PEI Wei，WANG Xiao-lin

(College of Electronic and Mechanical Engineering，China Jiliang University，Hangzhou 310018，China)

The identification of tender tea leaves and the extraction of picking position parameters are prerequisites for intelligent tea harvest.This article first analyzed the overall scheme of tea mechanical picking and the feasibility of obtaining picking position by the tea image.Then extracted the minimum enclosing rectangle of each tea shoot in the binary image and labeled the center of the minimum enclosing rectangle as the picking position of the tea shoot.So the position parameters of tea picking were obtained，which provided the basis for subsequent intelligent picking of tea.

intelligent tea picking;tea image;position parameter;the minimum enclosing rectangle

浙江农业学报Acta Agriculturae Zhejiangensis，2016，28(3):522-527http://www.zjnyxb.cn

裴伟，王晓林.基于图像信息的茶叶二维采摘坐标的提取[J].浙江农业学报，2016，28(3):522-527.

10.3969/j.issn.1004-1524.2016.03.26

2015-08-10

裴伟(1990—)，男，山东临沂人，在读硕士研究生，研究方向为装备制造与控制。E-mail:977647825@qq.com

S571.1

A

1004-1524(2016)03-0522-06