枇杷枝条修剪机器人的视觉识别和框架提取*

黄彪 邵明 宋雷

(华南理工大学 机械与汽车工程学院，广东 广州510640)

随着枇杷产业的快速发展和劳动力成本的不断提高，传统的手工修剪方式已不能满足生产发展的要求，亟待研制一种枇杷枝条修剪机器人来完成枝条修剪工作.利用图像处理技术将枇杷枝条从复杂背景中识别出来是枇杷枝条修剪机器人实现智能化修剪的关键技术之一.

目前，各国学者在农作物的图像处理及识别技术方面已开展了大量的研究工作，但这些研究主要关注作物的果实和叶片，如Zhao 等［1］利用图像处理技术对苹果果实进行识别和分类，并根据直方图、HIS 模型、双阈值和区域生长方法等提出了一种新的苹果图像识别算法.Cai 等［2］采用2R-G-B 自适应阈值进行图像分割，并利用圆形Hough 变换算法进行对象图像质心坐标和半径的模拟，实现了橙子的识别.Li 等［3］采用多目标的蜂群算法，根据8 个颜色特征参数、形态以及纹理特征提取出油茶果图像.此外，还有学者利用图像处理技术对黄瓜［4］、柑橘［5-6］、荔枝［7］等作物果实进行了识别研究.叶片是农作物图像识别的另外一个主要研究对象.如Hemming 等［8］对杂草叶片进行了识别，在研究中他们利用形态和色彩特征进行特征图像分割后，对叶片长/宽、尖状度、圆度、色调、面积等参数进行大量分析，找出了适用的分类参数.Kan 等［9］采用偏心距、圆度等6 个叶片形状参数和二阶矩、对比度等5 个纹理特征参数，通过叶片识别实现植物分类.Cerutti等［10］认为高水准并附有语义解释特征形状的几何描述比一般统计形状描述更有利于叶片识别，并提出了一种基于专门算法和明确植物特征描述的树种识别方法.叶片识别除了用于植物分类外，还用于如柑桔溃疡病［11］、水稻稻瘟病［12］、小麦和玉米的叶部病害［13-14］等病种的检测.

随着农作物图像识别技术的发展，已有学者开始对果树枝条的识别开展研究.如Zhang 等［15］利用二维图形对修剪后的苹果树体进行了分形特征的研究，并认为苹果树的结构图是生理特性、产量和生态情况的综合反应，可以作为果树修剪评估指标.Karkee 等［16］对苹果修剪枝条的识别及自动修剪也开展了相关研究，他们将枝条的空间分布和枝条的长度作为两项基本标准，通过图像采集、图像预处理、框架化和框架分析4 个步骤进行枝条识别及修剪枝条的确定.

目前在针对枝条识别的研究中，识别对象主要为苹果枝条.苹果树属于落叶乔木，剪枝季节叶片已脱落，识别时背景噪音较少，而枇杷是一种常绿果树，叶片数量多，叶片颜色变化幅度大，四季均附着在枝条上，图像的背景噪音比苹果的更加复杂.因此，有必要对枇杷枝条的图像处理及识别进行研究，为常绿果树自动修剪奠定技术基础.本研究针对枇杷枝条图像特征，提出了一种操作简单、准确率高的枇杷枝条识别和框架提取方法，并对该方法的准确性进行了验证.

1 枇杷枝条图像分析及预处理

1.1 枝条图像特征分析

枇杷枝条按级别从高到低分为骨干枝、1 级侧枝、2 级侧枝…….除骨干枝着生在主干上外，其余枝条均着生在上一级枝条上.在短时间内，每级枝条可近似认为是直线生长，这种特征可称为连枝特征.图1(a)是采集到的枇杷图像，图中A、B、C、D、E、F区域表示图像沿黑色直线剖视对应的枇杷枝条像素点区域.图1(b)和1(c)分别为图1(a)沿黑线和白线的剖视分析图.通过对红、绿、蓝各通道强度值R、G、B 的比较，发现枇杷枝条图像的R -G 通常大于0，如图1(b)所示，因此可以将R -G ＞0 作为枝条图像的分割标准.由于光照强度的不均匀性，导致枝条图像各通道的强度值存在较大波动.在图1(c)中，R、G、B 的强度值波动幅度均超过100，其中R 通道的强度值波动幅度最大，为90 ～227，但是枝条图像各通道强度值的波动规律几乎完全相同.对40 张来自不同树体的枇杷枝条图像分别随机提取30 个枝条图像点，并利用SPSS 软件对各通道强度值进行相关性分析，如图1(d)所示，RG、RB、GB 分别表示R 与G、R 与B、G 与B 之间的相关系数.结果表明，枝条图像各通道的强度值在超过90%的图像中存在显著相关性.

1.2 亮度及二值图像转换

通过枇杷枝条图像特征分析，发现枝条图像的强度值波动大，导致枝条亮度存在明显差异，直接对原始图像(如图2(a1))进行二值转换，效果并不理想(如图2(a2)所示).因此，根据枝条图像R、G、B强度值存在的相关性，可以采用一种统一强度值的亮度转换方法，即在二值图像转换前进行图像的亮度调整，该方法具体的转换方式如式(1):

图1 枝条图像特征分析Fig.1 Image feature analysis of branches

式中，R'、G'、B'分别表示转换后红、绿、蓝通道的强度值，n 表示设定的统一强度值，kR、kG、kB分别表示红、绿、蓝通道的通道转换系数.在转换时，对不同通道的强度值进行统一时所对应的转化系数不同，对红、绿、蓝通道分别进行统一时，通道转化系数kR、kG、kB对应的值分别是:1、G/R、B/R;R/G、1、B/G;R/B、G/B、1.实验表明，当n 取100 时转换效果最好，图2(b1)、2(c1)、2(d1)分别为红、绿、蓝通道统一转化后的图像.

通过统一转换能有效减小整个图像亮度的变化范围，找出通用的分割阈值.通过大量实验筛选出红、绿、蓝通道统一亮度转换后的最佳通用分割阈值，分别为0.40、0.38、0.49.在图2中，(b2)、(c2)、(d2)分别是利用最佳分割阈值获得的图(b1)、(c1)、(d1)的二值图像.这些二值图像与未经亮度转换获得的二值图像(图2(a2))相比，均能获得较完整的枝条图像.其中以红色通道统一亮度转换后获得的二值图像的效果最好，不仅能较完整地保留枇杷枝条图像，并且能更好地消除背景噪音，因此选用图2(b2)进行后续的图像处理.

图2 亮度及二值转换图Fig.2 Conversion charts of brightness and binary image

1.3 图像分割

根据枝条图像特征分析，利用R -G ＞0 特征进行图像分割，被分割出来的枝条特征图像仍存在部分背景噪音，如图3(a)所示.通过直方图分析，发现在蓝色通道直方图中，前5%的图像元素均不是枇杷枝条图像，如图3(b)和3(e)所示，其中图3(b)是图3(e)前5%对应的图像元素.所以可利用直方图原理进行噪音的消除，将消除后的图像与图2(b2)进行对比，经对比发现虽然两者都包含了枇杷枝条的图像特征，但背景噪音存在一定差异，图3(c)是两者比较后得到的差异图像.因此，将二者进行叠加处理能够使图像噪音得到进一步消除，如图3(d)所示.

图3 枝条图像分割过程Fig.3 Segmentation process of branches image

2 枇杷枝条图像框架提取

2.1 特征图像提取

通过图像分割处理能消除部分噪音，但并不能满足图像识别要求.由于叶片生长在枝条上而且重叠严重，使得这些主要来自叶片的噪音图像具有分布零散、无规则、连通面积大等特点，导致直接进行枝条特征图像提取十分困难.因此，基于枇杷枝条的连枝特征提出了一种连枝特征图像提取方法.该方法利用辅助图像与枝条图像的多次叠加，获得满足一定条件的过渡特征图像，将所有的过渡特征图像进行叠加处理，最后完成特征图像的提取.

该方法具体分为4 个步骤:

步骤1储存一张已经设计好的辅助图像(如图4(a)所示)，该图像由黑白平行间隔直线组成，并且与水平夹角为45°，然后将辅助图像与枝条图像进行叠加处理，如图4(b)所示;

步骤2将连通面积小于设定标准的线段图像进行移除，文中将图像连通面积移除标准设为≤40个像素点，同时将每个连通线段图像的中点坐标和线段长度记录下来，得到过渡特征图像如图4(c)所示;

步骤3将辅助图像旋转一定角度后重复步骤1、2，文中的旋转角度步进值为1°，共进行180 次;

步骤4将得到的所有过渡特征图像进行叠加，最后得到枝条特征图像，如图4(d)所示.

图4 特征图像提取过程Fig.4 Extraction process of feature image

2.2 噪音二次消除及枝条粗度的补偿处理

对于部分有严重背景噪音的枇杷枝条图像，即使通过枝条特征图像提取后仍然可能存在部分背景噪音(如图4(d)所示)，可再次利用连通面积消除噪音.文中按照连通面积小于200 进行移除，消除噪音后的图像如图5(a)所示.

由于枇杷枝条表面粗糙、部分末端枝条过细或弯曲等原因，导致在前面的处理过程中部分枝条的图像元素被误当成背景噪音消除掉了，使得提取到的枝条直径变小.为了提高图像的准确度，需进行枝条粗度的补偿处理.其方法是找出在特征图像提取过程中获得的枝条图像点，并以此为中心，搜索并恢复之前被移除的枝条图像点，经补偿处理后所得图像如图5(b)所示.

图5 枝条图像消噪及复原图Fig.5 Noise elimination and image restoration of branches

2.3 非合理间断图像的恢复

通过图像处理所获得的枝条特征图像由于叶片遮挡、光照过强等原因，有的会出现中间间断而不连续的现象，这种现象可称为枝条的非合理间断，如图5(b)中A、B、C 处所示.枝条识别的完整性对于枝条修剪是十分重要的，对非合理间断进行恢复成为枝条图像识别中必不可少的工作之一.

具体步骤如下:

步骤1寻找间断图像起始点和终止点 间断图像起始点或终止点是指满足图像元素g(x，y)=0、g(x±m，y-1)=1 或g(x，y)=0、g(x ±m，y +1)=1的所有像素点，其中x、y 分别指图像的横、纵坐标，m为图像水平范围，文中m =0，1，2，3，…，20，M、N 分别为起始点和终止点(如图6(a)所示);

步骤2求取平均位置点 通过已经获得的坐标为(xi，yM)的起始点M，找出离M 竖直高度为h 的所有枝条图像点，其坐标为(xi，yM+h)，i=1，2，3，…，则所求平均位置点坐标为(x-i，yM+h)，文中h =20，在图6(a)中，P 点为起始点M 对应的平均位置点;

步骤3间断图像的恢复 连接并延长P、M到一定距离，延长线可沿P 点做一定角度的旋转，直到找到终止点为止，保留起始点和终止点的连线，通过多次寻找和连接，直到所有起始点和终止点连接完成为止，间断图像经恢复后的结果如图6(b)所示，从而实现非合理间断图像的恢复，并最终获得枇杷枝条框架，如图6(c)所示.

图6 间断图像的恢复过程Fig.6 Restoration process of discontinuous image

2.4 枇杷枝条中心坐标和直径的获取

枇杷枝条横切面的中心坐标和直径是枝条定位和修剪的重要依据，根据枇杷枝条的连枝特征，可近似认为每小段枇杷枝条的二维投影图像具有矩形特征，如图7(a)所示.假定过矩形的任意直线分别交于矩形两边A、B 两点，线段AB 的中点C 一定在枝条的中心轴投影上.根据枇杷枝条表皮特征，每小段枝条的图像投影并不能严格具有矩形特征.因此，在进行图像提取时，从180 个过渡特征图像中获取的所有连通直线的中点坐标，并不是完全集中在枇杷枝条的中心轴上，如图7(b)所示.但实验表明，位于枇杷枝条中心轴上的中点出现频率最多，因此，可根据中点出现的频率进行位置确定，最后获得枇杷枝条中心轴图像，如图7(c)所示，其中，中心轴上每个像素点坐标均是该位置对应的枝条横截面中心坐标.在图7(a)中，在过C 点的所有线段中，垂直于中心轴的线段最短，该线段长度为C 点对应的枇杷枝条横切面直径，从而利用特征图像提取时所有线段长度的数据记录，可获得枝条中心轴上每个像素点对应的枇杷枝条直径.

图7 枇杷枝条中心轴图像Fig.7 Branch center axis images of loquat

3 方法验证

为了检验文中所提方法获取枝条框架的准确性，对枇杷枝条图像进行了图像处理识别和人工识别的比较研究.首先，利用Panasonic 公司生产的DMCFH5 数码相机随机采集了68 张枇杷图像.采集时，将相机置于主枝附近并靠近地面处，沿与水平方向成30° ～45°斜向上方向采集图像，采集的图像像素为640 ×480.之后，通过Matlab R2011b 软件和人工方法对采集的所有枇杷图像分别进行了图像处理识别和人工识别.识别过程如图8所示，图8(a1)是枇杷枝条逆光图像，图8(b1)是图8(a1)的人工枝条识别图像.图8(a2)和8(b2)分别是通过两种识别方法获取的二值图像，图8(a3)和8(b3)分别是图8(a2)和8(b2)对应的中心轴图像.最后，以人工获取的图像为标准，根据采用文中方法提取得到的特征图像像素点与标准图像对应一致的比例作为识别率，计算得到平均正确识别率为91.2%.这说明利用文中所述方法获取的枝条框架准确性高，可满足修剪机器人识别要求.

图8 人工和图像处理识别Fig.8 Recognition of artificiality and image processing

4 结语

枇杷枝条特征图像及框架提取存在目标庞大、无规则、图像背景噪音严重、枝条非合理间断等困难.文中通过对枇杷枝条特征图像的分析，提出了一种枇杷枝条图像识别和框架提取的方法.该方法的主要过程为:

(1)图像预处理 利用亮度转换进行亮度调整，找出通用的图像分割阈值;

(2)图像分割 利用枝条图像R ＞G 的特征和通用阈值分别进行分割，并通过叠加处理获取分割图像和消除噪音;

(3)特征图像提取和补偿 利用枇杷枝条连枝特征进行特征图像提取和非合理间断枝条图像的补偿处理;

(4)获取枝条位置和直径 利用枝条平面投影的几何特征获取枝条中心坐标和直径.

通过验证表明，该方法的枇杷枝条图像正确识别率高，可操作性强，为枇杷枝条修剪机器人的视觉识别研究奠定了基础.

［1］Zhan De-An，Lv Jidong，Ji Wei，et al.Design and control of an apple harvesting robot［J］.Biosystems Engineering，2011，110(2):112-122.

［2］Cai J，Li Y，Fan J，et al.Image recognition and three-dimensional location of mature oranges from nature scene［J］.Microcomputer Information，2007，23(34):224-225，314.

［3］Li X，Li L.Preference multi-objective artificial bee colony and its application in camellia fruit image recognition［J］.Application Research of Computers，2012，29(12):4779-4781，4785.

［4］邱白晶，王天波，李娟娟，等.黄瓜蚜虫的图像识别与计数方法［J］.农业机械学报，2010(8):151-155.Qiu Bai-jing，Wang Tian-bo，Li Juan-juan，et al.Image recognition and counting for glasshouse aphis gossypii［J］.Transactions of the Chinese Society for Agricultural Machinery，2010(8):151-155.

［5］Blasco J，Aleixos N，Gómez J，et al.Citrus sorting by identification of the most common defects using multispectral computer vision［J］.Journal of Food Engineering，2007，83(3):384-393.

［6］朱莉，覃亚丽.基于MATLAB 的柑橘图像处理及识别系统研究［J］.电子工程师，2008 (5):41-43.Zhu Li，Qin Ya-li.Orange image processing based on MATLAB and identification technique ［J］.Electronic Engineer，2008 (5):41-43.

［7］郭艾侠，肖德琴.基于探索性分析的荔枝串与结果母枝图像识别［J］.实验室研究与探索，2014(2):4-9，30.Guo Ai-xia，Xiao De-qin.Image recognition of litchi cluster and their main fruit bearing based on exploratory analysis［J］.Research and Exploration in Laboratory，2014，(02):4-9，30.

［8］Hemming J，Rath T.Computer-vision-based weed identification under field conditions using controlled lighting［J］.Journal of Agricultural Engineering Research，2001，78(3):233-243.

［9］Kan J，Wang Y，Yang X，et al.Plant recognition method based on leaf images［J］.Science ＆ Technology Review，2010，28(23):81-85.

［10］Cerutti G，Tougne L，Mille J，et al.Understanding leaves in natural images-a model-based approach for tree species identification［J］.Computer Vision and Image Understanding，2013，117(10):1482-1501.

［11］Zhang M，Meng Q.Automatic citrus canker detection from leaf images captured in field［J］.Pattern Recognition Letters，2011，32(15):2036-2046.

［12］路阳，邵庆，张楠，等 水稻稻瘟病图像识别预处理方法研究［J］.黑龙江八一农垦大学学报，2011(4):64-67.Lu Yang，Shao Qing，Zhang Nan，et al.Study on image pre-processing for rice blast disease identification［J］.Journal of Heilongjiang Bayi Agricultural University，2011(4):64-67.

［13］Zhihua D，Yuanyuan W.Research on feature extraction of wheat leaf disease image［J］.Advanced Materials Research，2011，317/318/319:1326-1329.

［14］赵玉霞，王克如，白中英，等.基于图像识别的玉米叶部病害诊断研究［J］.中国农业科学，2007(4):698-703.Zhao Yu-xia，Wang Ke-ru，Bai Zhong-ying，et al.Research of maize leaf disease identifying system based image recognition［J］.Scientia Agricultura Sinica，2007 (4):698-703.

［15］Zhang S，Li B，Liu Y，et al.Fractal characteristics of twodimensional images of‘Fuji’apple trees trained to two tree configurations after their winter pruning［J］.Scientia Horticulturae，2011，130(1):102-108.

［16］Karkee M，Adhikari B，Amatya S，et al.Identification of pruning branches in tall spindle apple trees for automated pruning［J］.Computers and Electronics in Agriculture，2014，103:127-135.