自然生长状态下树叶图像的分割与提取

贾丽丽， 余孝源， 梁 耀， 李丰果

(华南师范大学物理与电信工程学院，广东省量子调控工程与材料重点实验室，广州 510006)

自然生长状态下树叶图像的分割与提取

贾丽丽， 余孝源， 梁 耀， 李丰果*

(华南师范大学物理与电信工程学院，广东省量子调控工程与材料重点实验室，广州 510006)

以用智能手机拍摄的自然生长状态下的含有复杂背景的树叶图像为研究对象，对图像的背景及其RGB的3个颜色分量的特征进行分析，根据分析的结果提出采用超绿(EXG)算法和底帽变换算法相结合的方法对目标树叶进行分割. 对于绿色分量与其他2个分量差异大的背景采用EXG算法去除，而对于绿色分量与其他2个分量差异小的背景采用形态学的底帽变换去除. 为了减小目标树叶分割的错分率，采用Otsu算法、形态学和边缘最大矩形对上述分割后的细节进行细化分割. 分割结果表明：文中所采用的算法可以很好地将目标树叶从背景中分割出来，错分率小于3.68%.

复杂背景； 超绿算法； 形态学处理； 图像分割

计算机图像处理技术已广泛应用于植物树叶信息提取的研究，为了避免图像背景对叶片特征信息提取的影响，在树叶的特征信息提取时通常将树叶从树上采摘下来，用扫描仪、照相机等设备获得背景单一的树叶图像，然后用不同算法提取树叶的相关特征信息[1-6]. 这一方法大大减少了提取算法的复杂性，但对树叶是破坏性的，难以满足对植物生长状态的实时监测.

在提取与分割生长状态下的树叶图像时，不得不面对不同复杂背景对目标树叶分割的影响. 如何从背景复杂的图像中分割出目标树叶是树叶特征信息提取的关键，也是经典难题之一[7-13]. 王红君等[14]在研究复杂背景下植物叶片的彩色图像分割时提出了利用各向异性的扩散性质对图像进行预处理，利用分水岭和自动种子区域生长算法对图像进行分割，但其分割结果距离人眼判别的分割效果还存在一定差距. 满庆奎[15]在研究复杂背景下植物叶片图像分割算法时通过在待提取轮廓的附近人为设置若干控制点，然后通过进一步的优化运算来逼近目标的真实轮廓，然而这一分割算法无法实现对植物叶片图像的自动分割. 赵德升等[16]应用杂草识别中常用的灰度化方法，根据灰度图像直方图的特点采用适当的阈值进行植物图像分割. 为了解决K-均值算法对农业图像分割中，常用的超绿特征(2G-R-B)图像分割效果不佳的缺点，赵博等[17]提出了一种基于微粒群与K-均值算法相结合的分割方法. 于国英[18]提出了应用改进的Radon变换与感兴趣区域相结合的方法，来加快提取的速度并且通过模拟实验和田间实验证明了该方法的可行性.

近年来，智能手机的功能越来越强大，是一个非常便捷的智能应用平台，用手机所拍摄的图像质量也相当高，但从手机所拍摄的图像的复杂背景中分割出所需的目标树叶仍是一个难点. 基于这一问题，并根据手机所获图像的背景特点，本文提出利用超绿算法和底帽变换相结合的方法获得目标树叶边缘的坐标信息，从而从复杂的背景中分割出所需的目标树叶. 这一研究为下一步提取目标树叶的特征信息奠定基础，也为开发基于智能手机的树叶识别系统提供算法参考.

1 基本原理

1.1 超绿算法的分割原理

在RGB三维彩色空间中图像像素点的像素值分别用R、G、B等3个分量表示，绿色植物图像的G分量值通常比其他2个分量值大，因此，可以利用彩色图像灰度化因子(2G-B-R)(也称“超绿”)[19-20]对图像进行处理与分割. 这一算法在一定程度上“放大”绿色分量的比重，增加绿色目标树叶与非绿色背景的对比度，便于目标树叶的分割. 超绿算法的这一特点，尤其适合去除像建筑物、地面和天空等非植物性背景.

超绿算法可以表示为：

(1)

其中T为阈值. 从式(1)可以看出：灰度化因子大于或等于255的像素点的灰度值统一为255；灰度化因子大于阈值T且小于255的像素点的灰度值用灰度化因子表示；灰度化因子小于或等于阈值T的像素点的灰度值统一为0. 因此可通过选择合适的阈值T分割背景区域和目标区域.

1.2 形态学运算

原图像边缘轮廓清晰是图像分割的前提条件，然而很多图像由于边缘轮廓不清晰使得提取的目标图像边缘信息不够完整甚至出现错分的现象. 为了得到目标图像完整的边缘信息，本文采用数学形态学中的底帽变换对图像进行预处理. 在底帽变换中用到形态学中的3种基本运算：膨胀运算、腐蚀运算、由膨胀和腐蚀算法衍生出的闭运算.

1.2.1 基本运算

(1)膨胀运算. 主要用于填补轮廓线中的断裂部分，其对图像进行以下操作：

(2)

其中，b为结构元素，f为原图像. 式(2)表明：先对结构元素b做自身原点的映射，再将其映射平移x. 若f和b映射的交集不为空集，则原点处对应的值为目标图像的像素点值.

(2)腐蚀运算. 主要用于消除在分割过程中被错分的细小边缘，其对图像进行以下操作：

(3)

式(3)表明：若结构元素b平移x后仍包含于f中，则原点处对应的值为目标图像的像素点值.

(3)闭运算. 主要用于提取目标树叶的高亮边缘，其对图像进行以下操作：

(4)

闭运算是膨胀运算的完善，相比于膨胀运算而言，闭运算可以在提高图像边缘亮度的基础上使目标图像的大小基本保持不变.

1.2.2 底帽变换 底帽变换是闭运算与减法运算的结合，其对图像进行以下操作：

s=(f·b)-f.

(5)

底帽变换可以用图1进行说明，图中①表示图像中较暗的区域，②表示图像中较亮的区域. 可以看出：通过底帽变换后去除原图像中亮的区域，突出了暗的区域.

图1 底帽变换示意图

在分割过程中发现：结构元素b的形状和尺寸对分割的结果影响较大，因此需要选择合适的结构元素. 本文采用的是各向对称的圆盘形结构元素. 随着结构元素半径的增大，目标树叶和背景的对比度也会随之增强，但图像信息的失真也会随之严重. 因此需要综合考虑，既要增强图像的对比度，又要避免图像失真过大. 文中圆盘的半径为2.

1.3 Otsu算法

通过超绿算法和底帽变换相结合可以将目标树叶粗略地从图像背景中分割出来，但会出现错分的情况，因此还需采用Otsu算法减小目标树叶图像的错分率. 其基本原理是确定一个最优阈值，使树叶和背景这2个像素类的类间方差最大，从而达到进一步分割树叶和背景的目的.

采用Otsu算法对灰度图像处理的步骤为：

(1)计算像素点的概率. 像素值为i的像素点的概率Pi为：

Pi=Ni/N(i=1,2,…,255),

(6)

其中，Ni表示灰度值i相对应的像素点的个数，N为图像像素点的总个数.

(2)计算图像背景和目标物的灰度均值. 图像中背景和目标物的灰度均值分别用u1(T)和u0(T)表示：

(7)

从式(7)可以看出：背景类由灰度值在[0,T]之间的像素点组成，目标物类由灰度值在[T+1,255]之间的像素点组成.

(3)计算图像的背景类和目标类像素的类间方差σ2(T):

(8)

从Otsu算法可以看出：Otsu算法以错分概率最小作为分割阈值的选取准则，可以通过阈值的选取实现去除错分的背景.

2 原图特征分析与分割流程图

2.1 原图背景特征分析

本文采用的样品图像是使用小米手机(像素为800万)获得的自然生长状态下的树叶(图3A),可以看到背景中含有建筑物和其他树叶等物体. 目标树叶的“绿色”与背景建筑物的“绿色”分量差异较大，而与其他的背景树叶差异小. 若选取如图3A虚线框所围成的区域，对所选取的3个区域计算其灰度化因子的平均值. 平均值分别为-8、61和-1，其中-8对应区域①，61对应区域②，-1对应区域③. 背景(区域①和区域③)的灰度化因子平均值均小于零，而目标树叶的大于零. 因此，选择0为分割阈值即可对灰度化因子为-8的建筑物背景区域有效去除，而对于灰度化因子为-1的其他背景区域无法采用超绿算法去除，需采用形态学的底帽变化去除.

2.2 目标树叶分割流程图

目标树叶分割的具体步骤(图2)如下：

(1)对原彩色图像进行超绿处理；

(2)将原彩色图像进行灰度化后，采用底帽变换去除图像的暗区域，保留高亮边缘；

(3)使用Otsu算法分别处理步骤(1)、(2)得到的图像，进一步减小图像的错分率；

(4)把步骤(3)处理得到的2幅图像做异或运算得到比较完整的目标树叶；

(5)对步骤(4)所得结果利用形态学方法处理进行填洞和腐蚀，对目标树叶的边缘做进一步的优化处理；

(6)使用连通区域提取目标树叶的坐标信息；

(7)利用目标树叶的坐标信息从原图中匹配叠加即可得到完整的目标树叶彩色图像.

图2 分割流程图

3 结果与分析

3.1 样本一目标图像的分割

由于图3A中含有建筑物和其他树叶这2种形态和颜色不同的背景，因此需要采用不同的算法进行去除. 对含建筑物部分的背景使用超绿算法进行去除，去除结果如图3B所示. 从图3B可以看出：含建筑物部分的背景已经很好地被分割，但是右边含有其他树叶的背景由于与目标树叶的绿色分量接近没有被去除. 对于含有其他树叶的背景部分，需先对原图像进行灰度化处理，然后再做底帽变换(图3C). 经过反复试验，底帽变换选择圆盘形结构元素去除该类树叶背景，这一选择既增强了图像的对比度，又避免了图像失真过大而影响后续的结果. 从图3C可以看出：经过底帽变换后可以得到目标树叶的边缘轮廓，但会在局部出现细小的错分现象(如图中红色虚线椭圆框所示). 为了减小错分现象以及突出树叶的边缘轮廓，还需对超绿运算和底帽变换后的目标物图像进行Otsu运算，阈值T选为0. 图3B、C经过Otsu运算后结果如图3D、E所示. 从图3D、E可以看出：目标树叶区域与背景区域还有所相连(图3D)，而且边缘与背景相似，因此需要将图3D、E做异或运算即可得到目标树叶突出的边缘轮廓(图3F). 但从图3F可以看出：树叶边缘还有一些细小的断裂，对这些细小的断裂还需用腐蚀和填洞运算使目标树叶脱离复杂背景目标树叶所占的区域面积在整个图像中最大，故可以采用连通区域提取方法得到目标树叶(图3G). 通过初步分割将目标树叶从周围背景中脱离出来(图3H). 从图3H可以看出：经过连通区域运算后目标树叶可以从背景中分割出来. 但分割的目标树叶的下端(红色虚框圈出)还有一部分没有分割掉，其原因为该部分的颜色与目标树叶的颜色极其相似，上述算法无法将其分割掉. 没有分割掉的部分其外轮廓与目标树叶的轮廓相差很大接着可以采用目标树叶的最小凸多边形和内部填充算法进一步分割(图3I). 经过一系列的算法运算，目标树叶成功地分割出来了. 利用所分割的目标树叶的坐标信息，与原图像(图3A)进行匹配叠加即可得到单一背景的目标树叶的彩色图像(图3J). 这一结果为后续目标树叶特征参数的提取奠定了坚实的基础.

图3 样本一目标树叶的分割

3.2 分割算法的有效性验证

为了检验样本一目标树叶提取算法的有效性，选择其他8个样本(图4)对目标树叶利用与样本一相同的算法进行分割，从图5可以看到8个样本的目标树叶得到很好地分割. 由此可以看出：根据手机拍摄图像背景复杂的特点，本文采用的目标树叶分割算法可以有效地将目标树叶从建筑物、泥土、水泥路面以及其他不同形态的背景树叶中分割出来.

4 错分率分析

错分率(Misclassification Error，ME)[21]用来评价目标树叶分割的准确率. 其定义为：

图4 各样本原图

(9)

其中，V表示使用算法分割的目标树叶的像素数，Vp表示人工方式分割的目标树叶的像素数， |V∩Vp|表示使用算法分割的目标树叶和人工方式分割的目标树叶相同位置像素值相等的个数.M*N表示图像的大小，即像素总数. |V∩Vp|/(M*N)代表目标树叶分割的准确率. 计算错分率时，只需要统计2个图像相同位置像素值不等的个数与像素总数的比值. ME的值越小，表明错分率越小，分割效果越好.

为了分析本算法的错分率，首先需要确定评价标准. 本文采用Photoshop软件对原图进行分割，用得到的目标树叶作为评价标准. 将各样本的Photoshop分割图和本文算法分割图进行二值化处理. 利用式(9)对本文分割的9个样本进行计算，得到各样本的错分率. 从计算结果(表1)可以看出用本文算法分割得到的目标树叶的错分率均小于3.68%.

本文仅给出样本一和样本A采用Photoshop软件分割得到的目标树叶和本文算法分割得到的目标树叶的对比图(图6). 从图中可以看出本文的分割算法可以达到很好的分割效果.

图5 各样本目标树叶的分割

图6 Photoshop效果图和本文算法分割结果图

Figure 6 The segmentation results of Photoshop and the proposed algorithm

表1 样本错分率Table 1 Error rates of samples %

5 小结

本文针对用手机获得的自然状态下的含有复杂背景的树叶图像，提出了超绿算法和底帽变换相结合的分割方法，并结合其他算法得到了轮廓清晰的目标树叶，目标树叶的分割错分率小于3.68%. 分割所采用的算法无需人工参与，可实现自动化分割. 这些算法和分割研究为下一步树叶特征参数的提取奠定基础，并为进一步开发使用智能手机的树叶识别系统提供算法参考. 诚然，由于目标树叶拍摄时不同的拍摄角度所对应的背景具有较大的随机性，这大大限定了分割算法的兼容性和适用性. 众所周知，一种算法从基础研究到应用于产品需要经过3个阶段：基础研究、优化和移植. 本文仅处于基础研究阶段，还需对目标树叶分割算法的适用性及其各种参数的影响进行深入研究，同时还需对算法进行优化，提高运行速度，以期尽可能地满足智能手机运行的要求，实现基于智能手机平台的树叶识别软件.

[1] CLARK J,BARMAN S,REMAGNINO P,et al. Venation pattern analysis of leaf images[M]∥BEBIS G,BOYLE R,PARVIN B,et al. Advances in Visual Computing. Berlin:Springer,2006:427-436.

[2] MARCHANT J A,BRIVOT R. Real-time tracking of plant rows using a hough transform[J]. Real-Time Imaging,1995,1(5):363-371

[3] 李灿灿,孙长辉,王静,等. 基于改进的Sobel算子和色调信息的叶脉提取方法[J]. 农业工程学报,2011,27(7): 196-199.

LI C C,SUN C H,WANG J,et al. Extraction of leaf vein based on improved Sobel algorithm and hue information[J]. Transactions of the Chinese Society of Agricultural Engineering,2011,27(7):196-199.

[4] BIRNBOIM H C,DOLY J. A rapid alkaline extraction procedure for screening recombinant plasmid DNA[J]. Nucleic Acids Research,1979,7(6):1513-1523

[5] 李冠林,马占鸿,黄冲,等. 基于K-mean聚类算法的葡萄病害彩色图像分割方法[J]. 农业工程学报,2010,26(S2):32-37.

LI G L,MA Z H,HUANG C,et al. Segmentation of color images of grape disease using K-means clustering algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering,2010,26(S2):32-37.

[6] SEZGIN M,SANKURB. Survey over image there holding techniques and quantitative performance[J]. Journal of Electronic Imaging,2004,13(1):146-165.

[7] BERGASA L,DUFFY N,LACEY G,et al. Industrial inspection using Gaussian functions in a colorspace[J]. Image and Vision Computing,2000,18(12):951-957.

[8] 王小铭. 计算机图像图形学应用研究的现状与发展策略刍议[J]. 华南师范大学学报(自然科学版),1998(4):108-111.

WANG X M. The current status and development strategy of applied research of computer image and graphics[J]. Journal of South China Normal University (Natural Science Edition), 1998(4):108-111.

[9] 张武,黄帅,汪京京,等. 复杂背景下小麦叶部病害图像分割方法研究[J].计算机工程与科学,2015,37(7):1349-1354.

ZHANG W,HUANG S,WANG J J,et al. Wheat leaf diseases under complicated background image segmentation method research[J]. Computer Engineering and Science,2015,37(7):1349-1354.

[10] 王静,李灿灿,王情伟,等. 树叶长宽比及边缘曲率的提取[J]. 华南师范大学学报(自然科学版),2013,45(1):38-41.

WANG J,LI C C,WANG Q W,et al. The extraction of leaves’ aspect ratio and boundary curvature[J]. Journal of South China Normal University(Natural Science Edition),2013,45(1):38-41.

[11] OTSU N. A threshold selection method form gray-level histogram[J]. IEEE Transactions on Systems Man & Cybernetics,1979(9):652-655.

[12] 苏礼楷,王小铭. 基于轮廓特征点检测的植物叶片几何建模[J]. 华南师范大学学报(自然科学版),2009,39(4):39-42

SU L K,WANG X M. Geometry modeling for plant leaf contour based on feature point detection[J]. Journal of South China Normal University (Natural Science Edition),2009,39(4):39-42.

[13] 龙庆华,陈天钧,叶穗红,等. 植物组培环境计算机自动监控网络系统[J]. 华南师范大学学报(自然科学版),1998(3):70-75.

LONG Q H,CHEN T J,YE S H,et al. Computer automa-tic supervisory network system for plant growth surroun-dings[J]. Journal of South China Normal University (Natural Science Edition),1998(3):70-75.

[14] 王红君，陈伟，赵辉，等. 复杂背景下植物叶片的彩色图像分割[J]. 中国农机化学报,2013,34(2):207-211.

WANG H J,CHEN W,ZHAO H,et al. Color image segmentation of plant leaves under complex background[J].Chinese Agricultural Chemical,2013,34(2):207-211.

[15] 满庆奎. 复杂背景下植物叶片图像分割算法及其应用研究[D]. 曲阜:曲阜师范大学,2009:19-23.

MAN Q K. Research on image segmentation algorithm and its application in plant leaves under complex background[D]. Qufu:Qufu Normal University,2009:19-23.

[16] 赵德升,毛罕平,陈树人,等. 杂草识别中背景分割方法的比较研究[J]. 农机化研究,2009(11):76-79.

ZHAO D S,MAO H P,CHEN S R,et al. A comparative study of the background segmentation method in wood identification[J].Journal of Agricultural Mechanization Research,2009(11):76-79.

[17] 赵博,宋正河,毛文华,等. 基于PSO与K-均值算法的农业超绿图像分割方法[J]. 农业机械学报,2009(8): 166-169.

ZHAO B,SONG Z H,MAO W H,et al. Super green agriculture-based segmentation method PCA and K-means algorithm[J]. Transactions of the Chinese Society of Agricultural Machinery,2009(8):166-169.

[18]于国英. 农业AGV视觉导航参数提取与轨迹控制的研究[D]. 镇江:江苏大学,2006:16-17.

YU G Y. Agriculture AGV vision navigation parameter extraction research and trajectory control[D]. Zhenjiang:Jiangsu University,2006:16-17.

[19] 胡波. 杂草识别中图像特征的优化及识别算法的研究[D]. 镇江:江苏大学,2007:23-25.

HU B. Research on weed identification image optimization features and recognition algorithm[D]. Zhenjiang:Jiangsu University,2007:23-25.

[20] SEZGIN M,SANKUR B. Survey over image thresholding techniques and quantitative performance evaluation[J]. Journal of Electronic Imaging,2004,13(1):146-165.

[21] PATIL R V,JONDHALEK C. Edge based technique to estimate number of clusters in k-means color image segmentation[C]∥Proceeding of the 3rd IEEE International Conference on Computer Science & Information Technology. Piscataway,NJ:IEEE,2010:117-121.

【中文责编：庄晓琼 英文审校：肖菁】

Leaves’ Image Segmentation and Extraction under Natural Growing Condition

JIA Lili,YU Xiaoyuan, LIANG Yao, LI Fengguo*

(School of Physics and Telecommunication Engineering, Guangdong Provincial Key Laboratory of Quantum Engineering and Quantum Materials, South China Normal University, Guangzhou 510006, China)

The leaves obtained by mobile phones in complex backgrounds are taken as the research objects. Accor-ding to the results of RGB components feature analysis, the target leaves can be segmented by the extra-green cha-racter (EXG) and the bottom-hat transformation. For removing the background of the green component and the others with large difference, the bottom-hat transformation can be used. While for the other two components with small difference, the extra-green character can be used. Moreover, in order to reduce the error rate of the segmentation, the Otsu algorithm can be used to modify its details. The result shows that all above of the algorithms can segment the leaves well from the complex backgrounds and all error rates are less than 3.68%.

complex background； extra-green character； morphology dispose； image segmentation

2015-12-30 《华南师范大学学报(自然科学版)》网址：http://journal.scnu.edu.cn/n

广东省教育部产学研结合项目(2011B090400199)

TP391.41

A

1000-5463(2017)01-0116-06

*通讯作者:李丰果，教授，Email：ganguli@126.com.