基于CLAHE和开闭运算的绿色苹果图像分割

王 帆，吕继东，申根荣，马正华

(常州大学 信息科学与工程学院，江苏 常州 213164)

基于CLAHE和开闭运算的绿色苹果图像分割

王 帆，吕继东，申根荣，马正华

(常州大学 信息科学与工程学院，江苏 常州 213164)

依据绿色苹果图像的自身特点，设计了一种分区域提取而后合并的图像分割方法；首先对图像进行限制对比度自适应直方图均衡化(contrastlimitedadaptivehistogramequalization,CLAHE)，增大果实和背景的颜色差，而后获取R-B色差图像，得到以光常区域为主的区域；然后用CLAHE处理后的图像进行开闭运算，提取局部极大值，得到以高亮区域为主的区域；最后将两区域合并获得完整的果实目标区域；为了验证该方法的有效性，运用Hough算法检测圆，并用相对偏差、圆心相对误差及半径相对误差3个评价指标来定量评价；试验结果表明，提取区域与果实目标区域相比，顺光下，相对偏差、圆心和半径相对误差平均值分别为3.59%，4.76%和2.60%；逆光下，3个指标的平均值分别为10.77%、16.77%、11.49%；无论是顺光还是逆光都有很好的识别效果，能满足机器人采摘果实的精确定位的要求。

绿色苹果；限制对比度自适应直方图均衡化；局部极大值；区域合并

0 引言

精确识别定位是机器人采摘果实的关键，直接关系到机器人采摘的质量。相关文献中多是对红色果实图像分割识别的研究，而对绿色果实的分割识别研究较少。文献[1]通过采用模板匹配的细化算法在2R-G图像中提取果实轮廓，再用改进的随机Hough算法，实现果实的识别，识别效果较好。文献[2]通过对R-B分量及灰度均值m、标准偏差σ和熵e等特征和最佳聚类数对苹果图像进行K-均值聚类分割。文献[3]通过建立混合分类器，将归一化g分量、HSV空间的H、S分量和2G-R-B作为特征参数，识别近色背景中的绿色苹果。文献[4-5]通过训练建立BP神经网络，并将颜色、形状特征作为输入，建立绿色苹果分割模型，分割绿色果实。文献[6]依靠物体的颜色、质地和形状特征的组合重建三维空间，将果实区域从背景中分离。文献[7]用果实的颜色特征和表面光滑性检测得到属于苹果的高概率像素，形成“种子区域”，经过扩展得到绿色果实区域。

本文研究的绿色苹果图像，顺光下，天空背景与果实受强光部分接近白色，叶子绿色较浅，与果实颜色相近，果实表面由强光引起的阴影面积较大；逆光下，图像整体亮度低，叶子表面绿色较深，果实表面仍有部分阴影。果实表面亮度不均匀，运用常见的颜色或者纹理特征不能有效地分割果实目标；而将果实形状特征和颜色特征融合通过建立绿色果实模型实现分割，果实表面纹理特征不明显，需要较大的计算量。针对绿色苹果的分割难点，设计了一种分区域提取而后合并的分割方法。

1 材料与方法

1.1 图像采集与试验

数码相机型号Canon DIGITAL IXUS 200 IS，果实品种为王林苹果，拍摄距离20～80 cm。试验所用到的图像均在自然环境下拍摄，图像包括顺光、逆光果实图像共100幅；图像分辨率为1136×852像素。图像试验软件平台为Matlab R2013a，计算机的处理器为Intel(R)Core(TM)2 Duo CPU E4600 @ 2.40 GHz，内存为2 G。

1.2 图像分割

自然环境下光照引起果实表面的受光不均匀将果实表面分为光常区域、中间区域和高亮区域三部分。高亮区域是由于果实表面受强光照造成的，表面区域较亮。光常区域是果实表面光线较弱的区域，区域亮度较弱。果实表面受光强度正常的部分，称为中间区域。文中分割出的以高亮区域为主的区域，包含高亮区域和中间区域；同样，中间区域也被包含在以光常区域为主的区域内。该文提取的两种区域，会有重叠部分。果实表面受光不均匀，导致单个方法很难将其完整分割出来。本文先分别提取两个区域(以高亮区域为主的区域和以光常区域为主的区域)，两区域提取后进行合并最终获得完整的果实目标区域，分割流程如图1所示。

图1 绿色苹果分割流程图

1.2.1 限制对比度自适应直方图均衡化

与一般的直方图均衡化相比，CLAHE算法不同点在于其对比度限幅，相比AHE(对比度受限直方图均衡化)，AHE法只能局部增强图像的对比度，而CLAHE法是对图像的每个小区域都必须使用对比度限幅。AHE法能够使处理后的图像平坦均匀，清晰度增强，但对噪声敏感。CLAHE法不仅能抑制图像噪声，加强对比度，更重要的是突出图像内部细节[8]。为了更多地分割出绿色果实区域，使果实与背景颜色差异突出，本文应用CLAHE算法处理图像。其主要实现步骤为：

1)将图像分成像素为M×N的多个连续均匀且不重叠的区域；

2)计算每个区域的直方图函数。每个区域(m,n)相应直方图函数可以表示为Hm,n(r)，每个直方图的灰度级是r，r的大小为[0,K-1]，K是灰度级个数；

3)计算剪切限幅值β：

(1)

式(1)中，α为截断系数，其取值范围为(0,1]，表示每个灰度级像素的最大百分比。因此β取决于区域大小。当α=1时，β最小，此时β=M·N/K。对每个小区域用β裁剪Hm,n(R)，将超出β值的像素平均分布到其他灰度级中，如图2(b)。为了防止新的直方图函数再次超过β，就需要重复裁剪直到这个超出部分很小，如图2(b)上部分阴影部分显示，剪切效果如图2(d)。为了提高速度，所用CLAHE算法的参数取M=5，N=5，α=0.4。

4)直方图均衡化每一个子区域。

5)采用双线性插值法[9]，参考各子块中心点处灰度值，计算各点灰度值。处理方法如下：

如图2(c)，像素所在位置记为S，像素值为e，表示为Pi,j(S)=e，在输出图像中记为e’，每个区域的中心分别为A、B、C、D，FA(e)、FB(e)、FC(e)、FD(e)分别为4个中心点的变换函数，4个区域变换函数的加权和为e’。设a、b分别是S点到直线AC和AB的距离，且lAC和lAB均为1，则对于每一个(a,b)有：

(2)

每个像素都可以用一个变换函数表示为：

(3)

式(2)、(3)中，像素点(i,j)的分布函数是Fi,j(e)。传统自适应直方图均衡化，不管是否对对比度有限制，都对图像中每一个像素点的直方图函数、相应的变换函数进行计算，这样使计算量大、时间过长。而这种插值法的过程极大降低了变换函数需要计算的次数，只是增加了一些双线性插值的计算量。

最终效果图如图2(d)，与图2(a)原图相比，果实和背景的对比度明显增强，果实与背景的色差明显。分别提取原图与CLAHE处理后图像的R-B图像，如图3(a)与3(b)，CLAHE处理后的R-B图像得到了相对比较完整的果实区域，且残留的叶子区域细小，容易去除。

图2 CLAHE算法示例

图3 CLAHE处理效果图

1.2.2 小区域去除/空洞填充

将R-B图像转化成二值图像(如图4(b)),图像中残留的分割碎片，通常是未分割掉的与果实颜色相近的叶子背景、草地和天空背景，而果实区域由于光照不均、遮挡造成的阴影，也会产生孔洞。对于分割碎片，本文以8邻域标记法[10]对图像中的连通区域进行标记并统计总数，将小于最大连通区域1/12的小区域去除。而漫水填充算法[11]用来填补分割区域中或边界的孔洞，如图4(c)。

1.2.3 边界对象去除

图像采集过程中，当采集果树外围的果实图像时，所采集的图像边界往往会出现草地。草地也与果叶颜色相近，通过以上环节往往不能去除干净，图像边界仍然会存在较大块的草地区域。为此本文在上述分割结果的基础上删除与图像边界相连的对象。具体首先对各连通区域轮廓跟踪获取边缘坐标，然后对所获取的各连通区域边缘坐标进行判别，以确定是否与图像的边界相连，最后删除与图像的边界相连的连通区域，如图4(d)。图5为提取的以光常区域为主的区域在原图中圈出的效果图。

图4 以果实光常区域为主的提取图

图5 原图中圈出以光常区域为主的区域

1.2.4 形态学开闭操作

由于不同的光照状态下，绿色果实与背景边缘像素差异不明显，特别是天空、绿色草地背景，直接使用分水岭分割，容易产生过度分割的现象。因此提取绿色苹果图像中果实高亮区域需要对图像进行CLAHE处理，以获得更好的分割效果。具体方法如下：

1)图像进行CLAHE处理。

将2.2.4.1中腌制的生鲜肉泥压制成型后入箱烘烤，烘烤温度180 ℃，烘烤时间15 min。通过测定和计算烘烤前后肉脯红度值的差值，判断不同发色剂的热稳定性。计算公式为△a=a1-a2，式中：a1为烤前红度值，a2为烤后红度值。

2)进行开运算。该方法通过去掉图像边缘较小的突刺、切断连通区域内部的细长搭接实现图像的分离。

3)进行闭运算。该方法通过填充连通区域中或边缘的小缺口或空洞、连接较相近两连通区域实现图像的连接。

如图6(a)与6(c)，分别是CLAHE处理前的开闭操作图像。图6(b)与6(d)，分别为CLAHE处理后的开闭操作图像。CLAHE处理后进行开闭操作，图像中局部极大值区域较大。

4)获取图像中的局部极大值。

局部极大值图像(图6(e))中，图像有细小的空洞和小斑点残留，进行孔洞填充或小区域去除(图6(f))，再去除边界背景对象(图6(g))，就得到了果实的以高亮区域为主的区域。如图7是原图像中圈出的以高亮区域为主的区域。

图6 以果实高亮区域为主的提取图

图7 原图中圈出以高亮区域为主的区域

1.2.5 区域合并

CLAHE处理后的图像，增大了果实区域与叶子、枝干、草地、天空等背景的灰度级。提取R-B色差因子，得到果实的以光常区域为主的区域。利用形态学开闭运算，提取局部极大值，得到果实的以高亮区域为主的区域。最后将以光常区域为主的区域与以高亮区域为主的区域合并，得到果实区域二值化图像(图8(a))，在原图中圈出果实目标区域(图8(b))。图8(b)说明，合并区域与果实实际区域很接近。

为了运算简单，用sobel算子检测合并区域的轮廓。对于单个果实，直接使用Hough圆检测算法。对于多个果实，用基于距离测度的角点检测算法[12]寻找果实轮廓的角点，并求出与区域有相同标准二阶中心距的所在椭圆的长轴与水平线所成的角度α，如式:

(4)

图9 果实分割图

图8 合并区域效果图

式(4)中，tanα为长轴的斜率，(xa，ya)为连通区域质心点坐标，由于果实质心经过长轴，带入质心坐标，就可以计算出长轴所在直线。选择分割点方法：选择长轴的两侧，且两角点所连线段最短，即可作为分割点，再用Hough算法。

1.2.7 Hough圆检测

绿色苹果类似圆形，为了计算方便，以圆形近似表示苹果的形状轮廓，因此果实轮廓边缘可以用圆形公式[13]表示为:

(5)

式(5)中，x0、y0是绿色果实形心坐标，r0是绿色果实轮廓的半径。则x、y可以表示为：

x=x0+r0cosθ

(6)

(7)

则有:

(8)

式(8)说明，圆周上关于圆心对称的两点M(x1,y1)、N(x2,y2)，所在线段MN中点就是圆心。设半径大小为r0，即:

(9)

(10)

从100张图像中选取部分图像，包括顺光下单个果实、多个果实，逆光下单个果实、多个果实、叶子遮挡、果实遮挡。如图9是顺光逆光下的果实分割图，分别显示了原图像、合并区域二值化图像、原图中圈出合并区域的图像、Hough算法检测圆的图像。

2 试验结果与分析

2.1 算法评价指标

在机器人采摘果实时，其采摘质量不仅与果实形状有关，也与果实的形心和果实的大小有关。为了验证本文所设计方法的有效性，用相对偏差[14]、圆心相对误差CRError和半径相对误差RRError[15]作为评价识别误差的指标。

相对偏差描述如下：

(11)

式(11)中，L是果实形心与拟合圆圆心的距离，SY是果实实际区域的面积。

圆心相对误差CRError可以表示为：

(12)

半径相对误差RRError可以表示为：

(13)

式(12)、(13)中，L同上，RealR是果实图像的半径，CalR是拟合圆的半径。

2.2 果实识别实验与分析

在上述方法中，用Hough算法得到拟合圆的半径和圆心。然后，根据图像实际形心、半径和面积，来计算相对偏差、圆心相对误差及半径相对误差三个评价指标，定量检测文中所用方法的有效性。如表1列出8张图像中可识别出的果实数据，图像中共有19个绿色果实，有3个果实因被遮挡部分超过果实面积的1/2未被识别出。图像序号1～5为顺光下的果实识别实验，图像序号6～8是逆光下的果实识别实验。

表1 绿色苹果识别实验结果

表2 不同光照下果实识别实验结果对比表

顺光下，相对偏差、圆心和半径相对误差的平均值分别为3.59%、4.76%和2.60%；逆光下，3个指标的平均值分别为10.77%、16.77%、11.49%。逆光状态下，分割的果实目标区域地面背景受强光被误分割成目标区域，由于叶子遮挡造成的阴影被误判断成背景，导致目标区域的分割误差，即圆心和半径相对误差(见表2)。顺光状态下，部分果实区域由于光照形成的阴影被误当成叶子背景而去除，本文算法在一定程度上减小了顺光下的果实分割误差。当提取的果实目标区域较接近果实实际区域时，果实的相对偏差、圆心相对误差及半径相对误差较小。机器人采摘果实时，准确地定位，一定程度上能够提高机器人采摘质量；相反，果实的相对偏差、圆心相对误差及半径相对误差较大，会对机器人采摘果实加大难度。

3 结论

苹果采摘现在已成为采摘机器人的研究重点。完整分割、精确定位对机器人的采摘质量有很重要的作用。为了实现相近背景中绿色苹果的分割，提出了一种分区域提取而后合并的果实分割方法，为了证明该方法的准确性，将提取到的区域进行Hough算法检测圆，并将拟合圆的圆心坐标和半径与果实实际圆心坐标、半径进行了定量比较。实验结果证明：

1)CLAHE算法处理图像，有效降低了绿色果实与叶子、草地等相近背景的分割难度。

2)与绿色果实实际圆心、半径相比，分割的区域越接近实际区域，分割的相对偏差、圆心相对误差及半径相对误差越小。顺光下相对偏差、圆心和半径相对误差的平均值分别为3.59%、4.76%和2.60%；逆光下的这3个评价指标的平均值分别为10.77%、16.77%和11.49%。

文中算法对于绿色果实的分割是可行的，为后续果实的准确定位打下基础。

[1] 谢忠红，姬长英，郭小清，等.基于改进Hough变换的类圆果实目标检测[J].农业工程学报,2010,26(7):157-162.

[2] 司永胜,刘 刚,高 瑞,等.基于K-均值聚类的绿色苹果识别技术[J].农业机械学报,2009,40(s):100-104.

[3] 张春龙, 张 楫, 张俊雄, 等.近色背景中树上绿色苹果识别方法[J]. 农业机械学报, 2014, 45(10):277-281.

[4] 荀 一, 陈 晓, 李 伟, 等.基于轮廓曲率的树上苹果自动识别[J].江苏大学学报·自然科学版, 2007, 28(6):461-464.

[5] 张志强, 张惠莉. 基于神经网络和图像颜色、形状特征的绿色苹果图像分割[J].农业网络信息, 2013(10):20-23.

[6] Rakun J, Stajnko D, Zazula D. Detecting fruits in natural scenes by using spatial-frequency based texture analysis and multiview geometry[J]. Computers and Electronics in Agriculture, 2011,76(1):80-88.

[7] Linker R, Cohen O, Naor A. Determination of the number of green apples in RGB images recorded in orchards[J]. Computers and Electronics in Agriculture, 2012,81(2):45-57.

[8] 王 建，庞彦伟. 基于CLAHE的X射线行李图像增强[J].天津大学学报，2010, 43(3):194-198.

[9] 姬 伟，陶 云，赵德安，等.基于CLAHE的苹果树树枝迭代阈值分割方法研究[J]. 农业机械学报, 2014,45(4):69-75.

[10] Nixon M S, Aguado A S. 特征提取与图像处理 [M](第二版). 北京:电子工业出版社, 2010.

[11] Bradski G, Kaehler A. Learning OpenCV: computer vision with the OpenCV Library [M]. Beijing: Tsinghua University Press, 2009.

[12] 徐 越，李盈慧，宋怀波，等.基于Snake模型与角点检测的双果重叠苹果目标分割方法[J].农业工程学报，2015,31(1)：196-203.

[13] 王小华，谢君廷，李本伍.一种新的基于梯度方向角的圆检测算法[J].机电工程，2008,25(3)：30-32.

[14] 谢志勇，张铁中，赵金英.基于Hough变换的成熟草莓识别技术[J].农业机械学报,2007,38(3):106-109.

[15] 马翠花，张学平，李育涛，等.基于显著性检测与改进Hough变换方法识别未成熟番茄[J].农业工程学报,2016,32(14):219-226.

Segmentation Method of Green Apple Image Based on CLAHE and Open and Close Operation

Wang Fan, Lü Jidong, Shen Genrong, Ma Zhenghua

(School of Information Science and Engineering, Changzhou University, Changzhou 213164, China)

According to the characteristics of green apple images, this paper designed a segmentation method which is merged after extraction. First of all, the contrast limited adaptive histogram equalization (CLAHE) algorithm was used to increase the color difference between the fruit and the background, and then obtained R - B image. The normal light region of fruit was extracted. Reoccupy open and close operation was processed after CLAHE, to extract the local maximum values, and highlighted area was extracted. Finally full fruit target area was obtained by merging the two regions . In order to verify the effectiveness of the method, Hough algorithm is used to detect circle, and three evaluation indexes is applied to quantitative assessment of the method, which are the relative error, relative error of the circle and relative error of the radius. This method has good recognition effect under both the frontlighting and backlight, and it can satisfy the requirement of precise localization of robot.

green apple; contrast limited adaptive histogram equalization; local maximum values; regional consolidation

2016-04-07；

2016-06-21。

江苏省自然科学青年基金项目(BK20140266)；江苏省高校自然科学研究面上项目(14KJB210001)；常州大学科研启动费资助项目(ZMF13020019)；常州市科技支撑工业项目(2014FX031)。

王 帆(1990-)，女，湖北宜城人，硕士研究生，主要从事图像处理方向的研究。

马正华(1962-)，男，江苏昆山人，大学，主要从事机器视觉、嵌入式系统设计及应用方向的研究。

1671-4598(2017)02-0141-05DOI：10.16526/j.cnki.11-4762/tp

TP

A