基于随机森林和多特征融合的青苹果图像分割

吴庆岗，张卫国，赵进超，张秋闻，景 雨

(1.郑州轻工业学院 计算机与通信工程学院，河南 郑州 450001;2.大连外国语大学 软件学院，辽宁 大连 116000)

0 引言

自然环境下苹果果实的自动化采摘，可以降低繁重的人工劳动强度，这是现代农业的必然选择.在苹果自动化采摘过程中，准确分割出苹果果实对苹果目标的精准定位尤为重要[1].目前，国内外学者对红苹果图像分割的研究居多，但对青苹果目标分割的研究相对较少.由于青苹果果实和树叶颜色非常接近，这大大增加了青苹果目标分割的难度.对青苹果图像分割的研究，无论是对处于生长阶段的青苹果生长趋势进行实时监测，还是对成熟青苹果果实进行自动化采摘，都有非常重要的意义.

国内外学者对青苹果图像分割的研究，大致可以分为两类：第一类是基于颜色特征的青苹果图像分割，第二类是基于颜色特征和纹理特征相融合的青苹果图像分割.第一类主要是通过提取不同颜色分量来实现对青苹果图像的分割，对于简单背景苹果图像取得一定的分割效果.2017年王帆等[2]根据青苹果图像自身特点，首先对青苹果图像进行直方图均衡化以增大果实和背景的颜色差异，接着采用R-B分量以获取常光为主的区域，然后进行形态学开闭运算获取高亮为主的区域，最后对这两个区域进行合并获得分割后的果实目标.与文献[2]类似，2011年王丽[3]也关注了苹果目标和树叶背景颜色相近的问题.由于单颜色分量并不适用于青苹果图像分割，文献[3]提出一种基于改进主成分分析的苹果图像分割算法，将图像的颜色特征归类后再进行分割，实验取得较好的分割效果.与文献[2,3]不同，2014年张春龙等[4]设计了一个混合分类器，其中一个分类器是以归一化的RGB颜色空间中G分量与HSV颜色空间中H分量和S分量为特征参数的支持向量机分类器，另外一个分类器是以超绿算子2G-R-B为特征的阈值分类器.这种混合分类器实现了绿色苹果在颜色相近背景中的有效分割，但是该方法是在夜间进行的，在应用到有阳光照射的白昼环境时具有一定的局限性.一般来讲，由于青苹果果实和树叶颜色非常接近，自然背景下的青苹果图像仅仅依靠颜色特征难以取得较理想的分割结果.

第二类算法融合了颜色特征和纹理特征来实现对青苹果图像分割.ZHAO等[5]提出一种基于对比度纹理特征和颜色分量组合特征的视觉算法来分割自然环境下的青苹果目标.实验结果表明，该方法对于近距离的和远距离的苹果图像同样有效.2009年司永胜等[6]提取颜色特征R-B和纹理特征灰度均值m、标准差σ和熵e，通过间隙统计法确定苹果图像的最佳聚类数，然后采用K均值算法对苹果图像进行分割.谢忠红等[7]采用色调值H、色差值R-G以及纹理特征对自然环境下苹果图像分割.实验结果表明，算法对于青苹果图像分割效果较好.GAO等[8]提出一种基于能量纹理特征和期望最大化的青苹果图像分割算法，取得了一定的分割效果.上述研究表明，目前针对青苹果图像的分割大多是在提取颜色特征和纹理特征基础上进行的.

本文提出一种新的基于随机森林和多特征融合的青苹果图像分割算法.首先通过对大量青苹果图像的纹理特征进行比较分析，筛选出适合于区分苹果目标和背景的纹理特征.然后在深入研究不同颜色空间特性的基础上，设计一种适合于青苹果图像的组合颜色特征.接着给出颜色特征和纹理特征的具体融合策略，在此基础上介绍青苹果图像分割的详细流程.最后通过定性和定量实验结果比较验证本文算法的有效性.

1 青苹果图像特征提取

图像特征提取的好坏将直接影响青苹果目标分割的精度.由于自然环境下青苹果目标和背景颜色差异较小，单纯依靠纹理特征或颜色特征分割效果并不理想.本文通过融合纹理特征和颜色特征对自然环境下的青苹果图像进行分割.

1.1 GLCM纹理特征提取

纹理[9]是指人们所观察到的图像像素的灰度变化规律，图像纹理中蕴含着许多对图像分割有用的信息.本文使用灰度共生矩阵(Gray Level Co-occurrence Matrix, GLCM)提取青苹果图像的纹理特征.灰度共生矩阵[10]用来描述给定图像块中一定距离内两个像素灰度值所呈现出的某种关系.矩阵中的元素值代表两个灰度级之间的联合条件概率密度pi,jd,θ，即在给定空间距离d和方向θ时，以灰度级i为起点，灰度级j出现的概率.这里主要考虑8个常用的纹理特征统计量：能量、熵、对比度、相关性及它们的标准差等，具体计算公式如下：

能量：

(1)

熵：

(2)

对比度：

(3)

相关性：

(4)

其中：

然后，按式(5)分别计算能量、熵、对比度、相关性纹理特征量的标准差：

(5)

为了分析上述纹理特征对青苹果图像的有效性，首先从60幅苹果图像中根据目标和背景所具有的不同特点，选取大小为25×25的410幅目标样本和480幅背景样本，然后依据式(1)—(5)分别计算目标和背景的上述8个纹理特征值.在灰度共生矩阵计算过程中，主要参数设置为：窗口大小设为5×5，相邻两个像素之间的距离d=1，θ取0°、45°、90°和135°四个方向.为了降低共生矩阵的维度，提高计算效率，对灰度级数进行了量化，量化等级L=16.各个纹理特征在目标样本集和背景样本集上的平均值如表1所示.可以看出：目标样本的能量标准差平均值为0.0115，相关性标准差平均值为0.0716；而背景样本的能量标准差平均值为0.0102，相关性标准差平均值为0.0561，目标和背景的差异非常小，这说明能量标准差和相关性标准差不能有效区分青苹果目标和背景.相反，其余6个纹理特征统计量，目标和背景差异则比较大.所以，本文选取能量、熵、对比度、相关性、熵标准差和对比度标准差6个统计量来提取青苹果图像的纹理特征.

表1 目标和背景各纹理特征平均值的比较Tab. 1 Comparison between objects and backgrounds in terms of average texture feature values

1.2 颜色特征提取

由于基于GLCM的纹理特征对图像的分辨率比较敏感，而颜色特征对图像的分辨率相对鲁棒，因此接下来考虑颜色特征以期弥补纹理特征的缺陷.颜色特征作为区分事物最直观的特征，在很多方面都有重要的应用.如图1(a)所示，自然环境下青苹果图像具有明显的颜色特征，但是苹果目标和树叶背景在颜色上非常接近.同时由于光照、遮挡、阴影等的影响，单纯依靠特定颜色空间中的单个颜色分量是很难进行区分的.为使目标和背景的差异最大化，通过对RGB颜色空间和HSI颜色空间中各颜色分量进行代数运算，定义式(6)所示的组合颜色特征：

(6)

针对自然环境下青苹果图像在RGB颜色空间和HSI颜色空间上进行研究，发现在RGB空间上，虽然目标和背景在单个分量上有一定程度的重合，但是经过代数运算后的颜色分量G+0.5R-B却能较好地区分苹果目标和背景中的天空，如图1(b)所示.具体来说，天空部分(图1(b)中的①)在该分量上呈现黑色，与苹果目标较容易区分，说明该颜色分量可以克服背景中天空对分割结果的影响.但是，光照强度大的目标区域(图1(b)中的②)和树叶上的阴影部分(图1(b)中的③)在该分量上都呈现出暗黑色，使得二者混杂在一起.为了弥补上述分量的不足，在HSI颜色空间中提取S+I分量，结果如图1(c)所示.可以看出，在该分量中苹果目标呈亮白色(图1(c)中④)，而树叶上的阴影部分(图1(c)中⑥)呈现暗黑色，说明该分量能够区分此区域中的苹果目标和树叶背景.但是背景中的天空(图1(c)中⑦)与苹果目标都呈现亮白色，使得二者混杂在一起.处于阴影部分的苹果目标(图1(c)中⑤)与背景中的树叶(图1(c)中⑥)呈现淡灰色，也不容易区分.所以，将两种不同的颜色分量组合在一起可以相互弥补.

图1 不同颜色空间中颜色分量间代数运算效果图Fig. 1 Algebraic operation results between color

为了更加清晰地说明上述问题，选取大小为10×17的图像块进行定量分析.这里分别选取阴影中的树叶部分(图1(a)中的红色方框，简称背景阴影)、背景中的天空部分(图1(a)中的绿色方框，简称背景天空)、阴影中的苹果目标(图1(a)中的黄色方框，简称苹果阴影)和苹果目标中的高光部分(图1(a)中的紫色方框，简称苹果高光).然后统计图像块中各像素的G+0.5R-B分量和S+I分量，结果如图2所示.可以看出，在G+0.5R-B颜色分量下，苹果目标的高光部分与阴影中的树叶部分混杂在一起，无法正确区分；而背景中的天空部分与阴影中的苹果目标却存在明显差异.在S+I颜色分量下，苹果目标的高光部分和背景中的天空部分混杂在一起，阴影中的树叶部分和阴影中的苹果目标也混杂在一起.但是，无论阴影下的苹果目标还是高光区域的苹果目标都和背景存在较大的差异.所以，G+0.5R-B分量和S+I分量可以相互弥补不同颜色特征的不足之处，有利于提高分割的准确率.

图2 不同颜色空间中颜色分量的定量分析Fig. 2 Quantitative analysis for the color componentsin different color spaces

1.3 多特征的融合

在提取基于GLCM的纹理特征时，需要用到图像块中的多个像素点，从而导致在图像分辨率变化较大时，纹理特征值会有较大的误差.而颜色特征是基于像素点的特征，它对图像的方向及大小不敏感.所以，将纹理特征和颜色特征融合在一起，可以更加容易地区分青苹果目标和复杂的自然背景.这里采用式(7)对纹理特征和颜色特征进行融合：

(7)

2 随机森林分割

随机森林[11]是一个包含多个决策树的组合分类器，可以表示为{h(X，Lk),k=1,…,8}，其中X表示输入向量(即式(7)所定义的融合特征向量)；{Lk}是独立同分布的随机向量，用于控制树的生长.随机森林算法首先利用Bootstrap算法从原始训练集中抽取k个样本，以建立k个决策树模型，从而形成分类模型序列{h1(X,L1),h2(X,L2),…,hk(X,Lk)}.在给定自变量X时，每个决策树都会预测一个结果.对于分类问题，随机森林算法的预测结果取决于各个决策树的投票[12]：

(8)

其中：H(x)为随机森林的分类模型，C为分类的标签(其中，0表示枝叶背景，1表示苹果目标)，I(x)为示性函数.在用随机森林算法对青苹果图像进行分割时，决策树数量是一个重要的参数，它将直接影响图像分割的精度.一般来说，决策树数目越大，分割精度越高，但分割时间也将相应的变长.通过大量青苹果图像的分割实验发现，决策树数目在200左右时分割准确率达到96%，如图3所示.此后，随着决策树数量的增加，分割精度并没有大幅提升.综合考虑分割精度和执行效率，本文把随机森林的决策树数目设定为200.

图3 分割准确率随决策树数量的变化趋势Fig. 3 Varying trends of segmentation accuracy with respect to the number of decision trees

综上所述，本文选用RGB颜色空间中0.5R+G-B分量、HSI颜色空间中S+I分量和基于GLCM的能量、熵、对比度、相关性及熵标准差、对比度标准差等统计量共8个特征输入到随机森林算法中，具体流程如图4所示.在训练阶段，提取样本的颜色特征和纹理特征进行模型训练，得到随机森林分类模型.在测试阶段，利用训练好的随机森林模型对自然环境下的青苹果图像进行分割，得到青苹果图像的分割结果.

图4 本文青苹果图像分割算法流程图Fig. 4 Flow chart for the algorithm of green apple image segmentation proposed in this paper

3 实验结果及分析

实验中选取的60幅青苹果图像是在自然环境下利用佳能EOS 80D相机拍摄的.其中，纯青苹果图像50幅，青红相间苹果图像10幅，所有图像大小为300×200.实验平台是Inter(R) Core(TM) i5-3470CPU @3.2 GHz，4 GB RAM，实验所用软件为MATLAB R2014a.

本文算法可以对青苹果图像进行有效分割，首先与仅利用纹理特征和仅利用颜色特征的图像分割算法进行定性比较.由于篇幅限制，只列出4幅苹果图像的分割结果，如图5所示.为了便于叙述，对这4幅苹果图像中的所有苹果目标进行了标号.从图5可以看出，虽然基于纹理特征的分割算法、基于颜色特征的分割算法和本文算法都能很好地分割出苹果目标轮廓，但是基于纹理特征的分割算法将枝叶等伪目标也分割了出来，存在较严重的误分割现象.基于颜色特征的分割算法使得苹果目标和背景由于颜色相近而导致大量零散的像素级误分割，而本文算法分割结果中的误分割现象相对较少.对于光照强度较大的苹果区域，比如目标2、目标4、目标6和目标9，基于纹理特征的分割算法产生了过度分割的结果，基于颜色特征的分割算法产生了欠分割的结果，而本文算法都能较完整地把高亮苹果目标分割出来.对于一些青红相间的图像，本文算法能很好地分割出目标，优势更加明显，如目标8和目标9所示.对于两个苹果目标叠加的现象，基于纹理特征的分割算法和基于颜色特征的分割算法都不容易将其分割出来，但是本文算法取得较理想的分割结果，如目标1和目标2之间叠加的区域等.

为了对苹果图像分割结果进行定量比较，本文采用徒手标记法提取上述4幅图像中9个苹果目标的像素个数(记为A)，将算法正确分割出的苹果目标像素个数记为B.由于颜色特征存在严重的欠分割现象，所以只选择基于纹理特征的分割算法进行定量比较，根据公式C=B/A*100%计算不同算法的正确分割率，如表2所示.从表2中可以看出，本文算法的平均正确分割率达到60.28%，而基于纹理特征的分割算法平均正确分割率只有38.1%.所以，本文分割算法比仅利用纹理特征的的分割算法正确分割率要高22.18%.

图5 本文算法与仅利用纹理特征和颜色特征分割结果的比较Fig. 5 Comparison of segmentation results between our method and others with only texture or color features

表2 不同分割算法正确分割率的比较Tab. 2 Comparison of accuracies between different segmentation algorithms

4 结束语

本文提出一种基于随机森林和多特征融合的青苹果图像分割算法.该算法首先提取RGB颜色空间中的G+0.5R-B分量、HSI颜色空间中的S+I分量；然后采用灰度共生矩阵提取能量、熵、对比度、相关性、熵标准差和对比度标准差等6个纹理特征；接着以像素为单位将2个颜色特征分量和6个纹理特征相结合形成融合特征；在此基础上训练随机森林分类模型；最后根据训练得到的随机森林分类模型对青苹果图像进行分割.与传统仅采用纹理特征的随机森林分割方法相比，基于随机森林和多特征融合的方法在分割青苹果图像时准确率要高出22.18%.但是由于灰度共生矩阵在提取苹果边缘处的纹理特征时不可避免地要用到背景处灰度值，对苹果分割精度有一定的影响，这将是下一步改进的方向.