基于图像处理与改进SVM 的苹果多特征融合分级方法

林海波，卢元栋，丁荣诚，修玉峰

(青岛理工大学机械与汽车工程学院，山东 青岛 266520)

中国是世界上最大的苹果生产国，苹果产量有逐年升高趋势，但因苹果质量参差不齐，出口量占全球苹果出口量的比重较低［1］。 目前我国苹果外部品质分级还主要依靠人工，主观性较强；也有部分依靠基于大小或颜色的机械分级机，但难以满足综合分级要求且易对苹果造成机械伤害［2］。 实现果实质量在线监测分级［3－5］对于提高我国苹果产值具有重要意义。

近年来机器视觉逐渐渗透到农业领域，主要应用于农产品检测［6］。 诸多学者也将其应用于苹果分级，通过提取苹果的大小［7－10］、形状［11，12］、颜色［13－17］、缺陷［18－22］、纹理［23－25］等特征进行识别与分级，取得了一定成果。 然而，仅根据苹果的单一特征进行分级仍难免存在偏差。 为此，一些学者对融合多个特征实现苹果分级进行了研究，如Jana 等［26］从分割后的图像中提取灰度共生矩阵的纹理特征和统计颜色特征，并基于支持向量机(SVM)进行训练预测；雷欢等［27］通过直方图变换提取苹果的颜色特征，并将其与局部和全局纹理特征融合，利用SVM 识别苹果品种；宋荣杰等［28］利用灰度共生矩阵、分形和空间自相关三种纹理特征分别与光谱特征组合，最后利用SVM 进行苹果园提取；樊泽泽等［29］融合颜色与果径大小进行苹果分级与检测，准确率达91.6%；包晓安等［30］利用改进的人工神经网络算法根据苹果的颜色、形状和质量进行等级判别，准确率为88.9%；张婧婧等［31］根据苹果的红色着色比、缺陷、果径进行分级；任龙龙等［32］利用苹果的大小、颜色、缺陷度以及圆形度进行分级；王阳阳等［33］根据大小、果形、质量、颜色、缺陷5 个方面对秦冠苹果进行分级，准确率达到97%；李学军等［34］利用判别树和改进支持向量机决策融合来分级；李先锋等［35］利用D－S 证据理论对苹果的大小、形状、颜色和缺陷4 个特征进行决策级融合处理，实现苹果综合分级，准确率达92.5%。 Bhargava 等［36］利用主成分分析从特征空间中选取统计特征、纹理特征、几何特征、离散小波变换特征、梯度直方图特征和纹理能量，并利用SVM 进行分级，得到较高的准确率；Yu 等［37］提取苹果的最大横截面平均直径、圆度、红色面积的比例和缺陷区域，通过加权Kmeans 聚类算法实现苹果分级，准确率高于96%。综上所述，利用多个特征进行苹果分级比单个特征分级更准确、更可靠。

为较充分地描述苹果的外部特征，本研究选用每个苹果1 幅顶部及3 幅侧面图像，利用图像处理方法提取其大小、形状、颜色、缺陷、纹理5 个特征的8 个指标，建立多特征融合分级模型，并用改进的SVM，实现了苹果准确分级，其流程如图1所示。 该方法可为进一步提高苹果自动化分级准确率提供参考。

图1 方法流程图

1 图像获取及预处理

随机选择嘎啦苹果果实，在实验室灯光环境下由Manta G046C 相机拍摄。 拍摄背景选为黑色，便于图像处理；相机镜头与放置苹果的桌面垂直，且与桌面距离25 cm；采集图像的分辨率为4 624×3 472，格式为.JPEG。 为了准确提取苹果特征，每个苹果采集不同方位的4 幅图像，包括1幅顶部图像、3 幅侧面图像。

由于拍摄过程中环境的光线不均及背景存在略微反光现象，首先采用同态滤波算法，通过压缩亮度范围和增强对比度改善图像质量。

2 背景分割

将图像转换到一个合适的颜色空间对于背景分割尤为重要。 由于色度受光照条件影响小，因此，首先将苹果图像从RGB 颜色空间转换到HLS颜色空间。 两个颜色空间之间的转换关系如式(1)～(3)所示:

然后将彩色图像转换为灰度图像(图2)。 通过比较HLS 颜色空间中不同分量获得的灰度图，可以发现S 分量获得的灰度图中苹果最清晰，且与背景的对比度也更高。 因此，选用S 分量来获取灰度图。

图2 HLS 颜色空间不同分量得到的灰度图

之后使用Qtsu 方法分割背景得到二值化图(图3a)。 为了消除果梗及可能的缺陷对特征提取的影响，对图像进行形态学处理:采用11×11 的矩形结构元对图像进行腐蚀操作，再对其进行膨胀操作，去掉果梗(图3b)；采用孔洞填充去除因苹果表面缺陷而形成的黑色孔洞(图3c)。 最后通过Canny 算法检测到比较清晰的苹果边缘轮廓(图3d)。

图3 图像的形态学处理和苹果轮廓检测

3 特征提取

3.1 苹果大小提取

果实大小是苹果的重要外部特征之一，一般采用最大横切面直径来表示。 本研究利用苹果的3幅侧面图来提取苹果的大小特征。 以每幅图像中苹果轮廓的最大横坐标值与最小横坐标值之差作为苹果最大横切面的直径，取3 幅图像的平均值作为苹果最大横切面直径的最终值。 每幅图像中苹果最大横切面直径的计算方法如式(4)所示:

式中D 表示每幅图像提取的苹果最大横切面直径，xi表示每幅图像中苹果轮廓点的横坐标。

上述提取的苹果大小单位为像素，需要将其转换为实际使用的毫米单位。 首先，人工测量苹果的最大横切面直径，每个苹果测量3 次并取平均值；然后将实际测量值(Dactrual)与图像提取值(D)制作散点图(图4)，发现二者成近似线性关系，拟合后得到线性方程Dactrual＝0.03D＋9.31。

图4 苹果最大横切面直径的实测值与图像提取值的关系

3.2 苹果形状提取

形状是苹果分级的一个重要参考指标。 本研究用圆度表示苹果形状，取苹果顶部图和3 幅侧面图的轮廓圆度平均值作为该苹果的圆度，圆度的取值范围为0～1，越接近于1，苹果轮廓越近似圆形，看起来也越饱满。 每幅图像苹果轮廓圆度的计算方法如式(5)所示:

式中，E、S、P 分别表示一幅图像中苹果轮廓的圆度、面积及周长。

3.3 苹果颜色提取

颜色是人们通过视觉直接获取的苹果外部特征之一，可在一定程度上反映苹果内部品质。 本研究采用红色着色率R 来描述苹果的颜色特征，反映了苹果的平均成熟程度。 在HLS 颜色空间中，H 分量表示所处光谱颜色的位置，取值范围为0°～360°，苹果表面颜色越红，H 分量的值越接近0°。 经过研究与比较，将苹果表面H 值小于12°的区域与苹果区域面积的比值作为红色着色率。取3 幅苹果侧面图分别计算红色着色率，取三者平均值作为苹果最终的红色着色率。

3.4 苹果缺陷提取

果实表面存在的撞伤、虫伤、腐烂等缺陷皆会影响苹果质量，因此，果实表面缺陷也是苹果分级的一个重要指标。 在获取的苹果图像中，缺陷区域通常较暗，因此，将彩色图像转换至L 通道分量的灰度图像后经阈值分割即可提取出苹果的缺陷区域。 本研究用缺陷面积占比(缺陷区域面积与苹果区域面积的比值，F)衡量苹果的缺陷特征，以3 幅侧面图的平均值作为苹果最终缺陷面积占比。

3.5 苹果纹理提取

果实表面的纹理特征也是衡量苹果品质的重要指标，其可以在一定程度上反映出苹果的内部品质。 一般来说，同一品种的苹果在大小及颜色特征相似的情况下，纹理清晰的苹果质量会更高。本研究首先计算苹果图像的灰度共生矩阵，然后计算矩阵的对比度、能量、熵、相关性来描述苹果的纹理特征。

对比度(CON)表示矩阵中值的局部变化情况，可以反映出苹果纹理的清晰程度，计算方法如式(6)所示:

式中，k ＝16，G(i，j)为灰度共生矩阵。

能量(ASM)表示矩阵中值的分布均匀程度，可以反映出苹果纹理的粗细度，计算方法如式(7)所示:

熵(ENT)表示图像中灰度分布的复杂程度，可以反映出苹果纹理的复杂程度，计算方法如式(8)所示:

相关性(COR)表示图像中局部灰度值的相关程度，可以反映出苹果纹理的一致性，计算方法如式(9)所示:

4 苹果多特征融合分级

4.1 SVM 算法

SVM 是一种有监督学习方法，是在已知训练样本类别的情况下，求训练样本与类别之间的对应关系，以便预测新样本所对应的类别。 假设训练样本为(xi，yi)，xi为输入向量，yi为输出向量(类别)，通过SVM 构造目标函数，引入非线性映射φ(x)，寻找最优分割平面。 目标函数如式(10)所示:

其中，W 为权重系数，b 为偏差量。

假设训练样本在一定的精度下无误差地进行线性拟合，求解最优方程，如式(11)所示:

其中，Q 为优化目标，C 为惩罚因子，β1、β2为松弛系数，γ 为精度参数。

拉格朗日函数被用于目标函数，如式(12)所示:

其中，αi、α∗i 为拉格朗日因子，K(xi，xj)为核函数。SVM 算法利用核函数将样本数据结构转换到高维空间，在高维空间中求最优分类面。

4.2 改进的SVM 算法

针对惩罚因子过学习或者欠学习问题，利用交叉验证法优化惩罚因子。 将样本均分成T 个子集，在每次迭代过程中，将其中一个子集作为测试集，其余所有子集作为训练集，这样会得到T个正确率，取其平均值作为正确率的一个样本划分估计，由此计算惩罚因子，如式(13)所示:

式中θi为第i 个子集的正确率。

4.3 多特征融合分级模型

由于苹果外部特征的多样性，仅根据苹果的单一特征进行分级，容易造成误判。 因此本研究采用特征融合的方法对苹果进行分级。 特征融合分级函数如式(14)所示:

其中，fj为第j 个苹果的融合特征，U 为特征个数，ηi为融合前特征分量，ai为特征分量权值。

本研究利用苹果的5 个特征共计8 个指标进行分级，各指标由于取值范围不同，对应的权重值也不同，需将这8 个指标融合后再利用Fisher 计算各自的权重值，具体步骤如下:

5 实证分析

5.1 样本选取

随机选用200 个嘎啦苹果作为初始训练样本、100 个嗄啦苹果作为初始测试样本，邀请5 名熟练的分级人员对全部苹果样本进行严格分级。根据中国«鲜苹果»与«出口鲜苹果专业标准»将苹果划分为一、二、三、四等4 个等级。 当分级人员中至少有4 名人员将某苹果划分到同一个等级时，认为该苹果属于该等级，否则认为是分级争议果并从样本中剔除掉。 最终，初始训练样本、初始测试样本中分别有146、61 个苹果被明确划分等级，用这些被明确分级的苹果样本进行本研究建立方法的分级效果验证。

5.2 图像背景分割精度评价

分别采用Qtsu 分割算法与固定阈值分割算法对图像背景进行分割，通过比较两种方法的分割效果来评估Qtsu 法的分割精度。 图像分割精度SA 及其标准差δ 计算方法如式(15)(16)所示:

式中，Aq、Af分别代表利用Qtsu 算法和固定阈值算法分割得到的苹果区域；δ 为标准差，反映Qtsu分割算法的分割效果，δ 值越小，代表分割的效果越好；Y 为苹果图像的总数；SAi为第i 幅图像计算得到的分割精度；MSA 为所有图像的分割精度平均值。 为保证利用固定阈值算法得到的苹果区域精确，在对每幅图像进行背景分割过程中不断调整用于分割的阈值参数，直到分割得到的苹果区域与图像中苹果的实际区域基本一致。

经过计算，本研究采用的Qtsu 分割算法的分割精度为98.8%，标准差为0.042，能够很好地将苹果图像从背景中分割出来。

5.3 苹果特征提取结果分析

5.3.1 果实大小特征 由图5 可以看出，利用3幅侧面图提取的苹果轮廓较清晰，但不同方位图像获得的最大横切面直径存在差异。 其中，图5(a)、图5(b)两方位提取的最大横切面直径非常接近，而图5(c)方位提取的最大横切面直径比之大约3 mm。

图5 苹果样本大小特征的提取结果

为了较准确地评估苹果大小特征提取精度，利用游标卡尺测量苹果3 个方位的最大横径，测量位置如图6 所示，每个方位均测量3 次，取9 次测量结果的平均值作为该苹果最大横径的实际值。 将测量实际值与本研究方法的提取值进行对比，以二者间的差值作为果实大小特征提取的误差，误差越小，提取精度越高。 经统计，200 个样本的平均提取误差为0.62 mm，提取精度较高。

图6 利用游标卡尺测量苹果横径的位置

5.3.2 果实形状特征 图7 为利用苹果的4 幅不同方位图像提取的形状特征，其中以苹果顶部图像提取的圆度值最大，为0.837，以苹果侧面图像提取的圆度值略小(0.790～0.816)，求均值可得到该苹果的圆度为0.811。

图7 苹果样本形状特征的提取结果

5.3.3 果实颜色特征 图8 为利用苹果的3 幅侧面图提取的颜色特征，图中白色区域代表苹果成熟度较高的区域。 经计算，得到红色着色率为0.114～0.414，取均值可得该苹果的整体红色着色率为0.228。

图8 苹果样本颜色特征的提取结果

5.3.4 果实缺陷特征 图9 为利用苹果的3 幅侧面图提取的缺陷特征，其中，(a)图为水锈引起的缺陷区域，(b)图为划伤引起的缺陷区域，(c)图为虫害引起的缺陷区域。 经计算，缺陷面积占比为0.007～0.068，可见较小的缺陷区域也能被提取出来。

图9 苹果样本缺陷特征的提取结果

5.3.5 果实纹理特征 图10 为利用本研究方法提取的苹果样本纹理特征，结合观察到的苹果表面纹理分布发现，对比度值越大，苹果的纹理越清晰；能量值越大，苹果的纹理越粗；熵值越大，苹果的纹理越复杂；相关性值越大，苹果纹理的一致性越强。

图10 苹果样本纹理特征的提取

5.4 多特征融合分级效果评估

5.4.1 核函数选择 图11 为分别利用线性函数、多项式函数、径向基函数及Sigmoid 函数作为核函数进行分级训练与测试得到的准确率。 可见，Sigmoid 函数在分级训练与测试中得到的结果均不理想；多项式函数与径向基函数在分级训练中准确率均为100%，但是径向基函数在测试中的准确率比多项式函数高1.64 个百分点，因此，本研究最终选用径向基函数作为核函数。 但在分级过程中仍存在一定误判，主要原因为部分苹果处于相邻两等级边缘处，被划分至任意一个等级的可能性都很大。

图11 不同核函数训练与测试的准确率

5.4.2 改进SVM 分级效果 在不断调整惩罚因子后，针对146 个训练样本，改进后的分级准确率达到93.44%，比改进前提升2.28 个百分点。 虽然改进前后的准确率很接近，但改进SVM 操作更方便，不用手动调整参数。

5.4.3 融合特征数量对分级效果的影响 为验证本研究提出的多特征融合分级的效果，对不同数量特征融合的分级效果进行比较，由图12 可以看出，选取单特征分级的准确率普遍较低，表明利用单特征进行苹果分级存在片面性；随着融合特征数量的增多，分级准确率整体呈升高趋势，当融合特征数量为5 时，分级的准确率最高。

图12 不同融合特征数量的苹果分级效果比较

5.5 实测验证结果

用61 个苹果测试样本对本研究建立方法进行实测验证，分级准确率达到96.72%，表明利用本方法可以实现较高精确度的苹果分级。

6 结论

(1)为实现苹果准确分级，本研究获取每个苹果1 幅顶部及3 幅侧面图像，利用同态滤波算法改善图像质量后将其转换至HLS 颜色空间，用Qtus 分割算法进行背景分割，用形态学处理去掉果柄和缺陷区域，用Canny 算法提取苹果轮廓，最终提取了苹果的大小、形状、颜色、缺陷、纹理5 个特征的8 个指标(最大横截面直径、圆度、红色着色率、缺陷面积占比、对比度、能量、熵、相关性)用于多特征融合分级。 提取的特征指标较丰富，可以较充分地描述苹果的外部特征。

(2)为避免SVM 中惩罚因子过学习或欠学习，采用交叉验证方法优化惩罚因子，并建立多特征融合分级模型，通过Fisher 计算各指标的权重，选用径向基函数作为核函数，从而改善了分级效果。

(3)分别选取146、61 个经人工明确划分等级的苹果作为训练样本、测试样本，对本研究建立方法的分级效果进行验证，结果表明苹果分级准确率达96.72%，精确度较高。 本研究可为提升苹果自动化分级准确率提供参考。