基于机器视觉的苹果在线分级

李 颀 胡家坤 -

(陕西科技大学电气与控制工程学院，陕西 西安 710021)

目前，苹果的分级主要靠人工完成，该方法存在主观误差大、效率低和苹果易造成二次损伤等问题。随着机器视觉技术的快速发展，图像处理在水果质量检测方面也取得了深入进展[1]。Yang等[2]提出了基于多图像特征和加权k均值聚类算法的苹果自动分级方法，该方法能快速有效地将苹果按质量进行分级，但并不能实现苹果缺陷类型的具体区分。Li等[3]提出了基于苹果大小、颜色和果形特征的决策信息融合方法，利用BP神经网络分类器进行分类,然后将分类器的输出进行组合构造基本概率分类器，根据D-S融合规则进行决策，但其分级准确率较低。王阳阳等[4]采用同态滤波和改进的K-means算法对苹果图像进行了背景分割和特征提取，但只能处理苹果的一个面，因此准确率较低。石瑞瑶等[5]利用镜面反射的原理采集苹果侧面，再结合正面图像进行处理，对镜子中的图像进行分割，增加了识别时间和分级效率。于蒙等[6]将彩色图片HSI模型中S通量分离出来，采用神经网络对是否存在缺陷进行判断，但该方法样本大，训练速度慢，增加了系统运行时间，降低了分级效率。

试验拟通过采集视野内苹果的正面和侧面图，综合两个面的特征对苹果进行分级，通过粒子群优化的SVM决策树算法将苹果分为特级果、一级果、二级果和等外果，以增加苹果在线分级的准确度并提高分级效率。

1 材料与方法

1.1 试验材料

红富士苹果[7]：综合GB/T 10651—2008以及NY/T 1075—2006，根据苹果果径、果形、着色度、疤痕和果锈特征将红富士苹果划分为特级果、一级果、二级果和等外果，如表1所示。试验样本为经人工严格拣选的各等级红富士各100个，试验地点为西安品诚电子科技有限公司。

表1 红富士外观等级分级标准

1.2 苹果图像采集

图像采集装置(图1)包括传送带、黑色暗箱、LED灯、CCD彩色工业相机、PC、翻滚装置以及光电传感器。传送带尺寸为150 cm×40 cm；暗箱尺寸为40 cm×40 cm×40 cm；两个长度为35 cm的LED补光灯置于暗箱顶部侧面；CCD工业相机垂直悬挂于暗箱顶部中央位置，像素为300 W，最大分辨率为2 048×1 536，相机视场大小为40 cm×40 cm；光电传感器位于暗箱入口处；翻滚装置大小为40 cm×10 cm,最多可同时翻转5个苹果。

1. 传送带 2. 光电传感器 3. 翻滚装置 4. LED灯 5. CCD相机 6. PC 7. 暗箱

通过对苹果果径、果形、着色度、疤痕和果锈特征特点进行分析可知，根据苹果上表面图像可得出果径特征，根据苹果侧面图像可得到果形特征，根据果锈形成原因与分布特点可知其多分布于苹果的上表面和侧面。故为了提高分级准确性，综合苹果上表面和一个侧面图像特征对苹果进行在线分级。

当光电传感器检测到有苹果完全进入后，相机开始采集图像。首先，将苹果果梗摆放在与传送带运动方向垂直的方向上，此时摄像头采集一幅苹果上表面图像，经翻滚装置后摄像头采集一幅苹果侧面朝上的图像。为了保证采集到的图像清晰且光线均匀，在暗箱内部两侧靠近顶部的位置安装两个相互对称的LED补光灯。

1.3 背景分割

1.3.1 图像预处理 系统通过摄像头采集苹果图像，由于苹果表面光滑，光线容易发生反射，所拍摄到的果面可能会因为角度和光照影响出现光照不均现象，故采用同态滤波方式对图像进行增强，采用中值滤波方式消除噪声。同时，为了提高苹果在线分级的效率，仅对感兴趣区域进行背景分割与特征提取；最后综合两幅不同位姿的苹果图像信息对苹果进行分级。

1.3.2 背景分割 为了从苹果图像中提取出苹果轮廓，一般采用边缘检测、阈值分割、区域提取3种方法。由于光照、拍摄角度等问题，单一的阈值又不利于多峰图像的分割，在复杂背景下容易出现欠分割、过分割等问题，所以采用全局阈值分割效果并不理想。自适应Ostu阈值分割算法可以通过自动计算最佳阈值对图像中的苹果进行提取。泛洪填充算法是从一个点开始，将其附近像素点依次填充成新的颜色，直到封闭区域内的所有像素点均被填充成新颜色为止，采用泛洪填充算法将图像中与背景颜色相近的部分填充成黑色，可以突出背景与前景的差距。故采用泛洪填充+自适应Ostu的算法进行背景分割，使Ostu自适应分割效果更加显著，具体步骤如下。

(1) 将输入的原图[图2(a)]进行图像预处理。

(2) 对预处理后的图像进行泛洪填充，计算得到图像高度h和宽度w，种子点(w-1,h-1)，填充的颜色RGB新值为(0，0，0)，相对于种子点向下的像素值为(10，10，10)，向上的像素值为(9，9，9)，采用8领域填充法进行填充，结果如图2(d)所示。

(3) 假设图2(d)前景与背景分割阈值为t，前景点占图像的比例为W0，均值为U0，背景点占图像的比例为W1，均值为U1。那么，整个图像的均值为：

U=W0×U0+W1×U1。

(1)

目标函数为：

g(t)=W0×(U0-U)2+W1×(U1-U)2。

(2)

其中g(t)是分割阈值为t时的类间方差表达式。Ostu算法可以使g(t)取得全局最大值，当g(t)达到最大时，所对应的t被称为最佳阈值，处理结果如图2(f)所示。

由图2可知，未进行泛洪填充处理的图像灰度直方图存在两个尖峰，对原图进行Ostu分割后的边缘较差，存在欠分割问题；经泛洪填充后的图像直方图尖峰明显，进行Ostu分割处理效果很好，证明了试验方法是可行的。

图2 图像分割过程与比较

1.4 特征提取

1.4.1 果径 根据鲜苹果分级标准可知，苹果果径等于苹果的最大横截面直径。故采用最小外接圆法对苹果上表面的二值化图像进行计算，得到苹果果径，结果如图3所示。

图3 最小外接圆

首先按式(3)计算出最小外接圆的质心(Cx,Cy)。

(3)

式中：

Cx——质心的横坐标；

Cy——质心的纵坐标；

M10——二值图中水平向右的像素个数；

M00——总像素个数；

M01——垂直向下的像素个数。

将图像的质心作为苹果轮廓的圆心，遍历轮廓上所有像素点，计算出目标像素点离质心的最大距离d，即最小外接圆的半径。

(4)

式中：

xi——目标像素点的横坐标；

yi——目标像素点的纵坐标；

d——两点之间的距离。

R=f(2d),

(5)

式中：

R——果径，mm；

f(x)——实际尺寸大小R与最小外接圆d之间对应的关系。

通过游标卡尺测量30个苹果的真实半径，使用CurveExpert软件对f(x)进行拟合可得：

f(x)=0.843 6x-6.941 3。

(6)

1.4.2 果形 根据GB/T 22444—2008，按式(7)计算果形。

(7)

式中：

K——果形指数；

L——果实最大纵径，mm；

D——果实最大横径，mm。

为了获取果实的最大纵径，对苹果侧表面图像进行处理。利用最小外接矩形法提取苹果的最大横径与最大纵径，结果如图4所示。

图4 果形提取

1.4.3 着色度 目前，常用的彩色模型包括RGB模型和HSV模型。其中HSV模型更符合人眼对颜色的认知，是面向彩色处理最常用的模型，其中H为色度、S为饱和度、V为明度[8]。故选择在HSV颜色空间上对苹果的着色度、疤痕和果锈特征进行提取。

根据红富士苹果分级标准可知，苹果着色度为统计集中着色面，条红或者片红的程度。通过统计两帧图像中红色所占的比例，得出红富士苹果的着色度。

首先将RGB图转换成HSV图，然后选取红色的提取范围H(156～180)、S(43～256)、V(46～255)。经阈值处理后统计图像中白色像素点个数，按式(8)计算苹果的着色度。

(8)

式中：

C——着色度；

C1——第一帧苹果的着色度；

C2——第二帧苹果的着色度；

r1——第一帧图像阈值处理后白色像素点个数；

r2——第二帧图像阈值处理后白色像素点个数；

s1——第一帧整个苹果像素点个数；

s2——第二帧整个苹果像素点个数。

苹果着色的提取结果如图5所示。

图5 着色度提取

1.4.4 苹果缺陷 苹果在生长、采摘和运输过程中受天气、病害、虫害和碰伤等伤害产生疤痕。苹果果锈是一种比较常见的苹果病害，特别是在中小果园种植的红富士苹果中最为常见，故将疤痕和果锈特征参数作为苹果缺陷的判定依据。由于果梗处的颜色较深，比较容易被判定为疤痕，为了消除此影响，将除果梗处的苹果区域视为感兴趣区域。

为了提取苹果疤痕和果锈特征，首先将采集到的苹果图像由RGB空间转换到HSV空间，并且分离出图像的H(色相)、S(饱和度)和V(亮度)通道图像，如图6、7所示。

图6 苹果疤痕图像及HSV各通道图像

图7 苹果果锈图像及HSV各通道图像

由图6、7可知，苹果的疤痕和果锈的亮度较暗，故根据苹果HSV图像的亮度值对苹果的疤痕和果锈进行特征提取。通过分析疤痕和果锈图像特点，将感兴趣区域中像素点在V∈(120～140)的区域视为疤痕区域，V∈(150～180)的区域视为果锈区域。按式(9)计算苹果疤痕和果锈。

(9)

式中：

S——疤痕面积，cm2；

G——果锈面积，cm2；

n1——V∈(120～140)像素点个数；

n2——V∈(150～180)像素点个数。

1.5 苹果分级

由于SVM算法在小样本训练集上的分类效果相比于其他分类算法有较好的表现，可以提高模型的泛化能力，能够处理高维空间的数据，故选择SVM算法对苹果进行分类。但SVM算法最初是针对二分类问题提出的[9]，并不能直接应用于多分类问题，由于试验将苹果分为多个等级，因此选择多分类SVM分类器对苹果进行分级。

SVM分类器的惩罚参数C与核参数σ对最后的分类结果影响非常大，所以需对其进行优化选取。而粒子群算法有着很好的全局寻优能力，可以有效解决非线性问题，收敛速度快，但容易陷入局部最优[10]，故采用基于改进粒子群算法的SVM决策树的分类方法进行苹果分级工作，可以克服决策树本身对门限敏感和错误传递的缺陷[11]。

对苹果样本进行果径、果形、着色度、疤痕和果锈特征的提取，然后将特征参数送入SVM决策树分级模型，通过分级模型将苹果分为特级果、一级果、二级果和三级果。

1.5.1 SVM分类器的设计 假设训练样本为(xi，yi)，i=1,2,…,l，xi∈Rn，yi∈{-1，1}，l为样本个数，n为输入维数。当两类样本为线性可分时，选择线性分类器的目标函数为：

(10)

当训练集样本为线性不可分时，需引入松弛变量与惩罚参数，经优化的目标函数为：

(11)

式中：

w、b——待求系数；

ζ——松弛变量(可由经验值得到)；

C——惩罚参数(控制松弛变量造成的影响)。

由于采集到的特征值所对应的特征向量为高维特征向量，在低维空间线性不可分，故采用径向基核函数对上述目标函数进行求解，其数学表达式为：

(12)

式中：

‖x1-x2‖——向量间的距离；

σ——给常数(可由改进的粒子群优化算法进行选取)。

(1) 首先将{C、σ}映射成一个粒子，然后对种群的大小、最大迭代次数、C与σ的取值范围、粒子的初始位置以及速度进行初始化。

(2) 根据适应度函数计算适应度值，然后通过排序确定粒子群的全局历史最优值。

(3) 更新迭代新粒子的位置及速度。采用动态的惯性权重，其上限为0.9，下限为0.4，可以使得粒子群前期注重全局寻优，后期注重局部寻优，惯性权重随迭代次数增加而降低。

(4) 迭代终止，输出最优惩罚参数C和核参数σ。

通过改进的粒子群优化算法得到SVM参数，建立SVM二分类器，为建立SVM决策树模型作好准备。

1.5.2 SVM决策树模型的建立 根据红富士苹果分级标准，将红富士苹果分成特等果、一级果、二级果和等外果4个类别。若采用SVM算法进行4分类需要构造一个三级SVM分类模型，模型比较复杂，训练耗时，会降低苹果在线分级的效率。故为了降低模型的复杂度，提高苹果在线分级效率，采用决策树+SVM多分类模型结合的方法进行苹果分级。

由于等外果的果径、果形、着色度、疤痕以及果锈特征参数与其他几个级别苹果的特征参数差别较大，故首先进行等外果等级的判定。假设苹果图像提取到的五维特征为η=[R，K，C，S，G]，将果径、果形和着色度特征参数设为一组η1=[R，K，C]，将疤痕与果锈特征参数设为一组η2=[S，G]，将等外果设定阈值设为η01=[0.6，0.5，0.55]和η02=[0.5,0.1]。模型首先对输入样本进行等外果等级判断，当η1<η01或η2>η02时，系统将其判定为等外果，不再进行后续处理并直接输出结果。当η1≥η01且η2≤η02时系统将其判定为等内果并进行后续的分级处理。SVM决策树模型如图8所示。

图8 SVM决策树模型

试验采用SVM分类器级连+决策树的方式建立分级模型，样本在经决策判断后被送入SVM1分类器中，被分成特级果以及次级果，然后次级果被送入SVM2分类器中，被分成一级果以及等外果。

2 结果与分析

试验是在Intel 酷睿i7处理器，运行内存16G的电脑上进行。编程环境是python 3.5.4以及opencv 4.1.1。采用200万像素无畸变工业CCD相机进行苹果图像采集，分辨率为1 280×760，帧率为60。

对采集到的第一帧苹果图像进行轮廓的提取，采用最小外接圆法得到苹果的像素直径，然后将其与通过游标卡尺测量的苹果真实果径进行拟合处理，部分样本数据如表2所示。

表2 部分样本数据

经曲线拟合可以获得像素点个数与实际尺寸之间的关系，其平均误差为1 mm，可以满足实际需求。

试验前，挑选出经人工严格分拣的各级红富士苹果100个，随机选取其中各50个作为SVM决策树模型的训练样本，其余样本作为测试样本。将200个训练样本严格按照等级依次摆放在传送带上。将样本的果径、果形、着色度、疤痕和果锈5个特征作为模型的输入，通过粒子群优化算法对SVM1分类器和SVM2进行参数的选择，最终完成整个SVM决策树模型的训练。将粒子群优化算法的种群数量设置为20，最大迭代次数设置为100，得到SVM1的惩罚参数C1=15.6，核参数σ1=3.4，SVM2的惩罚参数C2=17.2，核参数σ2=7.8，其粒子群的适应度变化曲线如图9所示。

图9 适应度变化曲线

然后用剩下的200个苹果对试验中的方法进行验证，将各等级的50个样本排序放置于传送带上，基于机器视觉技术，提取苹果的多个特征，利用SVM决策树模型对苹果进行在线分级，结果如表3所示。以人工分级为标准，特级果、一级果、二级果和等外果的分级准确率分别为96%，94%，98%，98%，总体准确率为96.5%，由此验证了文章提出的方法的准确性和可行性。同时，在试验环境下，当传送带运行速率为0.3 m/s时，平均分级速度为4个/s，高于人工分级，可以满足苹果在线分级的需求。

表3 分级检测结果

采用试验方法对红富士苹果进行在线分级，分级准确率较高，但仍对个别样本做出了误判，分析其原因主要有：

(1) 人工原因：当人工对苹果样本进行标注时，可能会出现个别苹果标注不准确，造成了分级结果与人工对比时出现了差别，造成了误判。为了消除此影响，后续将采用多重人工标注法，确保人工标注的准确性。

(2) 外部原因：系统可能受到传送带速度不稳，及光源不稳定等问题的影响，造成苹果等级的误判，后续将对装置进行改进，采用独立稳压电源进行供电。

(3) 视觉原因：由于视觉成像限制，无法采集到整个苹果的所有图像，存在误判的可能，后续将针对这一问题，在传送带两侧放置机械臂与摄像头，摄像头采集机械臂抓举后苹果的侧面与底面图像，提升系统的分级准确性。

3 结论

文章提出了基于机器视觉的苹果在线分级方法，通过对预处理图像采取泛洪填充+自适应Ostu阈值分割算法提取苹果轮廓，采用改进的粒子群优化的SVM决策树模型对采集的苹果进行分级。结果表明，苹果分级的平均准确率和效率分别达到了96.5%和4个/s，证明了试验方法的可行性。但分级过程中仍存在个别误判现象，为后续研究的改进之处。