基于决策树支持向量机的苹果表面缺陷识别

邱光应 - 彭桂兰 - 陶 丹 王峥荣 -

(西南大学工程技术学院，重庆 400716) (College of Engineering and Technology, Southwest University, Chongqing 400716, China)

基于决策树支持向量机的苹果表面缺陷识别

邱光应QIUGuang-ying彭桂兰PENGGui-lan陶 丹TAODan王峥荣WANGZheng-rong

(西南大学工程技术学院，重庆 400716) (CollegeofEngineeringandTechnology,SouthwestUniversity,Chongqing400716,China)

在基于机器视觉苹果缺陷识别过程中，因果梗/花萼与缺陷表皮颜色相似，极大地降低苹果表面缺陷识别准确率，提出一种基于决策树支持向量机(DT-SVM)的苹果表面缺陷识别方法。该方法首先采用单阈值法去除背景，其次在R通道中利用Otsu法和连通域标记法提取目标区域(果梗、花萼和缺陷)的颜色、纹理和形状特征，最后利用决策树支持向量机进行识别。以600幅富士苹果图像为例，使用该方法进行缺陷识别，结果表明该方法的平均准确率为97.7%。与1-V-1 多分类支持向量机(1-V-1 SVM)和AdaBoost分类算法相比，DT-SVM方法正确率高、耗时短。说明决策树支持向量机对苹果表面缺陷识别十分有效。

苹果；表面缺陷；识别；果梗/花萼；决策树支持向量机(DT-SVM)

中国苹果种植面积和产量居世界首位，因虫蛀和采摘过程中的损伤，采摘下来的苹果不可避免地存在缺陷。苹果采摘后及时分类成为一个急需解决的问题[1]。目前，主要是利用人工的方法进行分类，需要耗费大量的劳动力，且长时间的劳动会导致分类准确率下降。随着图像技术的发展，机器视觉检测技术已广泛地应用于苹果的分级，且已取得不错的分类效果[2-5]。但因苹果果梗/花萼与缺陷的表皮颜色的相似性和缺陷的结构多样性，缺陷果的检测仍面临诸多挑战。Kleynen等[6-8]采用多光谱技术对果梗/花萼及缺陷进行识别，但因设备昂贵、耗时长等原因，不利于实际生产应用。Cheng等[9]提出将近红外和中红外相机结合的方法检测苹果的果梗/花萼区域，缺陷果的识别正确率92%。赵娟等[10]利用3个相机来拍摄一个苹果9个不同角度的图像，通过对9幅苹果图像进行处理，提取缺陷面积和缺陷个数来对缺陷果进行识别，但仅根据缺陷面积大小来剔除缺陷，极易造成误检，分类正确率为92.5%。张弛等[11]利用基于位置变化的点阵结构光编码方法识别苹果果梗/花萼，正确率为93.17%。李庆中等[12]利用分形特征提取纹理参数，然后利用人工神经网络(BP)作为模式识别器，识别正确率为93%。宋怡焕等[13]利用双数复小波变换(DT-CWT)提取纹理特征，然后用最小二乘支持向量机(LS-SVM)对其进行识别，分类正确率为95.6%。Dong Zhang等[14]使用Evolutionary-Constructed(ECO)特征对苹果表面缺陷进行识别，分类正确率为94%。张保华等[15]提取果梗/花萼的颜色、纹理、形状等特征，利用AdaBoot进行分类，分类准确率为95.7%。D.Uay等[16]通过提取苹果的统计特征、纹理特征、外形特征等，比较LDC、K-NN、fuzzy K-NN、AdaBoost、SVM分类器的优劣，结果表明SVM识别效果最好。

上述文献表明，通过提取目标区域特征，利用分类器进行识别的方法能有效地识别果梗、花萼和缺陷且识别率高。但由于大多缺陷果存在多个缺陷，纹理特征提取运算量大，如果全部提取将势必造成运算时间长，不利于在线快速检测。决策树是运用于分类的一种树结构，属于监督学习分类方法，决策树一般构造单层或多层树结构，对数据做逻辑运算，易于实现且分类效率高。与支持向量机相结合，可以提高分类准确率且缩短处理时间[17]。

本研究提出一种基于决策树和SVM相结合的苹果表面缺陷快速检测方法。通过观察正常苹果图像可知，果梗与花萼不会同时出现在一幅图像中，即正常果图像的目标区域(果梗、花萼、缺陷)不会>1，根据此特征，利用决策树对苹果图像进行粗分类，可分类出目标区域个数>1的缺陷果图像，然后提取剩下待测果图像中单个目标区域的颜色、纹理及形状特征，利用SVM分类器对目标区域进行识别，以识别出缺陷果图像。

1 材料与方法

1.1 试验材料

试验材料为农贸市场购买的富士苹果120个，其中40个正常果，其余为缺陷果。表面缺陷包括疤痕、腐烂、虫咬、裂伤等。试验前，将苹果样本用清水清洗干净，然后将水渍擦干。

1.2 基于机器视觉苹果图像采集系统

苹果图像机器视觉采集系统示意图见图1。其主要由计算机、彩色CCD相机、镜头、LED光源和传送机构组成。为了防止外界光源的干扰，整个图像采集设备放置在一个密闭的暗箱里。采集图像时，将苹果放置在传送滚轮上，为了获取完整的苹果表面图像，对每个苹果分别拍摄5个不同角度的图像，共采集苹果图像600幅。采集后的苹果图像用计算机进行处理。每种类型的苹果图像及数量见图2和表1。

1.3 苹果图像背景去除及目标区域提取

由于苹果图像是在黑色的背景下拍摄，因此采用单阈值法去除背景。在单阈值去除背景过程中，会去除一些包括果梗、花萼及缺陷等低光度区域，采用孔洞填充获得苹果图像边缘，然后利用所得的掩模模板去除背景。目标区域提取工作主要参见文献[8]和[18]，首先，在R通道中采用Otsu法分割目标区域，分割后的图像中存在一些由噪声引起的小点，采用形态学方法消除这些噪声点，分割出来的目标区域中存在一些孔洞，采用孔洞填充法填充，最后利用连通域标记法标记这些目标区域[19]。

图1 苹果图像采集系统示意图Figure 1 Schematic diagram of image acquisition device表1 苹果图像类型及数量表Table 1 Types and numbers of apple images

苹果类型苹果图像数/幅仅含健康果皮40仅含果梗的正常果106仅含花萼的正常果124仅含1个缺陷的苹果80含有果梗和缺陷的苹果134含有花萼和缺陷的苹果116合计600

图2 苹果图像Figure 2 Apple images

1.4 目标区域特征提取

1.4.1 颜色特征提取 颜色特征是一种重要的视觉特征，对图像的尺度、方向、视角等变化不敏感，具有很高的稳定性。对获取到的苹果图像提取反映目标区域颜色分布的颜色矩。由于颜色分布信息主要集中在低阶矩中，因此本试验只需采用颜色的一阶矩(均值μi)、二阶矩(方差σi)、三阶矩(斜度si)来表达图像的颜色分布[20]。计算公式：

(1)

(2)

(3)

式中：

hij——第i个颜色通道中第j个像素的值；

n——像素个数。

1.4.2 纹理特征 基于灰度共生矩阵(gray level co-occurrence matrix，GLCM)的纹理特征提取是最具代表性的纹理分析方式[21]。在试验中距离d选择1，方向θ一般取0°，45°，90°，135°。分别计算4个方向的纹理特征值，然后以所有方向特征值的均值作为最终的纹理特征向量。由于灰度共生矩阵计算量比较大，在统计共生矩阵前，为了减轻计算机的运算量，将输入图像的每个像素由256个灰度级重新量化为16个灰度级。选择比较常用且被认为分类效果较好的4个纹理特征[22]：角二阶矩ASM(angular second)、熵ENT(entropy)、对比度CON(contrast)、局部平稳IDM(inverse difference moment)。计算公式：

(4)

(5)

(6)

(7)

式中：

p(i,j)——灰度共生矩阵的第i行、第j列的元素；

L——灰度级数。

1.4.3 形状特征 形状特征主要包括两类：基于轮廓的形状描述和基于区域的形状描述。经典的形状特征描述方法有形状特征法、傅里叶形状描述符法、几何参数法、形状不变矩法等。由于几何参数法的提取简单且能有效代表区域特征，因此选取几何参数中的面积(S)、周长(P)及圆形度(C)3个特征[23-24]。计算公式：

S=N，

(8)

P=NP，

(9)

(10)

式中：

N——目标区域内部像素点的数量；

NP——目标区域边缘像素点的数量。

1.5 基于决策树SVM分离器的目标区域识别

1.5.1 决策树支持向量机(Decision Tree SVM，DT-SVM)

支持向量机(SVM)是V.Vapnik等于1995年提出的一种基于统计学习理论的VC维理论和结构风险最小原理基础上的机器学习方法，它在解决小样本、非线性与高维模式识别时很有优势，并且对于特征相关性和稀疏性不敏感[25-27]。然而，SVM是针对两类分类问题提出的，目前SVM解决多类分类的方法可分为两大类：整体法和分解法。整体法是在所有训练样本上一次性求解一个大的二次规划问题，同时将多类分开。这种方法思路虽然简单，但求解最优化问题的过程中使用的变量非常多，计算复杂度高而不适用。分解法主要是对多个两类问题进行多类分类，主要有：一对多法(one-Versus-Rest SVMs，1-V-R SVMs)、一对一法(one-Versus-One SVMs，1-V-1 SVMs)和决策树SVM(Decision Tree SVM，DT-SVM)[28-29]。决策树SVM的思路为从根节点开始，将全体样本分类为2个子类，然后进一步分成4个子类，以此类推，最终得到一个倒立的树。该方法实际上是将支持向量机与决策树相结合而形成的，它具有层次结构、速度快的特点。对于N类问题，DT-SVM只需N-1个分类器，并且该方法不存在不可识别域，分类时也不需要遍历所有的分类器。大量研究和试验[30-31]表明，DT-SVM是目前用SVM解决多分类方法中最优的一种，因此本文选用DT-SVM。

1.5.2 DT-SVM中决策树的设计 DT-SVM的核心是构造一棵合适的决策树二叉树，DT-SVM分类时，不需要完整地计算所有分类器的判别函数，并且上层节点处的分类器性能对整个模型的稳定性影响很大。因此DT-SVM自上而下分类难度应由易到难，根据这一原则，设计DT-SVM构造流程：

步骤1：由于在一幅正常果图像中，果梗和花萼不会同时出现，正常果的目标区域不会超过1，因此根据目标区域个数分类是最明确的。如果目标区域个数>1，可以确定该苹果为缺陷果，无需进行下一步分类。如果目标区域个数=1，则进行下一步分类。如果目标区域=0，则为正常果图像。

步骤2：在果梗、花萼和缺陷的识别中，根据试验得到，花萼相对果梗、缺陷特征较稳定，识别正确率高，因此步骤2先分类出含花萼的正常果图像。

步骤3：最后分类出含果梗的正常果图像和缺陷果图像。

基于决策树SVM的缺陷苹果识别流程图见图3。

2 结果与分析

2.1 目标区域的提取

在苹果图像的R通道利用Otsu法和区域标记法分割目标区域，见图4。图4中分别分割出了1个花萼区域、7个缺陷区域和1个果梗区域、1个缺陷区域。可以看出果梗、花萼和缺陷被完整地分割出来，说明该方法能有效地分割出目标区域。

2.2 特征的提取

以图4为例(尺寸为512像素×512像素)，对分离出来的果梗、花萼和缺陷目标区域进行特征提取，每个目标区域基于颜色矩提取了R通道中的3个颜色特征，基于灰度共生矩阵提取了4个纹理特征，基于形状特征提取3个特征，组成10维特征向量，见表2。

图3 算法流程图Figure 3 Flowchart of the algorithm

图4 目标区域的提取Figure 4 Examples of object segmentation

2.3 DT-SVM分类

考虑到每个维特征的量纲不同，取值范围变化较大，因此在分类前对所有特征进行归一化处理。SVM核函数选择径向基(RBF)核函数。利用分类器对苹果图像进行分类，结果见表3。

由表3可知，仅含健康果皮的苹果图像、含有果梗和缺陷的苹果图像、含有花萼和缺陷的苹果图像平均正确率为100%，平均耗时为200 ms左右。含健康果皮的苹果图像目标区域为0，含有果梗和缺陷的苹果图像目标区域>1，含花萼和缺陷的苹果图像目标区域>1，决策树DT根据目标区域个数是否>1能快速将上述3种苹果图像分类。它们的平均耗时比仅含果梗的苹果图像、仅含花萼的图像、仅含1个缺陷的图像少，这是因为它们采用决策树分类器无需进行目标区域特征的提取，且结合了SVM分类器，减少了运行时间。

表2 目标区域特征表Table 2 The features of object regions

表4为分别采用DT-SVM方法、LibSVM工具箱中的1-V-1 SVM和AdaBoost算法对苹果图像处理结果。表中，决策树分类器的正确率为100%，平均耗时为58 ms，平均正确率为98.2%，平均耗时为346 ms。与1-V-1 SVM和AdaBoost相比，DT-SVM的分类准确率更高且耗时更短，说明DT-SVM对缺陷苹果图像识别十分有效。

表3 DT-SVM 分类识别率Table 3 Classification accuracy of DT-SVM

表4 3种方法分类结果Table 4 Recognition results of the three methods

3 结论

(1) 针对基于机器视觉苹果缺陷识别过程中存在的问题，本试验提出一种基于决策树支持向量机的苹果表面缺陷识别方法。通过提取目标区域的颜色、纹理和形状特征，然后用决策树支持向量机进行识别。试验结果表明，平均正确率为98.2%，平均耗时为346 ms。说明该方法在缺陷苹果识别中十分有效。

(2) 在缺陷果的图像中，存在多个目标区域，采用决策树分类出目标区域>1的缺陷果，避免了对缺陷果多个目标区域的识别，大大地减少了运算时间。

(3) 本试验只是针对苹果表面缺陷进行判断，并未对缺陷作进一步分类，这将是今后研究的一个方向。

[1] 郭志明. 基于近红外光谱及成像的苹果品质无损检测方法和装置研究[D]. 北京: 中国农业大学, 2015: 1-3.

[2] LEE D J, ARCHIBALD J K, XIONG Guang-ming. Rapid Color Grading for Fruit Quality Evaluation Using Direct Color Mapping[J]. Automation Science & Engineering IEEE Transactions On, 2011, 8(2): 292-302.

[3] MIZUSHIMA A, LU Ren-fu. An image segmentation method for apple sorting and grading using support vector machine and Otsu’s method[J]. Computers & Electronics in Agriculture, 2013, 94(94): 29-37.

[4] LEEMANS V, DESTAINM F. A real-time grading method of apples based on features extracted from defects[J]. Journal of Food Engineering, 2004, 61(1): 83-89.

[5] 籍保平, 吴文才. 计算机视觉苹果分级系统[J]. 农业机械学报, 2000, 31(6): 118-121.

[6] KLEYNEN O, LEEMANS V, DESTAINM F. Development of a multi-spectral vision system for the detection of defects on apples[J]. Journal of Food Engineering, 2005, 69(1): 41-49.

[7] XING Juan, JANCSOK P, JDE B. Stem-end/Calyx Identifica-tion on Apples using Contour Analysis in Multispectral Images[J]. Biosystems Engineering, 2007, 96(2): 231-237.

[8] UNAY D, GOSSELIN B, DESTAINM F, et al. Automatic grading of Bi-colored apples by multispectral machine vision[J]. Computers & Electronics in Agriculture, 2011, 75(1): 204-212.

[9] CHENG Xue-mei. NIR/MIR dual-sensor machine vision system for online apple stem-end/calyx recognition [J]. Transactions of the Asae, 2003, 46(2): 551-558.

[10] 赵娟, 彭彦昆, SAGAR Dhakal, 等. 基于机器视觉的苹果外观缺陷在线检测[J]. 农业机械学报, 2013, 44(S1): 260-263.

[11] 张驰, 陈立平, 黄文倩, 等. 基于编码点阵结构光的苹果果梗/花萼在线识别[J]. 农业机械学报, 2015, 46(7): 1-9.

[12] 李庆中, 汪懋华. 基于分形特征的水果缺陷快速识别方法[J]. 中国图象图形学报, 2000, 15(2): 144-148.

[13] 宋怡焕, 饶秀勤, 应义斌. 基于DT-CWT和LS-SVM的苹果果梗/花萼和缺陷识别[J]. 农业工程学报, 2012, 28(9): 114-118.

[14] ZHANG Dong, LILLYWHITE K D, LEE D J, et al. Automated apple stem end and calyx detection using evolution-constructed features[J]. Journal of Food Engineering, 2014, 119(3): 411-418.

[15] 张保华, 黄文倩, 李江波, 等. 基于亮度校正和AdaBoost的苹果缺陷在线识别[J]. 农业机械学报, 2014, 45(6): 221-226.

[16] UNAY D, GOSSELIN B. Stem and calyx recognition on ‘Jonagold’ apples by pattern recognition [J]. Journal of Food Engineering, 2007, 78(2): 597-605.

[17] 谢徵, 田建艳, 王芳, 等. 基于几何参数特征与决策树支持向量机的猪只姿态分类[J]. 黑龙江畜牧兽医, 2015, 19(10): 21-25.

[18] 刘佳男. 基于机器视觉的水果表面缺陷识别方法的研究[D]. 无锡: 江南大学, 2012: 43-54.

[19] 冈萨雷斯. 数字图像处理的MATLAB实现[M]. 北京: 清华大学出版社, 2013: 412-415.

[20] 郭永豪. 苹果图像特征提取与分类算法的研究与应用[D]. 重庆: 重庆大学, 2010: 6-18.

[21] 郭依正, 朱伟兴, 马长华, 等. 基于Isomap和支持向量机算法的俯视群养猪个体识别[J]. 农业工程学报, 2016, 32(3): 182-187.

[22] 宋怡焕. 苹果果梗/花萼与缺陷的纹理特征识别方法[D]. 浙江: 浙江大学, 2012: 16-38.

[23] 侯文军. 基于机器视觉的苹果自动分级方法研究[D]. 南京: 南京林业大学, 2006: 26-32.

[24] 刘静, 黄勇平, 章程辉. 视觉系统开发模块在芒果果面缺陷检测中的应用[J]. 食品与机械, 2009, 25(2): 82-85.

[25] 刘洋, 王涛, 左月明. 基于支持向量机的野生蘑菇近红外识别模型[J]. 食品与机械, 2016, 32(4): 92-94.

[26] 刘静, 管骁, 易翠平. 近红外光谱技术结合支持向量机对食用醋品牌溯源的研究[J]. 食品与机械, 2016, 32(1): 38-40.

[27] 施冬艳. 基于GA-PSO优化分层DT-SVM混合核的遥感图像分类及其应用[D]. 南京: 南京邮电大学, 2014: 41-46.

[28] 厉小润, 赵光宙, 赵辽英. 决策树支持向量机多分类器设计的向量投影法[J]. 控制与决策, 2008, 23(7): 745-750.

[29] 何海龙, 程明. 基于优化SVM-DT的阀门故障诊断方法[J]. 计算机工程与设计, 2016, 37(7): 1 932-1 936.

[30] SAHBI H, GEMAN D. A Hierarchy of Support Vector Machines for Pattern Detection [J]. Journal of Machine Learning Research, 2006, 7(2): 2 087-2 123.

[31] 谢徵. 基于决策树支持向量机的猪只姿态分类与异常行为分析[D]. 太原: 太原理工大学, 2015: 36-49.

DetectiononsurfacedefectofapplesbyDT-SVMmethod

During the process of apple blemish detection based on machine vision technology, due to the color similarity between stem/calyx and blemish, which greatly decreases the accuracy in apple detection, a method was proposed based on Decision Tree-Support vector machine (DT-SVM) to solve the challenge problem. Firstly, the single threshold method is used to remove the background. Then in the R channel, Connected Component Labeling method and Otsu method were employed to extract object regions (stem, calyx, blemish)，which were used to compute the color, texture and shape features. In the end, adopted the DT-SVM method to distinguish blemishes from the stem and calyx of apple images. By conducted on 600 apple images, the average accuracy of experiments was 97.7%. Compared to 1-V-1 SVM method and AdaBoost method, the DT-SVM method had a higher accuracy and less time-consuming, which could actually validate the effectiveness of the proposed method in recognizing the blemish of the apples.

apple; surface defect detection; recognize; stem/calyx; DT-SVM

中央高校科研业务费课题(编号：XDJK2016A007)；博士启动基金项目(编号：SWU114109)；中央高校基本科研业务费双创项目(编号：XDJK2016E050)

邱光应，男，西南大学在读硕士研究生。

彭桂兰(1966—)，女，西南大学教授，博士。

E-mail：pgl602@163.com

10.13652/j.issn.1003-5788.2017.09.028