基于多特征融合与SVM的苹果品种快速识别算法

雷欢 焦泽昱 马敬奇 吴亮生,2 钟震宇

基于多特征融合与SVM的苹果品种快速识别算法

雷欢1焦泽昱1马敬奇1吴亮生1,2钟震宇1

（1.广东省智能制造研究所 广东省现代控制技术重点实验室，广东 广州 510070 2.仲恺农业工程学院，广东 广州 510225）

为快速无接触地识别苹果品种，采用机器视觉方式，提出基于多特征融合与SVM的苹果品种快速识别算法。首先，基于HSV和La*b*颜色空间提取仅含色度信息的H，S，a*，b*分量，通过直方图变换得到苹果颜色特征，同时考虑苹果表皮局部与全局纹理特性，研究基于GLCM与LBP的苹果纹理特征描述子，并通过串接方式进行颜色与纹理特征融合，实现不同品种苹果表面特征的准确描述；然后，构建基于SVM的苹果品种识别模型，并根据样本特征量优选线性核函数，实现苹果品种的快速准确识别；最后，通过实验验证，该算法兼顾精度和实时性，在测试集上平均准确率达94.0%，且推理时间仅2 ms，具有较高的实用价值。

颜色与纹理特征；支持向量机；苹果品种快速识别

0　引言

我国苹果产量居世界首位，也是我国热销的水果之一，其果实富含矿物质和维生素。然而苹果品种繁多，不同品种的苹果栽培环境、贮藏条件及价格差别较大，且部分苹果品种的成熟期、颜色、大小及口感等较接近，对于非专业人员而言很难辨别清楚[1]。为推进苹果产业标准化、规模化、智能化生产经营水平，提高苹果供应能力及果实优质率，亟需研究一种实时、高效的苹果品种无损识别方法。

近年来，国内外研究者针对苹果品种分类问题在可见/近红外光谱技术[1-2]、电子鼻技术[3-4]等方面开展了相关研究。如，尚静等[2]采用光谱技术建立基于K最近邻和偏最小二乘判别分析的苹果品种识别模型，实现了冰糖心、嘎啦和山东富士3种苹果的有效判别；邹小波等[3]采用电子鼻技术，提出基于小波去噪和支持向量机（support vector machines, SVM）的苹果品种识别方法，实现了富士、花牛和姬娜3种不同品种苹果气味的区分。随着人工智能技术的快速发展，机器视觉在使用便捷性、设备成本和检测实时性等方面表现出明显优势，已广泛应用于果实采摘检测[5]、果实品质检测[6]、果实识别与估产[7-8]等领域。而目前采用视觉图像与机器学习方法来识别苹果品种的研究鲜有报道。

为此，本文基于机器视觉与图像处理理论，提出一种基于多特征融合与SVM的苹果品种快速识别算法。根据苹果不同品种的颜色和纹理差异，提取HSV和La*b*空间的颜色直方图特征；融合局部纹理与统计纹理特征，建立基于SVM的苹果品种识别模型；综合比较不同算法的识别效果，为机器视觉技术在农业水果无损检测与品种判别的应用提供借鉴参考。

1　实验材料与方法

1.1 实验材料

本文实验苹果数据选自kaggle上的Fruits-360水果数据集[9]，包含4个苹果品种：布瑞本、金冠、澳洲青苹和蛇果。其中，训练集样本图像2013张，含布瑞本492张、金冠539张、澳洲青苹492张和蛇果490张；测试集样本图像660张，含布瑞本164张、金冠166张、澳洲青苹164张和蛇果166张。为更准确地评价模型识别性能，从bing网站下载135张图像，包括布瑞本33张、金冠30张、澳洲青苹34张和蛇果38张，并将其添加至原测试集，形成实验数据集，如图1所示。

图1 实验数据集示例样本图像

1.2 实验方法

苹果品种识别算法流程如图2所示，主要包括苹果颜色和纹理特征提取、模型训练与识别构建2部分。首先，提取苹果训练集图像的颜色特征即H，S，a*和b*分量直方图特征，以及纹理特征即灰度共生矩阵（gray-level co-occurrence matrix, GLCM）的统计纹理特征和局部二值模式（pattern local binary pattern, LBP）纹理特征，通过特征串接融合形成苹果判别特征向量；然后，构建SVM的分类模型，通过苹果特征学习训练，实现苹果品种识别。

图2 苹果品种识别算法流程

1.2.1 特征提取

不同品种的苹果通常呈现不同的颜色和纹理特征。如，布瑞本多呈红色或橙红色，有红黄相间的细小颗粒和条纹；金冠苹果成熟后表面金黄色中透红晕，光泽鲜亮；澳洲青苹果皮光滑，呈翠绿色，有白色细小斑点；蛇果果体棱角明显，多呈鲜红或暗红色，伴有断续红条纹或紫红粗条纹。本文以苹果的颜色和纹理信息为特征，为模型训练和判别提供可靠数据来源，实现苹果品种准确判别。

1）颜色特征提取

为降低环境亮度对颜色特征提取的干扰，将图像从RGB空间转为HSV和La*b*空间。选择HSV空间的色调H、饱和度S分量以及La*b*空间的a*，b*分量，通过H，S，a*和b*分量直方图计算，获得苹果图像的颜色特征，如图3所示。

图3 不同品种苹果的各通道颜色直方图

2）纹理特征提取

为充分挖掘不同品种苹果的纹理信息，提取灰度共生矩阵的统计纹理特征和局部二值模式纹理特征。

① 对比度，可度量图像矩阵的分布和图像局部变化，反映苹果图像清晰度和纹理的沟纹深浅；

式中= 16，表示图像的灰度等级。

② 能量，反映苹果图像灰度分布均匀程度和纹理粗细度，纹理越细，能量越小；

③ 熵，反映苹果表面纹理分布的不均匀性或复杂程度，熵值越大，图像纹理越复杂；

④ 逆方差，反映苹果表面纹理局部变化，变化缓慢，则逆方差值相对较大；

⑤ 相关性，反映苹果图像局部灰度相关性，苹果图像纹理的一致性越强，其相关性值越大；

综合考虑LBP局部纹理特征和GLCM统计纹理特征，既可避免LBP特征降维带来的损失，又能准确充分表征苹果表面纹理分布特点，有助于提高苹果品种分类鲁棒性。

1.2.2 基于SVM的苹果品种识别模型

通过串联连接方式将H，S，a*和b*分量直方图特征、LBP局部纹理特征和GLCM统计纹理特征进行融合，形成表征苹果颜色和纹理信息的特征向量。通过定义线性最优超平面，将苹果品种分类问题转化为确定超平面的优化问题。

SVM在解决小样本、非线性及高维模式识别中具有较多优势[12]，最为关键的是引入核函数。通过核函数可避免高维变换，直接利用低维度数据代入核函数来等价高维度向量的内积，并通过低维度数据非线性映射到高维空间，可将低维空间线性不可分的模式转为高维空间线性可分问题。

1）SVM分类器构建

分类器目标即找到一个分类错误率最小的最优超平面，可得到以下优化问题：

式中，为惩罚系数。

2）核函数的选择

SVM算法应用过程中，核函数的选择对分类性能起重要作用，其表达式为

常用核函数有线性核、多项式核、RBF核及Sigmoid核。由于样本特征含颜色和纹理信息，其中H直方图特征360个；S，a*和b*直方图特征均为256个；GLCM纹理特征20个（考虑0°，45°，90°和135°四个角度）；LBP纹理特征256个，总计1404个特征。样本特征量较大，接近训练样本集数目，故利用非线性核函数并不能提高分类器的性能，且需经过繁琐的调参过程以寻找最优参数。为简化计算，提高分类器实时性，采用线性核函数，公式为

2　实验及结果分析

实验在Windows10操作系统 Visual Studio Code环境下，基于python-opencv和skimage开源库，采用python语言编程完成。硬件配置：Intel(R) Core(TM) i7-9750H；16.0 GB内存；Nvidia Geforce GTX 1660 Ti。

训练集中2013张苹果样本图像经过H，S，a*和b*颜色直方图特征、GLCM统计纹理特征与LBP局部纹理特征提取后，输入线性SVM模型进行训练，迭代次数为3000次，惩罚系数设为1，获得的苹果品种识别模型在测试集上取得较好效果，如表1所示。4种苹果的识别准确率均大于91%；平均准确率为94.0%；平均召回率为94.6%。其混淆矩阵如图4所示，其中0为布瑞本、1为金冠、2为澳洲青苹、3为蛇果。

表1 测试集预测结果统计表

图4 测试集预测混淆矩阵图

为进一步准确评价该算法的识别性能，开展基于颜色和纹理单一或组合特征下K最近邻（K-Nearest Neighbor，KNN）与SVM分类方法在测试集上对苹果品种识别的实验，结果如表2所示。从算法识别性能和实时性来看：本文算法的表现均最佳，基于单一颜色或纹理特征的识别算法的平均准确率和召回率均较低。在纹理和颜色组合特征下，KNN表现较好，其平均准确率略低于本文算法，但推理时间需50 ms，是本文算法的25倍。RBF-SVM的精度与本文算法较接近，但其平均训练和推理时间相对较高，这可能是由于样本特征量较大利用线性核函数可取得较优性能，而无需转化至高维空间。

表2 不同算法对比实验结果统计表

综上所述，基于多特征融合与SVM的苹果品种快速识别算法识别性能表现优异，且算法复杂度较低，训练时间仅3.4 ms，同时推理时间仅2 ms，具有很好的实时性，在苹果品种识别方面具有较高的应用价值。

3　结语

本文提出基于多特征融合与SVM的苹果品种快速分类算法。首先，基于kaggle 中Fruits-360的苹果数据集，及bing网随机下载的苹果数据，构建了苹果品种分类数据集；然后，根据不同品种苹果表皮特点，提取H，S，a*和b*直方图特征、GLCM统计纹理特征与LBP局部纹理特征，并通过串接方式进行特征融合；最后，构建基于SVM的苹果品种识别模型，并根据样本特征量优选线性核函数。该算法兼顾了准确率和实时性，实现了苹果品种的快速准确识别，具有较高的实用价值。

[1] 尚静,张艳,孟庆龙.光谱技术结合化学计量学识别苹果品种[J].北方园艺, 2019(16):66-71.

[2] 尚静,张艳,孟庆龙.可见/近红外光谱技术无损识别苹果品种的研究[J].保鲜与加工, 2019,19(3):8-14.

[3] 邹小波,赵杰文.基于小波去噪和支持向量机的苹果品种识别法[J].仪器仪表学报, 2007,28(3):534-538.

[4] 潘胤飞.基于非线性模式识别的电子鼻技术在苹果分类中的应用[D].镇江:江苏大学,2003.

[5] Zhuang J J, Luo S M, Hou C J, et al. Detection of orchard citrus fruits using a monocular machine vision-based method for automatic fruit picking applications[J]. Computers and Electronics in Agriculture, 2018, 152: 64-73.

[6] 熊俊涛,邹湘军,刘念,等.基于机器视觉的荔枝果实采摘时品质检测技术[J].农业机械学报,2014,45(7):54-60.

[7] 荆伟斌,胡海棠,程成,等.基于深度学习的地面苹果识别与计数[J].江苏农业科学,2020,48(5):210-219.

[8] 袁明新,于洪涛,江亚峰,等.联合迁移学习和自适应学习率的苹果成熟度识别[J].中国农机化学报,2019,40(11):131-135.

[9] Mihai O. Fruits 360 : A dataset of images containing fruits and vegetables[EB/OL]. https://www.kaggle.com/moltean/fruits, 2020-05-18.

[10] 陈旭,解天祺.基于B-CLBP和GLCM特征的纹理材质分类[J].计算机应用与软件, 2020,37(6): 242-246.

[11] Tajeripour F, Kabir E, Sheikhi A. Defect detection in patterned fabrics using modified local binary patterns[C]//International Conference on Computational Intelligence and Multimedia Applications. IEEE, 2007: 261-267．

[12] 朱芳,赵庆平,王江涛.基于RBF核的SVM分类应用研究[J]. 唐山学院学报, 2017, 30(3):13-17,39.

Fast Recognition Algorithm of Apple Varieties Based on Multi Feature Fusion and SVM

Lei Huan1Jiao Zeyu1Ma Jingqi1Wu Liangsheng1, 2Zhong Zhenyu1

(1.Guangdong Institute of Intelligent Manufacturing, Guangdong Key Laboratory of Modern Control Technology, Guangzhou 510070, China 2.Zhongkai University of Agriculture and Engineering, Guangzhou 510225, China)

In order to identify apple varieties quickly and contactless, a fast classification algorithm based on multi feature fusion and SVM is proposed by using machine vision. Firstly, based on HSV and La * b * color space, the H, S, a * and b * components with only chromaticity information are extracted, and the color features of apple are obtained by histogram transformation. Considering the local and global texture characteristics of apple skin, the apple texture feature descriptors based on GLCM and LBP are studied, and the color and texture features are fused by concatenation to realize the accurate description of the surface features of different apple varieties. Then, an apple variety recognition model based on SVM is constructed, and the linear kernel function is selected according to the features number of training samples to realize the fast and accurate apple variety recognition. The experimental results show that the algorithm takes into account both accuracy and real-time performance, with an average accuracy of 94.0% in the test set, and its recognition time is only 2 ms, which has a high practical value.

color and texture features; support vector machine; apple variety fast recognition

雷欢，男，1987年生，硕士，主要研究方向：机器视觉、人工智能。

焦泽昱，男，1991年生，博士，主要研究方向：机器视觉、人工智能。

马敬奇，男，1988年生，硕士，主要研究方向：机器视觉、人工智能。

吴亮生（通信作者），男，1987年生，在读硕士，主要研究方向：机器视觉、人工智能。E-mail: 478908734@qq.com

钟震宇，男，1971年生，博士，主要研究方向：运动控制与机器视觉。

S24

A

1674-2605(2020)04-0003-05

10.3969/j.issn.1674-2605.2020.04.003