基于优化PSO-BP的多特征融合图像识别算法研究

摘要：  为提高水果种类识别的准确性，本文提出一种基于优化粒子群结合BP神经网络的识别算法。在算法初期，针对不同种类水果图像样本，借助K均值聚类分割算法，融合彩色信息和灰度信息，完成目标图像的准确分割，提取目标区域在HSV颜色空间下非均匀量化后的颜色特征，使用分块局部二值模式和灰度共生矩阵，分别提取局部和全局纹理特征，并对与粒子群算法（particle swarm optimization，PSO）结合的BP神经网络进行优化，以获得最优的BP神经网络权值和阈值，同时使用分块的LBP算子和GLCM方法，采用Matlab 2017b软件，对苹果、草莓、柠檬3种水果图像局部和整体纹理信息进行提取，并与传统的PSO-BP神经网络、IPSO-BP神经网络及单一BP神经网络训练之后对测试样本的识别相对误差进行比较。研究结果表明，虽然标准PSO-BP算法对图形的分割效率和识别能力不能与深度学习结果相媲美，但在优化后的PSO-BP中，将3种水果识别率与RCNN系列的优化结果相比并不逊色，且与结合ResNet的SSD算法的结果对比中表现出优异性。该算法保证了图像分割目标的完整性，有效控制了整体算法的时间性，提高了识别过程的精确性。该研究对水果识别精度的提高具有重要的应用价值。

关键词：  水果识别; K均值算法; 粒子群算法; 图像分割; 神经网络

中图分类号： TP391.413  文献标识码： A

在落实“互联网+农业”战略和智慧农业改革的背景下，传统农业与高新技术融合已成为发展趋势。水果产业是农业重要组成部分，对水果实现高效快捷的智能识别分类具有深远意义，融入图像识别技术可减少劳动力消耗，且高识别率和短周期有利于水果分类储存与保鲜。通过模式识别技术进行水果分类，多是依据水果图像的颜色、局部纹理和形状等特征属性进行定量，然后训练分类器区分判决，但在实际应用中仍无法避免因纹理和形状相似而造成较高的误差。特征提取能力较强的机器学习，最初经历浅层机器学习阶段，该阶段主要采用支持向量机（support vector machine，SVM）、Boosting和最大熵方法等。近年来，一些学者对水果识别分类进行研究，李大华等人[1]采用SVM分类器对果蔬纹理特征进行分类;Kuang H L等人[2]利用全局颜色直方图、局部二值模式（local binary patterns，LBP）、方向梯度直方图（histogram of gradient，HOG）和基于Gabor小波（GaborLBP）的LBP多特征融合，提高水果识别。根据交叉验证精度选择最优块，但也提升了计算的复杂难度。深度学习是建立类似大脑的神经网络，在大数据中自主提取特征，其中基于卷积神经网络（convolutional neural network，CNN）模型和深度置信网络（deep belief network，DBN）模型的水果识别算法取得很好的效果[34]。由于传统的浅层学习在训练方面受经验的限制，而深度学习模型的计算对硬件资源要求较高。因此，为避免对硬件资源较高的要求，同时追求高效、准确的效果，本研究引入一种基于粒子群优化算法优化的BP神经网络算法（improved particle swarm optimization-back propagation，IPSO-BP）的方法，实现水果识别中的评估。与传统方法相比，PSO优化的BP神经网络算法，具有更高的识别精度和更快的识别速度。该研究在果品质量、安全评估及消费和储藏中更具适用性。

1 K均值图像分割

水果图像在进行目标体分割和特征提取过程中，易受噪声影响，进而带来误差，因此在对水果图像分割之前进行预处理，最大程度的保留有效信息。

图像分割是对整个图像内容中感兴趣的区域实现标记的过程，标记的完整性及准确性直接影响目标体的识别结果。K均值算法是基于距离相似性的聚类算法[5]，使用K均值算法的距离相似性原则，对图像像素点实现同类别划分，从而完成图像分割任务。相较于颜色分量之间存在高度相关性[67]的RGB（red，green，blue）颜色空间，选择HSV（hue，saturation，value）颜色空间作为图像信息源，可更大程度得到目标体的有效信息。HSV颜色分量直方图分布如图1所示。图中，H和S包含图像的彩色信息，V包含图像的亮度信息。

在对BP神经网络进行优化过程中，用粒子代表神经网络中的权值和阈值，以均方误差，即粒子适应度值最小作为寻优目标，在更新迭代中找到最优解。

使用Griewank基准测试函数，对标准的PSO和优化的PSO在迭代600次过程中最佳适应度值进行比较，Griewank函数测试结果如图8所示。由图8可以看出，IPSO在迭代前期，收敛速度加快;迭代后期，平稳度加强，说明全局寻优能力和局部寻优能力可以达到平衡状态。在相同系统中，实验取相同的迭代训练次数，适应度值的大小决定粒子质量，适应度值越小，神经网络的训练效果越好。IPSO-BP算法训练过程如下：

1） 根据提取到的特征信息，构建a-b-c三层神经网络结构。

2） 初始化PSO算法，包括粒子数，粒子群的速度和位置，其中粒子群纬度S=ab+bc+b+c。

3） 计算粒子的适应度，并与pid和pgd比较后做出更新。

4） 采用IPSO算法公式，对神经网络权值和阈值更新。

5） 判断停止条件，得到最优权值和阈值。

6） 以最优权值和阈值进行训练，直到网络均方误差满足条件。

基于IPSO-BP神经网络的算法流程如图9所示。

4 实验数据与结果

4.1 實验数据与结果

实验中对苹果、草莓、柠檬3种水果进行测试，使用分块的LBP算子和GLCM方法对图像的局部和整体纹理信息进行提取。从中可以看出不同类别的水果具有不同的分布特征，而且LBP算子提取的纹理特征不受光照的影响。在十字邻域LBP模式下不同水果频率图如图10所示。

不同种类的水果图像纹理信息都可被细致表征出来，现提取每类水果各30幅图像GLCM特征的能量、对比度、相关性和熵参数信息，苹果灰度共生矩阵参数值如图11所示。由图11可以看出，其纹理幅度波动较大，相应的对比度值也较大，含有较细的纹理组织，其熵值在3种水果中最大。统计各图像灰度共生矩阵参数值的平均值和标准差，作为神经网络输入端的特征向量进行训练。

4.2 实验结果

整个实验过程是在Window10，Matlab 2017b下进行。计算机的内存6 GB，搭载Inter（R） Core（TM） i58265U CPU @ 1.60 GHz 1.80 GHz处理器。

实验中，为建立更有说服力的水果数据集，综合考虑水果图像采集过程中的光照、角度及遮挡等外界因素，将采集的图像统一转换成60×60，像素大小约为60 kB的图像，每幅水果都包含RGB彩色图像。数据集中包含3个类别的水果，共计1 200幅图片。根据不同的干扰情况，每种类别的水果对应选取226幅图片作为训练样本，其余为测试样本。利用融合彩色与灰度像素的K均值聚类分割算法，对训练样本中的水果图像进行预处理，处理后分别提取颜色特征和纹理特征，将收集到的数据集所有样本数据，采用最大最小法在[-1，1]之间进行向量归一化。将融合后的特征向量输入到BP神经网络分类器进行学习和训练。标准的PSO参数设置为种群规模30，迭代次数400，惯性权重ω取0～1之间的随机数，学习因子c1=c2=2;优化后的PSO参数为种群规模30，迭代次数400，c10=2.5，c11=1.5，c20=0.5，c21=2.5。设置BP网络的输入层节点为92，输出层有3个节点，[1 0 0]，[0 1 0]，[0 0 1]分别对应3类不同的水果，隐含层节点受输入层节点影响，隐含层节点数影响模型训练程度。隐含层的节点个数由经验公式h=2n+1（h为隐含层节点，n为输入层节点）确定为185个。隐含层激励函数为tansig，输出层激励函数使用logsig，训练函数使用traingd，学习速率设为0.05，最大允许迭代次数400。

传统PSO-BP神经网络、IPSO-BP神经网络及单一BP神经网络训练之后，对测试样本的识别相对误差进行比较，训练识别绝对误差如图12所示。由图12可以看出，采用IPSO-BP神经网络识别比单一BP神经网络更加精确，绝对误差极大缩小。而IPSO-BP神经网络绝对误差都保持在0.4以内，有更好的拟合能力，说明IPSO-BP神经网络对识别精度的提高具有重要的应用价值。

在浅层学习和深度学习算法下，对水果种类进行识别，不同算法下的识别结果如表1所示。其中，深度置信网络（deep belief networks，DBN）采用单隐含层结构。由表1可以看出，IPSO-BP神经网络识别率相对其他算法最高，平均识别率高于94%;浅层学习SVM识别率最差;BP人工神经网络虽然能够做出识别，但满足不了需求;单隐层的DBN模型对特征的吸收达到了很好的效果。本文对神经网络的权值和阈值使用PSO做优化，提高了分类器的性能，效果较为优异。

为了更好的展示算法的适用性，文中针对提取不同光照、角度、大小的水果颜色、纹理特征分别构建不同的识别模型，不同影响因素下草莓识别率如表2所示。由表2中横向数据可知，相同特征信息进行训练检测，优化的PSO结合BP神经网络识别率不断得到改善。融合色度分割更大程度保留了目标体，十字型LBP纹理提取克服光线的影响。随着提取特征信息详细性增加，光线、角度等外界干扰因素的影响降低。

以同一測试集识别时间作为模型的识别运行时间，不同特征不同算法下苹果识别率和识别时间如表3所示。由表3可以看出，单一特征信息的DBN模型识别率普遍比较低，这是因为DBN深度学习为挖掘数据分布式特征的网络结构，在特征维度较小的情况下不能充分发挥优势。而反观优化的PSO-BP模型识别率高于比SVM模型和BP神经网络，同时在高维度特征中，特征学习能力也得到极大的改善，紧逼深度学习模型;随着特征信息提取维度数的增加，模型运行结构也会相应改变，对测试集识别时间也相应变长。IPSO-BP模型在识别时间不断改善，并且与深度学习DBN模型识别耗时相差不大，可以满足实时检测的要求。

4.3 鲁棒性与对比结果分析

为了更好地证明IPSO-BP算法的有效性，将其与其他文献中运用深度学习算法，且在水果识别中表现优异的结果进行比较分析，IPSO-BP与深度学习算法识别比较如表4所示。

由表4可以看出，虽然标准PSO-BP算法对图形的分割效率和识别能力不能与深度学习结果相媲美，但在优化之后的PSO-BP中，将三种水果识别率与RCNN系列的优化结果相比毫不逊色，且与结合ResNet的SSD算法结果对比中表现出优异性。

5 结束语

本文以优化粒子群算法提高寻优能力为基础，结合BP神经网络为模型对阈值和权值进行改善，既达到提高神经网络性能的目的，又避免了之前研究中出现的计算复杂难度高的问题，实现对水果种类的高质量识别。实验中，借助全新的颜色分量融合聚类的分割方法，克服图像颜色采集过程中的光线干扰，实现对十字型LBP特征的完整提取，对于水果产业的智能识别具有一定的应用价值。但是在特征维数冗余、复杂背景图像干扰以及训练样本数量方面存在不足，在比较中发现，深度学习模型识别的应用会是今后进一步研究的重点。

参考文献：

[1] 李大华， 赵相飞， 许亮， 等. 基于纹理特征与HIS空间的苹果识别与标定[J]. 图学学报， 2016， 37（5）： 688693.

[2] Kuang H L， Chan L L H， Yan H. Multi-Class fruit detection based on multiple color channels [C]∥Proceedings of the 2015 International Conference on Wavelet Analysis and Pattern Recognition. IEEE： 2015： 1215.

[3] 孟欣欣， 吕情深， 周雷， 等. 基于迁移学习的自然环境下香梨目标识别研究[J]. 新疆大学学报， 2019， 36（4）： 461467.

[4] 王前程. 基于深度学习的水果图像识别算法研究[D]. 保定： 河北大学， 2016.

[5] Jia L， Li M， Zhang P， et al. SAR image change dectection based on multiple kernel k-means clustering with local-neighborhood information[J]. IEEE Geoscience Science and Remote Sensing Letters， 2016， 13（6）： 856860.

[6] 张经纬， 贡亮， 黄亦翔， 等. 基于随机森林算法的黄瓜种子腔图像分割方法[J]. 农机化研究， 2017， 39（10）： 163168.

[7] 吴焕丽， 崔可旺， 张馨， 等. 基于改进K-means图像分割算法的细叶作物覆盖度提取[J]. 农业机械学报， 2019， 50（1）： 4250.

[8] 邓向武， 齐龙， 马旭， 等. 基于多特征融合和深度置信网络的稻田苗期杂草识别[J]. 农业工程学报， 2018， 34（14）： 165172.

[9] 张娟利， 宋朝阳， 韩文霆， 等. 基于RGB图像处理的烟叶水分无损检测方法研究[J]. 中国农机化学报， 2019， 40（5）： 6268.

[10] 白灵鸽， 段先华. 改进的LBP算法在图像检索中的应用[J]. 计算机工程与设计， 2019， 40（6）： 16711675.

[11] Ojala T， Pietikainen M， Maenpaa T. Multiresolution gray scale and rotation invariant texture classification with local binary pattrerns[J]. IEEE Trans. On Pattern Analysis and Machine Intelligence， 2002， 24（7）： 971987.

[12] Houssem Lahiani， Mahmoud Neji. Hand gesture recognition method based on HOG-LBP features for mobile devices[J]. Procedia Computer Science， 2018， 126： 254263.

[13] Liu P Z， Guo J M， Chamnongthai K， et al. Fusion of color histogram and LBP-based features for texture image retrieval and classification[J]. Information Sciences， 2017， 390： 95111.

[14] 陈雪鑫， 孙玥， 苗圃， 等. 基于多级纹理特征的深度信念网络人脸识别算法[J]. 计算机应用与软件， 2020， 37（4）： 156163.

[15] 李春利， 深鲁娟. 基于改进LBP算子的纹理图像分类方法[J]. 计算机工程与设计， 2016， 37（1）： 232236.

[16] 吴庆涛， 曹再辉， 施进发. 基于改进颜色直方图和灰度共生矩阵的图像检索[J]. 图学学报， 2017， 38（4）： 543548.

[17] Gu B， Hu H J， Huang H. Hybrid PSO-BP neural network approach for wind power forecasting[J]. International Energy Journal， 2017， 17（4）： 211222.

[18] 张德慧， 张德育， 刘清云. 基于粒子群算法的BP神经网络优化技术[J]. 计算机工程与技术， 2015， 36（5）： 13211326.

[19] 孙卫喜. 用于网络安全态势预测的粒子群与支持向量机算法研究[J]. 计算机应用与软件， 2019， 36（6）： 308316.

[20] Lal S， Behera S K， Sethy P K， et al. Identification and counting of mature apple fruit based on BP feed forward neural network[C]∥ 2017 IEEE 3rd International Conference on Sensing. Chennai India： Signal Processing and Security， 2017： 361368.

[21] 張晓莉， 王秦飞， 冀汶莉. 一种改进的自适应惯性权重的粒子群算法[J]. 微电子学与计算机， 2019， 36（3）： 6670.

[22] 仝秋娟， 赵岂， 李萌. 基于自适应动态改变的粒子群优化算法[J]. 微电子学与计算机， 2019， 36（2）： 610， 15.

[23] 张继荣， 张天. 基于改进粒子群算法的PID控制参数优化[J]. 计算机工程与设计， 2020， 41（4）： 10351040.

[24] 赵越， 吴莹. 自适应PSO-SVM上产期油气操作成本预测模型[J]. 计算机仿真， 2019， 36（11）： 6974.

[25] 徐浩天， 季伟东， 孙小晴， 等. 基于正态分布衰减惯性权重的粒子群优化算法[J]. 深圳大学学报， 2020， 37（2）： 208213.

[26] 张开生， 黄谦. 基于粒子群优化BP神经网络的脉象识别方法[J]. 现代电子技术， 2018， 41（3）： 96100， 106.