基于CNN的冰糖橙分级系统

费琦琪 施杰 夏敏 李刚 果霖 张天会

摘要：为了提高冰糖橙的产业竞争力和效益，在售前对其进行分级是一道重要的工序。针对传统的冰糖橙表面缺陷分级方法存在工作繁琐且受人为因素干扰大的问题，本研究设计了一种将卷积神经网络（Convolutional Neural Networks，CNN）算法与虚拟仪器技术相结合的冰糖橙表面缺陷智能分级系统，并基于LabVIEW2018平台设计开发了一套冰糖橙分级系统。通过实验验证，该系统识别率达96.67%，验证了该分级方法和分级系统的有效性和可行性。

关键词：冰糖橙分级;积神经网络;LabVIEW;系统设计

中图分类号：TP274+3;S666.4文献标识码：A文章编号：1000-4440（2020）02-0513-07

Abstract：In order to improve the industrial competitiveness and efficiency of Bingtang sweet orange， grading is an important process before sale. In view of the traditional surface defect classification method of Bingtang sweet orange， there are some problems that the feature extraction is complicated and disturbed by human factors. In this study， an intelligent grading system for Bingtang sweet orange surface defect classification was designed based on convolutional neural networks（CNN） algorithm and virtual instrument technology. In addition， the Bingtang sweet orange grading system was designed and developed based on LabVIEW 2018. Through experimental verification， the recognition rate of the system reaches 96.67%， which proves the feasibility and effectiveness of the classification method and system.

Key words：Bingtang sweet orange classification;convolutional neural networks（CNN）;LabVIEW;system design

国内市场上对水果外观品质分级仍以人工和筛孔式机械设备分级为主，存在分级效果不理想，表皮易受损等问题[1-2]。近年来，越来越多的学者运用机器视觉技术，针对果实的外观检测进行研究。如：Sajad等[3]利用人工神经网络-人工蜂群算法（Artificial neural network-artificial bee colony algorithm，ANN-ABC）研究柑橘类水果的自动鉴定，取得了比较好的分类效果。王海青等[4]利用数学形态学方法对黄瓜图像进行处理，识别率达82.9%。赵娟等[5]利用一种基于面积比的数字处理方法来检测苹果外观缺陷，检测正确率为92.5%。胡发焕等[6]利用支持向量机（Support vector machine，SVM）对脐橙大小、表面缺陷等进行分级，经验证，识别率达91.5%。以上研究主要采用传统的分级方法，先对目标样本进行特征值提取，再利用不同的分类器实现分级，但此类方法需要人工提取图中多种甚至几十种特征值，存在工作量大、人为干扰因素过多的缺点，且人工提取特征值越来越难以应对更复杂多样性的果实分级需求。

目前，借助虚拟仪器技术来实现果实分级系统的研究取得了一定成果，Megha等[7]提出了一种基于图像处理技术的番茄果实自动分级系统，并对几种番茄果实图像进行了系统试验验证。卢勇威[8]设计了一种基于图像处理算法来提取水果特征从而实现分拣的系统，但未对系统进行检验，实用性有待考证。邓立苗等[9]利用图像处理方法设计了一种马铃薯智能分选系统，并对系统进行检测。大多分级系统都是基于传统的分级方法来实现系统分级要求。

因此，针对以上分级方法及系统存在的问题，本研究设计了一种將CNN算法与虚拟仪器技术相结合的冰糖橙分级系统。该系统分级方法与传统的分级方法相比，可自主训练学习冰糖橙样本，提取冰糖橙缺陷特征实现分级，解决了人工提取特征所带来的工作繁琐且干扰因素较多的问题。同时，该系统由硬件树莓派和LabVIEW平台共同开发组成，可安装于分级装置中进行分级检测。本研究重点讨论利用LabVIEW平台来实现冰糖橙分级系统的设计与实现，并开发了冰糖橙分级系统软件。

1卷积神经网络模型

卷积神经网络是深度学习的代表算法之一，是一类受视觉系统结构启发而产生的神经网络，由生物学家Hubel和Wiesel于1962年提出[10]。该网络是一类特殊的深度前馈神经网络，主要由输入层、卷积层、池化层（又称下采样层）、全连接层和输出层组成[11-12]。该网络可自主学习图像特征，无需对输入与输出层进行精确的数学关系或特征数值设置，大大提高了工作效率。

一般而言，CNN模型的输入层是将N幅H（高度）×W（宽度）×D（网络通道数）的图像输入到第一个卷积层。若输入图像为灰度图像，则D = 1;若输入图像为 RGB 图像，则D = 3。

图1是CNN的经典模型LeNet模型。该模型网络结构共8层，输入层采用32×32像素图片，C1层（卷积层）：采用6个大小为5×5的卷积核与输入层的图片卷积得到C1层的6个特征图大小为28×28。 P2层（池化层）：采用2×2池化单元与C1层得到的特征图作池化，得到P2层的6个特征图大小为14×14。C3层（卷积层）：采用16个大小为5×5的卷积核与P2层的特征图作卷积，得到C3层的16个特征图大小为10×10。P4层（池化层）与P2层同理，得出P4层的16个特征图大小为5×5。 C5层（卷积层）：采用120个大小为5×5的卷积核与P4层特征图作卷积，得出120个1×1的特征图。F6层（全连接层）：采用84个单元。输出层根据冰糖橙的外观缺陷分3个等级，采用3个节点。

2基于LabVIEW的冰糖橙分级系统设计

2.1系统概述

冰糖橙分级系统由图像采集 、图像处理、CNN处理及识别结果4个部分组成，除图像采集需用硬件与软件结合来实现，其他均可用软件实现。本研究设计的冰糖橙分级系统由图像采集硬件与软件组成。图像采集硬件设计如图2所示，主要由摄像头、Raspberry Pi、载物台及电脑组成。其中摄像头与Raspberry Pi通过以太网的方式与电脑连接。软件部分以LabVIEW2018为平台，开发冰糖橙分级系统。整个冰糖橙分级系统运行工作流程如图3所示。

2.2系统需求建模

需求建模的过程是用例的获取过程，可以通过UML（Unified modeling language ）的用例图来实现[13]。图4是冰糖橙分级系统的用例模型，主要分为系统管理员、注册用户及系统用户，并包含了3个角色可使用的用例及相互关系。

2.3冰糖橙分级系统软件设计

根据系统要求及功能所需分析，系统软件可细分为用户管理、图像采集、图像处理、CNN参数设置及分级识别5个模块，其功能模块如图5所示。

（1）用户管理模块：为实现系统安全性，设置用户登录验证等功能，采用分级限权管理方式，分成“普通用户”和“管理员”2种限权管理。

（2）图像采集模块：系统使用前需要设置手动采集或自动采集的模式设置，并将采集到的图像在界面显示。

（3）图像处理模块：收到图像信息，先对图像进行规格化即改变图像大小，再进行中值滤波、灰度化、二值化、腐蚀膨胀、边缘检测5种图像处理，并保存及显示6种图像。

（4）CNN处理模块：在系统运行前，设置CNN参数，包括对学习率（α）、迭代次数和CNN模型设置。

（5）分级识别模块：选择图像规格化处理后的冰糖橙样本作为待分级识别目标，通过卷积计算，输出识别结果。

2.4CNN處理模块设计与实现

本研究基于LeNet网络模型，研究彩色冰糖橙表面图像即三通道的RGB空间分量来调整模型结构。本研究构建的冰糖橙缺陷分级卷积模型共12层，包括1个输入层，5个卷积层，3个池化层，2个全连接层，1个Softmax输出层，结构如图6所示。采用Relu为激活函数来增加网络的非线性分割能力，并防止函数反向传播时出现梯度爆炸情况。

为实现CNN处理模块，利用LabVIEW中的Matlab Script节点，将Matlab强大的图像处理功能运用于LabVIEW程序中。在LabVIEW函数面板中数学模块的脚本与公式选版中打开Matlab Script节点，右击选择要导入的m文件，然后根据所需在节点边界上添加输入输出变量，并确定变量的数据类型[14]。运行LabVIEW程序时，系统会自动启动Matlab进程。冰糖橙分级系统的CNN处理模块程序框图如图7所示。

2.5冰糖橙分级系统实现

根据系统需求，在Window XP平台下，基于LabVIEW2018平台开发一套基于卷积神经网络的冰糖橙分级系统软件，登录界面和系统界面分别如图8、图9所示。

3试验验证

3.1试验图像采集及预处理

本研究冰糖橙样本主要产自贵州黔南，冰糖橙表面缺陷主要分为3类，优质：无花皮无疤痕;普通：有花皮;劣质：有较多花皮、有疤痕。系统的采集模块共采集冰糖橙外表优质样本63，普通样本74，劣质样本84，部分样本图像如图10所示。为了减少过拟合问题，将采集到的3种图像通过旋转镜像的图像处理方法，得到3类图像样本集，分别为315、370、420，再从每个样本集随机抽取300张图作为试验的数据集，并按照7∶3的比例划分训练集和验证集。训练集用来训练网络，验证集用来观察分级精度。

3.2CNN模型试验验证

在卷积神经网络中，超参数的选择对于模型训练的好坏有着直接的影响，学习率是影响模型好坏的关键因素之一[15]。学习率太小时，模型训练时间会变得很长，收敛速度过慢;学习率太大时，则会阻碍网络收敛，引起振荡。本试验以文献[16]提供的设置深度学习网络学习率的方法作为参考，设置初始学习率为0.1，迭代次数10，每训练1次，以10-1的方式减少学习率，选取最好精度最好的学习率不变，改变迭代次数，观察验证精度，用此方法来逐个确定参数，结果如表1所示。

由表1所示，设置初始学习率为0.1，迭代次数10，得出验证精度为79.63%，保持迭代次数不变，改变学习率，当学习率降低到0.001时验证精度最高，可达96.30%，继续降低学习率，验证精度减小，所以选定0.001的学习率不变，增加迭代次数，当迭代次数达到40时，验证精度最高，达98.15%，继续增加迭代次数，验证精度反而降低，这是由于过拟合的原因，因此，选定模型参数α为0.001，迭代次数为40。为了直观训练过程中损失与精度的变换，通过日志进行解析，绘制损失与训练精度曲线（图11）。

由图11可以看出：随着迭代次数增加，在0至10迭代次数过程中，整体的训练精度迅速提高，整体损失误差下降至0.2以下，且训练精度达到90%以上;当迭代次数达到40次时，整体损失误差下降至0.1左右，训练精度可达98%以上。结果表明，系统理论模型设计的12层CNN模型，在短时间内可快速高效地提取3种冰糖橙表面缺陷特征，且训练精度在短时间内达到较高水平。

将LeNet CNN模型，与本研究改进的CNN模型做对比，用相同的训练验证集循环试验5次，得出LeNet CNN模型验证平均精度为93.72%，比本研究改进的CNN模型验证平均精度（97.81%）低4.09个百分点。取2种模型的最高验证精度变化进行比较，如图12所示，LeNet CNN模型验证精度为94.44%，比本研究改进的冰糖橙模型验证精度98.15%低3.71个百分点。证明本研究改进的CNN模型具有更好的识别率。

3.3冰糖橙分级系统验证

冰糖橙分级系统功能验证只针对冰糖橙表面缺陷识别分类，验证方法：选择60个没有进行过训练的冰糖橙样本，其中优质、普通、劣质分别为20个，进行系统识别。验证结果：20个冰糖橙优质样本和劣质样本全部识别正确;20个冰糖橙普通样本，有2个被识别成劣质;共正确识别58个，识别率达96.67%，满足冰糖橙分级系统的功能需求，验证了冰糖橙分级系统的有效性。

4结论

本研究提出用卷积神经网络的深度学习算法来处理分级问题，与传统的图像处理技术相比，更能快速有效地提取冰糖橙表面缺陷特征，在一定程度上，解决了传统分级方法提取特征时，带来的工作繁琐且耗时久等问题。由于卷积神经网络算法在处理图像检测分类问题上有很好的通用性[17]，一定程度上解决了传统分级方法只能针对冰糖橙类适用的不变通性。将虚拟仪器技术应用于分级技术领域，降低了冰糖橙分级成本，提高了实用价值和分级过程的可视化程度。

本研究基于LabVIEW2018平台开发的冰糖橙分级系统具有操作简单，开放性好的特点。通过实验，冰糖橙分级系统识别率达96.67%，证明该系统满足分级识别要求。

参考文献：

[1]李梅.水果分拣技术的研究现状与发展[J].江苏理工学院学报，2018，24（2）：121-124.

[2]AMIN N，AMIN T G，ZHANG Y D. Image-based deep learning automated sorting of date fruit[J]. Postharvest Biology and Technology，2019，153：133-141.

[3]SAJAD S，YOUSEF A G，GINS G M. A new approach for visual identification of orange varieties using neural networks and metaheuristic algorithms[J]. Information Processing in Agriculture，2018，5（1）：162-172.

[4]王海青，姬長英，顾宝兴，等.基于机器视觉和支持向量机的温室黄瓜识别[J].农业机械学报，2012，43（3）：163-167，180.

[5]赵娟，彭彦昆，SAGAR DHAKAL，等.基于机器视觉的苹果外观缺陷在线检测[J].农业机械学报，2013，44（S1）：260-263.

[6]胡发焕，董增文，匡以顺.基于机器视觉的脐橙品质在线分级检测系统[J].中国农业大学学报，2016，21（3）：112-118.

[7]MEGHA P A， LAKSHMANA. Computer vision based fruit grading system for quality evaluation of tomato in agriculture industry[J]. Procedia Computer Science，2016，79：426-433.

[8]卢勇威. 基于机器视觉的水果分拣系统[J].装备制造技术，2017（3）：163-165，168.

[9]邓立苗，韩仲志，徐艳，等. 基于机器视觉的马铃薯智能分级系统[J].食品与机械，2014，30（5）：144-146.

[10]HUBEL D H，WIESEL T N. Receptive fields， binocular interaction and functional architecture in the cats visual cortex[J]. The Journal of Physiology， 1962， 160（1）：106-154.

[11]HINTON G E，OSINDERO S，THE Y W. A fast learning algorithm for deep belief nets[J]. Neural Computation， 2006， 18 （7）： 1527-1554.

[12]郑远攀，李广阳，李晔. 深度学习在图像识别中的应用研究综述[J].计算机工程与应用，2019，55（12）：20-36.

[13]施杰，李欢，果霖，等. 基于EMD和包络解调的轴承故障诊断系统研究[J].煤矿机械，2015，36（6）：309-312.

[14]孙小明. 基于LabVIEW和Matlab混合编程的滚动轴承故障诊断系统[J].电子科技，2018，31（7）：11-14.

[15]伍锡如，雪刚刚，刘英璇. 基于深度学习的水果采摘机器人视觉识别系统设计[J].农机化研究，2020，42（2）：177-182，188.

[16]SMITH L N. Cyclical learning rates for training neural networks[C]//IEEE. 2017 IEEE Winter Conference on Applications of Computer Vision （WACV）. Santa Rosa，USA：IEEE， 2017：464-472.

[17]赵建敏，李艳，李琦，等.基于卷积神经网络的马铃薯叶片病害识别系统[J].江苏农业科学，2018，46（24）：251-255.

（责任编辑：陈海霞）