基于深度学习的青梅品质智能分选技术与装备研究

张 晓 庄子龙 刘 英 王 旭

(1.南京林业大学机械电子工程学院，南京 210037；2.农业农村部南京农业机械化研究所，南京 210014)

0 引言

青梅对心血管、泌尿、消化系统疾病有明显的预防作用和疗效[1-2]。青梅需经加工后方可食用，不同青梅精深加工产品对原料果的成分特点要求不同，其中糖度低的青梅果主要用于加工糖制青梅、青梅干、话梅等，糖度高的青梅果主要用于加工梅汁类饮品[3]。青梅深加工时主要依据青梅缺陷、糖度等进行原果分类，常规人工分选不仅分级效率较低，且受个人主观因素影响难以实现标准化作业，不能满足市场需求。检测水果糖度时，通常用测定原果中可溶性固形物含量(Soluble solids content，SSC)来表示其糖度，但传统理化检测方法具有破坏性，且效率低下，无法满足实际检测要求[4-5]。

利用光谱成像技术进行原果分选的研究和应用越来越多，外观分类方面，传统的神经网络已无法适应越来越庞大且复杂的数据量[6-7]。近年来深度学习在食品检测领域取得了较多成果[8]，文献[9]将改进的Faster R-CNN(区域卷积神经网络)应用于苹果、芒果、橙子的识别，平均识别率达到91.21%。文献[10]将ResNet网络应用于番茄外表缺陷的识别，识别率达到94.65%。文献[11]对AlexNet网络进行优化，油茶籽完整性识别准确率达到98.05%。

内部品质检测方面，文献[12]利用高光谱成像技术对柑橘葡萄糖、果糖和蔗糖含量进行检测，建立了偏最小二乘回归模型，模型预测相关系数RP分别为0.880 2、0.902 8和0.833 5。文献[13]利用PLSR(偏最小二乘)模型实现小麦蛋白质含量的预测，预测模型相关系数RP为0.798 1，均方根误差为0.009 4。文献[14-15]分别采用结合竞争性自适应权重算法和多元线性回归模型、偏最小二乘回归模型建立了肥城桃、库勒尔香梨的SSC预测模型，模型预测集相关系数分别为0.843 9、0.915。但高光谱图像数据量庞大、冗余度高，采用传统的线性方法数据分析时，耗时较长且效果不理想，还需对高光谱图像进行去噪处理[16-17]，而深度学习能够有效地提取复杂任务的高阶非线性特征来弥补其不足[18-19]。

因此本文以青梅为研究对象，以深度学习技术为基础，将Vision Transformer网络模型应用到机器视觉系统中，实现青梅表面的多类(腐烂、裂纹、疤痕、雨斑、完好5类)检测分选；结合低秩张量恢复(Low-rank tensor recovery，LRTR)的去噪优势和堆叠卷积自动编码器(Stack convolution auto encoder，SCAE)的降维优势，构建LRTR-SCAE-PLSR青梅糖度预测模型；设计并搭建青梅内外品质智能分选装备，以期为青梅加工自动化提供技术支持。

1 整体结构与工作原理

青梅品质智能分选装备主要由外表缺陷检测模块、内部品质检测模块、传送台、装备底座、分选机构、驱动电机、控制系统等组成。其结构如图1所示，整机参数如下：外形尺寸为 3 600 mm×650 mm×1 390 mm，电机总功率为600 W，传动形式为链传动，青梅外表缺陷分选效率不小于1 800颗/h，青梅内部品质分选效率不小于600颗/h。

图1 青梅品质智能分选装备

工作流程如图2所示。首先，青梅进入传送台后由光电传感器触发外表缺陷检测模块，采集青梅外表图像信息；随后，青梅向前运动至内部品质检测模块，采集青梅内部光谱信息；然后，分选系统完成图谱信息处理与分析，对青梅等级作出判断；最终，上位机与西门子PLC s7-200通信，将等级信息传递给分选模块，并启动气嘴将青梅吹入相应等级的分选箱。

图2 青梅智能分选系统工作流程图

2 关键部件设计

2.1 外表缺陷检测模块

缺陷检测模块由彩色相机、环形光源、暗箱、传送台等组成。其中工业相机镜头选用日本Computar 公司的 M1620-MP2型(焦距16 mm、最小物距20 cm)，工业相机选用北京大恒图像技术公司的MER-531-20GC-型工业相机，相机采用安森美PYTHON5000型CMOS传感器芯片，光源采用LED环形光源。具体结构如图3所示。检测时，单颗青梅样品随传送台进入缺陷检测模块后，光电传感器触发彩色相机采集青梅外表图像信息，并传送至上位机图像处理系统，完成图像预处理、背景分割、特征提取、缺陷分选等工作。

图3 缺陷检测模块结构图

2.2 内部品质检测模块

内部品质检测模块主要由光谱相机、光谱检测光源、暗箱、支架、传送台等组成。具体结构如图4所示。其中光谱相机为四川双利合普公司GaiaField-V10E型可见近红外高光谱相机，光谱成像范围为400～1 000 nm，光谱分辨率为2.8 nm；检测光源为PHILIPS Essential光管灯，功率50 W。为了提高分选效率，将顺序进入内部品质检测模块的4颗青梅样品作为一组(青梅体积较小)，由光电传感器触发相机进行高光谱图像数据采集，上位机图像处理系统对光谱数据进行预处理、建模、分析等。

图4 内部品质检测模块结构图

2.3 控制系统

控制系统主要由上位机、PLC控制器、光电传感器、电机、串口模块等组成。硬件构成如图5所示，主要实现青梅智能分选系统的启动和关闭、图像采集与处理、传送机构运行、检测触发、自动分选等，整机的通讯接口采用RS485标准方式传输。上位机图像处理系统对青梅图像信息进行处理与分析后，通过RS485串口通讯将青梅分级信号传输给PLC移位寄存器中，PLC控制器保证青梅分选信息与其位置一致，确保青梅品质智能分选系统能够实时检测、准确分选。

图5 控制硬件构成图

2.4 传送及分选机构

传送及分选机构主要由传送台、步进电机、气动喷嘴、分选箱、气泵等组成，如图6所示。青梅经传送台进入分选机构后，PLC控制器依据分选信息启动相应的气动喷嘴将青梅吹入对应的分选箱内，完成青梅的分选工作。

图6 青梅传送及分选机构

3 智能分选算法

3.1 基于Vision Transformer的青梅外表缺陷分类模型

在图像分类领域，常见的卷积神经网络(CNN)利用不断地堆积卷积层运算提取局部特征，在提取全局特征方面存在一定的局限性。而Vision Transformer(ViT)模型作为一种基于Self-Attention机制的编码器-解码器架构，不采用RNN(循环神经网络)顺序结构，并行化训练，能够反映复杂的空间变换和长距离特征依赖性，通过Softmax函数减少梯度[20-21]；Multihead self-attention基于多头注意力机制联合不同学习得到的信息，增加多组独立权重、参数量，以提升表达能力，其全局特征表示能力更强、迁移效果更好[22]。

3.1.1图像预处理与数据集制作

2021年5月由云南省网购1 200个青梅样本，由于单颗青梅表面缺陷具有多样性，采集并筛选了具有典型外观缺陷RGB图像1 250幅，结合青梅分选需求，按严重程度将青梅分为5类：腐烂(严重程度最高)、裂纹、疤痕、雨斑、完好，如图7所示。以比例8∶2随机抽取划分训练集和验证集，并将训练集和测试集的数据分别通过镜像、以每45°旋转角度来扩展数据集，获得10倍增量，获得训练集样本10 000个，验证集样本2 500个。

图7 青梅样本分类

原始青梅RGB图像预处理既可以减少背景对缺陷识别的影响，又可以提升网络分析、处理的速度。具体过程如下：利用11×11卷积核进行高斯滤波转化成灰度图，采用自适应阈值二值化、Laplacian滤波、Canny算子边缘提取，最终获得224像素×224像素的青梅图像。

研究软硬件为：系统Windows 10、处理器Inter I9-9900K 3.60 GHz、显卡 Nvidia GeForce RTX 2080 Ti(11GB)、环境配置 PyCharm+Pytorch 1.7.1+Python 3.7.7 Cuda 10.0+cudnn 7.6.5+tensorboardX 2.1。

3.1.2青梅分类算法

ViT模型由3个模块组成：Linear projection of flattened patches(Embedding层)、Transformer encoder、MLP head。首先通过Embedding层进行数据变换，输入图像(224像素×224像素)按照16×16尺寸划分成196个Patches，使用卷积核大小为16×16、步距为16、个数为768的卷积来实现，采用将Position embedding和Patch embedding相加的方式能够更好地反映全图信息；其次数据进入Transformer encoder层，重复堆叠Encoder blockL次，Transformer encoder后输出的Shape与输入的Shape一致；最后通过MLP head中Linear得到青梅分类结果。青梅算法框架图如图8所示。

图8 缺陷分类算法框架图

其中Encoder第1层输入

(E∈R(P2C)×D；Epos∈R(N+1)×D)

(1)

E——Patch embedding矩阵

Epos——Position embedding矩阵

xclass——输入分类值

P——Patch尺寸

C——通道数

N——D维向量的个数

Encoder第l层，输入记为Zl-1，输出记为Zl，公式为

(2)

(3)

式中MSA——多头注意力机制参数

MLP——多层感知器参数

LN——图层归一化参数

3.2 基于LRTR-SCAE-PLSR的青梅内部品质预测模型

3.2.1高光谱图像采集及预处理

利用理化检测方法(便携式糖度计等仪器设备)获取不同青梅样本的糖度(SSC)。采集1 000个不同成熟度青梅样本高光谱数据，按照3∶1比例划分为训练集和测试集。对得到的高光谱数据进行黑白校准。

利用高光谱成像系统采集青梅图像，每颗青梅采集119帧光谱图像，利用ENVI 5.3软件确定图像的感兴趣区域ROI(Region of interest)，并提取青梅样本在ROI的平均光谱作为该样本的原始光谱数据。利用PyCharm 2019软件对青梅光谱数据进行预处理、建模、分析等。图9为所有青梅样本的原始光谱反射率曲线。

图9 青梅样品原始光谱反射率曲线

3.2.2低秩张量恢复

高光谱成像具有潜在的低秩张量性质和稀疏性，利用张量模型进行降噪处理能够比较充分地利用其在3个维度空间的互补信息[23]。LRTR基于低秩表示与张量分解的高光谱降噪算法研究将 LRMR(低秩矩阵恢复)模型扩展到张量模型之中，提升了降噪性能[24]。本文基于低秩张量恢复LRTR对青梅高光谱图像进行降维去噪处理，利用核范数作为秩函数的凸代理函数，应用于张量的不同展开。

将原始含噪的高光谱数据Y∈Rn×b分解成低秩矩阵Xn∈RI1×I2×I3和稀疏噪声矩阵Sn∈RI1×I2×I3(n=1,2,3)。最小化问题可以转换为

‖Y(n)-(Xn)n-(Sn)n‖F≤δ

(4)

式中 (Xn)(n)——张量Xn的模n展开矩阵

‖X‖2,1——矩阵X中每行L2范数之和

‖·‖F——Frobenius范数，即矩阵元素绝对值的平方和再开平方

Y——原始含噪的高光谱数据矩阵

Ymin——优化后最小化高光谱数据矩阵

λ——正则化参数，用于平衡张量秩函数与范数

δ——常数，与高斯分布噪声标准差相关

使用IALM(不精确拉格朗日乘子法)解决最优化问题，求解公式为

(5)

其中Λn=Tn/βTn∈TI1×I2×I3

式中β——惩罚参数

Tn——拉格朗日乘子

Dτ(·)为奇异值阈值算子，其定义为

Dτ(X)=USτ(Σ)VT

(6)

X=UΣVT

Sτ[x]=sgn(x)max(|x|-τ,0)

其中

τ=λ/β

式中X——初始输入低秩矩阵

U、V——正交矩阵Σ——对角矩阵

Sτ——收缩算子

更新(Sn)(n)，可以求解表达式

(7)

上述优化问题通过向量软阈值函数求解，公式为

(8)

3.2.3堆叠卷积自动编码器模型

堆叠卷积自动编码器网络由多个卷积自动编码器(Convolutional auto-encoders，CAE)堆叠而成[25]，将编码层和解码层分别建模成深度卷积神经网络。利用卷积神经网络的卷积和池化操作，实现特征不变性提取的无监督提取。为尽可能减小自编码器输入与输出数据之间的差异，自编码器损失函数为

(9)

式中W——权重bJ——偏置

n——输入样本个数

xi、yi——第i个样本的输入和输出值

误差计算公式为

(10)

式中h——编码后的隐含层特征参数

y——确定参数wh、bh、by后的输出数据

x——输入数据

3.2.4LRTR-SCAE-PLSR青梅糖度预测模型

本文结合低秩张量恢复的去噪优势和堆叠卷积自动编码器的降维优势，构建了LRTR-SCAE-PLSR模型对不同青梅样本的糖度进行预测。选用相关系数R和均方根误差(RMSE)作为模型性能评价指标：训练集相关系数RC、均方根误差(RMSEC)；预测集相关系数RP、均方根误差(RMSEP)。RMSEC和RMSEP越小且R越大的情况下，模型性能和预测效果越好。输入为119维的青梅高光谱特征曲线。具体模型预测流程如图10所示。

图10 青梅糖度预测流程图

基于LRTR-SCAE-PLSR青梅糖度预测模型主要步骤如下：

(1)利用低秩张量恢复方法对青梅样本ROI光谱数据进行求解寻优，对正则化参数λ、惩罚参数β、拉格朗日乘子Tn等参数寻优，得到低秩矩阵Xn和稀疏噪声矩阵Sn。

(2)低秩矩阵Xn作为SCAE网络输入，激活函数为Sigmoid函数，学习率设置为0.2。利用SCAE网络中权重参数w、b，对隐含网络层数m、隐含层神经元个数j进行调参寻优。

(3)构建SAE-PLSR预测模型，将输出结果与理化检测数据进行对比，计算误差并反向传播，训练网络寻优，直至输出青梅样本SSC预测。

4 试验与结果分析

4.1 青梅缺陷分类结果与分析

青梅缺陷分类网络代码采用Python编写，利用深度学习框架PyTorch定义网络计算图，在迁移学习策略基础上对其进行优化，加速训练学习速度。将测试集青梅数据导入训练好的青梅缺陷检测网络模型，得出测试结果，如图11所示。

图11 青梅缺陷判别准确率曲线

基于ViT模型青梅缺陷分类网络的训练集平均判别准确率达到99.53%，验证集平均判别准确率达到99.16%。由图12可知，280个疤痕缺陷青梅图像、800个腐烂缺陷青梅图像、460个完好青梅图像、160个裂纹缺陷青梅图像均被正确识别，其准确率达到100%。但800个雨斑缺陷青梅中有779个被正确识别，21个被误识为完好青梅，占比2.6%。根据截图识别结果分析，如图13所示部分测试结果，红色框选为识别错误的图像，该图像上雨斑的位置较偏、雨斑点数较浅，雨斑未被识别，所以识别错误。

图12 青梅缺陷分类测试混淆矩阵图

图13 青梅测试结果截图

将ViT网络与VGG网络、ResNet-18网络进行模型性能对比，以各类判别准确率、平均判别准确率、每组平均测试时间(每32幅图像为一组)作为评价指标。将3个网络模型充分训练，在训练集上交叉熵损失均小于0.005时得到3种模型，将模型在同一未知样品数据集上进行测试，得到最终准确率，结果如表1所示。可知ViT网络平均判别准确率达到99.16%，其中腐烂、疤痕、裂纹以及完好青梅图像的各类判别准确率达到100%，雨斑达到97.38%，均明显优于其他网络，但其每组平均测试时间为100.59 ms，稍大于其他两组网络。ViT网络以其独有的多头注意力机制，增加多组独立权重，全局特征表示能力更强、迁移效果更好，验证了其在缺陷分类性能上的优越性；但参数量增加，致使其运算时间加长。

表1 与其他网络的青梅缺陷测试结果对比

4.2 青梅糖度预测结果与分析

采用低秩张量恢复和堆叠卷积自动编码器对青梅样本高光谱数据进行去噪和降维处理，提取低维特征。试验可知，SCAE网络隐含层数m、隐含层神经元个数j是影响模型预测结果的重要因素，3种不同模型规模的青梅糖度预测结果如图14，不同网络层数及隐含层神经元个数对应的预测结果如表2所示。

图14 不同网络规模青梅糖度预测结果

表2 基于LRTR-SCAE-PLSR青梅糖度预测结果

由表2可知，当隐含层数为3，网络规模为 119-90-55-36时，LRTR-SCAE-PLSR模型最终预测集相关系数RP最大，为0.965 4，RMSEP最小，为0.582 7%；特征数为36，降维效果明显。网络规模为119-90-55-36-27时，RP为0.906 1，RMSEP为0.732 3%，随着网络层数增加，网络训练成本加大，预测集相关系数RP并未进一步提高，可能是网络层数增加导致训练误差变大的原因。

与其他回归模型预测结果的对比如表3所示。由结果可知，对于PLSR回归模型，经过SCAE降维后，原高光谱数据降至47维，RC为0.945 1，RP为0.930 8，而LRTR-SCAE处理后，数据维度降至36，RC为0.978 3，RP为0.965 4，不仅维度更低，预测集相关系数也明显提高，验证了LRTR-SCAE模型的降维去噪优势，有效提取了原光谱的有效特征，优化了模型规模。对于BP、SVR、PLSR这3种不同回归模型，在模型规模、训练集相关系数RC和预测集相关系数RP方面，PLSR回归模型表现均明显优于其他模型，故青梅糖度预测最终确定选用LRTR-

表3 各模型预测结果对比

SCAE-PLSR模型。

5 青梅分选人机交互系统

青梅品质分选系统主要完成对采集的青梅图像信息和光谱信息进行处理、分析、判定等，并在界面显示功能及预测结果等，具体如图15所示。交互系统软件主要是基于Windows平台利用PyQt5进行设计搭建。依据青梅深加工对品质的实际需求，综合考虑青梅表面缺陷以及糖度(SSC)预测结果，将青梅分为4个品级。具体如下：根据外表缺陷，一等品为完好，二等品为雨斑，三等品为裂纹、疤痕，四等品为腐烂；根据内部品质(糖度)，SSC为6%以上时是一等品，为4%～6%时是二等品，为2%～4%时是三等品；为2%以下时是四等品。当缺陷、SSC属于同一品级时，青梅将被分为该品级，当缺陷、SSC不属于同一品级时，将根据较低品级进行判定。

图15 计算机软件界面

6 结论

(1)青梅外表缺陷分类方面，结合青梅分选需求，以ViT网络模型为基础，通过softmax函数减少梯度，引入多头注意力机制，其全局特征表示能力更强、迁移效果更好。平均判别准确率达到99.16%，其中腐烂、疤痕、裂纹以及完好青梅图像的判别准确率达到100%、雨斑达到97.38%。ViT网络的平均判别准确率、各类判别准确率均明显优于VGG网络、ResNet-18网络。但其每组平均测试时间为100.59 ms，略高于VGG网络、ResNet-18网络的86.56、81.69 ms，主要是参数量增加，致使其运算时间加长。

(2)青梅内部品质(SSC)预测方面，基于高光谱成像技术，结合低秩张量恢复的去噪优势和堆叠卷积自动编码器的降维优势，构建了LRTR-SCAE-PLSR青梅糖度预测模型。网络规模为119-90-55-36时，模型预测集相关系数为0.965 4，均方根误差为0.582 7%，表现最佳；但随着网络层数增加，RP并未进一步提高，可能是网络层数增加导致训练误差变大。通过与BP、SVR回归模型比对，在模型规模、训练集相关系数RC和预测集相关系数RP方面，LRTR-SCAE-PLSR模型表现最优。通过SCAE、LRTR-SCAE两种降维模型比对，LRTR-SCAE模型不仅维度更低，预测集相关系数也明显提高，验证了LRTR-SCAE模型的降维去噪优势。

(3)基于上述外表缺陷分类及内部品质预测模型，设计并搭建了可用于青梅内外品质无损分选的智能装备，主要由外表缺陷检测模块、内部品质检测模块、传送机构、分选机构、控制系统、人机交互系统等组成。该装备整机尺寸小，结构简单，分选结果满足青梅深加工需求，对提高青梅产品附加值具有重要意义。