基于改进MobileNetV3-Large的鸡蛋新鲜度识别模型

刘 雪，沈长盈，吕学泽，董萌萍，包乾辉，张圆之

基于改进MobileNetV3-Large的鸡蛋新鲜度识别模型

刘 雪1，沈长盈1，吕学泽2,3，董萌萍1，包乾辉1，张圆之1

（1. 中国农业大学信息与电气工程学院，北京 100083；2. 中国农业大学动物医学院，北京 100193；3. 北京市畜牧总站，北京 100101）

鸡蛋在运输贮存过程中一直伴随着品质的不断衰减，如何快速、准确地识别鸡蛋新鲜度是业界和学者们共同关注的话题。针对鸡蛋内部气室和蛋黄等新鲜度特征差异不显著的问题，该研究提出一种基于改进MobileNetV3-Large的轻量级鸡蛋新鲜度识别模型。首先在深度可分离卷积中引入动态卷积（Dynamic Convolution, DC）模块，改进后的深度可分离动态卷积模块能够为不同的鸡蛋图像动态生成卷积核参数，提高模型特征提取能力；其次在注意力模块中引入坐标注意力（Coordinate Attention, CA）模块，增强模型对位置信息的感知能力；最后采用3 276张鸡蛋图像训练并测试改进的MobileNetV3-DA模型。试验结果表明，MobileNetV3-DA模型在测试集上的准确率为97.26%，分别比ResNet18、VGG19和ShuffleNetV2模型高5.19、0.84和5.91个百分点；模型参数量和计算量分别比MobileNetV3-Large减少1.03和78.64 M；在实际应用中，MobileNetV3-DA模型精确率、召回率和加权分数的平均值分别为95.95%、95.48%和97.82%，达到了理想的识别效果。改进的MobileNetV3-DA模型为鸡蛋供应链各环节进行鸡蛋新鲜度快速、准确识别提供了算法支持。

农产品；品质控制；鸡蛋新鲜度；MobileNetV3-DA；动态卷积；坐标注意力

0 引 言

鸡蛋营养价值丰富，含有人体必需的优质蛋白质，而且价格低廉，是人类膳食优质蛋白质的重要来源[1]。然而在运输贮存过程中，一直伴随着鸡蛋品质的不断衰减。鸡蛋新鲜度的下降不仅会导致口感、品质和营养的损失，影响鸡蛋价值[2-3]，而且鸡蛋质变产生的微生物污染容易引起食源性疾病爆发[4]，甚至危及消费者的生命健康[5]。因此，如何快速、准确、低成本地进行鸡蛋新鲜度识别一直是业界和学术界共同关注的问题。

近年来，随着计算机和信息技术的迅速发展，国内外学者成功地将计算机视觉技术应用于芒果[6]、菠菜[7]和猪肉[8-9]等农产品新鲜度识别中。其中，传统图像处理法一般是在人工提取样本图像中的颜色、形态和纹理特征的基础上[10-11]，构建基于特征参数与新鲜度指标相关联的识别模型。黄辰等[12]通过获取苹果图像中的果径、缺陷面积、色泽等特征参数，采用粒子群优化的支持向量机实现了苹果的在线分级；Shi等[13]以罗非鱼为研究对象，选择瞳孔和鳃为感兴趣区域，建立了颜色空间与理化指标的联系，实现了罗非鱼新鲜度识别。基于鸡蛋新鲜度衰减过程中气室[14]和蛋黄[15]等区域呈现的不同形态和颜色信息，Qin等[16]提取了鸡蛋图像中的气室面积比，建立回归模型验证了气室面积比与鸡蛋新鲜度呈显著负相关；Yao等[17]选取了鸡蛋图像中的蛋黄形态特征比为特征参数，发现新鲜鸡蛋的平均蛋黄特征比值约为35%，散黄蛋的平均蛋黄特征比值大于60%，实现了鸡蛋新鲜度识别；梁丹等[18]根据鸡蛋图像中气室和蛋黄等形态呈现的颜色差异，建立了颜色特征分量与新鲜度的联系。传统图像处理法能够实现较好的农产品新鲜度识别效果，具有低成本、高准确率、快速检测的优点，然而由于需要人工提取图像目标特征，所以模型的表达能力、泛化能力和效率仍然需要进一步加强。

深度学习技术的发展为农产品新鲜度识别研究提供了新思路。目前，深度学习技术已被应用于番茄[19]、猪肉[20]和虾[21]等农产品新鲜度识别。李振波等[22]提出改进VGG19的鲳鱼新鲜度识别方法，识别准确率高达99.79%，验证了鲳鱼腹部特征是新鲜度识别最有效的信息；Jiang等[23]在GoogLeNet中引入注意力模块增强模型对鸡蛋图像中气室和蛋黄区域的关注，鸡蛋新鲜度识别准确率达到94.05%。上述深度学习方法在新鲜度识别中具有更高的效率，但仍存在模型复杂度高，识别速度慢等问题。随着深度学习技术的进一步发展，速度更快、参数量更少的轻量级模型不断出现。其中，MobileNet系列模型[24-26]能够快速准确地识别不同类别的差异，具有速度快、灵活性高的特点，目前已被广泛应用于病虫害识别[27]、果实识别[28]等领域，但在农产品新鲜度检测中的应用较少。因此，为实现鸡蛋新鲜度快速检测，本研究将轻量级模型MobileNetV3-Large应用于鸡蛋新鲜度识别。

由于鸡蛋新鲜度的衰减是一个持续渐进过程，期间鸡蛋内部气室和蛋黄的形态特征变化并不显著。为了提高对鸡蛋内部形态微小变化特征检测水平，本研究构建了基于MobileNetV3-Large的MobileNetV3-DA鸡蛋新鲜度识别模型。首先在深度可分离卷积中引入基于图像内容自适应生成卷积核的动态卷积（Dynamic Convolution, DC）模块[29]，改进后的深度可分离动态卷积模块通过动态调整卷积核参数，能够提高模型的特征提取能力；其次在注意力模块中引入坐标注意力（Coordinate Attention, CA）模块[30]，增强模型对位置信息的感知能力，提高模型的特征表达能力；最后通过试验验证构建的MobileNetV3-DA鸡蛋新鲜度识别模型的效果。

1 材料与方法

1.1 图像采集与预处理

试验样本为北京市某蛋鸡养殖场提供的当日产京白939鸡蛋。鸡蛋在采集后2 h内被送至实验室。去除无污斑、无裂纹以及质量过大或过小的鸡蛋，选取单枚质量在45～65 g之间的新鲜鸡蛋300枚为试验样本。将鸡蛋编号后平均分为6组，储存在温度20 ℃、相对湿度75%的恒温培养箱中。

试验过程中，首先每天采集全部鸡蛋的图像，按照分组编号将采集的图像存于计算机中；然后每天从各组中分别选取2枚鸡蛋测定哈夫单位（Haugh Unit, HU）值，并据此确定鸡蛋图像对应的新鲜度等级。试验每天连续进行，直到HU值下降到55以下，按照商务部《鲜鸡蛋、鲜鸭蛋分级》（SB/T 10638-2011）[31]，新鲜度过低不可食用，结束试验。

a. 原图b. 亮度增强c. 亮度减弱d. 旋转 a. Original figureb. Brightness enhancementc. Brightness attenuationd. Random rotation

1.2 鸡蛋新鲜度确定

HU是鸡蛋新鲜度的重要表征指标[31]。HU值越高，鸡蛋越新鲜。HU值的计算公式如（1）所示。

式中为浓蛋白层高度，mm；为鸡蛋质量，g。HU值测定方法为[32]：首先利用电子秤获取鸡蛋质量；随后将鸡蛋破壳放置于白色平底板上，用蛋白高度测定仪测量蛋黄边缘与浓蛋白边缘中点的浓蛋白高度（避开系带），测量呈正三角形的3个点，取平均值得到浓蛋白高度；最后按照公式（1）计算HU值。

本研究依据《鲜鸡蛋、鲜鸭蛋分级》（SB/T 10638-2011）标准确定鸡蛋的新鲜度，即HU≥72为AA级鸡蛋；60≤HU<72为A级鸡蛋；55≤HU<60为B级鸡蛋。据此标准，本次试验共持续了16 d，样本的HU值从最初的90以上下降到55以下。具体变化情况如下：试验第1天样本初始HU值均为90以上，到第4天鸡蛋的HU值均高于72，鸡蛋新鲜度为AA级；第5天开始，鸡蛋的HU值从72开始不断下降，到第10天鸡蛋的HU值仍高于60，鸡蛋新鲜度为A级；第11～15天鸡蛋的HU值降至60以下，但仍高于55，鸡蛋新鲜度为B级；试验开展的第16天，鸡蛋的HU值降到55以下，试验结束。

1.3 鸡蛋图像数据集构建

依据SB/T 10638-2011和测得的样本HU值，本次试验获取的3 276张鸡蛋图像中，包含AA级鸡蛋图像1 064张、A级鸡蛋图像1 102张和B级鸡蛋图像1 110张。按照7:2:1的比例将3 276张鸡蛋图像划分为训练集、验证集和测试集：其中，训练集共2 289张鸡蛋图像，分别包含AA级、A级和B级鸡蛋图像774张、770张和775张；验证集共658张鸡蛋图像，分别包含AA级、A级和B级鸡蛋图像213张、222张和223张；测试集共329张鸡蛋图像，分别包含AA级、A级和B级鸡蛋图像107张、110张和112张。鸡蛋图像数据集分布情况如表1所示。

表1 鸡蛋图像数据集分布情况

2 鸡蛋新鲜度识别MobileNetV3-DA模型构建

2.1 MobileNetV3-DA模型整体结构

本研究采集的鸡蛋图像来自鸡蛋16 d储存过程中，记录了鸡蛋新鲜度从AA级到B级持续衰减变化。然而，由于鸡蛋新鲜度相近的图像中鸡蛋气室和蛋黄形态的变化和相对位置的移动非常微小，即使是采用MobileNetV3-Large模型提取鸡蛋新鲜度特征的难度也很大。为有效提取并高效定位鸡蛋图像特征微小差异，提高模型的识别精度和速度，本研究对MobileNetV3-Large模型瓶颈结构中的深度可分离卷积模块和注意力模块进行了改进。

首先，为了准确提取鸡蛋图像中的微小特征差异，在深度可分离卷积中引入动态卷积模块，改进后的深度可分离动态卷积模块能够根据不同的输入图像动态调整模型的卷积核参数，加强不同新鲜度图像深层特征的提取，实现相邻新鲜度鸡蛋图像的识别；其次，为了准确定位鸡蛋图像中的感兴趣区域，将注意力模块中的通道注意力挤压-激励（Sequeeze-and-Excitation, SE）模块替换为坐标注意力模块，增强模型对位置信息的感知能力，提升模型的识别效果。改进后的MobileNetV3-DA模型整体结构如图2所示。

注：Conv为卷积操作；Pool为池化操作；1×1、3×3和5×5为卷积核的尺寸；Bottleneck-D为引入动态卷积的瓶颈结构；Bottleneck-DA为引入动态卷积和坐标注意力模块的瓶颈结构；DSP-D为深度可分离动态卷积模块；DW为深度卷积；PW-D为引入动态卷积（K=4）后的逐点卷积；CA为坐标注意力模块。

2.1.1 深度可分离动态卷积模块

MobileNetV3-Large的核心是通过深度可分离卷积来降低模型的参数以达到轻量化的目的，但也在一定程度上使目标特征丢失，导致模型精度下降。为提高模型对鸡蛋图像中微小差异特征的提取能力，本研究在深度可分离卷积的逐点卷积（Pointwise Convolution, PW）中引入动态卷积，如图2中的深度可分离动态卷积模块。

动态卷积模块通过注意力模块以非线性的方式叠加卷积核，使模型能够充分且合理地利用卷积核提取图像特征，具体表达式如（2）所示。

注：Avg Pool为平均池化层；FC为全连接层；ReLU和Softmax为激活函数；Conv为卷积操作；π为权重系数；BatchNorm为批量归一化。

Note: Avg Pool represents the average pooling layer; FC represents the full connection layer; ReLU, and Softmax are the activation functions;Convrepresents convolution;πrepresents the attention weight; BatchNorm represents the batch normalization.

图3 动态卷积模块结构

Fig.3 The structure of dynamic convolution module

2.1.2 坐标注意力模块

MobileNetV3-Large在瓶颈结构中加入了SE模块提高了模型性能，但SE模块仅考虑了建立模型内部特征图中通道信息之间的依赖关系[33]，而忽略了视觉空间中极为重要的位置信息，导致模型只能捕获局部的特征信息，存在感兴趣区域分散、表现能力有限等问题。

为准确获取鸡蛋图像中的相对位置信息，本研究在第1～3层和第7～10层瓶颈结构的注意力模块中引入坐标注意力模块。坐标注意力模块能够通过在像素坐标系上的有效定位，使模型能集中对感兴趣区域的注意力，获取兼顾鸡蛋图像中通道和位置的信息，减少对干扰信息的关注，从而提升模型的特征表达能力。坐标注意力模块的基本结构如图4所示。

注：X/Y Avg Pool为X/Y方向平均池化；Concat代表拼接；BatchNorm代表批量归一化；Swish和Sigmoid代表非线性激活函数；C为通道数；H为特征图的高度；W为特征图的宽度；r为缩减系数。

对于给定的特征图的通道数为，高度为，宽度为。坐标注意力模块先将输入在高度和宽度2个空间方向上进行平均池化，获得高度和宽度2个方向上的特征图，将2个方向上的特征图进行空间维数拼接，并使用1×1卷积变换将维度变为原来的，再经过批量归一化和Swish激活操作得到包含2个方向信息的中间特征图，如式（3）所示。

2.2 试验环境及参数设置

为了测试构建的MobileNetV3-DA鸡蛋新鲜度识别模型的效果，用获取的3 276张鸡蛋图像对模型进行训练并测试。试验使用的深度学习框架为Pytorch 1.10.0版本，编程语言为Python，环境设置为Python 3.8版本，集成开发环境为Pycharm，程序运行电脑配置为Intel® Core i5-1135G7 CPU@2.40 GHz，运行内存为32 GB，操作系统为64位Windows 10。

试验批处理大小（Batch Size）统一设置为16，模型共训练200个Epoch。为了模型能够更好地收敛，试验采用了分类交叉熵为损失函数，利用随机梯度下降法（Stochastic Gradient Descent, SGD）训练模型，3个训练参数学习率、权重衰减和动量分别设置为0.001、0.000 01和0.9，并设置学习率衰减策略，每经过20个Epoch，学习率衰减为原来的80%。

2.3 评价指标

为了全面评价MobileNetV3-DA模型的性能，本试验选取精确率（Precision）、召回率（Recall）、加权分数（1-score）和准确率（Accuracy）等4个指标综合评估模型的识别效果。计算公式分别为

式中TP、FP、FN和TN分别为混淆矩阵中分类模型对不同新鲜度鸡蛋的分类情况统计。其中，TP（True Positive）代表真实值为正样本且识别也为正样本的数量，FP（False Positive）代表真实值为负样本但识别为正样本的数量，FN（False Negative）代表真实值为正样本但识别为负样本的数量，TN（True Negative）代表真实值为负样本且识别也为负样本的数量。进行新鲜度识别时，把要识别样本的实际类别数视为正样本数，其他所有类别数之和为负样本数。

3 结果与分析

3.1 MobileNetV3-DA模型性能分析

MobileNetV3-DA模型在训练集上的准确率和损失值的变化曲线如图5所示。模型在训练过程中，前75轮的准确率上升与损失值下降速度较快，训练75轮之后的速度逐渐变慢，在训练达到200轮时，模型的准确率和损失值曲线趋近于平缓，表明MobileNetV3-DA模型已经达到饱和状态，识别准确率也达到最高值。训练过程中MobileNetV3-DA模型准确率和损失值曲线的变化趋势基本一致，说明模型整体收敛趋势较好，未出现过拟合现象，验证了MobileNetV3-DA模型的有效性和可学习性。

图5 MobileNetV3-DA 模型在训练集上的准确率和损失值曲线

为进一步验证MobileNetV3-DA模型的性能，分别统计MobileNetV3-DA模型在测试集中对3个新鲜度级别图像的分类结果，如表2所示。从整体上看，MobileNetV3-DA模型在测试集上的识别精确率、召回率和加权分数的平均值分别为97.28%、97.27%和98.64%，均达到97%以上。其中，MobileNetV3-DA模型对B级新鲜度的识别效果最好，模型的精确率、召回率和加权分数分别为99.11%、99.11%和99.54%，虽然对AA级新鲜度的识别精确率和对A级新鲜度的召回率相对较低，但各类新鲜度的识别精确率、召回率和加权分数均达到93%以上，实现了较好的识别效果。试验结果表明，改进后的MobileNetV3-DA模型能够高效定位并提取鸡蛋图像中的微小特征差异。

表2 鸡蛋新鲜度分类结果

3.2 卷积方式对模型性能的影响

为了验证引入动态卷积的深度可分离动态卷积模块对MobileNetV3-Large模型性能的影响，本研究分别将未引入动态卷积的MobileNetV3-Large模型和引入动态卷积的MobileNetV3-DC模型在测试集上进行对比试验，试验结果如表3所示。

表3 卷积方式性能对比

从表3可知，MobileNetV3-DC模型的识别结果优于MobileNetV3-Large模型的识别结果。MobileNetV3-DC模型的整体识别准确率达到95.44%，比MobileNetV3-Large模型的准确率提升了2.73个百分点；MobileNetV3-DC模型在各类新鲜度中的准确率、召回率和加权分数均有所提升，其中在AA级新鲜度中的召回率提升了4.67个百分点，加权分数提升了3.86个百分点，在A级新鲜度中的精确率提升了5.72个百分点；MobileNetV3-DC模型的参数量为5.67 M，仅比MobileNetV3-Large模型增加了0.19 M。试验结果表明，在深度可分离卷积中引入动态卷积后的MobileNetV3-DC模型能够根据不同的输入图像动态生成模型的卷积核参数以提取鸡蛋图像中的微小差异特征，在增加少量的模型参数的前提下提升新鲜度识别效果。

3.3 注意力机制对模型性能的影响

为了进一步验证在注意力模块引入坐标注意力模块的竞争优势，在相同的试验条件下，将MobileNetV3-Large模型中的注意力SE模块替换成有效通道注意力（Efficient Channel Attention, ECA）模块[34]和卷积块状注意力（Convolutional Block Attention Module, CBAM）模块[35]这2种经典注意力机制进行对比试验。

图6为各模型在测试集上识别结果的混淆矩阵。总体上看，MobileNetV3-Large、MobileNetV3-ECA、MobileNetV3-CBAM和MobileNetV3-CA模型的识别准确率分别为92.71%、93.31%、93.92%和94.83%，相比其他3类模型，MobileNetV3-CA模型能够更精准地定位并识别鸡蛋新鲜度特征，有效提高模型精度。图6中的细节显示，ECA模块、CBAM模块和CA模块的引入都能在一定程度上缓解MobileNetV3-Large模型存在的错分和漏分等问题，使模型更适用于鸡蛋新鲜度识别。其中，引入ECA模块虽然提高了AA级新鲜度图像的识别效果，但同时也增加了识别A级新鲜度图像的错分率；引入CBAM模块虽然提高了A级和B级新鲜度图像的识别效果，但并没有提高AA级新鲜度图像的识别效果；引入CA模块能够较好地平衡各类新鲜度的识别效果，实现鸡蛋新鲜度的准确识别。因此，相比与其他注意力机制，在注意力模块引入坐标注意力模块对MobileNetV3-Large模型识别性能的提升效果更好，验证了坐标注意力模块的竞争优势。

注：主对角线上的数字代表预测正确的样本量，其余位置为预测错误的样本量。

3.4 模型试验结果对比

为了综合评估MobileNetV3-DA模型的性能，以模型在训练集损失值、验证集准确率、测试集准确率以及模型参数量和计算量为评估指标，将MobileNetV3-DA与ResNet18、VGG19、ShuffleNetV2和MobileNetV3-Large等常见分类模型进行对比分析。

模型在训练集上的损失值和验证集上的准确率变化如图7所示。可以看出，经过200个Epoch 后，各个模型的损失值和准确率趋于稳定，这表明模型已经得到了充分的训练。其中，ResNet18模型利用残差结构构建了更深层次的神经网络，具有较强的特征提取能力，在试验中表现出了较好的识别性能，但模型训练时间长，耗费的内存和计算资源较大；VGG19模型在验证集上的准确率略高于MobileNetV3-DA模型的准确率，但因其模型参数量和计算量过大，导致模型收敛速度较慢；ShuffleNetV2模型采用分组卷积的思想降低了模型参数量和计算量，但在特征差异不显著的鸡蛋图像数据集中的识别效果稍显逊色，而且收敛过程起伏较大，导致模型稳定性差；MobileNetV3-Large模型虽然采用了深度可分离卷积约束了网络的深度和宽度，但在鸡蛋新鲜度识别任务中仍然取得了优异的成绩，训练效果接近ResNet18，优于ShuffleNetV2。与其他模型相比，MobileNetV3-DA模型在训练过程中表现出了更平稳的收敛过程，损失值和准确率较早稳定在最低值和最高值附近，实现了较好的识别效果。

图7 模型试验结果对比

各个模型在测试集上的识别准确率以及参数量和计算量对比结果如表4所示。从表4可以看出，MobileNetV3-DA模型的识别准确率高达97.26%，比ResNet18、VGG19、ShuffleNetV2和MobileNetV3-Large分别高出5.19、0.84、5.91和4.55个百分点；MobileNetV3-DA模型的参数量为4.45 M，比ResNet18、VGG19和MobileNetV3-Large分别减少7.24 M、139.22 M和1.03 M；MobileNetV3-DA模型的计算量为149.07 M，比ResNet18、VGG19、ShuffleNetV2和MobileNetV3-Large分别减少1 670 M、40 073.65 M、1.53 M和78.64 M。其中，虽然VGG19模型在验证集上的识别准确率略高于MobileNetV3-DA模型，但在测试集上的准确率比MobileNetV3-DA模型低0.84个百分点，说明MobileNetV3-DA模型在鸡蛋图像数据集上的泛化能力更好，鲁棒性更强。总体来说，MobileNetV3-DA模型在保证模型检测性能的同时，提高了鸡蛋新鲜度的识别效率，较好地平衡了模型的复杂度和识别效果。

表4 模型的准确率、参数量和计算量对比

3.5 实际应用性能测试

为了进一步验证训练后的MobileNetV3-DA模型的实际应用效果，本研究随机采购了300枚市场流通鸡蛋，并进行了模型的应用研究。300枚鸡蛋包括在物美超市购买的德青源鸡蛋、堆草堆鸡蛋以及京东平台购买的正大鸡蛋各100枚。首先采集了每个鸡蛋的图像，然后测量每个鸡蛋的HU值，最后根据SB/T 10638-2011确定每张图像对应的鸡蛋新鲜度等级。采集的300张鸡蛋新鲜度图像中，AA级新鲜度的鸡蛋图像102张，A级94张，B级104张。MobileNetV3-DA模型在实际应用的试验结果如表5所示。

从应用结果来看，MobileNetV3-DA模型在实际应用中的识别精确率、召回率和加权分数的平均值分别为95.95%、95.48%和97.82%，达到了较好的新鲜度识别效果。其中，MobileNetV3-DA模型对B级鸡蛋图像的识别效果更好，这可能是因为B级鸡蛋图像中的气室和蛋黄区域特征更加显著，辨识度较高。实际应用结果表明，由于动态卷积和坐标注意力模块的有效结合，MobileNetV3-DA模型能够准确提取并且定位特征信息，具有较强的泛化能力和鲁棒性。

表5 实际应用试验结果

4 结 论

针对鸡蛋新鲜度变化过程中气室和蛋黄等新鲜度特征差异不显著的问题，本研究对MobileNetV3-Large模型进行了改进，构建了MobileNetV3-DA鸡蛋新鲜度识别模型。在MobileNetV3-Large中引入动态卷积模块，通过动态生成卷积核参数，有效提高了模型特征提取能力；引入坐标注意力模块，增强了模型对位置信息的感知能力，提升了模型的信息表达能力。结果表明：

1）MobileNetV3-DA模型能够准确识别鸡蛋新鲜度。MobileNetV3-DA在测试集上的识别准确率为97.26%，比ResNet18、VGG19、ShuffleNetV2和MobileNetV3-Large等常见分类模型分别高出5.19、0.84、5.91和4.55个百分点。

2）MobileNetV3-DA模型满足了快速识别鸡蛋新鲜度的要求。MobileNetV3-DA的模型参数量为4.45 M，计算量为149.07 M，分别比MobileNetV3-Large减少了1.03 M和78.64 M，较好地平衡了模型的复杂度和识别效果。

3）MobileNetV3-DA模型在实际应用中表现出了较好的识别效果。训练后的MobileNetV3-DA模型在实际应用中的识别精确率、召回率和加权分数的平均值分别为95.95%、95.48%和97.82%，验证了模型具有较强的泛化能力和鲁棒性。

模型测试和应用结果表明，本研究构建的MobileNetV3-DA模型能够快速、准确地识别鸡蛋新鲜度。下一步将考虑将模型部署到移动终端，实现在流通和销售环节鸡蛋新鲜度的快捷智能识别。

[1] Lesnierowski G, Stangierski J. What’s new in chicken egg research and technology for human health promotion? - A review[J]. Trends in Food Science & Technology, 2018, 71: 46-51.

[2] Renzone G, Novi G, Scaloni A, et al. Monitoring aging of hen egg by integrated quantitative peptidomic procedures[J]. Food Research International, 2021, 140: 110010.

[3] Nematinia E, Abdanan Mehdizadeh S. Assessment of egg freshness by prediction of Haugh unit and albumen pH using an artificial neural network[J]. Journal of Food Measurement and Characterization, 2018, 12(3): 1449-1459.

[4] Mukhopadhyay S, Ukuku D O. The role of emerging technologies to ensure the microbial safety of fresh produce, milk and eggs[J]. Current Opinion in Food Science, 2018, 19: 145-154.

[5] Fearnley L. Fake eggs: From counter-qualification to popular certification in China’s food safety crisis[J]. BioSocieties, 2022, 17(2): 253-275.

[6] Gururaj N, Vinod V, Vijayakumar K. Deep grading of mangoes using Convolutional Neural Network and Computer Vision[J]. Multimedia Tools and Applications, 2022, 81: 1-26.

[7] Zhu S, Feng L, Zhang C, et al. Identifying freshness of spinach leaves stored at different temperatures using hyperspectral imaging[J]. Foods, 2019, 8(9): 356.

[8] Mehendran Y, Kartheeswaran T, Kodikara N D. Banana freshness identification using image processing techniques[C]// 2022 7th International Conference on Business and Industrial Research (ICBIR). IEEE, 2022: 347-352.

[9] Taheri-Garavand A, Fatahi S, Omid M, et al. Meat quality evaluation based on computer vision technique: A review[J]. Meat Science, 2019, 156: 183-195.

[10] Bhargava A, Bansal A. Fruits and vegetables quality evaluation using computer vision: A review[J]. Journal of King Saud University-Computer and Information Sciences, 2021, 33(3): 243-257.

[11] El-Mesery H S, Mao H, Abomohra A E F. Applications of non-destructive technologies for agricultural and food products quality inspection[J]. Sensors, 2019, 19(4): 846.

[12] 黄辰，费继友. 基于图像特征融合的苹果在线分级方法[J]. 农业工程学报，2017，33(1)：285-291.

Huang Chen, Fei Jiyou. Online apple grading based on decision fusion of image features[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(1): 285-291. (in Chinese with English abstract)

[13] Shi C, Qian J, Han S, et al. Developing a machine vision system for simultaneous prediction of freshness indicators based on tilapia (Oreochromis niloticus) pupil and gill color during storage at 4℃[J]. Food Chemistry, 2018, 243: 134-140.

[14] 智秀娟，邢英豪，仝其根，等. 鸡蛋新鲜度检测指标评价与预测模型构建[J]. 中国食品学报，2017，17(11)：262-268.

Zhi Xiujuan, Xing Yinghao, Tong Qigen, et al. Model construction of prediction and evaluation in egg freshness index[J]. Journal of Chinese Institute of Food Science and Technology, 2017, 17(11): 262-268. (in Chinese with English abstract)

[15] Malfatti L H, Zampar A, Galvão A C, et al. Evaluating and predicting egg quality indicators through principal component analysis and artificial neural networks[J]. LWT, 2021, 148: 111720.

[16] Qin H, Wang W, Chu X, et al. Research on the nondestructive detection of egg freshness based on image processing[C]// 2018 ASABE Annual International Meeting. American Society of Agricultural and Biological Engineers, 2018: 1-8.

[17] Yao K, Sun J, Chen C, et al. Non-destructive detection of egg qualities based on hyperspectral imaging[J]. Journal of Food Engineering, 2022, 325: 111024.

[18] 梁丹，李平，梁冬泰，等. 基于机器视觉的鸡蛋内外品质一体化检测与分级系统[J]. 中国食品学报，2020，20(11)：247-254.

Liang Dan, Li Ping, Liang Dongtai, et al. Integrated inspecting and grading system of the egg quality based on machine vision[J]. Journal of Chinese Institute of Food Science and Technology, 2020, 20(11): 247-254. (in Chinese with English abstract)

[19] Kazi A, Panda S P. Determining the freshness of fruits in the food industry by image classification using transfer learning[J]. Multimedia Tools and Applications, 2022, 81(6): 7611-7624.

[20] Wang C, Lü C, Li R, et al. Design and Implementation of Pork Freshness Grading Based on Deep Learning[C]// 2021 2nd International Conference on Artificial Intelligence and Computer Engineering (ICAICE). IEEE, 2021: 216-220.

[21] Yu X, Tang L, Wu X, et al. Nondestructive freshness discriminating of shrimp using visible/near-infrared hyperspectral imaging technique and deep learning algorithm[J]. Food Analytical Methods, 2018, 11(3): 768-780.

[22] 李振波，李萌，赵远洋，等. 基于改进VGG-19卷积神经网络的冰鲜鲳鱼新鲜度评估方法[J]. 农业工程学报，2021，37(22)：286-294.

Li Zhenbo, Li Meng, Zhao Yuanyang, et al. Iced pomfret freshness evaluation method based on improved VGG-19 convolutional neural networks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(22): 286-294. (in Chinese with English abstract)

[23] Jiang M, Mo L, Wu P. Study on egg freshness detection based on inception and attention[C]// International Conference on Simulation Tools and Techniques. Springer, Cham, 2021: 613-626.

[24] Howard A G, Zhu M, Chen B, et al. Mobilenets: Efficient convolutional neural networks for mobile vision applications[J]. arXiv preprint arXiv, 2017, 1704: 04861.

[25] Sandler M, Howard A, Zhu M, et al. Mobilenetv2: Inverted residuals and linear bottlenecks[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 4510-4520.

[26] Howard A, Sandler M, Chu G, et al. Searching for mobilenetv3[C]// Proceedings of the IEEE/ CVF International Conference on Computer Vision. 2019: 1314-1324.

[27] 孙俊，朱伟栋，罗元秋，等. 基于改进MobileNet-V2的田间农作物叶片病害识别[J]. 农业工程学报，2021，37(22)：161-169.

Sun Jun, Zhu Weidong, Luo Yuanqiu, et al. Recognizing the diseases of crop leaves in fields using improved Mobilenet-V2[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(22): 161-169. (in Chinese with English abstract)

[28] 张伏，陈自均，鲍若飞，等. 基于改进型YOLOv4-LITE轻量级神经网络的密集圣女果识别[J]. 农业工程学报，2021，37(16)：270-278.

Zhang Fu, Chen Zijun, Bao Ruofei, et al. Recognition of dense cherry tomatoes based on improved YOLOv4-LITE lightweight neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(16): 270-278. (in Chinese with English abstract)

[29] Chen Y, Dai X, Liu M, et al. Dynamic convolution: Attention over convolution kernels[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 11030-11039.

[30] Hou Q, Zhou D, Feng J. Coordinate attention for efficient mobile network design[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 13713-13722.

[31] 中华人民共和国商务部. SB/T 10638-2011 鲜鸡蛋、鲜鸭蛋分级[S]. 北京：中国标准出版社，2011.

[32] 中华人民共和国农业农村部. NY/T 823-2020 家禽生产性能名词术语和度量计算方法[S]. 北京：中国农业出版社，2020.

[33] Hu J, Shen L, Sun G. Squeeze-and-excitation networks[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 7132-7141.

[34] Wang Q, Wu B, Zhu P, et al. ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks[C]// Conference on Computer Vision and Pattern Recognition (CVPR). 2020: 11531-11539.

[35] Woo S, Park J, Lee J Y, et al. Cbam: Convolutional block attention module[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 3-19.

Recognizing egg freshness using an improved MobileNetV3-Large

Liu Xue1, Shen Changying1, Lyu Xueze2,3, Dong Mengping1, Bao Qianhui1, Zhang Yuanzhi1

(1.,,100083,;2.,,100193,;3.,100101,)

Eggs, a highly nutritious food, can provide the human body with essential nutrients, such as protein, fat, minerals, and vitamins. However, fresh eggs are easily deteriorating products during production, processing, sales and distribution, resulting in nutritional and economic losses to the industry, and potential health and safety hazards to the consumers. Therefore, it is of great significance to study a fast, low-cost, and reliable egg freshness recognition. In this study, an improved MobileNetV3-DA recognition model was proposed to rapidly and accurately extract the characteristics of air chambers and yolks in egg images. The egg freshness was predicted to incorporate dynamic convolution (DC) and coordinate attention (CA). Some images of eggs with different freshness were collected to simulate the domestic eggs storage scenery. The data augmentation was utilized to increase the diversity of images, in order to prevent the overfitting of the model. The backbone was selected as the MobileNetV3-Large model with fewer parameters and stronger feature extraction. As such, the improved MobileNetV3-DA model was constructed for the more effective recognition of egg freshness. Firstly, a DC module was introduced into the depthwise separable convolution of the MobileNetV3-Large model, in order to extract the small difference features in the egg images. The improved module of depth separable dynamic convolution was dynamically generating convolutional kernel parameters for the different egg images, particularly for the accurate identification of freshness. Secondly, the CA module was introduced in the attention module to enhance the perception of overall information, with emphasis on the relative position information in the egg images. Accordingly, the region of interest (ROI) was effectively positioned to concentrate on the air chamber and yolk area in the pixel coordinate system. After that, the weight of important features increased further to strengthen the freshness features, and suppressed the influence of interfering information. Finally, the improved MobileNetV3-DA model was trained and tested using 3 276 images of three levels of egg freshness. The results showed that the recognition accuracy of the improved MobilenetV3-DA model reached 97.26%, which was 4.55 percentage points higher than that of MobileNetV3-Large. The Precision, Recall, and F1-score of MobileNetV3-DA all reached more than 93% on the various freshness images. Therefore, the MobileNetV3-Large model with the DC and CA module can be widely expected to improve the recognition accuracy and the generalization of the model. In addition, the number of parameters and the computation of the MobileNetV3-DA model were 4.45 and 149.07 MFLOPs, respectively, which were 1.03 M and 78.64 M lower than those before the improvement. A more stable convergence and fewer parameters were achieved in the improved model than before. The accuracies in the test were 5.19, 0.84 and 5.91 percentage points higher than those of ResNet18, VGG19, and ShuffleNetV2 models. Furthermore, the recognition accuracy of the trained MobileNetV3-DA model reached 95.67 % in the practical application. the average values of precision, recall and F1-score of MobileNetV3-DA model were 95.95%, 95.48% and 97.82%, respectively. The findings can provide basic support for the efficient recognition of egg freshness using lightweight models. The improved model can be expected to serve as the practical usage on portable terminals for timely freshness recognition along egg industry chains.

agricultural products; quality control; eggs freshness; MobileNetV3-DA; dynamic convolution; coordinate attention

10.11975/j.issn.1002-6819.2022.17.021

TP391.41; TS253.7

A

1002-6819(2022)-17-0196-09

刘雪，沈长盈，吕学泽，等. 基于改进MobileNetV3-Large的鸡蛋新鲜度识别模型[J]. 农业工程学报，2022，38(17)：196-204.doi：10.11975/j.issn.1002-6819.2022.17.021 http://www.tcsae.org

Liu Xue, Shen Changying, Lyu Xueze, et al. Recognizing egg freshness using an improved MobileNetV3-Large[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(17): 196-204. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.17.021 http://www.tcsae.org

2022-08-03

2022-08-29

现代农业产业技术体系北京市创新团队建设项目（BAIC11-2022）

刘雪，博士，副教授，研究方向为农业信息智能采集与建模。Email：liusnow@cau.edu.cn