基于知识蒸馏的胡萝卜外观品质等级智能检测

倪建功，李 娟，邓立苗，韩仲志

基于知识蒸馏的胡萝卜外观品质等级智能检测

倪建功，李 娟，邓立苗，韩仲志※

（青岛农业大学理学与信息科学学院，青岛 266109）

胡萝卜等级分类是提高胡萝卜市场竞争力的关键环节。传统的胡萝卜外部缺陷检测采用特征提取+分类器模式，需要手工定义特征，客观性差。为了解决上述问题，该研究提出一种基于知识蒸馏的网络模型，通过引入教师模型来指导学生模型的训练，在保证准确率的情况下减少网络模型的参数量和运行时间消耗。该试验采集了外观无缺陷以及黑斑、弯曲、带须根的四类胡萝卜样本图片，将其导入网络模型中进行训练。通过使用Resnet34、Resnet50、Resnet101这3个不同教师模型来指导学生模型Resnet18的训练，蒸馏模型平均准确率从94.3%分别提高到94.8%、95.2%、95.8%，其中Resnet101模型指导的Resnet18模型中正常胡萝卜识别率提高到100%，正常、黑斑、须根识别率提高约2%，模型训练时间为11.3 h。此外，传统Resnet50模型和Resnet101模型对数据集的识别准确率分别是96.3%和96.9%，模型训练时间分别是19.3和31.3 h。试验发现：蒸馏模型识别率大幅优于基于特征提取+分类器的传统模型，且随着教师模型网络深度的增加，模型识别率也进一步提高。从模型训练时间和模型部署上考虑，知识蒸馏是很有必要的，通过牺牲小部分准确率可以大大缩短模型训练时间和降低模型部署成本。该研究所提出的知识蒸馏模型作为一种轻量级前端部署方法，对于改进胡萝卜外观品质自动检测装置的性能具有积极意义。

深度学习；模型；品质控制；胡萝卜；等级分类；知识蒸馏

0 引 言

胡萝卜是全球性十大蔬菜作物之一，适应性强，产量大，种植十分普遍。在亚洲、欧洲和美洲分布最多，其中中国是世界上第一大胡萝卜生产国[1]。2017年，世界胡萝卜产量达到4 283.19万t，其中中国产量达到2 027.43万t，接近世界总产量的一半。胡萝卜营养丰富，富含胡萝卜素和膳食纤维等多种营养物质，具有提高机体免疫力、促进新陈代谢等功效[2]。然而，褐斑病、黑斑病等病害对胡萝卜的营养价值和外观品质影响较大[3]。因此，胡萝卜的外观品质检测是必不可少的。目前，大多数胡萝卜生产加工企业主要采用手工分拣方式，这种方式效率低、主观性强、标准宽松，不适合大规模生产和推广。使用智能化的方法对胡萝卜进行等级分类可以大大提高胡萝卜的市场竞争力，提高企业和种植户的效率[4]。因此，迫切需要一种智能化的技术解决胡萝卜外观品质分类问题。

近年来，国内外研究人员开始利用图像处理技术对果蔬品质进行自动检测和分级[5]。但是这些研究主要集中于西红柿[6]、苹果[7]等相对容易处理的球形果蔬上，对胡萝卜等非球形果蔬的研究还处于不成熟阶段。Xie等[8]使用手动提取胡萝卜的图像特征参数，提出了一种基于机器视觉的胡萝卜表面缺陷关键参数提取算法将胡萝卜分为4个不同的等级，准确率为86.67%。韩仲志等[9]使用计算机视觉技术来检测胡萝卜青头、须根与开裂情况。邓丽苗等[10]使用图像处理技术，通过构建影响胡萝卜分级的关键特征参数来实现胡萝卜须根、弯曲、开裂的检测，并自主研发一条胡萝卜智能分选机生产线，可以实现不同等级胡萝卜的在线分选。上述均为特征提取+分类器方法，平均识别率在85%左右，手工定义特征的非客观性限制了识别率的提高。这种方法需要对每一类胡萝卜构建大量特征标准，工作量大且泛化能力不足。

深度学习是近年来一种热门的模式分析方法，广泛应用于语音识别[11-12]、人脸识别[13]、图像分类[14]、行为分析[15-16]等工业领域中，而且也开始应用于农业领域[17-19]。已经有研究者将其应用于粮食[20-21]、水果[22-23]、蔬菜[24-25]等农产品的目标检测和质量评价。杨彩霞等[26]利用深度卷积网络对外观无缺陷以及存在开裂、分枝和高刺缺陷的胡萝卜进行检测，准确率可以达到91.6%。深度神经网络高准确率的实现主要是依赖对更深和更广的网络结构的探索研究。尽管现代深度神经网络的性能有了显著的提高，但是在模型训练时，仍然需要从巨大且冗余的数据中提取特征结构。通常情况下不考虑实时性要求，最后训练得到的模型参数量较多。由于计算资源和延迟的限制，深度神经网络较难在实际中得到应用。

Hinton等[27]最早提出知识蒸馏的思想，核心思想是利用一个大而准确的教师模型来指导一个小而快速的学生模型。本研究基于这一思想，尝试使用Resnet101[28]等模型为教师模型来指导Resnet18模型的训练，并将其首次应用于胡萝卜智能分选机生产线。通过知识蒸馏，使得到的模型能够在保证准确率的情况下减小网络模型的参数量和模型运行时间消耗，在牺牲少许准确率的基础上，大幅降低部署模型的成本。作为一种轻量化前端部署模型，特别适合于实际生产线应用。

1 材料与方法

1.1 材料与设备

本研究所用胡萝卜来自山东省青岛市莱西市店埠镇。采用特征提取+分类器[9]的胡萝卜智能分选机生产线[10]进行试验（如图1），所有图像均采集于该生产线，图像包括4类不同品质的胡萝卜，具体为正常、弯曲、黑斑和带须根胡萝卜，如图2所示。这4类不同品质的胡萝卜的分类参考中华人民共和国农业部NY/T 1983—2011胡萝卜等级规格标准[29]划分。其中弯曲、黑斑、带须根的胡萝卜是次品样本，与正常胡萝卜相比，都存在一定的缺陷。该生产线追求正品样本识别率，混入次品可再次人工分拣。

1.上料机 2.图像处理系统 3.图像采集系统 4.传送系统 5.分级系统 6.相机 7.真实物料 8.镜子 9.虚像

生产线实时采集图像，图像处理所用计算机主要性能指标为：联想E580，配置为Intel(R)Core(TM) i5-8250U CPU @ 1.60GHz-1.80GHz，16.0G RAM，Windows10 操作系统。采用Python3.6下 PyTorch1.1框架实现相关模型。数据采集由图像采集系统获取，图像采集系统原理图如图1所示。图像采集系统由一个照明室、一个线阵相机、两个角度约为135°的镜子和圆形LED灯条组成。其中线阵相机位于照明室顶部，圆形LED灯条位于线阵相机下方环绕分布，镜子位于胡萝卜的下方呈对称分布，这样相机就可以获得3幅图像（1幅真实图像和2幅镜子图像），得到完整的胡萝卜信息。图像采集系统位于分选机中间部位，如图1中虚线框所示。试验采集的图像约3 266张，基本可以满足神经网络训练需要，所以没有对数据进行扩增处理。为了更好的反映各类不同胡萝卜的数据分布，对各类胡萝卜数据的数量进行了统计，如表1所示。

图2 4类胡萝卜的示意图

表1 4类胡萝卜的数量分布

1.2 方 法

采用知识蒸馏的思想构建3个知识蒸馏模型。利用教师模型来指导学生模型的训练，其中教师模型是一种大规模，参数量大的复杂网络模型；学生模型是一种小规模，参数量小的精简网络模型。通过诱导训练，实现小模型得到高准确率的效果。训练方式如图3所示。

首先，训练教师模型，让其对目标数据集进行识别，并学习样本中的属性知识。然后，选择胡萝卜数据集，将教师模型中logits输出除以参数之后做Softmax计算，得到soft labels值。之后，将数据集数输入到学生模型中，重复教师模型相同的操作并得到logits输出，而后分成两步计算：一是除以与教师模型相同的参数之后做Softmax计算，得到soft predictions，此输出与soft labels比较；二是做Softmax计算后，得出预测值，此预测值与Ture labels进行比较。两部分损失函数相加，得到总的损失函数KD Loss。计算损失函数，梯度下降，更新参数。

例如，体育项目“掷铅球”是一项力量运动，在教学掷铅球的技术动作时，体育老师不仅要演示手托铅球，身体微倾，用力蹬转，使劲掷出的动作要领，并且要边讲解边示范，还要关注铅球出手后的飞行轨迹，对于这一系列的动作拆解，老师若运用标准铅球作示范演示，无论是老师的体力还是学生的安全都得不到保障，且容易出现动作变形，飞行偏离正常的轨迹，基于标准铅球较重的原因，老师不妨用较轻的实心球来取代，让学生在老师的反复讲解和示范演示中掌握掷铅球的动作要领，也可避免老师因体力不支而出现示范动作变形的情况。

1.2.1 知识蒸馏

神经网络的“softmax”输出层会将前面的卷积层得到的预测结果转化为概率值。该层会对预测结果取自然对数得到某一类的logit值Z，通过与所有类的logit值Z进行比较，生成这个类的概率p；知识蒸馏通过对其进行修改，增加一个系数，使得输出层会产生一个“软化”后的概率向量q

其中为温度系数。随着参数的增大，对应的分布概率越平缓。教师网络的预测输出结果除以温度参数之后再做softmax变换，可以获得软化后的概率分布q，用于之后KD Loss的计算。

1.2.2 残差学习

通常在深度学习中，深度卷积网络能够整合高中低不同层次的特征，特征的层次通过加深网络的层次来丰富。所以现在的深度学习模型越来越倾向于使用更深层的网络结构，以便于得到不同层次的特征，从而提高网络的识别准确率。在使用深层次的网络结构时，通常会遇到梯度消失和网络退化的问题。Resnet系列网络的出现很好地解决了这个问题，并且可以提高网络的识别准确率。解决这些问题的原因在于提出了残差学习[23]单元这一模块，它可以很好的解决网络退化问题，残差学习单元结构如图3所示。通过图3可以得到

其中为下层输出，()为上层输入通过恒等映射（Identity Mapping）直接在输入和输出之间建立的一条关联通道，从而可以学习到输入和输出之间的残差。

图3 知识蒸馏流程图

1.2.3 损失函数

式中KL为相对熵，CE为交叉熵，为教师模型输出经过蒸馏后的结果，m为学生模型中的 soft predictions，m为学生模型中hard predictions经过蒸馏后的结果，label 为数据集的真实标签，Lambda为比例系数。当系数Lambda为0时，KD Loss = CE(label，m)，混合损失函数相当于没有使用知识蒸馏，只使用交叉熵损失函数的深度卷积神经网络。

2 结果与分析

2.1 预训练模型参数与可视化

4个网络模型Resnet18、Resnet34、Resnet50、Resnet101的参数[28]如表2所示，其中深度是指该网络模型所具有的层数，层数越多代表网络深度越深，其性能也越好；大小是指模型存储所需要的空间大小；计算力就是模型进行参数运算的次数，其数值越大代表模型参数量越大，模型越复杂；输入尺寸是指网络模型输入层要求的图片尺寸大小。

表2 模型的基本参数

通过对卷积层进行特征可视化，可以更好地理解模型的运行过程。从浅层到深层选择卷积层进行可视化，结果如图4所示。神经网络的前面卷积层为浅层卷积层，后面的卷积层为深层卷积层，它们所关注的重点不同。图4中，每一个小图由不同卷积层可视化得到，它们按照从浅层到深层递增的顺序排序。从图中可以看出图像的形状越来越不明显，因为浅层的卷积层提取的特征强调的是纹理、细节信息，物体的基本形状能够比较清晰地展现出来。随着层数的增加，将会提取更多的抽象特征，通过更多的变换操作来更加完整地描述一个物体[30]。相对而言，层数越深，提取的特征越具有代表性。通过对网络的可视化，可以更好地了解网络对物体进行识别时所着重关注的地方，图像越亮的区域表示特征越明显。

2.2 蒸馏模型训练测试结果

首先将所有样本随机排序。选取其中2 286个样本作为训练集，将数据集导入到Resnet18中进行模型的训练。剩下的980个样本作为测试集来验证模型的性能。训练过程中先采用SGD优化器对模型进行优化，再采用梯度下降法对模型进行精调，设置初始学习率为0.001，批尺寸为8。经过20个迭代后，模型KD Loss曲线趋于稳定，训练停止。训练完成后将其在测试集上进行测试，识别准确率为94.3%。

图4 特征可视化结果

作为对照试验，通过知识蒸馏使用Resnet34、Resnet50、Resnet101等3个网络来指导Resnet18进行模型的训练，同样选取其中2 286个样本作为训练集，进行模型的训练。剩下的980个样本作为测试集，与原先只使用Resnet18网络的结果进行对比，来验证知识蒸馏后模型的性能。使用Resnet18和分别使用Resnet34、Resnet50、Resnet101对Resnet18知识蒸馏后模型对胡萝卜进行训练和识别，4个模型训练和识别结果如图5所示。

图5 模型训练结果图

表3 Resnet101网络分类结果的混淆矩阵

其中使用Resnet101作为教师模型作为指导模型对980个未经模型训练的样本进行预测试验，准确率最高，达到了95.8%。模型分类的混淆矩阵如表3所示。通过混淆矩阵可以看出，模型对4类胡萝卜的识别准确率都是很高的。尤其是对正常胡萝卜的分类，分类准确率达到了100%，即使是对黑斑类胡萝卜的分类准确率也达到了90.9%，这说明模型是有效的。同时也可以看到，对模型最大的干扰来自于黑斑和弯曲这两类之间的误判。

2.3 知识蒸馏前后模型的影响

为了验证不同深度的网络模型作为教师模型对学生模型准确率的影响，分别利用Resnet34、Resnet50、Resnet101作为教师模型来指导学生模型Resnet18的训练，3种教师模型蒸馏前后识别结果汇总如表4所示。

通过试验结果可以发现，知识蒸馏技术后单一类准确率及平均准确率都有提升，单一类准确率最高提高了2.3%，平均准确率最高提高了1.5%。这是在原有网络没有使用知识蒸馏前识别准确率已经很高的基础上带来的提高，这说明通过知识蒸馏技术，学生模型可以充分吸收教师模型中获取的知识，获得本身所忽略的一些信息，从而在准确率上获得一定的提高。此外，通过对数据集的深入分析，可以发现在4类胡萝卜中黑斑类的胡萝卜的识别率最低，这可能是因为黑斑比较小或者颜色比较浅，给网络识别带来了困难，这是在今后的研究中要特别关注的。

表4 知识蒸馏前后的准确率对比结果

采用不同深度的教师模型指导学生模型，来验证不同深度教师模型对学生模型的指导能力大小，平均识别率结果如表4所示。通过表4可以看出，随着教师模型网络深度的加深，识别准确率也越来越高。当教师网络为Resnet101时，学生模型的准确率最高。这说明通过使用层数更深的网络作为教师网络可以有效提高学生网络的识别能力。同时，从表4可以看出，针对不同品质特征（正常、弯曲、黑斑、带须根）蒸馏操作对识别效果影响不同，其中3种模型的蒸馏操作对黑斑类胡萝卜均不起作用，其模型的失效机理有待深入研究。

试验发现，当教师模型为Resnet101时，学生模型Resnet18的识别准确率最高，准确率为95.8%。将它与传统的resnnet50和Resnet101模型的准确率等进行比较，汇总结果如表5所示。通过表5可以看到，在参数方面，Resnet50 模型的参数量是Resnet18模型的2.19倍，Resnet101模型的参数量是Resnet18模型的3.81倍。参数量越多意味着模型越大，部署到相应设备上就越困难；在训练时间上，蒸馏后的Resnet18的总训练时间为11.3 h，Resnet50的总训练时间是Resnet18的1.71倍，Resnet101的总训练时间是Resnet18的2.77倍；在准确率方面，蒸馏后的Resnet18模型的准确率为95.8%，Resnet50模型的准确率为96.3%，Resnet101模型的准确率为96.9%。通过对比可以发现在知识蒸馏后，Resnet18这一小模型的准确率可以接近Resnet50和Resnet101这些大模型的准确率。从模型训练时间和模型部署上考虑，知识蒸馏是很有必要的，通过牺牲小部分准确率可以大大缩短模型训练时间和降低模型部署成本。

表5 模型使用知识蒸馏与未使用知识蒸馏的对比

3 讨 论

本试验基于知识蒸馏对4种不同品质的胡萝卜进行等级检测。使用不同教师模型来指导学生模型的训练，从而获得更高的准确率。本试验中，当教师模型为Resnet101时，学生模型Resnet18的试验结果较好，这说明越复杂的教师模型对学生模型的指导能力越好。试验结果表明，相对于传统机器学习方法，本试验所使用方法对检测不同等级的胡萝卜是更具有优势的。

在采集胡萝卜数据集的时候发现有一些胡萝卜既具有黑斑，本身又带须根，这是多目标识别问题，给模型的识别造成了困难。在实际生活中，这种情况是存在且无法避免的，因为相对于工业产品来说，农产品具有多样性，没有一个统一标准来界定。因此通过收集大批量数据集来处理这个问题，当上述特殊的胡萝卜的数量远小于正常的数量时，这些具有两种特性的胡萝卜对模型识别的干扰也就会降到最低。在对试验结果进行分析时，发现模型的误判大多集中在黑斑和弯曲这两类之间。这可能是因为有的黑斑类胡萝卜黑斑不够明显和本身有些弯曲，或者是拍照时光线原因造成了分类错误。实际应用中因为这两类都是次品，对正品分类影响不大。

考虑到有缺陷的中弯曲和带须根相对于正常的来说，它们只是在果形上存在一定缺陷，但是不影响食用，而带黑斑的是不能食用的。所以本研究把它们分为4类，目的是更加准确的对胡萝卜进行分级。等级分类越细化，其经济价值转化就更大。此外，本试验只分类了4类不同等级的胡萝卜，这在实际中是不够充分的，下一步应该考虑扩大要检测的胡萝卜类型。比如说，胡萝卜损伤检测和其他不规则胡萝卜的也是十分有必要的。对于这些类别的胡萝卜，其核心思想与本研究一致。通过采集对应的数据集，导入网络训练后就可以进行相应分级。同时，在试验过程中采用的都是Resnet101一系列的网络模型，这可能造成了相类似的模型之间所学习到的特征也是类似的，进而导致存在许多没有利用起来的特征。一些文献中提到了通过调整模型参数等来提高模型的准确率，比如说更换不同的优化器、调整学习率等。上述问题将是课题组下一步要研究的内容。

4 结 论

本研究针对神经网络训练中模型数据利用率不充分和模型过大的问题，提出使用知识蒸馏技术建立了识别4种不同等级的胡萝卜的分类模型。主要结论如下：

1）通过使用不同的教师模型优化，使用混合损失函数，提高了网络的识别准确率。对试验随机采集的980个胡萝卜图像的测试，平均准确率达到了95.8%。

2）当教师模型为Resnet101时，学生模型Resnet18的试验准确率为95.8%。相比较未蒸馏前的94.3%，模型平均准确率提高1.5%，蒸馏后模型训练时间也相应的得到了减少，说明该研究所使用的方法是可行的。

3）通过知识蒸馏可以使得一个小的模型准确率接近大的模型的准确率，这在模型部署及实际生产线应用是十分重要的。

[1]谭国飞，王枫，马静，等. 室温贮藏过程中胡萝卜口感及部分营养成分含量变化[J]. 植物资源与环境学报，2014，23(1)：107-109. Tan Guofei, Wang Feng, Ma Jing, et al. Changes of taste and content of some nutritional components of carrot during storage period under room temperature[J]. Journal of Plant Resources and Environment, 2014, 23(1): 107-109. (in Chinese with English abstract)

[2]易建勇，侯春辉，毕金峰，等. 果蔬食品中类胡萝卜素生物利用度研究进展[J]. 中国食品学报，2019，19(9)：286-297. Yi Jianyong, Hou Chunhui, Bi Jinfeng, et al. Review on carotenoid bioavailability in fruit and vegetable products[J]. Journal of Chinese Institute of Food Science and Technology, 2019, 19(9): 286-297. (in Chinese with English abstract)

[3]Watson A, Pung H, Hall B H. Managing leaf diseases of carrots with traditional and alternative fungicides including baseline sensitivity studies[J]. Crop Protection, 2017, 93: 52-59.

[4]Xie W, Wang F, Yang D. Research on carrot surface defect detection methods based on machine vision[J]. IFAC-PapersOnLine, 2019, 52( 30): 24-29.

[5]陶华伟，赵力，奚吉，等. 基于颜色及纹理特征的果蔬种类识别方法[J]. 农业工程学报，2014，30(16)：305-311. Tao Huawei, Zhao Li, Xi Ji, et al. Fruits and vegetables recognition based on color and texture features[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(16): 305-311. (in Chinese with English abstract)

[6]龙燕，连雅茹，马敏娟，等. 基于高光谱技术和改进型区间随机蛙跳算法的番茄硬度检测[J]. 农业工程学报，2019，35(13)：270-276. Long Yan, Lian Yaru, Ma Minjuan, et al. Detection of tomato hardness based on hyperspectral technology and modified interval random frog algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(13): 270-276. (in Chinese with English abstract)

[7]黄辰，费继友. 基于图像特征融合的苹果在线分级方法[J]. 农业工程学报，2017，33(1)：285-291. Huang Chen, Fei Jiyou. Online apple grading based on decision fusion of image features[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(1): 285-291. (in Chinese with English abstract)

[8]Xie W, Wang F, Yang D. Research on carrot grading based on machine vision feature parameters[J]. IFAC- PapersOnLine, 2019, 52(30): 30-35.

[9]韩仲志，邓立苗，徐艳，等. 基于图像处理的胡萝卜青头、须根与开裂的检测方法[J]. 农业工程学报，2013，29(9)：156-161. Han Zhongzhi, Deng Limiao, Xu Yan, et al. Image processing method for detection of carrot green-shoulder, fibrous roots and surface cracks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(9): 156-161. (in Chinese with English abstract)

[10]Deng L, Du H, Han Z. A Carrot sorting system using machine vision technique[J]. Applied Engineering in Agriculture, 2017, 33(2): 149-156.

[11]苍岩，罗顺元，乔玉龙. 基于深层神经网络的猪声音分类[J].农业工程学报，2020，36(9)：195-204. Cang Yan, Luo Shunyuan, Qiao Yulong. Classification of pig sounds based on deep neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(9): 195-204. (in Chinese with English abstract)

[12]黎煊，赵建，高云，等. 基于连续语音识别技术的猪连续咳嗽声识别[J]. 农业工程学报，2019，35(6)：174-180. Li Xuan, Zhao Jian, Gao Yun, et al. Pig continuous cough sound recognition based oncontinuous speech recognition technology[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(6): 174-180. (in Chinese with English abstract)

[13]郑秋梅，谢换丽，王风华，等. 一种基于局部三值模式的深度学习人脸识别算法[J]. 计算机与现代化，2018(2)：112-117. Zheng Qiumei, Xie Huanli, Wang Fenghua, et al. A deep learning face recognition algorithm based on local ternary pattern[J]. Computer and Modernization, 2018(2): 112-117.

[14]林相泽，张俊媛，朱赛华，等. 基于K-SVD和正交匹配追踪稀疏表示的稻飞虱图像分类方法[J]. 农业工程学报，2019，35(19)：216-222. Lin Xiangze, Zhang Junyuan, Zhu Saihua, et al. Sparse representation classification method of rice planthop-per image based on K-SVD and orthogonal matching pursuit algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(19): 216-222. (in Chinese with English abstract)

[15]Li Juan, Xu Chen, Jiang Lingxu, et al. Detection and analysis of behavior trajectory for sea cucumbers based on deep learning[J]. IEEE Access. 2020, 8: 18832-18840.

[16]Xu Wenkai, Zhu Zhaohu, Ge Fengli, et al. Analysis of behavior trajectory based on deep learning in ammonia environment for fish[J]. Sensors, 2020, 20(16): 1-11.

[17]Kamilaris A, Francesc X Prenafeta-Boldú. Deep learning in agriculture: A survey[J]. Computers and Electronics in Agriculture, 2018, 147(1): 70-90.

[18]戴建国，张国顺，郭鹏，等. 基于无人机遥感可见光影像的北疆主要农作物分类方法[J]. 农业工程学报，2018，34(18)：122-129. Dai Jianguo, Zhang Guoshun, Guo Peng, et al. Classification method of main crops in northern Xinjiang based on UAV visible waveband images[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(18): 122-129. (in Chinese with English abstract)

[19]韩文霆，郭聪聪，张立元，等. 基于无人机遥感的灌区土地利用与覆被分类方法[J]. 农业机械学报，2016，47(11)：270-277. Han Wenting, Guo Congcong, Zhang Liyuan, et al. Classification method of land cover and irrigated farm land use based on uav remote sensing in irrigation[J]. Transactions of the Chinese Society of Agricultural Machinery, 2016, 47(11): 270-277. (in Chinese with English abstract)

[20]Ni Chao, Wang Dongyi, Vinson Robert, et al. Automatic inspection machine for maize kernels based on deep convolutional neural networks[J]. Biosystems Engineering, 2019, 178: 131-144.

[21]陈进，顾琰，练毅，等. 基于机器视觉的水稻杂质及破碎籽粒在线识别方法[J]. 农业工程学报，2018，34(13)：187-194. Chen Jin, Gu Yan, Lian Yi, et al. Online recognition method of impurities and broken paddy grains based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(13): 187-194. (in Chinese with English abstract)

[22]王丹丹，何东健. 基于 R-FCN 深度卷积神经网络的机器人疏果前苹果目标的识别[J]. 农业工程学报，2019，35(3)：156-163. Wang Dandan, He Dongjian. Recognition of apple targets before fruits thinning by robot based on R-FCN deep convolution neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(3): 156-163. (in Chinese with English abstract)

[23]Olaniyi E O, Oyedotun O K, Adnan K. Intelligent grading system for banana fruit using neural network arbitration[J]. Journal of Food Process Engineering, 2015, 40: e12335.

[24]Juncheng M, Keming D, Feixiang Z, et al. A recognition method for cucumber diseases using leaf symptom images based on deep convolutional neural network[J]. Computers & Electronics in Agriculture, 2018, 154: 18-24.

[25]谢忠红，徐焕良，黄秋桂，等. 基于高光谱图像和深度学习的菠菜新鲜度检测[J]. 农业工程学报，2019，35(13)：277-284. Xie Zhonghong, Xu Huanliang, Huang Qiugui, et al. Spinach freshness detection based on hyperspectral image and deep learning method[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(13): 277-284. (in Chinese with English abstract)

[26]杨彩霞，刘克成. 基于深度卷积神经网络的胡萝卜外观缺陷分类实现[J]. 南阳理工学院学报，2019，11(4)：41-43. Yan Caixia, Liu Kecheng. Classification of carrot shape defects based on dcnn[J]. Journal of Nanyang Institute of Technology, 2019, 11(4): 41-43.

[27]Hinton G, Vinyals O, Dean J. Distilling the knowledge in a neural network[J]. Computer Science, 2015, 14(7): 38-39.

[28]He K, Zhang X, Ren S, et al. Deep Residual Learning for Image Recognition[C]// IEEE Conference on Computer Vision & Pattern Recognition. IEEE Computer Society, 2016.

[29]农业标准出版研究中心. 最新中国农业行业标准：种植业分册[M]. 北京：中国农业出版社，2013.

[30]Tang Pengjie, Wang Hanli, Sam Kwong. G-MS2F: GoogLeNet based multi-stage feature fusion of deep CNN for scene recognition[J]. Neurocomputing, 2017, 225: 188-197.

Intelligent detection of appearance quality of carrot grade using knowledge distillation

Ni Jiangong, Li Juan, Deng Limiao, Han Zhongzhi※

(,,266109,)

Carrot has widely been served in the human diet, due to its rich in nutrients, particularly on carotene and dietary fiber. However, the brown and black spot disease can ruin the appearance and nutritional quality of carrot during the planting. Therefore, the classification of carrot grades has become an essential part, to improve the competitiveness of carrots in the market. Specifically, the detailed grading can greatly contribute to the commercial value of carrots. Traditionally, a feature extraction with classifier mode was generally adopted to detect the carrot appearance, where the manual definition of features was required, leading to time consuming, less accuracy, and erroneous judgement. In this study, a novel network was proposed to solve the problem, based on a lightweight front-end deployment method, the knowledge distillation technique. Teacher and student models were selected, where a teacher model was introduced to guide the training of student model. The model in this network can be used to reduce the number of parameters and running time, while achieve high accuracy. 3 266 high-resolution images of carrot were collected from the sorting machine as the experimental data sets. Four grades were divided, including the normal, curved, black spot and fibrous root, according to the carrot grading standards of Ministry of Agriculture of the People's Republic of China NY/T 1983—2011. 70% of the dataset was randomly divided into the training sets, whereas, the remaining 30% into test sets. The dataset of carrot was first imported into the network model for training. A teacher model was then introduced, when training to induce a student model, where the teacher model was a large-scale and complex network with many participants, whereas, the student model was a small-scale and streamlined network with a small number of parameters. By inducing training, small models can finally achieve high accuracy. Three teacher models were used, including Resnet34, Resnet50, and Resnet101, in order to guide the training of student model of Resnet18. Correspondingly, the average accuracy of distillation model increased from 94.3% to 94.8%, 95.2%, and 95.8%, respectively. The recognition rate of normal carrot was improved to 100%, where the Resnet18 student model was guided by the Resnet101 teacher model. The recognition rate of normal, black spot and fibrous root increased by about 2%, while, the training time of the model was 11.3 h. In addition, the recognition accuracies of Resnet50 and Resnet101 teacher model were 96.3% and 96.9% respectively, whereas, the training time of models can be 19.3 h and 31.3 h, respectively. The experimental results showed that the recognition rate of distillation model was much higher than that of the traditional model based on feature extraction with classifier. The recognition rate of model can further improved as the increase in the depth of teacher model. Knowledge distillation can perform well from the perspective of training time and arrangement in the model. The training time and deployment of model can be greatly shortened with a tradeoff of accuracy. Consequently, the knowledge distillation model can be used to provide a promising significant support to improve the performance of automatic detection device for the appearance quality of carrots.

deep learning; models; quality control; carrot; rank classification; knowledge distillation

倪建功，李娟，邓立苗，等. 基于知识蒸馏的胡萝卜外观品质等级智能检测[J]. 农业工程学报，2020，36(18)：181-187.doi：10.11975/j.issn.1002-6819.2020.18.022 http://www.tcsae.org

Ni Jiangong, Li Juan, Deng Limiao, et al. Intelligent detection of appearance quality of carrot grade using knowledge distillation[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(18): 181-187. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2020.18.022 http://www.tcsae.org

2020-05-22

2020-09-12

国家自然科学基金项目（31872849）；山东省重点研发计划（2019GNC1 06037）；山东省高等学校青创计划团队（2020KJF004）；青岛市科技发展计划（19-6-1-66-nsh，19-6-1-72-nsh）

倪建功，主要从事图像处理与人工智能研究。Email：1106668767@qq.com

韩仲志，博士，教授，主要从事农业机器人与人工智能研究。Email：hanzhongzhi@qau.edu.cn

10.11975/j.issn.1002-6819.2020.18.022

S126；TP391.4

A

1002-6819(2020)-18-0181-07