基于卷积神经网络的天麻表面破损检测研究*

夏 敏，孙 鹏，费琦琪，赵旭东，杨琳琳

(云南农业大学 机电工程学院，云南 昆明 650201)

天麻(Gastrodia elata Blume)是中国名贵中药材，可以治疗头痛眩晕、肢体麻木、小儿惊风、癫痫、抽搐和破伤风等症状，有较高的实用价值[1]。但如果天麻不经分选直接进入销售市场，会严重降低其经济价值；传统的人工分选方式，劳动强度大、效率低，存在主观性强、准确率低和成本高等问题，已不能满足天麻分选的实际要求。

近几年随着人工智能不断发展，人工神经网络和机器视觉等方法应用越来越广泛，利用深度学习自动从大量样本中识别特征并分类图像的技术日渐成熟。如付豪等[2]设计并搭建基于机器视觉的玉米幼苗叶面积检测装置，开发相应的图像采集及处理软件对装置进行控制，并对获取的玉米幼苗植株图像进行处理，以实现对玉米幼苗叶面积的在线无损检测。王佳[3]通过计算机视觉技术对香芋进行病害识别，利用建立的香芋病害数据库，对需要识别的香芋病害进行特征提取、病害分析，实现病害自动识别。赵晶等[4]搭建了基于机器视觉的小粒咖啡豆检测系统，开发了系统分析与控制软件，以期实现小粒咖啡工厂化生产中果径宽度和烘焙程度的在线检测分级。王利伟等[5]利用数字图像处理相关技术对葡萄叶部白粉病、黑腐病和霜霉病图像进行预处理以及特征提取，并采用多特征组合的方式通过支持向量机(support vector machine)对病斑进行分类识别测试。王奕[6]通过构建二维马铃薯内部病虫害视觉图像采集模型，结合图像的分块融合检测方法进行特征识别和提取，采用颜色提取分解和纹理分割技术，实现对马铃薯内部病虫害的特征识别。张飞云[7]分别提取小麦叶部病害的形状、颜色和纹理特征参数，组成多特征参数，采用矢量量化神经网络对小麦病害进行分类识别，算法简单，速度快，并且可以达到很高的识别率。但现阶段的研究重点主要集中在葡萄、马铃薯、玉米和香芋等农产品，利用机器视觉技术对天麻表面破损的分选方面缺乏深入研究。

因此本研究提出了一种基于ResNet101[8]的残差神经网络方法，主要以腐烂、霉变、机械损伤及完好4 类天麻为研究对象，利用ResNet101 网络中的输入卷积层以及4 个卷积组进行特征提取，区域候选网络生成天麻表面破损的初步位置候选框，最终实现候选框的分类和定位；并与Faster_rcnn_inception、SSD 和Rfcn_resnet101[9]等3 种网络的识别率进行了比较，以期取得较好的识别结果，为农产品检测技术提供借鉴和参考。

1 材料与方法

1.1 试验数据

本研究的研究对象为云南省昭通市冬天麻的霉变、腐烂、机械损伤和完好4 种表面样本，对表面破损图像进行分类识别。原始图像总计700 余张，对图像沿顺时针方向旋转0°、90°、180°、270°和镜像操作，将样本集扩充到3 500 张，训练集[10]2 800 张，测试集[11]700 张，部分图像如图1 所示。利用图像标注工具(Labelimg)标记天麻表面破损的类别信息和位置信息。同时，统一将图像分辨率修改为224×224 像素，以jpeg 格式导入计算机，构建天麻表面破损数据库。

图1 天麻表面破损样本图Fig.1 Samples of surface damage of G.elate

1.2 试验方法

卷积神经网络(convolutional neural network,CNN)是一种常见的深度学习网络架构，主要由输入层、卷积层(convolutional layer)[12]、池化层(pooling layer)[13]、全连接层及输出层构成，由于卷积层中输出特征面的每一个神经元与输入的神经元局部连接，并且通过与之对应的权值和局部输入进行加权求和，由于多层卷积层和池化层能提取图像的分类特征，Softmax[14]分类器能实现图像分类识别，因此被广泛用于图像识别相关领域。

1.2.1 天麻表面破损检测模型的基本结构

天麻表面破损检测模型利用ResNet101 卷积神经网络和区域候选网络构建，如图2 所示。首先将处理后的224×224 像素图像输入Faster-RCNN[15]，利用ResNet101 网络中的输入卷积层以及4 个卷积组进行特征提取，生成天麻表面破损卷积特征图。其次将表面破损天麻卷积特征图输入区域生成网络(region proposal network，RPN)，获得天麻表面破损的初步位置候选框区域。再将天麻表面破损的初步候选框映射到天麻表面破损卷积特征图，将其通过CNN 的感兴趣区域池化层生成固定大小的天麻表面破损特征向量。最后将天麻表面破损特征向量输入给Faster-R-CNN的2 个并行全连接层位置的精修层和分类层，最后得到表面破损天麻在图像中的准确位置和类别。

图2 天麻外观品质检测模型流程图Fig.2 Flow chart of inspection model for appearance quality of G.elata

1.2.2 天麻表面破损检测模型构建

基于ResNet101 模型建立天麻表面破损分选模型。该模型包含1 个输入层、5 组卷积层、2 个池化层、1 个输出层和1 个Softmax 分类器。其中，5 组卷积包含1 个输入卷积层33 个积木块(building block)，每个building block 包含3 个卷积层，加上Softmax 分类层，共101 层。

输入层[16]采用224×224×3 (H×W×D)大小的天麻样本，当输入图像是灰色图像即单层图像时D 为1，当输入图像为三通道RGB (red，green，blue)图像[17]时D 为3；利用特征提取层对特征进行提取时采用64 个大小为7×7 的卷积核进行特征提取，深度(padding)为3，步长为2，与输入层的样本进行卷积得到64 个大小为112×112 的特征图，既保证了提取的特征信息量，也最大程度上增加了网络运算效率；通过5 组卷积层进行卷积计算，得到最终特征图为7×7×2 048 和并利用平均池化层[18](average pool)和7×7 的池化核，提取每个(7×7)的最大或者平均值，即得到的最终输出为1×1×2 048；通过Softmax 分类器，得出腐烂样本、霉变样本、机械损伤样本和完好样本4 种样本的训练识别效率。

2 结果与分析

参与模型训练的天麻表面破损样本数3 500张，其中训练样本2 800 张，测试样本700 张。试验软件采用tensorflow[19]框架，选用Python[20]为编程语言，进行模型训练。

2.1 模型参数的设置

为了保证天麻表面破损图像网络模型的收敛速度及训练效果，首先采用变量控制法，经试验求得最佳学习率值及迭代次数，试验结果如表1所示。

表1 设置不同的模型参数测试识别精度分析表Tab.1 Set different model parameters to test and identify the accuracy analysis table

由表1 可知：设置初始迭代次数为100，学习率为0.01，模型识别精度为31.32%；迭代次数不变，改变学习大小，当学习率为0.003 时，模型精度最高；选定学习率0.003，改变迭代次数大小，当迭代次数为3 000 时，精度达到最高，高达96.13%。所以，选定模型参数学习率为0.003，迭代次数为3 000。

2.2 模型性能变化趋势分析

损失函数[21]是评价Faster R-CNN ResNet101网络模型对天麻表面破损识别的重要性能指标。权重参数的初始学习速率设置为0.003，经过3 000 次迭代后，分别提取模型3 类损失结果图，如图3 所示。

由图3 可知：随着迭代次数增加，并未出现过拟合现象，说明训练后的模型具有较强的泛化能力，预测准确率较高。在分类损失中，模型迭代到2 000 步左右时曲线逐渐趋于稳定，分类损失值为0.15，说明迭代到2 000 步时分类效果较好；在定位损失中，模型在1 800 步左右时定位损失值最小为0.20，说明迭代到该步数时模型对图像的定位与实际位置高度吻合，定位较好；在总损失中，模型在2 500 步时总损失值最小，曲线趋于平缓且平均识别率为95.14%，识别率高，可以有效识别天麻外观缺陷。

图3 迭代损失结果Fig.3 Iterative loss result

2.3 模型验证分析

为验证天麻表面破损识别模型的有效性，将测试集中的图像输入到已经训练好的表面破损识别模型进行识别率分析。选取测试集中700 幅图像进行一次性验证，验证结果如表2 所示。由表2可知：该模型的腐烂、霉变、机械损伤和完好样本的平均识别率分别为92.93%、95.67%、93.49%、和91.89%，平均识别率均值为93.42%，查准率为0.94，召回率为0.92。因此，所设计的残差神经网络模型对天麻的腐烂、机械损伤、霉变和完好的图像识别率高，可以准确识别出天麻的外观缺陷，缩短了检测时间，提高了效率。识别结果如图4 所示。

表2 验证结果Tab.2 Validation results

2.4 模型比较分析

为了表明本模型方法的优越性，用本模型方法与SSD、Faster_rcnn_inception 与Rfcn_resnet101 3 种传统神经网络识别方法进行对比，如图5所示。

由图5 所示：本文提出的Fster R-CNN Resnet101 模型相较其他3 种模型随着迭代次数的增加损失函数值逐渐降低，其损失值最低，该模型平均识别率为 95.14%。SSD、Faster_rcnn_inception 和Rfcn_ResNet101 的平均识别率分别为82.12%、84.45%和83.12%。相较于3 种模型，Faster R-CNN Resnet101 的识别率分别提高了13.02%和10.69%、12.02%，说明Faster R-CNN ResNet101 网络模型能快速准确定位识别目标。

图4 验证结果Fig.4 Validation results

3 讨论

本研究针对传统天麻表面破损检测主要依靠人工检测的问题，提出将卷积神经网络应用于天麻的表面破损识别中，建立了Faster R-CNN Res-Net101 的残差神经网络天麻表面破损识别模型。

通过采集天麻4 种表面破损图像，将采集到图像进预处理；通过CNN 结构进行图像的特征提取，并生成特征图，再将产生的特征图利用RPN 网络生成候选区域，并在池化层(ROI)将特征图和候选区域进行特征映射，最后进行分类和回归。Faster R-CNN ResNet101 网络模型的平均识别准确率为95.14%。

利用测试集进行测试时，该模型对腐烂、霉变、机械损伤和完好的样本识别的识别率分别为92.93%、95.67%、93.49%和91.89%，平均识别率为93.42%，查准率为0.94，召回率为0.92。结果表明该模型针对天麻表面破损的实际问题，能一次性分选出腐烂、霉变、机械损伤和完好的天麻，精度高、处理速度快，一定程度上避免了常规方法中由人工主观选取特征的不足。

通过与SSD、Faster_rcnn_inception 与Rfcn_resnet101 相比，Faster R-CNN ResNet101 识别率最高为95.14%，相对其他3 种网络模型识别率提高了11%左右。

由于本研究只对天麻的4 种常见表面样品进行了研究分析，存在一定的局限性，为了使模型能更好地推广应用在农产品中，下一步工作将收集大量的天麻表面破损图像，对模型进行优化和调整，以提高天麻表面破损图像识别的实用性和准确性。

4 结论

本文针对传统天麻表面破损主要依靠人工检测的问题，提出利用残差神经网络模型检测方法识别天麻表面破损，平均识别率达95.14%，查准率为0.94，召回率为0.92。与SSD、Faster_rcnn_inception 和Rfcn_resnet101 三种神经网络识别方法对比，识别精度分别提高了13.02%、10.69%和12.02%。该神经网络模型具有泛化能力强、准确率较高和鲁棒性较好等特点，为天麻表面破损的自动化检测研究提供了参考和借鉴。