基于深度学习的中草药植物图像识别方法研究

王艳，孙薇，周小平

(吉林大学药学院,吉林 长春 130012)

药用植物学野外实习作为药学专业实验课程体系的重要组成部分，各学校均会组织学生到野外实习作业，本院就利用长白山丰富的药用植物资源使学生掌握中草药识别方法[1]。为了提高野外实习效率，设计并开发了中草药植物图像识别系统，收纳了包括蕨类植物、裸子植物以及双子叶植物150种野外常见植物药。由于长白山地区光照环境变化较大、中草药拍摄视角不同且图像背景较为复杂，导致图像识别精度不是很理想。

为了解决上述问题，本文开展了基于深度学习的中草药图像分类识别方法的研究。首先通过仿射变换等数据增强操作对样本数据集进行扩充。然后采用图像分割算法将中草药植物叶片从复杂图像背景中分离出来。最后提出了一种深度编码解码网络对中草药图像进行分类识别，并通过迁移学习解决了数据饥饿问题。实验结果表明，该方法在光照环境较为复杂的场景下，对中草药图像的能够表现出较高的识别精度。

1 深度学习中草药图像识别基本原理

1.1 中草药图像识别原理

中草药图像识别的基本原理是基于统计模式识别的方法，即具有相似性的样本在模式空间中是互相接近的，而具有不同特性的样本必然存在着某些信息上的差异性，这些差异性可以根据已有的样本集进行统计获得，通常采用距离函数进行度量[2]。主要包括两类方法[3]：1)通过建立一个先验的背景模型，利用图像检测算法提取出图像中所存在的“奇异”信息；2)通过提取图像特征实现对目标图像的特征分割，进而检测出图像的兴趣目标，识别原理框图如图1所示。

图1 中草药图像识别原理框图

在图1中，预处理包括图像归一化、数据集扩充和图像分割操作。通过归一化操作将图像转化成标准模式，包括对数函数转换法、线性函数转换法和法余切函数转换法。通过数据增强对深度学习训练样本数据集进行扩充[4]。通过图像分割算法将中草药植物叶片从复杂背景图像中分离出来[5]。特征提取与选择是从采集到的图像中提取各类特征并进行选择的过程，主要采用基于目标表征模型的特征提取方法，包括基于点特征模型、基于形状的模型、基于表观的模型和基于运动的模型[6]。分类器是对图像类别及其特征按照一定的算法进行学习训练后，对任意给定的图像特征进行判别，包括K近邻法、神经网络法和支持向量机法等[7]。

1.2 深度学习中草药图像识别

基于深度学习的中草药图像识别方法可以表示为图像的深度特征提取和基于深度神经网络的目标识别和定位。其中用到的主要深度学习模型是卷积神经网络(Convolutional Neural Network,CNN),它是一种深度前馈神经网络。目前可以将基于深度学习的目标检测与识别方法分为三类[8-9]：基于区域建议的目标识别算法，如R-CNN、Fast R-CNN和Faster R-CNN；基于回归的目标识别算法，如YOLO和SSD；基于搜索的目标识别算法，如AttentionNet和深度强化学习算法。近些年最具代表性的工作是参考文献[10]设计的AlexNet，网络结构及参数配置如图2所示。

图2 AlexNet网络结构

在图2中，AlexNet主要由5个卷积层和3个全连接层组成，最后一个全连接层通过softmax分类器对1 000个类别的图像进行分类识别。AlexNet是第一个使用卷积神经网络在ILSVRC比赛获得冠军的网络结构，具有如下特点：1)使用ReLU作为卷积神经网络的激活函数，加快了深度网络的训练速度；2)首先通过平移、缩放、旋转等对数据集进行增强处理;3)使用Dropout避免过拟合，并使用更有效的方式进行模型融合；4)提出了Local Response Norm层，增强了模型的泛化能力；5)使用CUDA加速深度卷积网络训练，提升了计算效率。

2 基于深度学习的中草药识别方法

2.1 深度编码解码网络结构

AlexNet中连续的卷积并不能充分还原复杂场景下低质量图像的细节信息，导致图像目标检测与识别精度受限。笔者通过反卷积对AlexNet卷积提取的图像特征进行细节补充[11]，采用一种深度编码解码网络对中草药植物图像进行分类识别。首先通过卷积操作提取图像的深层次特征，然后通过反卷积操作来对图像特征细节信息进行复原重建。深度编码解码网络由卷积层、激活函数、池化和反卷积层组成，网络结果如图3所示。

图3 深度编码解码网络结构

2.2 深度编码解码网络结构设计

2.2.1 网络参数配置

深度编码解码网络包括两个卷积层、一个反卷积层和一个全连接层，如图4所示。其中conv1表示卷积层，deconv2表示反卷积层，卷积核大小为11×11，卷积核数量为96。卷积层初始化参数与通过AlexNet训练参数相同，deconv2参数与conv2参数相同。

图4 深度编码解码网络参数配置

2.2.2 卷积和反卷积操作

卷积和反卷积操作如图5所示。在图5中，多对一卷积通过滤波和激活函数，使低质量图像特征得到增强，并对图像噪声可以起到抑制作用。一对多反卷积可以复原重建出更多的图像细节特征，通过反卷积核对图像特征映射降维。笔者在这里给出卷积层的计算公式：

图5 卷积与反卷积操作

(1)

(2)

在公式(1)和(2)中，inputw，inputh表示输入图像的宽度和高度，outputw，outputh表示输出图像的宽度和高度。kernelsize表示卷积核大小，stride表示步长值，pad表示填充值。

2.2.3 网络结构优化

通过迁移学习解决数据饥饿问题[12-13]，采用训练好的AlexNet参数对深度编码解码网络卷积操作的参数进行初始化，采用高斯分布对反卷积参数进行初始化。通过平移、旋转、缩放等对图像样本集进行数据增强处理，如图6所示。

图6 图像样本数据增强

3 实验测试与结果分析

3.1 实验测试环境

实验测试计算机硬件环境：处理器Intel Core i9-9900K，显卡GeForce RTX2080 Ti，内存64 GB。计算机软件环境：基于Python的数据处理和科学计算平台Anaconda，Python IDE编辑器Pytorch。

3.2 实验测试方案

从长白山中草药植物图像数据库中随机提取3 752张图片组成图像样本数据集，包括：人参、刺五加、松茸、天麻、北冬虫夏草、灵芝、红景天、紫杉、沙棘、蓝靛果、黄芪、五味子、月见草、细辛和平贝母，共计15种中草药。通过旋转、翻转、仿射变换和下采样等数据增强操作对样本数据集进行扩充，得到18 760张图片组成的样本数据集，将样本数据集划分为训练样本和测试样本，其中训练样本15 008张、测试样本3 752张。

首先采用基于蚁群优化的图像分割算法[14]将中草药植物叶片从复杂图像背景中分离出来，然后分别采用AlexNet和深度编码解码网络结构对图像训练样本数据集进行深度学习分类训练，并分别使用Softmax分类器对15种中草药植物图像进行分类识别。最后对3 752张测试样本图像进行分类识别。实验结果如图7所示，深度编码解码网络在13种中草药植物图像识别中表现出较高的精度，平均识别精度为99.38%。

图7 中草药图像分类识别结果

4 结语

通过开展基于深度学习的中草药图像分类识别方法的研究，建立了一种基于深度编码解码网络的中草药分类识别系统，用于解决长白山野外实习草药图像分类识别精度较低的问题。首先，通过平移、旋转、缩放和仿射变换对图像样本进行数据增强处理。然后，采用基于蚁群优化的图像分割算法将中草药植物叶片从复杂的图像背景中分离出来。最后，提出一种深度编码解码网络对15种中草药图像进行分类训练，并通过迁移学习解决了数据饥饿问题。实验结果表明，该方法在光照条件较为复杂的场景下，对中草药图像识别能够表现出较高的精度，平均识别精度为99.38%。