基于残差网络和迁移学习的野生植物图像识别方法

李立鹏，师菲蓬，田文博，陈 雷

(天津商业大学 信息工程学院，天津 300134)

0 引言

我国是全球植物多样性最丰富的国家之一[1]，总数居世界第三位。除了常见的农林植物与盆栽外，还有很多野生植物，是重要的自然资源和环境要素，对于维持生态和发展经济具有重要作用[2]。近年来，由于野生植物种类的多样性以及人们对其认识的匮乏，很多野生植物被过度采摘。尤其是一些国家级重点保护野生植物，如百山祖冷杉、银杉等，处于极度濒危的状态，其生存与发展急需得到保护。因此，探求一种准确且高效的野生植物识别方法刻不容缓。

由于野生植物种类间的相似性，传统的植物识别主要依赖人工采集大量样本，耗时耗力且识别率低，植物识别面临巨大挑战。近年来，人工智能行业飞速发展，深度学习方法已广泛应用于日常生活的各个领域[3-4]。以深度学习为基础，温长吉[5]、曹香滢[6]、于慧伶[7]等研究人员将卷积神经网络的思想与植物图像识别问题相结合，探索出了一系列高效准确的识别算法，应用于不同种类植物图像的分类问题。目前，以深度学习为核心技术的野生植物分类方法较少，分类效率和识别精度方面还有很大的提升空间。

本文以迁移学习方法为基础，利用已在大型ImageNet数据集中提前训练好的ResNet101网络模型，对经过数据增强后的野生植物图像进行识别和分类。同时，使用Dropout正则化和批量正则化等技术对原始模型进行微调，降低模型过拟合。最后，采用SGDM优化器优化模型的网络结构参数，加速模型的收敛。

1 基础网络模型

1.1 卷积神经网络

作为一种典型的深度神经网络，卷积神经网络的参数共享和稀疏连接策略在处理图像识别问题上有独特的优势，在减少网络层参数的同时提高了神经网络的泛化能力，增加了图像的识别率。

自LeNet-5网络被成功用于手写数字识别问题起[8]，由卷积层和池化层交替连接的卷积神经网络模型基本骨架正式确立。随后AlexNet网络模型的创立[9]，使卷积神经网络逐渐成为众多学科领域的研究热点之一。近年来，使用卷积神经网络来处理与分析数据已成为流行趋势，众多经典的网络模型如VGGNet，ResNet，DenseNet及GooleLeNet等相继被提出，并在计算机视觉和自然语言处理等方面得到了广泛应用[10-12]。

1.2 ResNet101网络

在卷积神经网络发展与研究的进程中，由于分类问题日益增多，识别难度逐渐加大，人们对卷积神经网络层的深度要求日渐增高。2015年诞生的残差网络——ResNet[13]，利用残差模块进行训练，建立了输入与输出之间的有效连接，使神经网络在深度拓宽的同时还能保持其特征表达的能力，巧妙地解决了由层数加深引发的梯度消失或梯度爆炸问题。引入残差模块是卷积神经网络发展进程中至关重要的一环，该模块结构如图1所示。

残差结构以跨层链接的方式，构成了身份映射(Identity)和残差映射(Covn)2种映射路径。通过在普通模块连接过程中添加x恒等映射的方法，使得该网络在缓解梯度消失问题的同时，有效地控制网络层参数和计算复杂度不变。残差结构单元可表示为：

xj+1=xj+F(xj,Wj)，

(1)

式中，xj，xj+1分别代表该层网络的输入和输出信息；Wj表示该层待学习的参数。将式(1)进行递归运算，可得任意深层单元J的特征表示：

(2)

为了更好地说明残差网络模块的内涵，引入反向传播的概念。令网络损失函数为E，由反向传播的链式求导法则可推出：

(3)

ResNet101是以VGG网络结构为基础，在其上基于短路机制添加残差学习模块而产生的。该网络多达101层，残差块由大小分别为1×1,3×3和1×1的3个卷积层依次相串并与输入合并构成，各层后均加入Rule激活函数，其残差学习模块如图2所示。

图2 3层式的残差学习模块Fig.2 Three-layer residual learning module

ResNet101网络构造如图3所示。

图3 ResNet101网络结构Fig.3 ResNet101 network structure

从第1组卷积块起到第5组均为残差模块，将大小为224 pixel×224 pixel的图像数据输送后，经残差网络提取特征进行学习训练，最终缩减为7 pixel×7 pixel的尺寸。经过残差网络训练后，将图像输入平均池化层取平均，最终由全连接层的Softmax函数进行图像类别的划分。

2 网络模型构建与优化

2.1 迁移学习

迁移学习[14]是为了解决小数据量样本集在神经网络学习训练过程中，容易出现过拟合问题而提出的一种非常高效的学习方法。通过将在大型网络(如ImageNet[15]等)中预训练好的特征参数保存后，应用到全新的任务中，通过特征模型权重在不同分类数据之间的可移植性，提高了小数据分类问题的效率与准确性。

对卷积模型而言，迁移学习就是要提取提前训练好的卷积基(包括一系列卷积层和池化层)的特征参数，在新模型中冻结卷积基，输出时设置一个新的分类器，针对特定图像进行分类。

基于迁移学习在小样本数据集上的优势，本文以ResNet101网络为基础架构，设置新样本参数为已在ImageNet数据集上训练好的参数，采用迁移学习的方法对小型野生植物图像数据集进行训练。

2.2 改进模型

2.2.1 模型微调

基于ResNet101网络迁移学习，提出的改进后的网络模型结构如图4所示。

图4 改进后的网络结构Fig.4 Improved network structure

主要改进内容如下：

(1) 首先对迁移模型进行微调，删除最后的平均池化层和分类层，冻结其前312层(即冻结图3所示conv1～conv4_x层)，对其后卷积层(conv5_x层)进行参数重训练，使网络在借鉴大型数据集参数的同时保持其与本文所用数据集的相关性，并将该模型作为骨干网络。

(2) 设置全局平均池化层(Global Average Pooling)[16]于ResNet101骨干网络之后，使网络参数减少，避免过拟合的发生。其后添加2层全连接层，将神经元个数均设置为128，激活函数选择Rule。

(3) 在激活函数后增加Dropout正则化[17]处理，将舍弃概率值设置为0.5，即在训练网络时，随即丢弃一半的参数，以降低参数的改变对输出结果的影响，如图5所示。

(4) 搭建BN层，以Batch Normalization技术[18]批量标准化处理不规范的数据，归一化网络输出，降低模型过拟合，使模型收敛速度加快，进一步提高模型的性能。BN层算法如式(4)和式(5)，分别表示对数据进行规则化和尺度变换与平移。

(4)

(5)

(5) 添加输出神经元个数为62的分类层Softmax，使输出符合本文数据集的要求。

(a) 标准神经网络

2.2.2 模型优化

(1) 优化器选择SGDM动量梯度下降[19]，初始学习率设为0.001。在随机梯度下降法的基础上引入一阶动量Momentum，并将参数β设为0.9。采用SGD with Momentum的方式，使更新梯度由式(6)转化为式(7)，利用2次训练间梯度的动量变化，使其梯度变化不止由当前时刻梯度决定，还与历史积累有关。以SGDM为优化器，加快模型的收敛速度，缓解了由单纯梯度下降法带来的收敛速度较慢且易于陷入局部鞍点等问题。

mt0=gt0，

(6)

mt=βmt-1+(1-β)gt，

(7)

式中，mt，mt-1分别表示当前时刻与前一时刻的梯度更新；gt为目标函数的梯度，其具体表示方式如下：

(8)

(2) 损失函数选择交叉熵损失函数，将得到的输出进行0～1区间映射，随后放入传统的交叉熵函数中，加快了误差变化的速度。

2.3 图像分类流程

将数据集划分后，图片的一部分在经过预处理后用于新模型的训练，另一部分用于对学习到的特征进行评定。改进后网络在植物图像上的基本分类流程如图6所示。

图6 改进后网络在植物图像识别中的流程Fig.6 Improved network process in plant image recognition

3 实验结果与分析

3.1 野生植物数据集及其预处理

本文采用的数据集是来自kaggle的野生植物图像数据集，包含苜蓿、芦笋、蓝马鞭草、车前草等植物在内的62种常见的野生植物类别，采集了6 558张植物图像。实验以4∶1的比例将所含图像划分为训练集(80%)和测试集(20%)两部分，训练集数量为5 246张，测试集数量为1 312张。其中，部分种类植物图像如图7所示。

(a) 紫花苜蓿

实验原始数据还需要在训练开始前进行预处理操作。由于每个类别训练集植物图像数量约85张，数据集相对较小，模型泛化能力差，直接送入网络运行易过拟合，严重影响图像识别的准确率。因此，首先采用平移、翻转、剪切变换等数据增强方法对训练集样本进行扩张并随机打乱顺序，其中一张图片随机变换后的扩充图像如图8所示。

(a) 野生植物图片原图

接着，采用数据规范化操作使整个样本集统一，整理其图像尺寸为224 pixel×224 pixel。

3.2 实验环境及参数设置

本实验在硬件上使用Intel(R) Core(TM) i5-10210U CPU处理器，运行内存为8 GB，加速显卡为NVIDIA GeForce MX250 GPU。软件环境为Windows 10 64 bit操作系统，基于Python脚本语言，Tensorflow2.4.0深度学习框架和jupyter notebook开发平台。以验证集精度作为模型评估指标。

分别对各种热门网络进行迁移学习后，综合选出精度与收敛速度综合评分较高的ResNet101网络模型进行微调训练。

3.3 实验结果及分析

3.3.1 数据扩充策略对实验结果的影响

为验证数据扩充策略对小样本数据集的影响，现以对比实验的方式，在保证网络结构和优化方式相同的情况下，分别在原始数据集和经过平移、翻转、剪切变换等数据增强方法扩充的数据集上进行训练，并记录测试精度如图9所示。

图9 数据增强前后准确率对比Fig.9 Comparison of accuracy before and after data enhancement

图中a，b分别表示添加了数据扩充方法后和未添加前的测试精度。

由图9可以看出，对数据增强操作后的训练集进行网络学习，可在一定程度上缓解模型过拟合的问题，使模型获得更高的测试精度，相比原始数据集提高了约3个百分点，说明数据扩充策略能有效地提升小数据量样本集的识别准确率。

3.3.2 改进策略对实验结果的影响

(1) ResNet101网络自对比实验

为验证本文所提出的微调模型在野生植物图像识别问题上的有效性，分别在迁移学习方法的基础上对原始ResNet101模型、微调第5组卷积块后的模型、添加Dropout正则化和批量正则化技术后的模型进行训练，优化器选用SGDM，损失函数为交叉熵损失函数。均迭代150次后，以测试准确率最大值为判断依据，与本文改进模型相比，最终得到的模型精度与损失对比情况如表1所示。

表1 微调模型训练结果对比Tab.1 Comparison of fine-tuning model training results

由表1可以看出，2种改进方案均对测试集准确率和损失结果有影响。较原始ResNet101模型，微调卷积块后模型准确率提高5.8%、加入正则化技术后提高2.1%，且模型损失均有降低，证明了本文所提优化方法可在一定程度上缓解模型过拟合的问题，在植物识别问题上具有可行性。本文最终改进模型测试准确率达85.6%，较原始模型准确率提升了6.9%，损失降低了0.7，具有很好的泛化能力，适合用于野生植物图像的分类。改进前后模型训练过程中的准确率与损失曲线如图10和图11所示。

可以看出，原有ResNet101网络在训练集上表现较好，识别精度随迭代次数的增多稳步升高，最终能达到将近94%的准确率，但测试集精度却在达到78%后不再改变，可见模型产生了过拟合的问题。而改进后的网络模型在训练约40次后，测试精度能稳定在85%，较原始模型泛化能力更优。

(a) 改进前训练集与测试集准确率

(a) 改进后训练集与测试集准确率

(2) 与其他网络模型的对比试验

为验证ResNet101网络结构在野生植物数据集上的适用性，本文就卷积神经网络发展进程中热门网络结构——VGGNet与其对比，分别以VGGNet16，VGGNet19和ResNet101网络为基础架构，采用迁移学习的方法对数据集进行训练。迭代150次后，不同模型的训练结果如表2所示。

表2 不同模型训练结果对比Tab.2 Comparison of training results of different models

由表2可以看出，相较于VGGNet网络，ResNet101网络引入残差结构模块，在减少网络参数的同时提高了模型的准确率，表明了残差结构的有效性。模型的具体测试精度随迭代次数的变化情况如图12所示。

图12 不同网络测试准确率对比曲线Fig.12 Comparison curves of different network test accuracy

由图12可以看出，ResNet101网络比VGGNet更快收敛且曲线稳定后能达到相对较高的准确率，由于ResNet网络是在VGG网络结构的基础上基于短路机制发展起来的，因此更能体现出残差模块的独特优势。与其他基础神经网络结构相比，本文所提出的改进模型经迁移学习后对植物图像的识别准确率最高，因而更适用于野生植物数据集的学习。

3.3.3 不同优化器及学习率对实验结果的影响

许多优化方法都能解决深度学习中模型最优解的问题，不同优化器的选择也会使训练出现不同的效果。训练过程中学习率选取太小，收敛速度缓慢；而选取过大，会导致曲线震荡，从而容易跳过最优值。为验证不同优化器和学习率对野生植物数据集识别结果的影响，分别选用优化器SGDM，Adam和RMSprop在改进后的模型上进行试验，并设置初始学习率分别为0.01，0.001和0.000 1，得到的测试结果如表3所示。

表3 不同优化器与学习率的识别精度对比Tab.3 Comparison of recognition accuracy of different optimizers and learning rates

实验结果表明，以SGDM为优化器，0.001为学习率参数时，模型能够快速收敛，测试准确率最高达到85.6%，更适合用于本模型的训练。

4 结束语

本文提出了一种以ResNet101网络为基础的野生植物图像识别方法。首先，针对实验样本较少的问题，对经过数据扩充后的样本图像进行迁移学习，选取综合评分较高的ResNet101网络作为骨干网络，冻结其部分层，对剩余各层进行重训练；其次，对模型结构参数进行微调，引入正则化技术提高泛化，并选取SGDM优化器加快模型的收敛速度，使其表现出更好的性能。实验结果表明，本文所提方法针对62种野生植物图像的测试精度可达85.6%，较单一ResNet101网络模型迁移学习方法提高了约7%的检测精度，模型泛化能力较好，对于解决野生植物图像的分类识别问题有一定的可行性。在未来的工作研究中，将扩充野生植物数据集，把更多的植物种类考虑在内，设计更加有效地优化方法，进一步提高不同网络模型在此种识别问题上的性能。