APP下载

基于改进MobileNet的轻量级外来入侵植物识别模型研究

2024-02-06吴鸿飞刘万学冼晓青赵梦欣姚青

植物保护 2024年1期
关键词:剪枝注意力卷积

吴鸿飞 刘万学 冼晓青 赵梦欣 姚青

摘要

外來入侵植物防治的首要任务是准确识别入侵植物种类,然而外来入侵植物种类繁多,存在类间同质和类内异质现象,给技术人员甄别与防治外来入侵植物带来了挑战。为了准确、实时和高效地识别外来入侵植物,本文提出基于改进MobileNet的轻量级外来入侵植物图像识别模型(MobileNetLW)。以专业人员鉴定得到的113种11 628幅外来入侵植物图像作为研究对象,并按照6∶2∶2的比例划分训练集、验证集和测试集。通过Retinex、旋转和高斯噪声等方法对图像进行数据增强。为了减少类间同质现象对模型误检的影响,在模型MobileNet基础上添加了SE通道注意力机制和深度连接注意力网络,提高网络对关键特征的提取能力。为了降低模型计算消耗和内存消耗,采用通道剪枝方法对网络瘦身;为了弥补剪枝后造成模型准确率降低,采用教师网络助教网络学生网络的形式对剪枝后的网络进行知识蒸馏,学生网络通过软知识的学习来提高识别外来入侵植物的准确率。通过消融试验测试模型的性能,利用平均准确率、平均召回率和平均F1值3个评价指标,对现阶段经典模型与改进后模型MobileNetLW所获得的识别结果进行评价。消融试验结果显示,在相同数据集条件下,所有改进点对模型的性能都有所提升,且改进后算法在外来入侵植物图像识别中准确率提高了5.4百分点,模型参数量减少了约53%;模型对比试验表明,EfficentNet、DBTNet、ResNet101、ConvNext和MobileNetLW 5个模型平均准确率分别为72.3%、74.9%、76.1%、79.7%和86.1%,表明改进后的网络提高了外来入侵植物的识别准确率。基于改进MobileNet的轻量级外来入侵植物识别模型对113种外来入侵植物识别具有较高的准确率,且模型具有轻量化特点。

关键词

外来入侵植物; 智能识别; 通道剪枝; 知识蒸馏; 注意力机制; MobileNet

中图分类号:

Q 948; TP 391.41

文献标识码: A

DOI: 10.16688/j.zwbh.2022710

A lightweight identification model for alien invasive plants based on improved MobileNet

WU Hongfei1, LIU Wanxue2*, XIAN Xiaoqing2, ZHAO Mengxin2, YAO Qing1

(1. School of Computer Science and Technology, Zhejiang SciTech University, Hangzhou 310018, China; 

2. State Key Laboratory for Biology of Plant Diseases and Insect Pests, Institute of Plant Protection, 

Chinese Academy of Agricultural Sciences, Beijing 100193, China)

Abstract

The primary task in controlling alien invasive plants is to accurately identify the species of invasive plants. However, there are a wide variety of alien invasive plants, and some of them present the interclass homogeneity or intraclass heterogeneity, which brings challenges to the identification and control of alien invasive plants. In order to identify alien invasive plants accurately, efficiently and in real time, a lightweight identification model based on the improved MoblileNet (MobileNetLW) was proposed. The 11 628 images of 113 species of alien invasive plants identified by technicians were divided into the training set, verification set and testing set in a ratio of 6∶2∶2. The image data were enhanced by Retinex, rotating image and Gaussion noise. In order to reduce the false detection, the SE channel attention mechanism and deep connection attention network were added to the MobileNet model to improve the ability of key feature extraction. In order to reduce consumption of model computation and memory, the channel pruning method was used to slim down the network. In order to improve the accuracy reduction caused by model pruning, the knowledge distillation of the teacher networkteaching assistant networkstudent network was adopted to the pruned network, and the student network can improve the recognition accuracy of alien invasive plants through learning the soft knowledge. In this study, the ablation experiments of the model were done. Three indicators including average accuracy, average recall rate and average F1 value were used to evaluate the classical models and the improved model MobileNetLW. The results of ablation experiments showed that the performance of each improved method on the model was improved on a same testing set. The accuracy of MobileNetLW increased by 5.4 percentage points in identifying the alien invasive plants, and the number of parameters of model reduced by about 53%. The average accuracies of the five models, i.e., EfficentNet, DBTNet, ResNet101, ConvNext and MobileNetLW, were 72.3%, 74.9%, 76.1%, 79.7% and 86.1%, respectively, showing that the improved model could improve the identification accuracy of alien invasive plants. The alien invasive plant identification model based on the improved MobileNet showed high accuracy in identifying 113 species of alien invasive plants, and showed characteristic of lightweight after pruning.

Key words

alien invasive plants; intelligent identification; channel pruning; knowledge distillation; attention mechanism; MobileNet

随着全球经济一体化,国际贸易、跨国旅游业等快速发展,外来生物入侵已成为当前全球性的问题,被认为是21世纪五大全球性环境问题之一[1]。我国农林生态系统外来入侵物种已达800种,已确认入侵农林生态系统的有638种,其中动物179种、植物381种、病原微生物78种,我国已经成为全球遭受生物入侵威胁与损失最为严重的国家之一[12]。外来生物入侵的危害主要表现在3个方面:1)危害生态系统,破坏生物多样性;2)危害人畜健康,威胁人类安全;3)危害农业生产,造成巨大经济损失[3]。因此,针对外来入侵生物的危害需要提出相应的防控对策,其中建立外来入侵生物早期预警和监测体系一个重要的前提是外来入侵生物的准确识别。目前,外来入侵生物识别主要通过生物形态学鉴定[45]和分子生物学鉴定[67]等方法。其中生物形态学鉴定主要依赖于人的主观经验和相关文献书籍。由于外来入侵植物种类繁多,存在类间同质和类内异质现象,且野外实地调查过程中数据采集规范性不足、纸质采集记录丢失、记录数据不完整,因此在外来入侵植物监测工作中存在工作量大、数据出错概率高、维护困难等问题[8];分子生物学鉴定如线粒体COⅠ条形码序列分析存在耗时长且花费成本大等问题,不能满足大量样本快速监测的需要[9]。此外,由于专业技术人员人数的限制和专业的差异等,对外来入侵植物防治工作是一种挑战。因此,亟须一种准确、实时和高效的识别工具或方法实现外来入侵植物自动识别。

随着图像处理和机器学习在多个领域的成功应用,利用图像来识别外来入侵植物成为了近些年的热点。传统的植物图像识别方法[1013]主要是依据植物叶片,通过提取叶片的颜色、纹理、形状和脉络等特征,再用不同的分类器进行分类识别。张宁等[11]通过克隆选择算法和K近邻识别100种植物叶片,结果表明,此方法识别率达到91.37%,优于BP神经网络方法。Cao等[12]提出描述轮廓曲率R角的形状描述符,并采用L1范数和基于动态规划来匹配不同植物叶片之间的R角,以此度量叶片的相似性,试验证明该方法表现优良。Mahajan等[13]利用自适应增强技术向量机(SVM)从叶片图像中提取植物形态特征并采用Adaboost 算法集合多种弱分类器从而得到一个更强的最终分类器对提取的特征进行分类,在开源数据集FLAVIA上达到95.85%的准确率。

由于自然环境下外来入侵植物种类繁多,同种植物因环境、气候及不同发育阶段,存在较大的外观差异,不同植物可能存在相似的表型特征,因此在实际应用中会发现传统的模式识别方法鲁棒性弱,泛化能力差。近年来,随着深度学习的不断发展,卷积神经网络(convolutional neural network,CNN)在图像识别任务中有着不俗的表现,运用卷积神经网络的方法提取更为丰富的图像特征用于植物图像的识别[1418]。王艳等[15]通过蚁群优化的图像分割算法将中草药植物叶片从背景中分离出来,再使用AlexNet对目标图像分类训练,并用Softmax分类器进行分类识别,在13类中草药植物图像识别中平均准确率达到99.38%。Qiao等[16]提出了由卷积层、ReLU激活函数、局部响应归一化(LRN)、池化层、Dropout层、全连接层组成的47层的MmNet模型用来识别外来入侵植物微甘菊Mikania micrantha,准确率达到94.5%。利用深度学习方法对植物进行识别可以有效地解决很多弊端[1418],通过算法调优、数据增强等方法来提高识别模型的泛化能力。Qian等[17]结合AlexNet局部响应归一化、GoogleNet初始模型和连续VGG卷积提出IAPsNet模型对7类外来入侵植物进行分类识别,结果达到93.74%准确率。上述研究局限于单个物种或者较少种类的植物识别。李立鹏等[18]通过Dropout正则化和批量正则化技术、SGDM优化器和迁移学习的方法来对ResNet101模型进行优化,在62类野生植物图像识别中平均准确率达到85.6%。刘万学等[19]利用DenseNet模型、Android移动设备和云服务器对135类外来入侵植物进行分类识别,准确率达85.3%。刘万学等[19]建立的外来入侵植物识别系统需要通过云服务器进行模型部署和数据传输;李立鹏等[18]所使用的ResNet101模型的参数量达到42.5 M,内存占据大,难以在移动设备终端实现部署。上述研究虽然识别种类较多,但由于实际野外调查中网络状态的不稳定性以及网络带宽的限制,无法滿足可应用于无网络信号条件下轻量化模型的需求。因此亟须建立一个泛化能力强且轻量化、易部署在移动式设备的模型来完成外来入侵植物识别任务。

基于轻量化模型的需求,Howard等[21]提出了MobileNet轻量级模型。该模型实现识别的关键是深度可分离卷积(depthwise separable convolution),通过深度卷积(depthwise convolution)和逐点卷积(pointwise convolution)达到减少计算量和缩小模型的目的。为了进一步让模型达到轻量化部署,可以对模型进行剪枝瘦身操作,根据BN层的权重因子[21]来判断通道对特征提取的权重值,依据通道的权重因子对相对不重要的通道进行剪枝,从而达到剪枝瘦身的目的,并最大程度上减小对模型准确率的影响。为了弥补剪枝对于模型准确率的影响,利用知识蒸馏[22],通过教师模型来指导剪枝后的模型进行训练,使得剪枝后的模型在原有的准确率基础上有较大的提升,达到教师模型性能的水平。

为了提升网络对于特征的提取能力,本文在MobileNet网络的基础上,先嵌入squeezeandexcitation (SE)注意力机制模块,并用deep connected attention network(DCANet)将不同卷积模块的注意力连接;为了满足外来入侵防治工作对于模型轻量化的需求,本文通过batch normalization(BN)的缩放因子进行网络通道剪枝,再通过知识蒸馏提高剪枝后的模型识别准确率,最终建立MobileNetLW外来入侵植物识别模型。

1 试验数据和方法

1.1 外来入侵植物数据集

本文的图像来自中国农业科学院植物保护研究所植物病虫害综合治理全国重点实验室和网络爬取,并经过外来入侵生物专家鉴定与确认,数据集包含113种11 628幅外来入侵植物图像,数据集所含外来入侵植物种类如表1所示。由于原图像尺寸大小不一,首先采用补边的方式将图像长和宽调整为相等,再统一将图像的尺寸调整为256 px×256 px,将图像数据集按照6∶2∶2的比例随机分成训练集、测试集和验证集。

1.2 图像数据增强

由于在实际图像采集中得到的图像质量参差不齐,尤其是外来入侵植物的图像拍摄大多都在野外,受到天气、环境等因素干扰的情况较多,低光照的图像特征不明显,难以识别,给外来入侵植物识别工作带来难度。本文利用Retinex算法[23]中彩色多尺度MSRCP算法、多尺度加权平均MSR算法和色彩增益加权AutoMSRCR算法对外来入侵植物图像数据集中低亮度图像进行数据增强,同时利用旋转90度和添加高斯噪声等对训练图像进行数据增强,如图1为外来入侵植物五爪金龙Ipomoea cairica的图像数据增强结果。

1.3 外来入侵植物识别模型

1.3.1 基于改进MobileNet的外来入侵植物识别模型

由于外来入侵植物种类繁多,存在种内变异,种间相似和图像背景复杂多变的问题。为了提高入侵植物识别准确率,本文在MobileNet的基础上建立外来入侵植物识别模型。改进的模型网络结构如图2所示,输入为外来入侵植物图像,网络先通过一个卷积层对输入图像进行处理,后通过15个瓶颈块分别对特征图进行特征提取,最后通过卷积和全连接层得到外来入侵植物图像的分类结果。为了提高瓶颈块对图像特征的提取能力,本文将SE(squeezeandexcitation)注意力机制模块嵌入MobileNet模型,同时在具有注意力模块的相邻瓶颈块添加了深度连接注意力网络DCANet,详细连接结构见图3。

1.3.2 深度连接注意力网络DCANet

由于外来入侵植物图像背景复杂且物种形态特异,网络在对图像识别过程中很难提取到有效信息,而注意力机制能够在少量的计算消耗下,加权图像重要的信息,并抑制无关信息,从而提高网络对于重要特征的提取能力。本文在關键瓶颈块中的深度可分离卷积层传递特征信息到1×1的卷积层过程中添加了基于通道域的注意力机制[24](图3),它是由全局平均池化层、2个全连接层和1个Sigmoid激活函数组成。首先如公式(1)所示对于输入特征图X进行展平处理,进行高度H和宽度W的全局平均池化,将空间特征维度降到1×1,得到特征图Z;再使用2个全连接层和ReLU激活函数建立通道之间的连接;公式(2)表示最后一层全连接层Z⌒通过Sigmoid函数进行归一化处理,再通过乘法逐个通道加权到原始特征图X的每一个通道得到特征图X⌒。通过注意力机制可以增加关键通道权重并减少非关键通道权重。

Z=1H×W∑Hi=1∑Wj=1xc(i,j)(1)

X⌒=X·σ(Z⌒)(2)

其中,c为输入特征图的通道,xc(i,j)为通道的像素点位置,σ 为Sigmoid函数。

添加注意力机制的瓶颈模块提高了特征提取能力,但它仅考虑了当前层的特征,本文在模型中添加深度连接注意力网络DCANet[25],该网络连接相邻关系的注意力机制模块,可以提高注意力机制的学习能力。图3给出了DCANet网络结构图,其中,注意力机制模块分为提取、转换和融合3个步骤。第1个卷积块通过全局平均池化提取得到特征G,再通过公式(3)的转换操作获得注意力模块的输出T。将前一个注意力模块生成的注意力映射特征图 与当前注意力模块提取的特征图G进行连接并转换,特征图映射关系见公式(4),其中连接函数f将2个模块特征图进行连接,得到的结果再逐个通过加权到原始特征图X并得到特征图X⌒。连接函数f采用公式(5)的直接连接方式,连接函数将2个模块相同索引的特征连接起来,从而保证了模型既能学习提取当前卷积块的特征,又能学习之前的注意力信息,增强模型的鲁棒性和泛化能力。

T=t(G,wt)(3)

X⌒=t(f(αG,β),wt)·X(4)

f(αGi,βi)=αGi+βi(5)

其中,t为定义的特征转换的操作,wt表示特征转换中使用的参数,α和β为可学习参数,i为特征图索引位置。

1.3.3 通道剪枝

在外来入侵植物实地野外调查中,由于网络状态的不稳定性以及网络带宽的限制,简单地将CNN模型部署在云端的计算模式无法保证移动用户的体验期望,同时受限于移动端有限的资源,移动设备也无法满足CNN模型对计算、存储及电量资源的需求[26]。结合野外防治工作对于轻量化模型的实际需求,本文在改进的模型基础上进行通道剪枝(图4)。在通道剪枝方法中,找到合适的剪枝策略和评判通道的重要程度的方法是保证通道剪枝效果良好的关键。基于网络的特点,在输入维度和输出维度相同的模块中会进行shortcut短路连接,而对这些模块剪枝导致的输入输出维度不匹配就会影响整个网络的结构从而降低网络对于特征的提取能力,因此对具有短路连接的相关模块进行通道剪枝操作会维持输入维度和输出维度相同,在保证模型整体结构稳定的基础上对瓶颈块的升维层和降维层进行剪枝。本文在网络瘦身策略上选择BN通道剪枝[21]。首先,在网络中采用L1正则进行稀疏化训练,对于通道因子γ的训练如公式(6),然后根据网络中BN层的权重因子γ来对网络的通道进行权重判断,对网络中权重靠近零值的通道进行剪枝操作。由BN层输出Y的计算公式(7)可知,当通道因子γ值足够小时候,BN层的输出都与输入样本无关,因此具有此类BN参数的通道都可以剪枝,此方法可以保证在一定的剪枝率下模型瘦身对模型的准确率影响最小。

L=∑(x,y)l(f(x,W),y)+λ∑γ∈Γg(γ)(6)

Y=limγ→0γ·X-μσ2+ε+β=β(7)

其中,x表示训练输入,y表示训练目标,W为可训练权重,f(x,W)为网络的预测输出,l(f(x,W),y) 为网络的预测输出与真实目标之间的损失,g(γ)为对通道因子的惩罚,λ为平衡参数,X为输入样本,μ为数据均值,σ为数据方差,ε为防止分母为零的定值参数,β为可训练仿射变换参数。

1.3.4 知识蒸馏

知识蒸馏最早是由Hinton等在分类任务上提出[22],知识蒸馏的核心就是通过教师模型来指导学生模型进行训练,使得学生模型在原有的准确率基础上有较大的提升,达到教师模型性能的水平。外来入侵植物图像识别存在图像背景复杂,物种相似等问题,而且剪枝后的模型虽然更加轻量化但是也不可避免带来准确率下降,因此需要将性能较差的学生模型迁移学习性能较好的教师模型以此获得准确率的提高。本文剪枝后的模型需要在移动式设备上部署,因此对于它的大小有一定的要求,此时如果采用规模较大的教师网络进行蒸馏训练,蒸馏效果不如预期。为了解决这个问题,本文在教师网络及学生网络之间引入1个中等规模的网络即30%剪枝率的助教网络来弥补两者之间规模差距过大的问题,如图5所示。助教网络即首先迁移学习教师网络,然后扮演新的老师角色指导训练学生网络,使得教师网络的软知识先提炼到中等规模的助教网络上,助教网络再蒸馏训练规模差距更小的学生网络上以此获得模型精度的提高。在知识蒸馏过程中,学生网络在训练的时候首先是根据数据集标注的硬标签,但是在软标签上往往涵盖图像更多的信息。假设试验是对飞机草Chromolaena odorata、金合欢Vachellia farnesiana、马缨丹Lantana camara、牛茄子Solanum capsicoides 4组类别进行分类任务,教师网络得到的输出向量是[0.02,0.07,0.11,0.8],在此图像中类别大概率是牛茄子,教师网络利用牛茄子与其他类别直接关系的软标签来监督训练学生网络,其方法就是在原始Softmax函数中引入软化常数T,公式如(8)。学生网络通过教师网络的软标签可以学到更为丰富的知识,同时通过教师网络助教网络学生网络这样逐级知识蒸馏的方法可以有效降低因为通道剪枝的学生网络和规模较大的教师网络间规模差距过大的问题,从而有效地提高学生网络的准确率,对于本文轻量化模型改进具有很大意义。

其中,zi为第i个节点的输出,j为输出节点个数,即分类的个数,qi 为Softmax输出在第i类的值,T为软化常数。

1.4 外来入侵植物模型评价方法

为了评估不同模型对外来入侵植物图像的识别效果,本文在相同的训练集、验证集和测试集上分别训练和测试了未剪枝模型、50%剪枝率模型、添加注意力机制模型、添加深度连接注意力网络模型和知识蒸馏后的剪枝模型。同时为了证明本文模型的优越性,训练并测试了EfficentNet[27]、DBTNet[28]、ResNet101[29]和ConvNext[30]常用的4个卷积神经网络模型。

采用准确率(precision,Pre)、召回率(recall,Rec)和F1(Fmeasure)作为衡量模型优劣性的评价指标,计算公式分别为公式(9)、公式(10)和公式(11)。

Pre=TPTP+FP(9)

Rec=TPTP+FN(10)

F1=2×Pre×RecPre+Rec(11)

其中,TP(true positive)表示模型识别为目标外来入侵植物种类且真实是外来入侵植物种类的数量,FP(false positive)表示模型識别为目标外来入侵植物种类但实际不是该外来入侵植物种类的数量,FN(false negative)表示为模型识别为非目标外来入侵植物种类的数量但实际是该外来入侵植物种类的数量。F1是基于准确率和召回率的调和平均,作为衡量模型性能的整体评价。

1.5 模型运行环境

所有模型的训练和测试都在同一台计算机上,其CPU为Intel(R) Core(TM) i79800X CPU @ 3.80GHz,3块型号为GeForce GTX 1080Ti的GPU,内存为48G,操作系统为Ubuntu 20.04。

2 结果与分析

2.1 消融试验结果与分析

为了检验模型每个改进点对于外来入侵植物的识别准确率和性能是否有所提高,通过消融试验进行控制变量对比结果。为了提高模型的鲁棒性使之适应多种移动设备的嵌入,因此选择了0.5权重因子进行通道剪枝。消融试验包括通道剪枝、加入注意力机制、加入深度连接注意力网络、教师网络知识蒸馏和助教网络知识蒸馏。结果如表2所示,根据0.5权重因子进行通道剪枝模型的准确率下降了4.9百分点,但是参数量仅为原来40%左右;在加入通道注意力机制后,准确率提高了3.6百分点;在注意力机制的基础上添加深度连接注意力网络,模型的准确率提高了4.8百分点;使用教师网络对剪枝后的网络进行知识蒸馏,模型的准确率比原剪枝后的模型提升了1.4百分点;由于教师网络和剪枝后的网络之间的规模差距过大,因此选择30%剪枝率的助教网络来弥补教师网络和助教网络模型的空白,模型的准确率比原剪枝后的模型提高了4.9百分点。本文模型MobileNetLW通过0.5权重因子通道剪枝,引入通道注意力机制并添加深度连接注意力网络,最后利用助教网络进行知识蒸馏,增强模型的鲁棒性和泛化能力。本文改进的算法在外来入侵植物图像识别中准确率较改进前模型提高了5.4百分点,且参数量减少了约53%,实现了对模型整体瘦身,同时也提高了模型的识别精度,在模型的计算性能消耗和识别结果准确率间做了一个较好的平衡,更加适用于移动端的部署和使用,对实际外来入侵生物的防治工作具有积极作用。

2.2 不同外来入侵植物模型识别结果与分析

为了测试本文提出的模型MobileNetLW是否有利于提高外来入侵植物的识别率,训练并测试了EfficentNet、DBTNet、ResNet101和ConvNext常用的4个卷积神经网络模型,5个模型的平均准确率、召回率和F1值见表3。本文改进后的MobileNetLW模型在平均准确率、召回率和F1值3个评价指标较其余4个模型都有所提高,其中,平均准确率分别提高13.8、11.2、10.0百分点和6.4百分点,平均召回率分别提高14.9、11.5、10.3百分点和7.7百分点,平均F1值分别提高14.3、11.3、10.2百分点和7.0百分点,参数量分别下降了5.7、22.2、40.5 M和23.1 M。从结果可以看出:本研究算法在保证轻量级模型的基础上仍能够取得较好的识别结果,在实际使用过程中MobileNetLW是低消耗、高精度的外来入侵植物识别模型。

2.3 模型特征图可视化

CNN卷积神经网络识别图像通过图像的像素点提取到图像的特征,在这个过程中本文使用GradCAM算法[31]进行可视化试验来比较模型对特征信息的提取能力。本文未添加注意力机制的网络、加入通道注意力机制的网络和在注意力机制基础上加入深度连接注意力网络生成的热力图如图6所示。未添加注意力机制的网络感兴趣的区域更多放在无关信息上,添加注意力机制网络的热力图中的高亮区域更加聚集于曼陀罗Datura stramonium花的主体部分,添加深度连接注意力网络的热力图聚集的范围更加广且集中,使得模型更加能够提取曼陀罗中的局部细节特征,从而提高模型对于外来入侵植物图像特征的提取能力,以减弱外来入侵图像背景复杂和外来入侵物种多变给识别带来的不利影响,并提高分类性能。

图6 外来入侵植物曼陀罗不同模型热力图

Fig.6 Heat maps of different models of alien invasive plant Datura stramonium

3 结论与讨论

中国外来入侵植物种类繁多、分布范围广,有些相同物种表型存在较大差异,不同物种之间可能存在一定的相似性,给非专业人员进行外来入侵植物的识别或监测调查工作带来了挑战,因此亟须一种易嵌入移动设备并具有较高精度的识别方法解决外来入侵植物监测防控面临的困境。

近几年机器视觉和深度学习技术在外来入侵植物识别领域取得了较多进展[1617,19,33]。传统的植物识别方法主要通过植物叶片特征进行分类,对图像先进行图像灰度化、亮度矫正、阈值分割处理,再计算特征参数,最后通过分类器来对图像进行分类[34]。然而传统的机器视觉识别方法进行分类识别需要大量前期工作来确定植物的特征,特别在外来入侵植物野外识别情景下,图像背景复杂且存在大量的干扰因素,人工筛选特征参数费时费力;且使用单特征进行图像分类往往识别效果不佳,无法适用于物种较多的情况,训练出来的模型鲁棒性较弱且泛化能力较差,无法满足现如今外来入侵植物防治需求。目前已有学者利用深度学习方法来识别植物,李雅婷[35]利用改进ResNet 34对18类植物图像进行分类,准确率达到88.2%;Hati等[36]利用改进的ResNet 20对12种植物图像进行分类,准确率达到91.84%。但上述方法由于使用的模型占据内存过大,难以部署在移动设备终端,不利于外来入侵植物防治工作;在轻量化识别模型的应用方面,李文逵等[37]利用改進的MobileNet模型对11类植物图像进行分类,王冠等[38]利用通道剪枝操作对模型进行进一步的压缩,并利用迁移学习提高剪枝模型识别植物病害的精度。但是上述使用的数据集大多都是背景无干扰的图片,并不适用外来入侵植物识别的野外复杂情况。

针对上述提出的问题,本文针对113种外来入侵植物提出了轻量型高性能的外来入侵植物识别模型(MobileNetLW)。图像数据通过Retinex、旋转和高斯噪声等进行增强,提升了外来入侵植物图像的细节信息,并增加了数据集数量。通过增加注意力机制和深度连接注意力网络提高了模型对于特征的提取能力,增强模型的泛化能力;通过通道剪枝进行模型瘦身使模型能够适配多种移动式设备;为了弥补通道剪枝引起的模型准确率降低,用教师网络先知识蒸馏助教网络,再由学生网络学习迁移助教网络的方式来优化模型的权重参数,从而进一步提高模型的泛化能力。经过控制变量的消融试验,证明了本文算法的改进对于网络的改进是有效的,同时整个模型实现了外来入侵植物图像分类识别的低消耗和高精度。经过与EfficentNet、DBTNet、ResNet101和ConvNext常用的4个卷积神经网络模型对比,MobileNetLW在对113种外来入侵植物的识别中取得了较好的效果,平均识别率达到了86.1%。由此表明,本文方法可以有效地提高外来入侵植物的识别率,对于外来入侵植物的防治具有学术意义和实际应用价值。

基于MobileNetLW的外来入侵植物识别方法虽然提高了识别的准确率,但是仍然存在少数植物识别率较低,主要原因是植物生长阶段形态各异且物种之间相似度较高,图像的采集角度不一、质量不一也会影响模型的识别效果。因此,需要通过增加样本量以及算法优化来提高模型对局部特征的提取能力,以满足实际外来入侵植物防治的需求。中国国土面积广、环境气候复杂,每个地域存在的外来入侵物种存在较大的差异,不同地域相同物种的形态、特征也可能会有较大差别,因此也会给外来入侵植物的防治工作带来挑战。针对这一问题还需要建立对应的本地外来入侵物种库,调查人员拍摄的外来入侵植物图片上传到移动设备识别,系统保存并处理这些图片然后补充进数据集,也一定程度上提高了样本量,在后续模型的迭代可以增加识别的准确率。

将本文提出的MobileNetLW外来入侵植物识别模型应用于移动端设备中,可以辅助防治人员在网络状态不稳定以及网络带宽限制的条件下准确、实时和高效地识别外来入侵植物,同时在后期可以通过大数据挖掘和分析各个地区的入侵物种分布地点和危害情况,监控当地外来入侵植物发展,并建立相对应的防治措施,这对于中国外来入侵植物的早期防控预警、实时调查监测和精准防治具有重大意义。

参考文献

[1] 陈宝雄, 孙玉芳, 韩智华, 等. 我国外来入侵生物防控现状、问题和对策[J]. 生物安全学报, 2020, 29(3): 157163.

[2] 冼晓青, 王瑞, 陈宝雄, 等. “世界100种恶性外来入侵物种”在我国大陆的入侵现状[J]. 生物安全学报, 2022, 31(1): 916.

[3] 史延通. 浅析我国外来入侵生物的危害和对策[J]. 吉林农业, 2012(2): 139145.

[4] 陈洁君, 蒋跃明, 刘楠. 外来入侵生物防控策略研究进展[J]. 检验检疫学刊, 2013, 23(3): 4648.

[5] 李倩. 外来入侵种南美蟛蜞菊与其同属本地种蟛蜞菊跨代可塑性对形态和生理特性影响的差异[D]. 成都: 四川师范大学, 2020.

[6] 林淵源, 赵峥. 环境DNA技术在水生入侵生物监测中的应用[J]. 生态毒理学报, 2021, 16(6): 112.

[7] 李晗溪, 黄雪娜, 李世国, 等. 基于环境DNA宏条形码技术的水生生态系统入侵生物的早期监测与预警[J]. 生物多样性, 2019, 27(5): 491504.

[8] 邱荣洲, 赵健, 陈宏, 等. 外来物种入侵大数据采集方法的建立与应用[J]. 生物多样性, 2021, 29(10): 13771385.

[9] 樊晓培. COI1/MYC2与冷响应基因ICE41调节冬小麦抗寒分子机制[D]. 哈尔滨: 东北农业大学, 2020.

[10]阚江明, 王怡萱, 杨晓微, 等. 基于叶片图像的植物识别方法[J]. 科技导报, 2010, 28(23): 8185.

[11]张宁, 刘文萍. 基于克隆选择算法和K近邻的植物叶片识别方法[J]. 计算机应用, 2013, 33(7): 20092013.

[12]CAO Jie, WANG Bin, BROWN D. Similarity based leaf image retrieval using multiscale Rangle description [J]. Information Sciences, 2016, 374: 5164.

[13]MAHAJAN S, RAINA A, GAO Xiaozhi, et al. Plant recognition using morphological feature extraction and transfer learning over SVM and AdaBoost [J/OL]. Symmetry, 2021, 13(2): 356. DOI: 10.3390/sym13020356.

[14]LU Jinzhu, TAN Lijuan, JIANG Huanyu. Review on convolutional neural network (CNN) applied to plant leaf disease classification [J]. Agriculture, 2021, 11(8): 707711.

[15]王艳, 孙薇, 周小平. 基于深度学习的中草药植物图像识别方法研究[J]. 中医药信息, 2020, 37(6): 2125.

[16]QIAO Xi, LI Yanzhou, SU Guangyuan, et al. MmNet: Identifying Mikania micrantha Kunth in the wild via a deep convolutional neural network [J]. Journal of Integrative Agriculture, 2020, 19(5): 12921300.

[17]QIAN Wanqiang, HUANG Yiqi, LIU Qi, et al. UAV and a deep convolutional neural network for monitoring invasive alien plants in the wild [J/OL]. Computers and Electronics in Agriculture, 2020, 174: 105519. DOI: 10.1016/j.compag.2020.105519.

[18]李立鵬, 师菲蓬, 田文博, 等. 基于残差网络和迁移学习的野生植物图像识别方法[J]. 无线电工程, 2021, 51(9): 857863.

[19]刘万学, 蒯乃阳, 韩爽, 等. 基于Android和深度学习的外来入侵植物智能识别系统[J]. 植物保护, 2021, 47(4): 174179.

[20]SANDLER M, HOWARD A, ZHU Menglong, et al. Mobilenetv2: Inverted residuals and linear bottlenecks [C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018: 45104520.

[21]HOWARD A G, ZHU Menglong, ZHEN Bo, et al. MobileNets: Efficient convolutional neural networks for mobile vision application [J/OL]. arXiv, 2017, 1704.04861v1. DOI: 10.48550/arXiv.1704.04861.

[22]LIU Zhuang, LI Jianguo, SHEN Zhijiang, et al. Learning efficient convolutional networks through network slimming [C]∥Proceedings of the IEEE International Conference on Computer Vision, 2017: 27362744.

[23]HINTON G, VINYALS O, DEAN J. Distilling the knowledge in a neural network [J/OL]. arXiv, 2015, 14: 1503.02531. DOI: 10.48550/arXiv.1503.02531.

[24]LIU Shouxin, LONG Wei, HE Lei, et al. Retinexbased fast algorithm for lowlight image enhancement [J/OL]. Entropy, 2021, 23(6): 746. DOI: 10.3390/e23060746.

[25]HU Jie, SHEN Li, SUN Gang. Squeezeandexcitation networks [C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018: 71327141.

[26]MA Xu, GUO Jingda, TANG Sihai, et al. Learning connected attentions for convolutional neural networks [C]∥2021 IEEE International Conference on Multimedia and Expo (ICME), IEEE, 2021: 16.

[27]于佳龙. 面向移动设备的图像分类任务功耗优化研究[D]. 西安: 西北大学, 2019.

[28]TAN Mingxing, LE Q V. EfficientNet: Rethinking model scaling for convolutional neural networks [C]∥International Conference on Machine Learning, PMLR, 2019: 61056114.

[29]ZHENG Heliang, FU Jianlong, ZHA Zhengjun, et al. Learning deep bilinear transformation for finegrained image representation [C]∥Proceedings of the 33rd International Conference on Neural Information Processing Systems, 2019: 42774286.

[30]SZEGEDY C, IOFFE S, VANHOUCKE V, et al. Inceptionv4, inceptionresnet and the impact of residual connections on learning [C]∥Thirtyfirst AAAI Conference on Artificial Intelligence, 2017.

[31]LIU Zhuang, MAO Hanzi, WU Chaoyuan, et al. A convnet for the 2020s [C]∥Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022: 1197611986.

[32]SELVARAJU R R, COGSWELL M, DAS A, et al. Gradcam: Visual explanations from deep networks via gradientbased localization [C]∥Proceedings of the IEEE International Conference on Computer Vision, 2017: 618626.

[33]原忠虎, 王維, 苏宝玲. 基于改进VGGNet模型的外来入侵植物叶片识别方法[J]. 计算机与现代化, 2021(9): 711.

[34]张善文, 张传雷, 王旭启, 等. 基于叶片图像和监督正交最大差异伸展的植物识别方法[J]. 林业科学, 2013, 49(6): 184188.

[35]李雅婷. 基于残差网络的植物分类识别方法研究与实现[D]. 呼和浩特: 内蒙古大学, 2021.

[36]HATI A J, SINGH R R. Artificial intelligence in smart farms: plant phenotyping for species recognition and health condition identification using deep learning [J]. AI, 2021, 2(2): 274289.

[37]李文逵, 韩俊英. 基于一种轻量级卷积神经网络的植物叶片图像识别研究[J]. 软件工程, 2022, 25(2): 1013.

[38]王冠, 王建新, 孙钰. 面向边缘计算的轻量级植物病害识别模型[J]. 浙江农林大学学报, 2020, 37(5): 978985.

(责任编辑:杨明丽)

猜你喜欢

剪枝注意力卷积
人到晚年宜“剪枝”
让注意力“飞”回来
基于3D-Winograd的快速卷积算法设计及FPGA实现
基于YOLOv4-Tiny模型剪枝算法
从滤波器理解卷积
基于傅里叶域卷积表示的目标跟踪算法
“扬眼”APP:让注意力“变现”
剪枝
A Beautiful Way Of Looking At Things
一种基于卷积神经网络的性别识别方法