一种改进的少样本农作物目标识别算法研究

张瑞森 万兴鸿 高昕

摘  要：为解决在农田无人巡检过程中农作物目标智能识别的问题，将Cycle-GAN网络与Faster RCNN网络相结合构成了一种新的能支持少样本学习的网络模型，其中Cycle-GAN网络被用于提供数据增强。文中主要阐述了该网络的结构，并且对玉米、花生与豆子三种作物的种植地在不同的天气条件下进行了测试，对不同农作物的最优和最差识别率分别是96.53%和96.25%。实验证明，通过两者的结合能够提供更好更快的农作物识别和检测，新的少样本农作物目标识别模型具有较好的鲁棒性。

关键词：少样本学习;农作物识别;数据增强;鲁棒性

中图分类号：TP311     文献标识码：A

文章编号：2096-1472（2022）-01-10-04

Abstract： In order to solve the problem of crop object intelligent detection in the process of unmanned farmland patrol inspection， this paper proposes a new network model that can support few-shot learning by combining Cycle-GAN network and Faster RCNN network. The Cycle-GAN network is used for data enhancement. The paper mainly explains the structure of the proposed network， and tests the planting areas of corn， peanuts and beans under different weather conditions. The best and worst detection rates for different crops under different weather conditions are 96.53% and 96.25%. Practice has proved that a combination of the two can provide better and faster crop identification and detection， and the new few-shot crop object detection model has better robustness.

Keywords： few-shot learning; crop detection; data enhancement; robustness

1   引言（Introduction）

農田无人巡检是一项保护可用耕地、实施基本农田保护措施的重要工作，可延伸至农作物病虫害防治、农作物产量综合预测、除草机器人智能除草等方面。而在农田无人巡检过程中，首先要解决的重要问题是农作物目标的智能识别。

国内常采用的无人巡检技术主要基于无人机飞控平台，且多用于电力巡检[1]、安保巡检[2]和能源巡检[3]。同时，无人机巡检还用于精准快速巡查秸秆禁烧工作[4]及农田植保工作[5]。但是，国内外少有使用陆基平台开展农田无人巡检的案例。

在早期的研究中，吴健宇[6]提出了将多种经典的卷积神经网络相结合的思想，搭建了一种新的可应用于农作物病虫害防治的识别算法。而陈小帮[7]则重点研究了基于深度学习在航拍农作物图像中的识别问题，实验表明能将农作物识别准确率提高到98%。但是，大多数农作物目标识别算法的研究还基于大样本条件下的监督学习策略，且少有在不同农作物与天气条件下的比较研究。因此，进行能够在小样本情况下仍然适用的农作物目标识别算法的研究显得十分迫切。

基于上述原因，本文提出了一种融合Faster RCNN网络与Cycle-GAN网络的少样本目标识别算法，实验时通过机器人陆基移动平台搭载摄像头在实际的种植地形中进行连续采样，实时进行田间农作物的识别和检测工作。该方法具有识别率高、识别速度快、能在多种天气条件下鲁棒工作的特点。

2 网络模型的建立（Establishment of network model）

当今被用于图像识别的深度卷积神经网络有GoogLeNet[8]、Faster RCNN[9-10]、Mask RCNN[11-12]等。对农作物的识别在一定程度上可以采用这些图像识别的技术与方法，但它们普遍都面临小样本情形下识别率不高的困境。为了寻找克服这样的共性问题的方法，本文采用的是将循环一致性生成对抗网络（Cycle-GAN）置于Faster RCNN网络的前端形成的新网络，简称CCG Faster RCNN网络。

2.1   循环一致性生成对抗网络

到现在为止，图像生成领域最常使用的是生成对抗网络（GAN），用它来做数据增强可以解决小数据集样本量稀缺的问题。该数据增强的实现是利用GAN[13]网络的生成网络与判别网络之间的动态博弈，以寻求得到一个最优的生成式模型，用于产生更多的图片来满足目标识别的需求。但它存在着需要配对训练对象以及可能出现所有的x都映射到y空间的同一张图片使损失无效的问题。

Cycle-GAN网络作为一个在GAN网络的基础上衍生出来的模型，它不需要特意地配对训练图像。在文献[14]中分别设置了一个对抗损失函数和，

其中：

式中，D为判别器;为真实图像的分布;为服从关系;为期望。此外，还定义了循环一致损失函数解决损失无效的问题，如公式（2）所示：

式中，表示范数。由此，该网络总的目标优化函数如公式（3）所示。其中为公式（2）在总的目标优化函数即公式（3）中所占的权重。在文中采取Cycle-GAN网络增强数据。

2.2   快速区域卷积神经网络

Faster RCNN网络于2015 年被提出，它在假设目标位置时采用深度网络计算建议框以解决建议框在检测系统中计算瓶颈的问题，通常使用VGG16等经典卷积网络作为主干网，用于提取特征图。由于残差网络（ResNet）[15]通过对输入输出的差别部分进行学习，保证了信息的完整性，同时内部残差块跳跃连接，缓解了增加网络深度带来的梯度消失现象，因此本文使用的主干网络改变为ResNet101，其主要流程如图1所示。

2.3   CCG Faster RCNN网络

CCG Faster RCNN网络中将Cycle-GAN网络即CCG部分用于增加输入Faster RCNN网络的样本数量，而后者则用于训练农作物识别模型。文中新提出的目标检测网络的主体结构如图2所示，所采用的卷积网络结构为Convolution-Pooling-InstanceNorm-ReLU-Fully connected，其中Faster RCNN部分相关重要的参数如表1所示。

图3为CCG部分中的生成器模型细节[16]，由2 组卷积层、9 层残差块和2 组转置卷积层构成。在图3每层网络下方的介绍中，字母C表示卷积层，R表示残差块，Tc表示转置卷积层;字母后紧跟着的数字表示卷积核的大小，s-x、p-x、nck-x分别表示步长、补零、卷积核数目为x，例如C3s-2p-1nck-64表示卷积核大小为3×3、步长为2、补零为1、卷积核数目为64的卷积层。对于判别器则是采用5 组卷积层。

从图2中可以发现，初始图像先由路径①输入生成器中，经卷积层、殘差层和转置卷积层的运算后得到生成图像，再从路径②与自动生成的图像一起进入判别器中，通过判别后的生成图像能进入下一层网络的条件是应满足生成图像为真实图像的概率不大于20%。其中由CCG部分生成的典型图像如图4所示。

下一层网络即Faster RCNN网络，将生成图像与样本图像沿着图2中的路径③输入，在该网络中完成对模型的训练。该方法的有效性在于能有效利用少量的典型样本通过CCG进行图形增强的输出，将生成的图像与原始的样本图像结合输入训练网络中实现对样本的训练，用来解决初始样本不足的问题。

3   模型训练（Model training）

3.1   数据集采集

本文采取由基于AGV的麦克纳姆轮机器人移动平台搭载摄像头在实际的种植地形中进行连续采样，将采集的视频样本按照2 帧/秒的间隔进行取样，其中摄像头的帧率为25 帧/秒，经多次采集和筛选后仅取2，500 张作为网络模型所需要的初始样本集。考虑天气因素对识别准确率的影响，文中采取在不同天气下采集样本实验，并对其结果进行对比的方法，以检验在不同实际环境下的鲁棒性。

3.2   实验过程

本文采用MATLAB R2020b作为训练平台，整个网络的训练在GPU上完成，GPU的计算能力为5.0。在训练集训练的过程中，设置训练轮数为20 轮，每轮迭代50 次，学习效率均为1×10-4。

在本次实验中，采用1，000 张扩增图像与初始样本集合并构成本文的数据集，这个数据集整体分为三部分，即用于训练的数据集、用于验证的数据集和剩下的测试集，占总数据的比例分别为70%、20%、10%。将训练集的图像通过Image Labeler标注工具进行人工标注，随后将训练集中的图片随机不重复地送入Faster RCNN网络中进行训练。完成训练后的网络将对验证集中的图像全部进行检验，并随机抽取测试集中的图像进行验证。

3.3   实验结果

将该训练好的模型分别对玉米、花生和豆子三种作物进行测试，其中每种作物测试20 组图像，得到如图5所示的结果。图5中测试图序号表示从测试集中随机抽取出的用来检测网络识别率、验证网络可行性的图像的序号，也用于给得出的测试结果编号。

为了进一步探究在不同的天气条件下采用该算法对农作物的识别能力，接下来分别在晴天和阴天对玉米、花生和豆子三种农作物的实时识别率进行了实验。经过多次实验将玉米的识别率变化趋势记录在图6中，三种作物平均识别率的对比则放在表2中。

由表2可以发现，在不同的天气条件下该网络均能够较准确地识别出农田中的农作物，同时算法也有着较快的识别速度，所以本文提出的农作物识别方法可适用于不同天气环境中的农田作物识别与监测的实时作业。

4   结论（Conclusion）

针对小样本情况下导致的农作物识别与检测比较困难的问题，本文采用了一种新的改进算法CCG Faster RCNN。该方法在网络模型的训练阶段就大大地降低了对真实样本的大量需求。对不同天气下该网络识别率的测试结果表明，新的模型在一定程度上可规避天气对其的影响。后续将对该算法更多可能的影响因素进行测验，使其能够应用于更多的场景。

参考文献（References）

[1] 黎春翔.无人机电力巡检图像的缺陷检测和信息量化[D].广州：华南理工大学，2020.

[2] 张凌云.安防巡检机器人导航系统设计与实现[D].成都：电子科技大学，2018.

[3] 徐思雅，邢逸斐，郭少勇，等.基于深度强化学习的能源互联网智能巡检任务分配机制[J].通信学报，2021，42（05）：191-204.

[4] 魏亚松，舒适.浅析无人机在精准快速巡查秸秆禁烧工作中的作用[J].科技经济导刊，2019，27（10）：47，63.

[5] 王子彬.基于六旋翼无人机的农业植保系统研究与设计[D].秦皇岛：燕山大学，2018.

[6] 吴健宇.基于深度卷积神经网络的农作物病虫害识别及实现[D].哈尔滨：哈尔滨工业大学，2019.

[7] 陈小帮.基于深度学习的农作物航拍图像识别研究[D].广州：广东工业大学，2019.

[8] 张振洲，熊凌，李克波，等.基于改进GoogLeNet的锌渣识别算法[J].武汉科技大学学报，2021，44（03）：182-187.

[9] REN S Q， HE K M， GIRSHICK R， et al. Faster R-CNN： Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（06）：1137-1149.

[10] 余晓宁，顾桂梅，王阳萍，等.基于Faster R-CNN的接触网吊弦故障检测方法[J].兰州交通大学学报，2021，40（02）：58-65.

[11] HE K， GKIOXARI G， DOLLAR P， et al. Mask R-CNN[Z/OL]. （2018-01-24） [2021-08-07]. https：//arxiv.org/abs/1703.06870.

[12] 杨帆，梁敏健，杨宁祥，等.桥式起重机部件多任务学习Mask R-CNN分割与关键点识别方法[J].自动化与信息工程，2021，42（02）：14-18.

[13] SKANDARANI Y， JODOIN P M， LALANDE A. GANs for medical image synthesis： An empirical study[Z/OL]. （2021-07-19） [2021-08-07]. https：//arxiv.org/abs/2105.05318.

[14] ZHU J Y， PRAK T， ISOLA P， et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[Z/OL]. （2020-08-24） [2021-08-07]. https：//arxiv.org/abs/1703.10593.

[15] HE K， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition[Z/OL]. （2015-12-10） [2021-08-07]. https：//arxiv.org/abs/1512.03385.

[16] 王金娜，苏杰，杨凯，等.基于Cycle-GAN的绝缘子图像生成方法[J].广东电力，2020，33（01）：100-108.

作者简介：

张瑞森（2000-），男，本科生.研究领域：电气工程及自动化.

万兴鸿（1999-），男，本科生.研究领域：自动化.

高    昕（1981-），男，博士，講师.研究领域：智能感知与控制.