基于深度特征学习的冬小麦生育阶段分类识别研究

姚建斌, 刘建华, 张英娜, 李元好

(华北水利水电大学 信息工程学院, 河南 郑州 450046)

精准识别农作物生长阶段不仅对农作物的科学施肥、按需灌溉、合理施药、保产增产具有重要意义,而且对实现农业生产过程的智能化管理具有促进作用。传统的冬小麦生育阶段识别需要不间断地观测农作物长势,且依赖于专业人士的经验判断,无法适应当前日益扩大的种植规模现状,难以保证有效生产和科学增产。随着深度学习技术在图像处理和识别领域中的不断发展[1-4],其在农业信息化管理方面的应用也越来越广泛[5-7]。如:2011年,陆明等[8]在识别玉米生长期的研究中,根据玉米不同时期颜色和其图像像素值不同的特点,利用RGB(Red、Green、Blue)和HSL(Hue、Saturation、Lightness)分别提取了绿色和黄色特征,从而获取了不同颜色的像素值所占的比重,并根据其差异实现了对玉米生长期的分类识别;2015年,权文婷等[9]采用S-G滤波分析方法处理遥感SAR影像,利用归一化差分植被指数方法,实现了对冬小麦幼苗期和抽穗期遥感图像的归一化识别;2017年,陈玉青等[10]通过机器学习的方式对得到的冬小麦叶面积指数进行分析,根据分析结果开发了一个基于Android手机平台的冬小麦叶面积指数自动检测系统;2018年,张芸德等[11]利用传统的卷积神经网络(Convolutional Neural Networks,CNN)提取了玉米不同生长期的特征,结合粒子群优化算法优化了支持向量机参数,构造了多级支持向量机分类识别模型,最终实现了玉米生长期识别;2019年,贾少鹏等[12]针对农作物病虫害问题,提出了一种胶囊网络与CNN相融合的模型,该模型对病虫害的识别正确率达93.75%,比传统CNN模型提高了3.55个百分点;2020年,宋余庆等[13]提出了一个多层次增强高效空间金字塔(Extremely efficient spatial pyramid,EESP)的深度学习模型,该模型先逐层计算不同空洞率对应的空洞卷积,然后再融合不同层次的信息,进而提取出不同病虫害的特征,最终实现了农作物病虫害识别;2022年,周文进等[14]提出了一种基于YOLOv3的内嵌通道注意力MultiSE1D识别网络,通过提取不同尺度下的高维特征有效提高了模型提取蝴蝶图像特征的准确率及细节特征的学习能力。

鉴于深度学习技术在农业信息化方面的优秀表现,为了解农作物各个生育阶段的时间长短与播种早晚、生态条件、品种特性等因素间的关系,明确农作物不同生育阶段的管理方法和重点管理任务,以华北平原的冬小麦为研究对象,构建了田间图像分割模型,通过对图像中冬小麦、土壤及杂草的分割、过滤,获取到了冬小麦样本图像;然后,基于VGG16提取的图像特征以及区域生成网络(Region Proposal Network,RPN)模型,构建了可生成候选框的改进Faster R-CNN分类识别模型,通过对候选框的分类训练和回归训练,实现了冬小麦目标候选区域的提取以及生育阶段的精准分类识别(研究流程如图1所示),以期为农业智能化管理提供科学支撑。

图1 冬小麦生育阶段识别的研究流程

本文中冬小麦生育阶段的图像数据来源于华北水利水电大学农水教学实践基地,共900张不同生育阶段的图像样本。将冬小麦生育期划分为3个主要阶段[15]：第1个阶段是营养生长阶段,称为幼苗期(9月下旬—次年2月中下旬),该阶段生育特点是生根、长叶和分蘖;第2个阶段是营养生长和生殖生长并进阶段,称为抽穗期(2月下旬—4月下旬),该阶段生育特点是麦根、麦茎、麦叶持续生长和结实器官分化;第3个阶段是生殖生长阶段,称为成熟期(4月下旬—6月上中旬),该阶段是决定粒重的重要时期。

1 图像分割模型

冬小麦图像分类识别一般直接将原始图像作为各类模型的输入,这种方式虽然简单,但是受环境噪声以及光照等因素的影响,提取到的样本图像难免存在特征模糊和不精确的问题,若不处理直接进行分类识别,不仅会影响准确率,也会降低模型的泛化能力。针对该问题,设计了基于深度可分离卷积的冬小麦分割模型,对原始样本进行分割。

本模块主要分为样本标注、图像初步分割以及分割图像提取3个环节。研究中采用LabelImage软件对冬小麦生育阶段的图像样本数据进行标记,按照经典数据集划分比例8∶2将样本数据分为2个数据集。为便于计算,将两个数据集的数量做取整处理,最终取750张(3个生育阶段各250张)图像作为训练集样本,其余150张(3个生育阶段各50张)图像作为测试集样本。LabelImage软件能够提供可视化界面,在样本上可以直接使用矩形框标示出冬小麦、土壤以及杂草等信息,最后生成XML文件参与后续的分割模型训练。

在图像分割模型的选取上,选择深度可分离卷积神经网络来实现样本中冬小麦、土壤及杂草的有效分割。传统的卷积操作将每个卷积核逐通道与输入特征图进行卷积,由于每个卷积核只能提取到一种特征,因此,每增加检测图片的一个属性,卷积核就要增加一个。深度可分离卷积将传统卷积分为深度卷积和点卷积两个操作,能够实现卷积通道相关性和空间相关性的联合映射,可更好地在每层卷积操作中对通道信息进行融合,显著提高模型的准确率,同时可有效减少参数量,提高运算速度。传统卷积和深度可分离卷积的操作示意图分别如图2和图3所示。

图2 传统卷积操作示意

图3 深度可分离卷积操作示意

本文构建的端到端图像分割网络模型的结构如图4所示。模型的输入是经过标注的224像素×224像素的原始RGB图像;编码器是去掉了全连接层的MobileNets,目的是压缩图像尺寸容量,以便获得图像的局部信息值并进行归类和分析;解码器由深度可分离卷积及反卷积模块组成,其中,深度可分离卷积核大小为3×3,反卷积核大小为2×2,步长为2;解码器之后是BN层和ReLu激活函数层,以确保与MobileNets相应层中的特征图尺度一致;模型输出为标注原始图像的分割图像,分别为提取到的冬小麦、土壤及杂草图像。该模型可执行快速的分割任务,实现冬小麦、土壤及杂草的有效分割[16]。

与传统的CNN结构相比,深度可分离CNN模型的参数数量大大减少,运算规模和计算复杂度也同比减少。同时,训练阶段模型权重的调整时间和计算速度大幅提高。

2 改进的Faster R-CNN检测模型

2.1 Faster R-CNN检测模型

基于VGG16及RPN的Faster R-CNN目标检测模型,是在Fast R-CNN的基础上优化而来的。一般来说,Fast R-CNN通常采用选择性搜索方法获取候选框,一张图片约产生2 000个候选框,然后通过感兴趣区域池化(Region of interest pooling,ROI Pooling)把候选区域调整为固定尺寸,输入到最后的全连接层。Faster R-CNN在Fast R-CNN的基础上放弃了选择性搜索方法,而选用RPN卷积网络自行产生候选框进而进行目标检测,这不仅提高了候选框的质量,还极大减少了候选框的数量,降低了计算复杂度。

2.2 改进的Faster R-CNN检测模型

本文对Faster R-CNN检测模型的改进包括以下几个方面:

1)修改特征提取网络VGG16的激活函数。Faster R-CNN在使用VGG16进行图像特征提取时,一般采用ReLu激活函数,有研究[17]表明,Swish激活函数能够提高分类准确率。因此,引入Swish激活函数进行图像特征提取,整体提取过程如图5所示。

图5 改进的VGG16提取冬小麦图像特征的过程

2)修改RPN网络锚点的尺寸。为有效减少相邻区域出现漏检情况,提高检测准确率,对候选框的大小和比例进行调整,通过聚类方法对冬小麦数据集重新聚类生成适合的锚点尺寸,聚类后的锚点尺寸见表1。

表1 重新设置后的锚点尺寸

3)改进的非极大值抑制算法。RPN模块在检测某一目标时,可能会出现多个候选框被重复选中的情况。针对该问题,Faster R-CNN采用非极大值抑制(Non-Maximum Suppression,NMS)方法筛选最佳候选框。NMS具体步骤为:首先,设定一个定位精确评价公式IoU(Intersection Over Union)的阈值;其次,将选择出的区域框按照与真实框重合的分数(计算公式见式(1)和式(2))大小排序;最后,丢弃那些重叠度小于预先设置阈值的候选框,得到更为有用的候选框。抑制的过程实质上是一个迭代-遍历-消除反复循环的过程[18]。

(1)

IoU=SA∩B/SA∪B。

(2)

式中:Si为当前类别的得分;Nt为第t次迭代设定的阈值;A为选择出的区域框;B为真实候选框;SA∩B为候选框A与候选框B重叠的面积;SA∪B为候选框A与候选框B的总面积。

NMS方法在单个目标检测模型中的效果最好,对多目标的检测效果较不理想。然而,冬小麦生育阶段识别存在多目标的情况。此外,由于冬小麦植株比较密集,在生育阶段分类识别中会出现检测框定位不准确以及相邻识别区域漏检、误检的情况。高斯加权法具有相对连续性,其所得曲线平滑、没有跳跃点等。因此,采用高斯加权法惩罚函数对非极大值抑制算法进行改进,改进后的算法对小于阈值的候选框不是直接删除而是通过一定的惩罚因子重新判断重叠区域,改进后的候选框重叠度分数的计算公式见式(3):

(3)

式中:bm为当前得分最高的预测结果;bi为当前第i个候选框的预测结果;θ为高斯加权惩罚因子,其取值不同会影响惩罚函数的惩罚力度;D为包含所有边框的集合。

改进的Faster R-CNN模型的核心结构如图6所示。模型应用时,首先对前期由图像分割模型得到的冬小麦样本数据进行前景和后景标注;然后基于VGG16网络提取冬小麦生育阶段特征,并将特征图输入到RPN网络中,分别进行原始候选框的筛选和边框回归纠正训练;最后采用改进的Faster R-CNN模型进行冬小麦生育阶段的识别和分类。

图6 改进的Faster R-CNN网络的核心结构

2.3 试验环境

试验均在同一设备上运行,硬件设备为Windows-10环境的联想笔记本,计算机硬件配置为Intel(R) Core(TM)i5-7300HQ;CPU为16 GB内存,GTX1050显卡;深度学习框架为TensorFlow2.0。

2.4 评价指标

评价图像分割模型的指标主要有准确率(A)、查准率(P)和召回率(R)3个,评价区域卷积神经网络模型的指标为准确率(A),各评价指标如下:

1)准确率(A)。其表示数据集总样本中被分类正确的样本的比例,计算公式为:

(4)

式中:Tp为该类别中正样本被分类为正样本的数量;TN为负样本被分类为负样本的数量;T为测试集样本总数量。

2)查准率(P)。其表示每个类别中被预测为正样本的样本中实际为正样本的比例,计算公式为:

(5)

式中Fp为负样本被分类为正样本的数量。

3)召回率(R)。其表示每个类别的正样本中被预测为正样本的比例,计算公式为:

(6)

式中FN为正样本被分类为负样本的数量。

3 试验结果与分析

3.1 图像分割模型结果与分析

对冬小麦的RGB图像进行分割,并通过试验选取准确率最高的一组参数作为最终的图像分割模型的超参数。最终模型对应的参数优化器采用随机梯度下降算法,学习率设置为0.001,batchSize设置为5,Dropout比率设置为0.3,最后一层的激活函数采用Sigmoid激活函数。

对同一批次的冬小麦测试集样本,分别采用SegNet模型、U-Net模型和本文提出的图像分割模型进行试验,各模型对应的准确率、查准率和召回率见表2。以幼苗期的冬小麦样本为例,各模型的输出结果如图7所示,图中黑色的是土壤,绿色的是小麦。

表2 基于冬小麦测试集样本的不同模型评价指标值 %

图7 基于测试数据的不同分割模型的输出结果对比图

结合表2及图7可以看出:SegNet模型的输出图像大体上可以反映出分割的基本效果,但图像边缘部分模糊;U-Net模型的输出图像较为清晰、准确,但模型对杂草的切割精度较本文模型的低;本文所构建的图像分割模型对冬小麦、杂草及土壤的分割准确率、查准率、召回率均优于另外两种模型的。

3.2 改进的Faster R-CNN试验结果与分析

3.2.1 改进的VGG16模型试验结果

在TensorFlow框架下搭建VGG16模型,分别采用ReLU(改进前)与Swish(改进后)的激活函数提取冬小麦特征图,并训练30次。改进前后VGG16模型提取的冬小麦特征图如图8所示,准确率见表3。由图8和表3可以看出,改进后VGG16模型提取的特征图较改进前的更为清晰,各个生育阶段的识别准确率也较高。

表3 改进前后VGG16模型准确率 %

图8 基于测试集数据的改进前后VGG16模型提取出的冬小麦可视化特征图

3.2.2 修改RPN锚点尺寸后的试验结果

通过聚类方法对冬小麦数据集进行重新聚类,生成适合的锚点尺寸。锚点尺寸修改前后的试验结果对比如图9所示。由图9可以看出,锚点尺寸修改后的RPN可有效减少相邻区域漏检情况的发生。

图9 锚点尺寸修改前后的可视化特征图

3.2.3 改进的非极大值抑制算法试验结果

采用前述的改进非极大值抑制算法对各生育阶段的冬小麦图像进行检测,其结果如图10所示。由图10可以看出,在冬小麦图像检测中引入惩罚因子后,冬小麦成熟期的目标检测试验效果更显著。

图10 冬小麦成熟期的检测效果

3.2.4 改进Faster R-CNN的试验结果

对RPN模型生成的目标框分别采用传统的Faster R-CNN及改进的Faster R-CNN进行冬小麦生育阶段的分类识别,其识别准确率见表4。

表4 基于改进前后的Faster R-CNN的冬小麦测试集准确率对比

由表4可以看出,模型改进前的平均分类识别准确率为84.67%,模型改进后的平均分类识别准确率达96.00%,较改进前的提高了11.33%,且各生育阶段的分类识别准确率均有较大提高。

4 结论与展望

本文选择实际拍摄的华北平原冬小麦生育阶段图像作为试验样本,构建了一种基于深度可分离卷积的冬小麦、土壤及杂草的分割模型,获取了背景单纯的冬小麦样本,进而设计了基于改进的Faster R-CNN目标检测模型,通过对候选框的分类训练和回归训练,实现了冬小麦生育阶段的准确识别。试验结果表明,本文设计的研究流程及网络模型能够有效提高冬小麦生育阶段分类识别的准确率,对农业生产活动的指导具有一定研究意义。

受数据集的限制,本文将冬小麦的生育阶段分为幼苗期、抽穗期,成熟期3个时期,后续有待进一步扩充数据集,细化生育阶段(如播种期、出苗期、分叶期、越冬期、返青期、起身期、拔节期、孕穗期、抽穗期、开花期、灌浆期、成熟期),并优化所构建的模型,实现更精细的冬小麦生育阶段分类识别研究。