基于机器视觉和卷积神经网络的东北寒地玉米害虫识别方法

陈峰 谷俊涛 李玉磊 彭晓溪 韩天甲

摘要：随着农业现代化进程在全国各地的推进，东北农业经济正在快速地发展，众多先进的科学技术如大数据、物联网、移动互联、人工智能等被应用到东北农业生产中，并且逐步深入细化。在农业种植领域，东北寒地玉米害虫的识别与虫害的预防一直是专家学者们研究的重要课题。东北地区位于温带季风气候区，夏季温热短促多雨;冬季寒冷漫长干燥，因此东北寒地玉米作物虫害有其独特的特征，常见的害虫有玉米黏虫、玉米螟、草地贪夜蛾、双斑玉萤叶甲等。本研究基于机器视觉和卷积神经网络的东北寒地玉米害虫识别方法进行研究，通过图像采集的预置采集点、巡航周期等实现定点、定时获取大量采集数据，将机器视觉识别、卷积神经网络模型测试放到采集前端，降低无效图像带宽占用，优化了网络资源;通过对卷积神经网络进行海量的东北寒地玉米害虫图像训练，实现从训练集到测试集的转化，建立起东北寒地玉米害虫识别的网络模型。基于机器视觉和卷积神经网络的东北寒地玉米害虫识别方法研究具有很高的应用价值，在监测植物生长状态的同时，能够精准、及时、实时地智能识别玉米害虫，做好东北寒地玉米虫害预警及应对措施，降低作物种植生产风险、提升生产效率，对东北农业智能化、持续化、梯度化发展起到了非常重要的作用。

关键词：机器视觉;卷积神经网络;东北寒地玉米;害虫;智能识别

中图分类号：S126;TP391.41 文献标志码： A

文章编号：1002-1302（2020）18-0237-07

收稿日期：2019-09-17

作者简介：陈 峰（1981—），男，江苏丰县人，硕士，高级工程师，主要从事农业信息化、农业物联网、农业大数据等研究。E-mail：bdhchenfeng@163.com。

通信作者：谷俊涛，博士，正高级工程师，主要从事农业物联网研究。E-mail：592980678@qq.com。

农业是我国国民经济的基础产业，虫害的防治效果直接与农业生产效益、农产品质量安全、农业生态环境安全等相关。近些年来，全球气候异常多变、耕作制度与生产方式改变以及作物复种指数提高，作物虫害呈多发、频发、大规模态势。2019年7月下旬在甘肃省兰州市召开了2019年全国玉米和棉花病虫害发生趋势会商及测报技术研讨会，会上对我国2019年上半年玉米虫害暴发情况作了汇报，汇报指出玉米虫害发生程度总体重于2018年，玉米虫害发生总面积达0.211亿hm2次，如玉米螟害虫仅在东北地区就发生约90万hm2 次，玉米虫害的发生严重影响了我国农业生产总值[1]。

东北传统的玉米虫害检测方法主要是依赖种植户的经验，有些地区邀请农技人员、农业专家上门指导或远程指导等，传统的方式往往错过了防治的最佳时机，效率低，费用高，时效性差。基于机器视觉识别和卷积神经网络（CNN）深度学习来识别东北寒地玉米害虫将会大大减少东北玉米虫害的发生，在玉米害虫体征出现时，能够对图像快速分析判断，精准地定位虫害类型，及时发出预警，将玉米害虫消灭在萌芽中。

从20世纪80年代末开始，很多专家学者投入到识别虫害的方法研究中，Keagy等专家基于计算机视觉对储粮害虫进行识别研究，识别率较高[2];Boissard等对花叶扫描，对扫描图像进行识别，结合图像处理技术自动识别和计算花成熟时粉虱的数量[3];徐小龙利用红外扫描技术获取受污染的作物叶片红外图像[4];Wu等基于多重分形分析技术对带有虫斑的黄瓜叶片图像进行建模，获取到病虫害分布、形态等特征[5];在Wu等的研究基础上温芝元等利用改进的分水岭算法来提取椪柑虫害危害状边界[6]。

近年来，专家学者们将神经网络相关技术运用到虫害的识别上，桂便等选用5种储粮害虫为样本，基于卷积神经网络的Alexnet模型对5种储粮害虫图像进行训练、识别，试验结果表明，基于卷积神经网络技术识别虫害准确率较高[7];方明等分别利用反向传播（BP）神经网络、L-M神经网络对储粮害虫的识别进行研究[8-9]。

在东北寒地玉米害虫识别过程中，从采集开始，经过训练卷积神经网络模型，提升模型的识别准确度，通过机器视觉对图像进行去噪、二值化等处理，应用已训练的卷积神经网络进行测试，具体流程见图1。

1 图像采集过程

采集主要是指针对目标特征的图像采集，玉米生长过程按其形态特征可分为出苗期、3叶期、拔节期、小喇叭口期、大喇叭口期、抽雄期、开花期、子粒形成期、乳熟期、蜡熟期和完熟期。以玉米为目标执行采集时，要采集的内容为玉米各阶段内生长的图像。要求采集的图像高清晰度、高采集频率、图像数量级大。

首先，预置采集点。设置采集设备的经度和维度、采集设备的焦距、采集设备水平及垂直方向的初始角度值和周期移动角度值、定点时间和快门响应次数等，预置1个周期的采集图像数据。

其次，设置采集设备的巡航周期，比如设置设备每天采集开始时间为09：00，结束时间为17：30，巡航间隔（周期）为2 h，采集设置就会按照设置 09：00 开始按预置的采集点进行图像采集，完成1个周期工作后暫停采集任务，2 h后按照任务继续执行下个周期的采集，17：30结束采集工作。

最后，根据每次快门获取图像，如果在同一采集点同一待采目标预置2次及以上快门，取清晰度最高的图像信息，图像信息包括图像数据、图片采集时间及图像采集的经纬度等;采集图像的时间和经纬度是根据采集设备经纬度、焦距、采集时水平和垂直角度值、采集时定点时间、采集时快门次数等获取的数值。部分样本采集设备设置见表1。

表2为对应采集设备的巡航设置信息。6台设备周采集有效高清图像量约为8.3万张。

2 识别训练

农业虫害专家对采集的图像进行甄选，按照有害、无害进行标定。对于有害图像按照玉米类型、灾害种类等进行详细标定。将这些东北寒地玉米害虫图像送入卷积神经网络中进行训练。

使用卷积神经网络对玉米害虫图像的输入特征进行处理，为了提高CNN模型的泛化、识别率及鲁棒性，消除图像噪声对害虫特征的影响，首先对图像进行图像处理，然后通过多层卷积、线性整流函数（ReLU）激活、池化层及全连接层（FC）搭建起卷积神经网络模型。卷积神经网络模型结构 LeNet-5见图2。

2.1 图像处理

2.1.1 灰度处理

采集图像灰度处理是图像灰度化的过程，对于灰度图像，它的每个像素的颜色值称之为灰度，也就是黑白图像中每个点的颜色深度，其范围一般为0～255，其中白色为255，黑色为0。灰度处理效果如图3所示。灰度值是指图像采集色彩的浓淡，在一幅数字图像中，所谓的灰度直方图可以体现出对应每个灰度值具有灰色度的像素数。

通过图4可以看出，经过灰度化直方图处理的图像对比度明显增强，原图的灰度值都分布在25～200之间，经过处理后，整张图片的灰度值控制在 0～255 范围内。

目前，大多数的彩色图像都是采用RGB颜色模式呈现效果，进行图像处理的时候，针对红（R）、绿（G）、蓝（B）这3个分量进行分量处理。从光学原理上讲，RGB仅仅是进行颜色的调配，并不能体现出图像的形态特征。

2.1.2 图像二值化

将采集图像上的像素点的灰度值都设置为0和255，这样就将原有图像呈现成黑白效果的图像。RGB数据量大为减少， 通过处理能凸显出图像中目标的轮廓。

2.1.3 加权平均法

加权平均是指将R、G、B这3个分量以不同的权值进行加权平均。由于人眼感光中对绿色敏感度最高，对蓝色的敏感度相对最低，因此，对R、G、B这3个分量进行加权平均能够获取到合理的灰度值。公式为

Gray（i，j）=0.299×R（i，j）+0.578×G（i，j）+0.114×B（i，j）。

图像处理效果见图5。

2.2 卷积层

卷积层通过卷积核取出图像中的特征，在卷积层对图像进行逐行、跨行扫描，类似于传统图像处理中的滤波，取出图像中的特征。卷积层主要是用一种采样设备从输入的目标数据中采集出关键的数据信息（图6）。

当一个卷积层L的下一层（L+1）为采样层，采样层（L+1）的特征向量（map）大小是卷积层L的1/（scale×scale）（scale表示长宽相同的卷积核大小），以scale=2为例，这2层的map个数是一样的，卷积层L的某个map中的4个单元与（L+1）层对应map的一个单元关联，对采样层的残差与1个scale×scale的全1矩阵进行克罗内克积扩充，使得采样层的残差的维度与上一层的输出map的维度一致。选择采用3×3的卷积核是因为3×3是最小的能够捕捉像素8邻域信息的尺寸。

2.3 ReLU激活层

应用于每个卷积层之后， 它给一个在卷积层中刚经过线性计算操作[只是数组元素依次（element wise）相乘与求和]的系统引入非线性特征。ReLU层对输入内容的所有值都应用了函数f（x）=max（0，x）。它把所有的负激活（negative activation）都变为0，增加模型乃至整个神经网络的非线性特征。

2.4 池化层

是对卷积层结果的压缩得到更加重要的特征，同时还能有效控制过拟合。池化层将输入的图像划分为若干个矩形区域，对每个子区域输出最大值。池化层会不断地减小数据的空间大小，因此参数的数量和计算量也会下降，这在一定程度上也控制了过拟合。

2.5 随机失活（Dropout）层

将能够为特定的样本提供合适的分类或输出，即使一些激活参数被丢弃。在Dropout层保证神经网络不会对训练样本过于匹配。Dropout网络计算公式表现为

r（l）j～Bernoulli（i）;

y～（l）=r（l）×y（l）;

k（l+1）m=w（l+1）my～（l）+b（l+1）m;

r（l+1）=b（l+1）m×y（l+1）;

y（l+1）m=f[k（l+1）m]。

伯努利分布[Bernoulli（i）]函数生成概率向量r，即随机产生0、1向量。

2.6 全连接层

全连接层是在经过多轮卷积层和池化层的处理之后，在卷积神经网络的最后会是由1～2个全连接层来给出最后的分类结果。

以玉米螟成虫（图7）举例说明，现在的任务是识别图片中是不是玉米螟成虫。

假设这个害虫图已经CNN模型训练完，全连接层已经知道。

当得到图8中各分类的特征，模型就可以判断这个是不是玉米螟成虫，因为全连接层的作用主要就是实现分类（图9）。

2.7 关于卷积神经网络模型训练中函数

2.7.1 损失（loss）函數

在玉米害虫识别训练过程中，通过交叉熵函数不断改变神经网络中所有参数，使损失函数不断减小，从而训练出准确率更高的神经网络模型。loss函数定义为

En=∑Nn=1En=12∑Nn=1∑ck=1（tnk-ynk）2。

2.7.2 滑动平均（影子）

在玉米害虫识别训练过程中采用滑动平均记录一段时间内模型中权重（w）和偏移量（b）各自的平均值。利用滑动平均值可以增强模型的泛化能力。公式为

影子=衰减率×影子+（1-衰减率）×参数。

2.7.3 正则化

在玉米害虫识别训练过程中给每个参数w加上权重，引入模型复杂度指标，从而抑制模型噪声，减小过拟合。采用的是L1正则化算法。

正则化公式：loss（w）=tf.contrib.layers.l1_regularizer（REGULARIZER）（w）。

3 识别测试

在采集图像识别过程中，会对图像进行分割找到有特征性的图像，然后进行模型测试（图10）。

机器视觉置于采集前端，在采集图像传送到机器视觉设备时，根据机器视觉技术对图像进行单通道、高斯滤波、二值化、距离变换、形态学处理、边缘检测等系列的处理，生成卷积神经网络测试所需的图像。

3.1 单通道处理

对采集的图像进行色彩空间变换，将BGR图像变换成灰度图，然后进行通道分离，选择合适的通道作为输入图像;其中，灰度化处理的方法是[cv2cvtColor（ ）]：cv2.COLOR_BGR2GRAY，应用公式为

Gray（i，j）=[R（i，j）+G（i，j）+B（i，j）]/3。

由于仿真人眼对颜色的感知程度不同，其衍生公式为

Gray（i，j）=0.299×R（i，j）+0.587×G（i，j）+0.114×B（i，j）。

3.2 高斯滤波处理

高斯滤波使用cv2.GaussianBlur（ ）函数，通过低通滤波器，输出图像的每个像素点是原图像上对应像素点与周围像素点的加权和，利用滤波器实现对图像的平滑处理。公式表现为

Gσ=（12πσ2）e-（x2+y2）2σ2。

3.3 二值化

二值化在高斯滤波处理后将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果。二值化设定一个阈值T，用T将图像数据分成2部分：大于等于T的像素群和小于T的像素群。公式表现为

b（i，j）=0，f（i，j）

255，f（i，j）≥T（i，j）。

3.4 距离变换

距离变换模块使用distanceTransform方法计算图像中每一个非0点距离最近的0点距离，它将二值图像变换为灰度图像（图11）。公式表现为

f（p）=min[f（p），D（p，q）+f（q）]，q∈maskL。

3.5 形态学处理

形态学处理能够去除所有不能包含结构元的部分，平滑目标的轮廓，移除由图像噪音形成的斑点。公式表现为

dst（x，y）=min（x1，y1）：element（x1，y1）≠0src（x+x1，y+y1）。

3.6 边缘检测

边缘检测是在形态学处理后，对东北寒地玉米虫害的外边缘进行测定的过程，使用cv2findContours（）函数，公式表现为

ddx（f×g）=f×ddxg。

第1个步骤是实现多边形的简单外接矩形的算法。简单外接矩形是指边平行于x轴或y轴的外接矩形。简单外接矩形很有可能不是最小外接矩形，却是非常容易求得的外接矩形。

第2个步骤是实现平面上某一点绕固定点旋转某一角度的算法。数学基础是，设平面上点（x1，y1）绕另一点（x0，y0）逆时针旋转A角度后的点为（x2，y2），则有：

x2=（x1-x0）×cosA-（y1-y0）×sinA+x0;

y2=（x1-x0）×sinA+（y1-y0）×cosA+y0。

顺时针时，A改写成-A即可。

第3个步骤是旋转原始多边形（循环，0°～90°，间距设为1°），求旋转每个度数后的多边形的简单外接矩形，记录简单外接矩形的面积、顶点坐标以及此时旋转的度数。

第4个步骤是比较在旋转过程中多边形求得的所有简单外接矩形，得到面积最小的简单外接矩形，获取该简单外接矩形的顶点坐标和旋转的角度。

第5个步骤是旋转外接矩形。将上一步获得面积最小的简单外接矩形反方向（与第3步方向相反）旋转相同的角度，即得最小外接矩形。边缘检测效果见图12。

4 反馈更新与效果

4.1 反馈更新

在测试识别到东北寒地玉米害虫后， 按照东北

寒地玉米害虫的类型、种类区分标记。在卷积神经网络模型测试中，根据测试的采集样本i可以获取其玉米害虫的种类，函数为yik=1，若zi属于k类0，若zi不属于k类，y为预测值，k为某一个分类，i表示某个分类的个数，zi表示某些分类的总数。通过种类来获得玉米害虫分类，并传送给数据中心。数据中心接收分类模块传送回的数据信息，包括采集图像机器视觉处理前后的图像数据，玉米害虫的类型、种类、采集时间及采集经纬度等信息。通过人工检测方式定期检测数据，对于识别有误的图像进行标记，并反馈到卷积神经网络模型中重新训练，训练后将模型更新到前端测试模型中，实现持续的更新和梯度地优化。

4.2 效果

从测试数据中抽出6种东北寒地玉米最常见害虫，查看其测试效果。分别从单张图像识别目标特征及图像量级2个角度来体现训练及测试的效果（表3）。

使用本研究方法，进行持续更新和梯度优化，不断纠正和训练卷积神经网络模型，提升识别的准确率（图13），线1为已经有一定测试集的卷积神经网络识别准确率，线2为使用本研究方法执行一段时期后的卷积神经网络识别准确率。通过对比图能清晰看到线2比线1在数值上有明显的提升，提升2%～5%。因此，本研究方法是能够有效提升东北寒地玉米害虫识别的准确率的。

5 结论

本研究基于机器视觉和卷积神经网络对东北寒地玉米害虫识别方法进行了分析，本研究中的方法能够自动获取用于训练和测试的海量图像数据;将视觉识别和卷积神经网络模型测试放到采集前端，能够降低无效图像带宽占用，优化网络资源，提升识别效率;反馈与更新机制使模型持续、梯度地优化，并实时同步前端模型，有效提升东北寒地玉米害虫识别准确率。对于东北寒地玉米害虫的识别，基于机器视觉和卷积神经网络的识别方法是非常有效的，若再结合卫星遥感、地理信息系统、频谱分析等技术就能达到综合防治的目的。

参考文献：

[1]农视网. 2019年下半年玉米病虫害发生趋势预报[EB/OL]. （2019-07-30）[2019-08-10]. http：//www.ntv.cn/p/956814.html.

[2]Keagy P M，Schatzki T F. Machine recognition of weevil damage in wheat radiographs[J]. Cereal Chem，1993，70（6）：696-700.

[3]Boissard P，Martin V，Moisan S. A cognitive vision approach to early pest detection in greenhouse crops[J]. Computers and Electronics in Agriculture，2008，62（2）：81-93.

[4]徐小龙. 基于红外热成像技术的植物病害早期檢测的研究[D]. 杭州：浙江大学，2012.

[5]Wu D K，Xie C Y，Ma C W. The SVM classification leafminer-infected leaves based on fractal dimension[C]// IEEE Conference on Cybernetics and Intelligent Systems，2008：147-151.

[6]温芝元，曹乐平. 基于为害状色相多重分形的椪柑病虫害图像识别[J]. 农业机械学报，2014，45（3）：262-267.

[7]桂 便，祝玉华，甄 彤. 卷积神经网络在储粮害虫图像识别中的应用研究[J]. 粮油食品科技，2018，26（6）：73-76.

[8]方 明，周 龙. 基于BP神经网络的储粮害虫分类识别研究[J]. 武汉工业学院学报，2009，28（4）：70-73.

[9]袁金丽，郭志涛，高金雍，等. 基于L-M神经网络的储粮害虫分类识别[J]. 农业网络信息，2007（6）：29-31，102.