基于边缘计算的作物病虫害监测嵌入式系统设计

牛恺锐　张正华　包飞霞　薛鹏　熊鑫

摘要：现有农作物监测大多采用大面积、分布式的设备来完成。不仅维护成本高昂，难管理，而且对于许多中小型农户是无法从智慧农业中受惠。综合考虑各区域种植条件的不同，设计提出一种基于边缘计算的轻量化嵌入式监测系统，通过搭建神经网络，配合作物数据处理算法并部署在嵌入式设备上，与无人机协同完成对作物的检测。经过实验验证，该系统具有低功耗、轻量化、低成本、检测范围广的优势，病虫害模型精度在92%及以上，能有效解决国内外农作物病虫害及生长环境参数的精细化监测问题。

关键词：机器视觉;作物监测;深度学习;边缘计算;嵌入式系统

中图分类号：TP274 文献标志码：A 文章编号：1008-1739（2021）14-61-5

0引言

近年来，我国农作物病虫害多发、重发，其中具有代表性的如草地贪夜蛾、小麦白粉病、条锈病、水稻枯纹病和稻瘟病等重大病虫害在部分地区防治形势严峻。

传统的作物病虫害检测，会请农技站的专家下地考察，这种方式效率低且易出错。同时，我国农业情况与国外不同，国外的大型先进设备以及信息化技术方案难以在国内快速推广。随着农业物联网、人工智能等技术的不断发展，结合农业信号化的检测方案不断出现。例如新疆的棉花大田生成物联网技术综合平台试点项目取得一定的成效，通过部署大量自动化、远程控制的生产设备，获取农作物生长环境和作物的全信息，有利于提高产量，大幅度提高农作物抗御灾害及病虫害的能力。蒋龙泉等通过对作物的高清视频图像提取出多种特征，并通过融合特征的支持向量机分类器完成对作物病虫害的检测，具有较高的准确率。陈天娇等四通过对测报灯下的虫害数据库和田间病虫害数据集为基礎，建立起基于深度学习的病虫害检测计算框架，同时研发出相应的移动式的感知设各，初步实现对多种病虫害的识别。综上所诉，对于农作物病虫害的检测朝着自动化、智能化发展。但对于具体种植场景下完成对农户农田作物的病虫害检测还稍显繁琐。

针对以上技术难点，从3个方面提出解决方案：利用轻量化的边缘计算嵌入式设备来管理检测稻麦;利用无人机以及终端搭载的轻量化深度学习神经网络来识别作物病虫害;将环境参数传感器结合边缘智能来完成对农田环境参数的采集和监测，完成对作物生长周期的智能化监测、记录和管理。

1总体方案设计

1.1病虫害检测系统的实现思路

采用边缘计算、深度学习神经网络模型与无人机结合的方式实现一个轻量化的监测系统，如图1所示。相对于以往的费时费流量费成本的云端识别，在不借助于超大型数据库所训练出的综合作物识别检测网络的情况下，可做到离线检测。此外，边缘计算设备也可通过4G和5G等通行模块接入网络，并承担部分算力任务，如视频数据的处理和模型训练的参数计算，同时将采集数据上传到云端，与部署在云端的成熟模型相配合，完成对作物病虫害的综合识别。故本系统采用边缘计算的方式能够更好地适应具体农业场景，且对于不同农田均可根据采集到的数据更新迭代神经网络模型进一步适应特定农业场景，克服传统云端神经网络模型只能利用训练好的模型，无法对具体场景做出调整的问题。另外，对于人工反馈错误的图像进行记录和反馈更新到模型中，形成采集、识别、反馈的神经网络迭代更新闭环。不仅能够提供实时的监测以及推理，而且还能节省将数据上传到云端所花费的流量以及时间成本。

1.2系统整体设计

本系统由无人机、图像采集设备、边缘计算嵌入式设备及系统GUI界面四部分组成，其中由无人机上搭载的图像采集设备通过MJPG采集稻麦田图像，采集的数据可通过无人机上的边缘计算设备完成对图像的识别推算，通过4G或5G通信网络传输上传结果，也可通过摄像头的rtsp图传来进行实时监测，将影像数据传输至终端。通过预部署的神经网络模型对输入图像进行农作物病虫害的识别，并将结果通过转发GUI的方式展示在界面上。实验中所选取的数据集包括小麦条锈病、白粉病和水稻枯纹病等常见病虫害。

如图2所示在Keras前端环境下用TensorflowGPU作为后端来生成Keras.h5格式模型，转换为pb格式后部署到边缘计算设备当中，并利用无人机在田块中扫描飞行来获取图片进行推理。

2关键技术研究

2.1边缘部署的深度卷积神经网络识别模型设计

系统基于Keras框架建立了一个特征提取的网络结构，在测试时使用面向小数据集的训练网络，得到一个适用于识别农作物成熟度的卷积神经网络。且对每种病害类别的数据进行数据增强，增加训练模型的鲁棒性，减少环境因素及噪声的影响。

使用稻麦农作物病虫害数据集训练并验证网络框架及数据集的准确性，之后在计算设备上迭代30N（3000～5000数据集下N的值取100～150）次用以训练网络，实验中预设了较大的模型迭代周期，当模型完成规定次数的训练之后，可以认为模型训练完毕，网络收敛。接着，在得到相应的权重模型后，将模型转换为Tensorflow的模型格式，然后再将模型进行冻结层操作（frozen graph）生产pb文件，以此将模型中的权值参数和偏置值固定，这种方式在接入网络后，也可利用网络定期迭代更新模型参数。参照以上步骤，也可将AlexNet，VGGNet和ResNet50等模型经过预处理后部署在无人机的边缘计算嵌入式设备中，效果与在训练设备中的h5格式神经网络模型并无明显差别。在边缘设备中，结合Opencv库的DNN模块，对现有Tensorflow模型进行硬件端的量化部署。

神经网络识别的网络结构如图3所示，适应于以稻麦作物作为数据集的神经网络训练。该网络中，输入为Input 1（224×224×3），3个概率分布在网络中主要包含卷积层、池化层和平坦层。

2.2识别模型的训练

2.2.1系统实验测试数据集选择

数据集选择如图4所示。使用了农作物各成熟度的泛化数据集用以训练作物识别网络，使无人机具有一定的寻的功能，使用病虫害专用数据集用以训练病虫害识别网络，完成对作物病虫害的精准识别，数据集共计30182张图像，同时使尺寸统一为224×224×3，方便进行训练。包括①小麦的成熟度数据集：分为生长期、灌浆期及成熟期3个成熟度时期;②水稻成熟度数据集：叶功能/返青期、生长期及成熟期3个标签分类;③水稻枯纹病：小麦条锈病、白粉病以及虫害数据集。

2.2.2模型训练

使用Keras构建基本网络结构，具体的网络summary以及参数数量如图5所示。

（1）训练模型及准确率的测试。

小麦病虫害识别模型训练过程如图6所示，在小麦成熟度模型训练的过程中，轻量化的神经网络模型对于稻麦田场景下的收敛度和loss，val，loss，acc，val acc参数表现的很好。

（2）进行网络模型的训练及参数的调整

训练参数如图7所示，选择Adam优化器算法，利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率。Adam的优点主要在于经过偏置校正后，每一次迭代学习率都有个确定范围，使得参数比较平稳。公式如下：

本设计选择适配于识别模型的Adam算法，同时损失函数设定为categorical crossentropy（交叉熵损失）函数，使用准确率作为评估标准。

3实验结果及分析

监测系统要有管理作物生长状况以及对采集数据分析的能力，基于此，利用pyqt5和numpy来设计GUI界面。结合QTdesigner来提高开发效率，进而完成对应用功能的端侧展示和应用。

3.1关键性能指标

①测试集识别准确率：拟达到0.9，实际为0.92～0.97。

②识别速度：拟达到5 FPS，实际20.0（±2.0）FPS。

③功耗：不超过5W实验所用设备搭载的海思芯片3599A在8K@30+1080P@30 H.265编码下典型功耗3W。

④模型体积（同一网络结构）：不超过50 MB。实验中所使用到的5种模型——小麦成熟度识别模型、小麦条锈病识别模型、水稻成熟度识别模型、水稻枯纹病识别模型及虫害识别模型均为25.6MB。

⑤稳定性：芯片，应用系统能够长时间稳定工作。

实验结果如表1所示，将原始数据集经过数据增强、归一化等方法提升模型的准确率以及鲁棒性，利用Dropout、正则化等方法对网络内部的权值参数进行优化，抑制过拟合现象。

值得说明的是，本次实验的神经网络结构中的参数在6×10⁶以上，模型经过处理后大小固定在25.6MB，在一般的嵌入式设备上可以推算运行。而根据设备性能的不同，还可使用层数更深的神经网络或使用流行的深度学习框架如AlexNet、VGGNet等网络，但模型参数数量和体积同时会急剧增加。

3.2平台对比性能优势

如表2所示，相比PC平台，本系统的边缘计算嵌入式终端的低功耗表现突出，对比神经网络推算的参数，在轻量化算法和设备的要求上，实现了快速识别，且量化后，系统性能相差不大。

如表3所示，本设计与同类设备相比，具有低功耗、轻量化、低成本、高效率和大范围监测的优势。完全可以提高对于稻麦作物的监测效率。

4结束语

本文利用边缘计算嵌入式设备和无人机，配合轻量化的神经网络完成对稻麦病虫害的识别，以及对稻麦影像数据和物理参数的采集，并在应用侧完成对系统的可視化管理以及与数据处理。

初步解决传统的农田环境监测系统限于分布式的部署以及体型大、难管理的问题，并且有极大的可拓展性，不论是深度学习模型的“云端训练，边缘部署”，还是农田环境参数数据的可视化，本设计均可较好地实现，体现出较好的实际应用潜力。