基于物联网与深度学习技术的农作物生长状况远程动态监测系统

2022-08-29任治洲晁志恒吴骏一

物联网技术 2022年8期

任治洲，谢云，晁志恒，吴骏一

（南京理工大学紫金学院电子工程与光电技术学院，江苏南京 210046）

0 引言

中国作为传统的农业生产大国，农耕历史悠久。传统农耕方式是农作物在自然环境下自然生长，通过农户长时间总结耕作经验进行农作物管理。为实现农作物高产、量产，越来越多的优质植株得以培育，种类多样的优质化肥投放使用。虽然这些方式会有增产效果，但对于人口大国而言，这些措施远远不足以从本质上改变农耕效率和提高粮食产量。农业大棚成为了科学养殖农作物的解决方案。

为科学调控农作物生长环境，减少因恶劣环境及农作物病虫害等不利因素对农作物生长形成负面影响，研究人员做了很多努力。其中，比较具有代表性的是有线网络监测、基于无线ZigBee传感网络监测等。这些传感器接收农田环境数据信息后，将数据转化为模拟信号，传送至微处理器。并通过无线模组和4G模组将数据实时上传反馈。为实现多节点监测需要利用大量传感器模块，在面积较大的养殖地域这一方案难以实现。

为满足利用较少传感器模块实现广域动态监测农作物生长环境与病害的功能，本文结合物联网、深度学习、机器视觉等技术，设计了一套具有广域动态监测农作物环境、识别农作物病害以及远程云端交互功能的农作物生长状况监测系统。

1 整体设计

农作物生长状况远程动态监测系统主要分为识别监测系统、无线通信系统、数据交互系统、移动小车系统等，识别监测系统又细分为农作物病害识别系统、农作物环境监测系统。移动小车搭载识别监测系统，自动建图巡航采集并标记节点位置数据后上传至主控微处理器。主控微处理器将数据处理整合后发送至无线通信平台，之后再将数据上传至云服务器，实现手机端与云空间的数据交互。系统整体框架如图1所示。

图1 系统整体框架

2 农作物病害识别系统设计

农作物病害识别系统硬件主要包括摄像头模块和二自由度舵机云台。摄像头利用长焦镜头自动对焦农作物叶片，采取随机节点停车自动扫描叶片的方式，识别叶片所患病害并反馈至主控微处理器。主控储存节点数据（包括节点位置与监测时间）与农作物所受病害情况。下位机主控芯片为STM32F103RCT6，摄像头采用NXP-OpenArt-mini。主控控制舵机云台180°扫描节点，摄像头搭载已训练好的深度学习模型识别植物虫害，并通过串口将数据传输至下位机主控。农作物病害识别系统硬件框架如图2所示。

图2 农作物病害识别系统硬件框架

2.1 硬件设计

2.1.1 摄像头

摄像头选用适合机器视觉应用的恩智浦OpenArt-mini，其与OpenMV相比，在神经网络模型的部署和训练方面更有优势。OpenArt摄像头采用MIMXRT1064芯片，该芯片主频高达600 MHz，具备1 MB片内SRAM、4 MB片内FLASH和32 MB外置SDRAM，配备高速SPI总线与OpenMV机器视觉库，拥有RT-Thread操作系统内核、驱动和开发环境。

2.1.2 二自由度舵机云台

本文基于二自由度云台搭载摄像头进行扫描，采用MG996舵机。利用比例控制，转动角度以脉冲占空比决定，使用舵机带动连接轴控制平台倾角，该方式响应速度快、力矩大、使用方便。搭载OpenArt摄像头可实现水平方向180°平扫和垂直方向60°扫描，能够识别较广阔范围内的图像信息。

2.1.3 下位机核心主控

下位机核心主控采用STM32F103RCT6芯片，该单片机包含32位高速时钟、存储器、内置温度传感器、Cortex-M3内核等。作为高速嵌入式存储器，其拥有一路PWM定时器、三路通用16位定时器、2个12位ADC通道以及2个IC数据接口与API数据传输接口。单片机功耗低，工作电压为2.0～3.6 V。

2.2 软件设计

2.2.1 舵机云台控制

舵机云台由下位机主控STM32F103RCT6进行控制。编程时，首先由自定义函数initPWM（）初始化定时器，开启TIM时钟设置分频；初始化PWM输出通道；通过setAngle（）函数改变占空比控制舵机旋转角度；借助已知角度与占空比之间的关系：servo_temp=angle×200/180+50监测小车是否到达固定节点，到达后，中断开启一次循环，定时递增、递减占空比，完成水平方向180°平扫后归正。软件流程如图3所示。

图3 软件流程

2.2.2 识别植物病害的神经网络模型搭建

（1）数据集构建

数据采集与分类以葡萄叶片为研究对象，收集了葡萄叶片褐斑病、轮斑病、黑腐病、正常等4种葡萄叶片图像样本，每类葡萄叶片图像样本量各100 张，共计400 张葡萄叶片图片。对收集的原始病害图像按病害种类进行分类，制作病害标签，建立分类后的3种病害图像和正常图像样本集，如图4所示。

图4 葡萄叶片病害分类数据集样例

对400张图像进行数据增广处理。利用对比度变化、引入高斯噪声、尺度变换等进行处理，将样本量扩增10倍。

3 模型训练

利用Inception V1训练农作物病害识别模型，并选用谷歌提出的用于提取图像特征的深度卷积神经网络。该网络深度有22层，每个模块包含1×1、3×3、5×5的卷积层和池化层。使用ReLu作为激活函数，Inception V1原始网络结构图与降低特征图厚度后的Inception V1网络结构如图5、图6所示。

图5 原始Inception V1网络结构

图6 降低特征图厚度的Inception V1网络结构

本项目利用Edgeimpulse平台部署Tensorflow lite，并将模型装载到NXP-OpenArt摄像头中。

4 移动小车系统

移动小车系统分为上位机和下位机，使用Jetson Nano B01开发板搭载Ubuntu 18.04系统，运用ROS系统Meldic实现地图的创建算法，以及导航、避障、信息采集等功能。下位机以STM32F103RCT6为主控芯片，对电机和车舵机进行直接控制。上位机在实现导航算法的同时，会将舵机和电机的数据通过串口发送到下位机进行控制并执行。

小车系统搭载激光雷达和RGBD相机实现数据融合建图，增强了系统鲁棒性和对农业大棚环境的适应性。建图时加入了回环检测，当机器人路径构成回路时会对之前建立的地图进行校正。为获取更精确的数据，本文利用编码器里程计和视觉里程计融合数据进行定位校准。通过使用电机自带的霍尔编码器，实时采集小车的位移数据，再由下位机将距离信息通过串口发送到上位机，配合角度传感器构建编码器里程计，以此校准激光雷达里程计的定位。基于三维点云地图导航，对农业大棚环境所建立的地图进行路径规划，设置定点巡逻，在一定区域范围内导航。环境监测系统由移动小车搭载，实现定点巡逻与动态测量，硬件结构如图7所示。

图7 硬件结构

5 农作物生长环境监测系统

农作物生长环境也是农作物是否能健康生长的重要指标，所以需设置由移动小车搭载的动态高精度传感器。其中，高精度传感器包括SHT20高精度空气温湿度传感器、BH1750FVI光照传感器、MG811高精度二氧化碳传感器、土壤湿度传感器等，实时动态获取农作物生长环境的信息，并借助nRF24L01发送至无线通信系统。传感器性能指标如下：

（1）MG811 高精度二氧化碳传感器：工作温度为-20～50 ℃，自带温度补偿功能，浓度监测范围为0～10 000 ppm（室内常规CO浓度范围为400～700 ppm）。

（2）SHT20 空气温湿度传感器：测量湿度范围为20%RH～90%RH，测量温度范围为0～50 ℃，测量精度为±2 ℃，具有长期稳定性。

（3）土壤湿度传感器：采用LM393比较器芯片，工作稳定性强。探针表面采用镀镍处理，可有效防止探针生锈。

（4）BH1750FVI光照传感器：采用ROHM-BH1750FVI芯片，借助IC通信。光照监测范围为0～65 535 Lux，内部自带电平转换功能。

（5）HC-05 蓝牙模块：工作频段为2.4 GHz、传输速率为2 Mb/s，工作温度范围为-25～75 ℃，工作湿度为10%RH～90%RH，传输距离为10 m。

6 无线通信系统与远程云端交互

6.1 无线通信系统

无线通信系统由WiFi接收系统和4G远程通信系统构成，主控采用STM32F103系列单片机，接收系统采用nRF24L01无线通信模组，用于接收移动小车上搭载的nRF24L01无线通信模组发出的节点信息数据，数据通过串口传输至STM32F103主控，主控将数据整合后通过4G模组传输至云端。通信系统如图8所示。