基于自主飞行器的柑橘病害监护系统设计与实践
2024-12-31余焕杰江华晋彭东海
基金项目:广东省省级大学生创新创业训练计划项目(S202310576020X);韶关市科技局项目(220607154531465)
*通信作者:彭东海(1975-),男,硕士,副教授。研究方向为人工智能、智慧农业及高等教育。
DOI:10.20028/j.zhnydk.2024.11.001
摘" 要:针对人工手段下的柑橘病害监护过程中存在的效率低下与成本巨大的问题,基于自主飞行器对柑橘病害监护系统进行设计与实践。该监护系统主要由感知层、应用层、分析层3个部分组成。为了使飞行器可以准确地识别柑橘病害,利用DenseNet121与EfficientNetB7深度学习模型框架训练出专用于识别柑橘病害的柑橘病害识别模型,并将其部署在位于自主飞行器的香橙派开发板上,从而为自主飞行器提供识别柑橘病害的能力。为了验证该病害监护系统的性能,进行测试试验。试验结果表明,该病害监护系统具有良好的发展潜能,模型拥有良好的检测精度与可移植性。
关键词:智慧农业;深度学习;图像识别;飞行器设计;病害监护系统
中图分类号:TP391.4" " " 文献标志码:A" " " " " 文章编号:2096-9902(2024)11-0001-05
Abstract: Aiming at the problems of low efficiency and huge cost in the process of citrus disease monitoring by manual means, a citrus disease monitoring system is designed and practiced based on an autonomous aircraft. The monitoring system is mainly composed of three parts: perception layer, application layer and analysis layer. In order to enable the aircraft to accurately recognize citrus diseases, a citrus disease recognition model dedicated to recognizing citrus diseases was trained using the DenseNet121 and EfficientNetB7 deep learning model framework, and deployed on the Aroma Orange Pi development board located in the autonomous aircraft, thus providing the autonomous aircraft with the ability to recognize citrus diseases. In order to verify the performance of the disease monitoring system, tests were carried out. The experimental results show that the disease monitoring system has good development potential, and the model has good detection accuracy and portability.
Keywords: smart agriculture; deep learning; image recognition; aircraft design; disease monitoring system
近年来,农作物病虫害对农业生产的负面影响愈发严重,利用科技对农作物病虫害进行监护管制已经成为不可避开的时代话题。中国作为农业大国,曾面临多达1 400种重要农作物病虫害的困扰。病害种类多样且具有潜在爆发性的情况下[1],对病虫害进行准确、实时、高效监测,及时采取防治措施以最大限度减少作物损失,成为当前农作物生产领域亟需解决的重要问题。传统的监测方法主要依赖于研究人员的调查,但其耗时费力、准确性低、时效性差、研究范围有限,且易受人为因素干扰[2]。然而,近年来图像处理技术和机器学习为柑橘病害识别提供了新思路,摒弃了传统人工调查的缺点。专家以往主要依靠观察病斑颜色形态和经验判断病害类型,而现在利用深度学习模型,则可以在保证高精度判断病害的同时,减少人工调查的不足[3]。
农业发展一直伴随科技进步不断变革。自20世纪90年代以来,随着3S(全球定位系统GPS、地理信息系统GIS、遥感RS)技术、变量控制技术、专家系统、 作物生长模拟系统以及生产管理决策支持系统等技术的研究与应用,将传统农业技术与现代信息技术结合,形成了新型的先进农业技术体系。这一融合将人类农业引入数字和信息时代,成为合理利用农业资源、提高农作物产量、降低生产成本和改善生态环境的主要农业生产形式[4]。
尽管航天、航空和地面遥感技术广泛应用于农田作物的生长监测,强化了农作物的精准管理,提升了农业生产效益。然而,这些技术却存在着操作复杂、成本高昂、受天气影响大等问题,限制了其进一步应用[5]。为了应对这些问题,本文采用组装的自主飞行器构建柑橘病害监护系统,自主飞行器属于穿越机(FPV)在结合现代信息技术后研发的新型机器,其与无人机(UAV)相比,在兼具无人机功能的情况下,具有低成本、高性能及高度模块化的特点。
1" 自主飞行器设计
1.1" 总体设计
该监护系统的系统设计分为3层,分别为感知层、应用层和分析层(如图1所示)。
感知层是监护系统中最基础的一部分,主要包括D435深度相机、香橙派开发板、F4V3S Plus飞控及PC与Android客户端4个部分。
RealSense D435深度相机是Intel公司推出的产品,其深度图像频率可达到90 Hz[6],这项技术的基本原理是利用左右两侧的近红外激光器,在目标物体上投射具有特定结构特征的光线,然后使用红外摄像头进行图像采集。这些具有特定结构的光线,因物体不同深度区域而采集不同的图像相位信息,再通过运算单元将这种结构变化转化为深度信息。简单来说,利用光学手段获取目标物体的三维结构,并进一步应用所获得的信息。一般使用特定波长的不可见红外激光作为光源,其发出的光经过编码后投影在物体上,通过特定算法计算返回的编码图案的变形,从而获取物体的位置和深度信息[7]。通过对D435深度相机的调用,系统可以实现自主导航功能和图像采集功能(如图2所示)。
香橙派是一款国内自主研发的新一代ARM开发板,可支持多种操作系统,如Orangepi OS、Android、Ubuntu、Debian等[8](如图3所示)。相对于其他ARM开发板如树莓派,香橙派拥有更多型号和种类,功能强大,价格也较为经济实惠[9]。本研究使用了香橙派5B作为机载电脑。该版本的香橙派采用了瑞芯微RK3588S最新一代的八核64位处理器,采用了8 nm工艺,主频可达2.4 GHz。它集成了ARM Mali-G610 MP4 GPU,内置了高性能的3D和2D图像加速模块,并搭载了高达6 Tops算力的AI加速器NPU。该设备内存为16 GB RAM和128 GB eMMC,支持双频Wi-Fi6和BT5.0,同时兼容BLE。它具备高达8K显示处理能力,在本监护系统中,香橙派可以提供自主导航和图像识别等功能的支持。
本系统采用Omnibus F4V3S Plus飞控作为飞行控制系统(如图4所示)。飞控的设计需要清晰的优先级结构和可靠的定时系统,以确保控制循环的准确执行。它采用多线程操作系统和高效的驱动程序,正确调度中断优先级来实现这一目标。飞控软件包括导航、航路规划与制导、飞行管理、飞行控制以及相关日志记录数据存储单元。目前,大多数飞控系统都是在开源飞控资源的基础上进行二次开发。飞控的基本逻辑包括飞行计划、位置信息设定、姿态信息设定和电机驱动信号输出。位置和姿态信息的数据来自传感器系统的监测数据,并通过各种融合算法输出位置和姿态信息[10]。
PC与Android客户端可以实现用户与系统之间的交互,利用QGroundControl软件(如图5所示),在PC端,通过Ubuntu操作系统SSH远程连接香橙派机载电脑,可实现标定航点自主导航、调用深度相机及进行病害识别等功能;在Android客户端,同样可以进行飞行器的路线规划。该过程的原理为利用遥控器的接收器,实现通道互通,进而再利用主机或移动设备向接收器发送信号,实现飞行器的自主导航。
1.3" 应用层
应用层主要的作用为对感知层获取的信息进行处理。该系统的应用层由图像采集模块、病害识别模块、自主导航模块及飞行日志模块4个部分组成[11]。
1.4" 分析层
分析层的主要作用为对感知层获取的信息进行分析。该系统的分析层主要由飞行状态分析和识别效果分析两部分组成。
2" 病害识别模型设计
2.1" 数据集
通过网络爬虫收集了部分柑橘叶片病害数据,整理后上传到了Kaggle网站,该数据集共596张图片,其中训练集496张,测试集100张,数据集中的健康叶片(healthy)43张,炭疽病(anthracnose)144张,溃疡病(canker)132张,黄龙病(greening)177张。
2.2" 数据增强
2.2.1" 水平和垂直翻转
图像翻转后,所有的主要特征均保持不变,对人类来讲,这些变化可能并不显著,但对模型算法而言,翻转后的图像可能看起来会完全不一样(如图6所示)。
2.2.2" 高斯模糊
模糊方法可以掩盖一些并不重要的细节,平滑图像,提高模型识别的准确率(如图7所示)。
2.2.3" 叶片的边缘检测
采用Canny边缘检测算法,根据边界框裁剪图像,得到叶片的整体或大部分,从而剔除原有图像背景信息的干扰,特别是剔除大量的绿色背景,可以让模型聚焦于叶片的关键特征(如图8所示)。
2.3" 模型的定义与训练
DenseNet模型采用了跳连的理念,通过将网络内的所有层两两相连,最大化了特征信息的传递。这使得每一层都能接收前面所有层的特征作为输入,增强了特征的传播和重复利用,同时减轻了梯度消失的问题。
EfficientNet则是2019年由Google研究小组推出的模型,它通过对网络深度、宽度和输入分辨率进行缩放来寻找最优模型。从EfficientNet-B0这一基准结构开始,它在深度、宽度和分辨率3个方面进行了迭代复合搜索。最终的EfficientNet-B7在ImageNet数据集上取得了84.4%的top1精度和97.1%的top5精度。
在本文中,采用了基于Keras框架的DenseNet121预训练模型作为迁移学习的基础,设定了参数并完成了模型的编译。迁移学习模型使用了基于ImageNet预训练的权重参数,去除了DenseNet121的顶层,并添加了一个全局平均池化层,随后连接了一个根据数据集标签数量定义的Softmax全连接层,以实现分类逻辑。
另外,也使用了基于ImageNet数据集训练好的EfficientNetB7模型,重新定义了迁移学习模型的结构。同样去除了EfficientNetB7的顶层,添加了一个全局平均池化层,并在其后连接了一个根据数据集标签数量定义的Softmax全连接层,以实现分类逻辑。这个模型的学习参数达到了63 797 204个,是DenseNet121的9.17倍。
3" 试验分析与结果
为了验证系统的识别准确性,共进行了80次验证测试,并对验证结果进行了统计,见表1。从表1可以看出,该系统具有一定的鲁棒性和实用性。
4" 结束语
针对农作物病害监控,本文开发了柑橘病害监护系统,利用先进的感知技术和机器学习,实现了自主飞行器的构建和病害识别。监护系统使用了RealSense D435深度相机和香橙派开发板等设备,结合DenseNet和EfficientNet模型,成功识别柑橘叶片病害。系统在试验中表现出了较高的准确率和鲁棒性,为农业生产带来智能化监控方式。尽管技术仍有挑战,但自主飞行器的低成本和高性能将为未来农业提供更多可能性。
参考文献:
[1] 张竞成,袁琳,王纪华,等.作物病虫害遥感监测研究进展[J].农业工程学报,2012,28(20):1-11.
[2] 宋勇,陈兵,王琼,等.无人机遥感监测作物病虫害研究进展[J].棉花学报,2021,33(3):291-306.
[3] 张敏,刘杰,蔡高勇.基于卷积神经网络的柑橘溃疡病识别方法[J].计算机应用,2018,38(S1):48-52,76.
[4] 王素珍,吴崇友.3S技术在精准农业中的应用研究[J].中国农机化,2010(6):79-82.
[5] 汪沛,罗锡文,周志艳,等.基于微小型无人机的遥感信息获取关键技术综述[J].农业工程学报,2014,30(18):1-12.
[6] 方正,赵世博,李昊来.一种融合稀疏几何特征与深度流的深度视觉SLAM算法[J].机器人,2019,41(2):185-196,241.
[7] 李科,毋涛,刘青青.基于深度图与改进Canny算法的人体轮廓提取[J].计算机技术与发展,2021,31(5):67-72.
[8] 王赛,刘子龙.基于4G网络的移动机器人远程控制研究[J].软件导刊,2019,18(11):71-74.
[9] 于镭,林再腾.基于香橙派的智能语音识别系统的设计[J].电子测量技术,2019,42(19):36-40.
[10] 周飞.多旋翼无人机飞控系统硬件架构设计研究[J].电子制作,2023,31(15):112-115,119.
[11] 马浚诚,李鑫星,温皓杰,等.面向叶类蔬菜病害识别的温室监控视频采集系统[J].农业机械学报,2015,46(3):282-287.