基于机器视觉技术的南疆小麦病虫害监测系统
2020-01-03高桓凯花元涛张凌飞邱霄坤
高桓凯 花元涛 张凌飞 邱霄坤 宋 欣
(塔里木大学信息工程学院,新疆阿拉尔843300)
南疆位于天山以南、昆仑山以北,多旱少雨,自然条件恶劣[1]。在南疆地区,略高的气温、偏低的降水量以及其他恶劣的气象条件,这些不利的气象条件使得白粉病、蚜虫等病虫害常年侵害小麦麦田[2]。为预防病虫害大面积扩散,该系统基于机器视觉技术,专门针对南疆小麦病虫害进行监测,以期达到对南疆小麦病虫害起到一定的防控作用。
1 关键技术
系统采用机器视觉技术,机器视觉(Machine Vision),也称计算机视觉(Computer Vision)[3],通俗地讲,就是给机器加上了视觉装置,令机器具有视觉功能,提高机器的智能自动化程度[4]。系统通过机器视觉的图像采集、图像处理和分析技术对南疆小麦的生长状况进行数据采集和分析。
1.1 图像采集技术
在进行南疆小麦病虫害识别监测时,先要对小麦的图像信息进行采集。为尽可能突出目标的特征量,减少外界环境对采集图像的影响,在进行监测时,需要自备光源[4]。对农作物病虫害叶片图像的采集需选用一台合适的摄像机或专业的农作物叶片图像采集装置。图像采集卡是桥梁装置,它负责将摄像机里面的数字信号传输给计算机,实现两者之间的信号传输功能[4]。
1.2 图像预处理技术
采集到小麦多部位图像后,因为环境、气候以及无益信息等要素的影响,使拍摄出的图片可能无法突出重点、清晰明了,所以需要对图像进行预处理。本系统通过图像筛选、图像增强、图像分离和提取病灶进行预处理。
首先通过光照和清晰度筛选算法,对摄像机获取到的小麦图像提取出清晰度和亮度合适的图像;然后使用中值滤波算法和高帽、低帽变换,过滤掉图像的噪音并对图像进行增强;然后基于RGB 彩色原理,交替使用边缘平滑、小面积孔洞填充及灰度二值化等算法[5],将图像部分分离;最后取出斑点部分,提取病灶。预处理流程图如图1所示。
图1 图像预处理流程
1.3 图像特征提取技术
由于南疆独特的地理位置和气候特征,本系统通过提取小麦的特征信息,主要对黑穗病[6]、根腐病[7]和白粉病[8]三种病害以及蚜虫等虫害进行监测,其主要病虫害特征统计如表1所示。
对南疆小麦的3种病害和虫害识别,是依据病虫害发生后小麦的形状、颜色和纹理信息,根据这些特征信息对病害进行识别。
1)形状特征提取
在特征提取中,形状特征是用于判断发生虫害的重要特征之一。据1-1、1-2 和1-3 三个公式[9],对于经过预处理的图像进行计算,求得球状性A、偏心率B 以及不变矩C 的特征参数,对小麦的形状特征进行分组。
式中,r1表示区域内切圆半径;r2表示区域外切圆半径;a、b为绕三维坐标轴的转动惯量,c为惯性积。
2)颜色特征提取
相对于RGB 模型来说,HSV 颜色模型可更好地适应人眼对颜色的观察。首先应取出模型中H、S、V三个分量,然后通过整理进行分类,最后求出颜色分量的一、二和三阶矩[10]:
式中,α、β、γ 表示一、二和三阶矩,即均值、方差及偏移性;N 是像素总的个数;pij表示,当颜色通道为第i个的时候,像素为灰色j的概率是多少。
3)纹理特征提取
小麦的纹理特征,可通过灰度共生矩阵法体现,它是小麦病害类型判断的重要指标。可通过以下公式,计算出熵A1,对比度A2和相关度A3三个量,通过这三个量的指标表示出病斑的纹理特征[10]:
式中,A1体现出图像纹理排列的混乱度,A2主要描述清晰度,A3反映周期性的强弱。m为行方向上纹理参数的均值、p 为方差,N 为灰度级,n、q 为列方向上纹理参数的均值和方差。
1.4 特征分析
对病虫害图像进行特征分析时,需要通过分类器进行识别。如果是数字图像识别,常采用统计模式识别,优点是可对信息价值做出合理的判断,缺点是分析计算复杂;而线性分类器虽然识别方法较为简单,但只适合线性可分问题,局限性较大[5]。
本系统在对病虫害进行识别时,对样本使用支持向量机(SVM)分类器:经非线性映射,将输入空间提高到高维空间,在这个新的空间中,获取到分类间隔最优的分类面,判别公式[5]如公式1-10所示。
在公式中,N为样本的数量,x为输入特征向量,y为所属类别,K(x,xi)为核函数,b*是实常数,σi*是最优系数向量。
由于小麦部分病虫害常分散于叶片,且区域生长算法对于处理害虫的分类问题有很大帮助[11],所以本系统可在分割识别基础上通过运用区域生长算法,经过合并、分裂相结合,将害虫与叶片分割开来,实现虫害的自动辨别。
2 系统设计
在对系统进行设计时,需要对硬件装置的提供方面和软件技术的支持方面进行设计。其中硬件装置的设计是通过预先比较筛选,系统选用分辨率高、图像质量好的MV-2000FC 工业数字相机,分辨率可达2 048×1 536,支持一台计算机连接多只摄像机,无中继数据传输4. 5 米,加中继可达72 米。光源选取飞利浦公司的白炽灯,色温为4 100 cm,接近自然光。由于摄像机选用的是数字相机,数字相机中图像是以数字信号存储在相机里的,所以在进行数据传输时不需要选择图像采集卡来进行数据转换,摄像机获得的图像信息可以直接传输给PC 服务器,让服务器进行处理。软件设计是通过将摄像机拍摄的图像传输给服务器后,经过存储、预处理、特征提取和特征分析技术获得有效特征值;再使用数据库的相关技术,将提取后特征值与数据库样本的特征值比对、匹配,如若匹配成功,就将最终结果输出显示到用户终端,达到病虫害监测的目的。其系统完整的流程图如图2所示。
图2 系统整体流程图
2.1硬件设计
用户需配备一台控制终端,可以是手机、电脑或者其他监控设备,这些终端通过对监测模块发送监测命令,接收监控中心服务器发来的最终监测结果,最后获得小麦是否健康的监测信息。本次设计选用手机为控制设备。硬件设计框架图如图3所示。
手机终端在对小麦监测模块发送控制信号时,可通过无线通信传输;为保证图像采集的普遍性,采集到的样本数据能够可靠传输,摄像机使用有线通信方式与监控服务器连通。
图3 硬件设计框架图
2.2 软件设计
监控服务器通过使用java 7 Update 60(64-bit)编程软件,设计出监控服务器(PC机)可对摄像机传输过来的图像信息进行图像预处理、特征提取以及特征分析的程序,再通过使用版本号为11.00.3000.00的SQL SERVER 2012 Service Pack 1 数据库,将最后服务器分析出来的样本特征值发送到数据库,对样本特征值进行存储、对比以及匹配,实现对该区域小麦病虫害的有效诊断。软件设计流程图如图4所示。
图4 软件设计流程
通过使用Android Studio 3. 2. 0 开发者平台,设计出一款用于实时监测的app,它和服务器通过B/S和C/S 进行架构,每次监测时自选采样点,得出最后的监测结果是可能发生病虫害的概率。使用户手机终端实时获取病虫害的监测结果,界面功能如图5监测界面所示。
图5 监测界面
3 试验与总结
为检测南疆小麦病虫害监测系统的准确性,试验时,测试地点选取近年小麦种植面积约170万亩的阿克苏地区。在预先选好的小麦试验田里,通过Android手机进行病虫害监测,测试最终结果如图6所示。
图6 病虫害监测测试
在相同的硬件设备和环境条件下,选择阿克苏地区五种测试麦田进行监测测试,五种麦田分别为:黑穗病麦田、根腐病麦田、白粉病麦田、蚜虫麦田以及健康麦田。在试验时要先检测系统设备可否正常工作,首先,摄像机在各麦田中分别获取多张病虫害症状小麦和健康小麦的样本图像进行处理,部分样本图像经处理后的病虫害原始图像和特征分割图像结果如图7所示。
图7 处理后的五类病虫害小麦图像
在图7 中,A 为小麦根腐病植株源图像,a 小麦根腐病植株病斑分割结果;B 为小麦黑穗病植株源图像,b小麦黑穗病植株病斑分割结果;C为小麦健康植株源图像;D为小麦白粉病植株源图像,d小麦白粉病植株病斑分割结果;E为小麦蚜虫植株源图像,e小麦蚜虫植株病斑分割结果。
用摄像机将病斑分割结果图上传至服务器终端进行病虫害判别:由于A植株叶鞘腐烂、卷曲,叶鞘颜色为褐色,服务器通过公式1-1 至1-6 对形状和颜色特征进行提取与分析,最终判断为小麦根腐病植株;B 植株由于病粒为灰黑色,服务器通过公式1-7至1-10 对纹理特征进行提取与分析,最终判断为小麦黑穗病植株;C 植株由于在形状、颜色及纹理特征上均无异样,服务器最终判断为健康小麦植株;D 植株由于病斑为椭圆与圆状灰白色,服务器通过公式1-4至1-10 对颜色和纹理特征进行提取与分析,最终判断为小麦白粉病;E 植株由于叶片表面形状为绿色椭圆形,服务器通过公式1-1 至1-6 对形状和颜色特征进行提取与分析,最终判断为小麦蚜虫植株。
由于最终的判别结果与已知病状均相同,说明系统设备可以正常工作。所以本次试验从各麦田科学地选取了50 株试验小麦作为抽样样本,将抽样样本分为五组进行试验,并将最后试验结果进行了数据的统计与分析,最后得出如表2所示的小麦病虫害概率统计表。
表2 南疆小麦病虫害概率统计表
由表2可知本次试验结果为,在试验小麦样本数统一、试验条件基本相同的条件下,在对黑穗病进行监测时,系统误判次数6次,正确判断次数44次,监测准确率为88.0%;在对根腐病进行监测时,系统误判次数4次,正确判断次数46次,监测准确率为92.0%;在对白粉病进行监测时,系统误判次数6次,正确判断次数44 次,监测准确率为88.0%;在对蚜虫进行监测时,系统误判次数7次,正确判断次数43次,监测准确率为86.0%;在对健康植株进行监测时,系统误判次数3次,正确判断次数47次,监测准确率为94.0%。
该试验数据说明,系统虽然通过较为准确的数据库信息与录入信息进行比对,但可能由于光源、硬件、环境以及一些其他因素的影响,摄像机采集的图像将会受到视觉干扰或图像失真等因素的影响,这使得系统对病虫害的监测存在一定偏差。但可以接受的是,各试验田里病虫害识别的准确率均达85.0%以上,可以满足对南疆大面积麦田监测的需求,能够在实际应用中投入使用。