基于Android的自然背景下黄瓜霜霉病定量诊断系统

叶海建 郎 睿

(中国农业大学信息与电气工程学院， 北京 100083)

基于Android的自然背景下黄瓜霜霉病定量诊断系统

叶海建 郎 睿

(中国农业大学信息与电气工程学院， 北京 100083)

为准确快速定量诊断黄瓜的病害，科学选择病害管控措施，基于Android技术和图像处理方法设计了可用于自然背景的黄瓜叶部病害定量诊断系统，并进行了试验。对黄瓜叶部彩色图像，首先进行图像预处理和背景剪除，再识别病斑区域，最终计算病斑区域占其所在叶片区域的百分比及根据国家相关标准与其对应的病害等级，计算结果以数值形式显示在诊断结果界面，同时用红色标识出病害区域。系统既适用于白色打印纸等简单背景，也适用于较为复杂的自然背景；所识别的病害叶片图像既可以从摄像头实时获取，也可以从手机存储载入。以50幅黄瓜霜霉病病害叶片为对象对系统进行测试，试验结果表明，系统可以较准确地对黄瓜霜霉病病斑区域进行识别(病斑区域识别综合误分率为6.56%)，并按照国家标准给出病害等级(综合错误分级率为3%)；简单人工背景下系统识别时间为1 s，自然背景下系统识别时间约为11 s。

黄瓜; 霜霉病; Android; 自然背景; 病情诊断

引言

对农作物病情的准确评估是对其进行科学管控的前提。在病情评估中，病害程度的定量诊断是药剂、药量选择等具体病害管控措施实施的依据，准确、快速的病害定量诊断对科学地选择病害管控措施尤为重要。

近年来，随着具有拍照功能的智能手机日益普及，基于手机客户端病害诊断系统的研究和开发引起了广泛的关注。目前相关研究中，较多的是对作物病害进行定性识别[1-5]，而用于病害定量识别的手机客户端系统则在近几年才刚刚起步[6-9]。杨林楠等[5]研究了甜玉米病虫害智能诊断系统；吴沧海等[6]基于Android智能手机设计开发了油菜病害识别系统；薛丽娜等[7]研究了基于Android平台的马铃薯虫害指认诊断系统；康奈尔大学PETHYBRIDGE等[9]开发了用于苹果手机的病害程度定量诊断系统Leaf Doctor；田有文等[8]基于Android技术研究了黄瓜叶部病情诊断系统。然而，现有的基于手机客户端的病情诊断系统普遍存在无法适应自然背景叶部图像提取的问题，仅能对局部叶片进行处理[4]，另外一些则是需要布置简单的人工背景[2,8-10]。此外，部分系统还需要通过网络与服务器端进行连接才能完成病情诊断[3,5,9,11]。这些，都给实际使用带来不便，降低了系统的实用性。

为增强系统的实用性，本文结合手机客户端的特点，基于Android技术和图像处理的相关方法，以温室黄瓜霜霉病为试验对象，设计可用于自然背景的黄瓜霜霉病定量诊断系统。

1 系统设计

系统的功能模块及关系结构如图1所示，主要包括叶部图像获取、叶部病害定量诊断、黄瓜常见病害及防治、帮助和关于4个互相关联的一级模块。

图1 系统模块结构图Fig.1 Structure diagram of system modules

1.1 叶部图像获取模块

病害叶部图像的获取是病情诊断的前提，在实际应用中，叶部图像可以来源于摄像头也可以来源于本地图像文件。为此，在叶部图像获取模块中设计了2个二级子模块来实现2种图像获取方式。其中，摄像头操作子模块是通过调用手机后置摄像头的拍照功能来实现叶部图像的采集功能；而文件系统操作子模块则是通过调用系统功能从手机的本地存储中获取图像文件内容。

1.2 叶部病害定量诊断模块

叶部病害定量诊断模块是系统的核心，它是对叶部图像获取模块所得到的图像进行处理，从而得出病害定量诊断结果的模块。模块通过图像预处理、背景区域剪除、病害区域识别和病情诊断结果生成4个二级子模块协同顺序工作，完成对叶部病害程度诊断工作。本模块的工作流程见图2。

图2 叶部病害定量诊断模块流程图Fig.2 Flow chart of leaf disease severity quantifying module

1.2.1 图像预处理模块

图像预处理模块的功能是对图像进行必要的平滑和图像尺寸调整[12]，这些处理是后续处理的基础。预处理的目的是消除图像中会对背景剪除及进一步病情诊断带来影响的毛刺和噪点；而将图像缩放为统一尺寸，是因为相对计算机而言，手机的运算能力和内存容量有限，直接对原图进行处理，会非常缓慢甚至耗尽手机内存。图像尺寸调整的方法为对图像作等比例缩放，使得长和宽中的最大值为512像素。

1.2.2 背景区域剪除模块

背景区域剪除模块的功能是去除图像中叶部区域以外的背景区域。由于后续的病害程度判断是根据病害区域面积相对于所在叶部区域面积的比例来进行计算的[13]，因此，能否正确去除图像中非叶部区域将直接影响计算结果的准确性。在本系统中，设计了分别针对简单背景和自然背景2种类型应用场景的2个三级子模块。

(1)简单背景剪除模块

对于叶部图像背景为白色或黑色等简单纯色背景的情形，由于前景和背景的反差比较明显，干扰区域一般仅来源于阴影(图4)，利用基于叶片绿色特征的图像分割算法即可进行剪除。简单背景的剪除流程见图3，图中的超G法[14]是一种可以将叶部区域从非绿色背景提取出的一种方法，然而，这种方法对于背景中存有其他叶片等绿色成分干扰时的分割效果不佳，不适用于对复杂背景的剪除。这里为说明简单背景剪除方法的适用性，利用本系统方法对具有简单背景的叶部图像[8]进行背景剪除，效果见图4。

图4 具有简单人工背景图像的背景剪除Fig.4 Removal of simple artificial background

图3 简单人工背景剪除流程图Fig.3 Flow chart of simple artificial background removal

(2)自然背景剪除模块

对于叶部图像背景是较为复杂的自然背景情形，一方面，自然环境下的叶片背景中可能会出现各种难以预料的泥土、石块、地膜等杂物，它们的图像特征非常复杂和不易确定，使得对其进行背景剪除非常困难；另一方面，由于在自然环境下采集植物的叶部图像时，多数情况下会出现属于同一植株或相邻植株的其他叶片，而这些产生干扰的叶片与目标叶片图像特征非常相似。自然背景的复杂性使得传统分割方法[15]很难从自然背景中有效地分割出叶片区域来。

近年来发展起来的通过用户交互方式辅助来进行图像分割的方法为复杂自然背景移除提供了新的思路。同时，智能手机的触屏功能也为交互式图像分割带来了应用模式上的可能。因此，设计交互式方式来完成本系统中自然背景的移除功能。在各种交互式分割方法中，GrabCut[16]是理论较为成熟的一种。GrabCut是属于能量函数最小化分割理论的一种分割方法，对给定一幅含有N个像素的RGB色彩空间的图像，通过对RGB彩色图像的前景和背景分别建立K个分量的高斯混合模型(一般K取5)，构造能量函数E

E(α,k,θ,z)=U(α,k,θ,z)+V(α,z)

(1)

式中α——前景背景区分向量，其中的元素αn指定了像素n(1≤n≤N)属于前景(αn=1)或背景(αn=0)

k——高斯混合模型分量归属向量，元素kn(1≤kn≤K)指定了像素n所属的混合模型分量

θ——待求参数

z——图像灰度数组，z=(z1,…,zn,…,zN)

式(1)右端的第1个分量U为数据项

(2)

式(2)中的D为分解到各个像素点上的数据项

D(αn,kn,θ,zn)=

-lgp(zn|αn,kn,θ)-lgπ(αn,kn)

(3)

式中p(·)——高斯概率分布函数π(·)——混合权重系数

式(1)右端第2个分量V为平滑项 (也称惩罚项)

(4)

其中

β=(2〈(zm-zn)2〉)-1

式中γ——罚项因子，取经验值为50β——常量

总之，能量函数E中的待求参数为

θ=(π(α,k),μ(α,k),Σ(α,k))

(α=0,1;k=1,2,…,K)

(5)

以最小化为目标能量函数E作参数寻优，即可解出参数θ，然而由于模型较为复杂，得到解析解非常困难，所以一般使用EM法迭代求出近似解。得到的结果中α即为图像中各像素点属于前景或背景的判断依据，进而可以得到图像分割的结果。由于GrabCut可以预先指定一些属于前景或背景的像素集合来初始化能量函数模型，因此，用户可以预先对图像进行不完全标注来对图像进行分割。

结合GrabCut的优点和智能手机触摸屏可作为用户标记输入方式的特点，在本系统中，用户可以在系统界面上以触摸的方式粗略指定属于前景区域和背景区域的像素点集，系统再根据用户的选择结果构造用户选择矩阵，并通过调用OpenCV中的GrabCut方法来对图像的背景作剪除。实现自然背景剪除界面的操作见图5，图中红色和蓝色线条为用户通过手机触摸屏粗略指定的目标叶部区域和背景区域，剪除效果见图5。

图5 系统部分截图Fig.5 Parts of screen captures of system

1.2.3 病害区域识别模块

通过背景区域结合黄瓜霜霉病病害特点，利用生成显著性图的方法将病害区域从剪除了背景的叶部区域中识别出来[12]。病害区域识别结果以二值化图像的形式暂存于内存。

1.2.4 病情诊断结果生成模块

病情诊断结果是利用病害区域识别模块得到的病害区域二值化图像所标识的病害区域占整个叶片区域的百分比，所得计算结果再根据国家标准[13]折算成相应的病害等级。病害占比和病害等级分别以数值形式显示在界面上；同时在叶片图像上根据病害区域二值化图像用红色标出病斑区域(图5)。

1.3 黄瓜常见病害及防治模块

常见的黄瓜病害种类很多，对它们的防治和管控方式也有很多，在实际生产中如果可以从随身携带的手机上获取到各种常见病害的图像和文字说明信息及相应的防治方式将会非常方便。因此，本系统将各种常见的黄瓜病害及相应的防治方式加以汇编，设计成电子手册，集成在系统中。

1.4 帮助和关于模块

本模块是对本系统相关功能的说明，对刚刚开始熟悉和使用本系统的用户而言，一些简要的帮助信息非常重要。

2 系统实现与部署

2.1 系统实现

系统在Windows 7(64位) professional操作系统、Android Studio 2.1和JDK 1.7环境下开发，并通过共享库形式调用OpenCV的相关图像处理功能。

2.2 系统部署

为对系统进行测试，需要将开发好的系统以apk安装包的形式安装到具体的手机硬件上。本文测试时采用的硬件为HUAWEI G750-T20型(华为荣耀3x pro)手机，其操作系统为Android 4.2.2(JELLY BEAN)，处理器为联发科MT6592，主频1.7 GHz，运行内存2.0 GB。系统运行时的部分截图见图5。

3 试验与结果分析

3.1 试验设计

试验数据于2015年9—10月份采集自北京市北郊某日光温室。从没有因枯萎和衰老而变色的叶片图像样本中，选取50幅具有典型霜霉病病征图像Ii，在专家指导下进行叶部区域Li和病斑区域Di标记，i为样本编号，取值为[1,50]的整数，用Ii、Li和Di进行试验并汇总结果。

在文献[15]中，对复杂背景区域采用的分割方法是先在RGB色彩空间生成灰度图W=min(255,max(0,2G-R-B))，再用OTSU法对灰度图W作自适应阈值分割得到分割蒙板，并由分割蒙板分割出叶部区域。

病害区域误分率和错误分级率分别定义为

Mi=∑(1-|AEi-AMi|/AWi)/N×100%

(6)

Eg=∑|1-(TEi≠TMi)|/N×100%

(7)

式中N——样本数量i——样本编号AEi——专家识别的病害区域像素数AMi——系统识别出的病害区域像素数AWi——整个叶片区域的像素数TEi——根据专家识别结果计算的病害分级TMi——根据系统识别结果计算出的病害分级

≠——二元操作符，在两操作数不相等时取1，反之取0

3.2 结果分析

系统对黄瓜霜霉病定量诊断的结果和运行时间分别见表1和表2。由表1数据可见，在叶部图像为自然背景时，系统对病害区域平均误分率为8.39%，优于对比方法(44.16%)；平均错误分级率为4.00%，优于对比方法(62.00%)。而对于简单背景，病害区域平均误分率为4.73%，与对比方法(4.97%)相当，平均错误分级率为2.00%，好于对比方法(4.00%)。综合而言，系统对病斑区域误分率约为6.56%，错误分级率约为3%。对比表1中第2列和第4列数据可见，对于自然背景下的病情诊断，系统的误分率及平均错误分级率均略差于简单背景，这主要是由复杂自然背景剪除时的误差造成的。由表2可知，本文方法的平均运行时间对简单背景为1 s，对自然背景为11 s(不含人工选择时间)。综合看来，系统对于简单背景的处理时间与文献[15]方法相当，对于自然背景，虽然用时多于文献[15]方法，但误分率降低了35.77个百分点。

表1 黄瓜霜霉病定量诊断的性能对比Tab.1 Performance comparison of different methods on cucumber downy mildew leaf disease diagnosis %

表2 平均运行时间比较Tab.2 Comparison of average running time s

4 结论

(1)系统能够在较短的时间内给出较为准确的黄瓜霜霉病叶部病斑的定量检测结果，并将结果以数值和病斑区域图像标记的形式显示在系统界面上。

(2)系统既可以有效地从非绿色简单背景中提取出待诊断叶片的叶部区域，也可以利用智能手机触摸屏让用户粗略指定叶部区域，从复杂的自然背景中提取出叶部区域；对于简单背景下的叶片图像处理用时较短，而对自然背景下的用时可以接受。

(3)基于Android技术和图像处理的相关方法，在智能手机上构建可用于自然背景下的黄瓜叶部病情诊断系统是可行的。

1 戴建国, 赖军臣. 基于图像规则与Android手机的棉花病虫害诊断系统[J/OL]. 农业机械学报, 2015,46(1):35-44. http:∥www.jcsam.org/jcsam/ch/reader/view_abstract.aspx?flag=1&file_no=20150106&journal_id=jcsam. DOI：10.6041/j.issn.1000-1298.2015.01.006. DAI Jianguo, LAI Junchen. Image-rule-based diagnostic expert system for cotton diseases and pests based on mobile terminal with Android system[J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2015,46(1):35-44.(in Chinese)

2 田有文, 王炜, 王泷, 等. 基于Android平台的黄瓜叶部病害图像处理[J]. 农业科技与装备, 2015(2):30-31. TIAN Youwen, WANG Wei, WANG Long, et al. Image processing of cucumber leaf disease based on Android platform[J]. Agricultural Science & Technology and Equipment, 2015(2):30-31.(in Chinese)

3 王梅嘉, 何东健, 任嘉琛. 基于Android平台的苹果叶病害远程识别系统[J]. 计算机工程与设计, 2015,36(9):2585-2590. WANG Meijia, HE Dongjian, REN Jiachen. Remote recognition of apple leaf disease based on Android platform[J]. Computer Engineering and Design, 2015,36(9):2585-2590.(in Chinese)

4 夏永泉, 李耀斌, 李晨. 基于图像处理技术与Android手机的小麦病害诊断系统[J]. 安徽大学学报：自然科学版, 2016,40(2):26-31. XIA Yongquan, LI Yaobin, LI Chen. Diagnostic system of wheat diseases based on image processing technology and Android phone[J]. Journal of Anhui University：Natural Sciences, 2016,40(2):26-31.(in Chinese)

5 杨林楠, 郜鲁涛, 林尔升, 等. 基于Android系统手机的甜玉米病虫害智能诊断系统[J]. 农业工程学报, 2012,28(18):163-168. YANG Linnan, GAO Lutao, LIN Ersheng, et al. Intelligent diagnose system of diseases and insect pests in sweet corn based on mobile terminal with Android system[J]. Transactions of the CSAE, 2012,28(18):163-168.(in Chinese)

6 吴沧海, 熊焕亮, 何火娇. 基于Android智能手机油菜病害识别系统设计[J]. 中国农机化学报, 2013(4):257-260. WU Canghai, XIONG Huanliang, HE Huojiao. Rape diseases recognition system design based on Android platform[J]. Journal of Chinese Agricultural Mechanization, 2013(4):257-260.(in Chinese)

7 薛丽娜, 吴晟. 基于Android平台的马铃薯虫害指认诊断系统[J]. 安徽农业科学, 2015(28):346-348. XUE Li’na, WU Sheng. Potato pest identification system based on Android[J]. Journal of Anhui Agricultural Sciences, 2015(28):346-348.(in Chinese)

8 田有文, 郑鹏辉, 许童羽, 等. 基于安卓的黄瓜叶部病害程度检测系统的研发[J]. 计算机工程与设计, 2016,37(5):1411-1416. TIAN Youwen, ZHENG Penghui, XU Tongyu, et al. Developing detecting system for cucumber leaf disease severity based on Android[J]. Computer Engineering and Design, 2016,37(5):1411-1416.(in Chinese)

9 PETHYBRIDGE S J, NELSON S C. Leaf doctor: a new portable application for quantifying plant disease severity[J]. Plant Disease, 2015,99(10):1310-1316.

10 郑姣, 刘立波. 基于Android的水稻病害图像识别系统设计与应用[J]. 计算机工程与科学, 2015,37(7):1366-1371. ZHENG Jiao, LIU Libo. Design and application of rice disease image recognition system based on Android[J]. Computer Engineering and Science, 2015,37(7):1366-1371.(in Chinese)

11 屈赟, 陶晡, 王政嘉, 等. 基于Android的苹果叶部病害识别系统设计[J]. 河北农业大学学报, 2015, 38(6):102-106. QU Yun, TAO Bu, WANG Zhengjia, et al. Design of apple leaf disease recognition system based on Android[J]. Journal of Agricultural University of Hebei, 2015, 38(6):102-106.(in Chinese)

12 叶海建, 郎睿, 刘成启, 等. 基于视觉显著性图的黄瓜霜霉病识别方法[J/OL]. 农业机械学报, 2016, 47(5):270-274. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20160536&flag=1. DOI：10.6041/j.issn.1000-1298.2016.05.036. YE Haijian, LANG Rui, LIU Chengqi, et al. Recognition of cucumber downy mildew disease based on visual saliency map[J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(5):270-274.(in Chinese)

13 GB/T 17980.26—2000 农药田间药效试验准则(一)杀菌剂防治黄瓜霜霉病[S]. 2000.

14 龚爱平, 吴武豪, 裘正军, 等. 基于Android系统手机的叶面积测量方法[J/OL]. 农业机械学报, 2013,44(9):203-208. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20130936&flag=1. DOI：10.6041/j.issn.1000-1298.2013.09.036. GONG Aiping, WU Wuhao, QIU Zhengjun, et al. Leaf area measurement using Android OS mobile phone[J]. Transactions of the Chinese Society for Agricultural Machinery, 2013,44(9):203-208.(in Chinese)

15 袁媛, 李淼, 陈晟, 等. 复杂背景黄瓜叶部病害图像分割方法[J/OL]. 农业机械学报, 2013,44(10):233-237. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20131037&flag=1. DOI：10.6041/j.issn.1000-1298.2013.10.037. YUAN Yuan, LI Miao, CHEN Sheng, et al. Segmentation of cucumber leaf disease images with complex background[J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2013,44(10):233-237.(in Chinese)

16 ROTHER C, KOLMOGOROV V, BLAKE A. GrabCut-Interactive foreground extraction using iterated graph cuts[J]. ACM Transactions on Graphics, 2004,23(3):309-314.

Cucumber Downy Mildew Severity Quantifying Diagnosis System Suitable for Natural Backgrounds Based on Android

YE Haijian LANG Rui

(CollegeofInformationandElectricalEngineering,ChinaAgriculturalUniversity,Beijing100083,China)

Accurate and rapid disease severity quantifying is critical for scientific selection of disease control measures. Smartphone-based systems may facilitate this procedure. Based on Android and digital image processing, a smartphone-based system for cucumber leaf disease severity quantifying was designed and implemented. Leaf images can be obtained by using the smartphone back camera in field, and also can be loaded from local storage of the smartphone. Severity quantifying was done to the image in several steps. Firstly, image pre-processing and non-interested background removal were directly done to the leaf color image. Secondly, the diseased region was discriminated from the leaf region. Finally, disease severity was calculated by the ratio of disease area to leaf area as percentage, and disease grade was also calculated from the disease severity following a national standard. Numerical severity quantifying results were displayed in the interface, and the identified diseased region of the leaf image was marked in red and displayed in the interface as a synthesis image simultaneously. Two background removal algorithm were implemented in the system. One was used for simple background removal, namely super-G, which was used for background removal when the leaf region within a simple artificial background, such as a white A4 sheet. The other one was grabcut, which was a user-interactive background removal method chosen for complex natural background removal. Where the user could roughly point out background and foreground, and then the application would do the rest. For testing performance of the system, totally 50 images of downy mildew infected cucumber leaves were used. Images were acquired from greenhouses in north of Beijing. Results showed that the system could accurately quantify the downy mildew disease severity in acceptable time. Average percentage of false quantifying was 6.56%. Average running time for disease severity quantifying was 1 s for disease images with simple artificial backgrounds and 11 s (user interaction time was varied with each individual, thus not included) for those with complex natural backgrounds.

cucumber; downy mildew; Android; natural background; disease quantifying

10.6041/j.issn.1000-1298.2017.03.003

2016-06-28

2016-07-29

国家自然科学基金项目(31271619)

叶海建(1962—)，男，教授，主要从事图像处理和大数据研究，E-mail： hjye@cau.edu.cn

TP391.4; S24

A

1000-1298(2017)03-0024-06