茶树病害智能诊断识别算法研究
2019-09-25林彬彬邱新法何永健
林彬彬 邱新法 何永健
摘要:茶叶是我国传统作物之一,有着重要的经济和文化价值,茶赤叶斑病、茶白星病和茶圆赤星病是我国名茶区中较为常见的3种病害,影响茶叶的产量和品质。为减少茶叶病害给农业生产带来的损失,以这3种茶叶病害为例,从图像识别角度出发,在图像分割(阈值迭代算法和最大类间方差法)提取病斑区域的基础上,运用构造指数、HSV颜色矩法、HSV颜色直方图法提取出病斑的颜色特征,并进行特征选择,最后运用K近邻算法进行茶叶病害的智能诊断识别研究。结果表明,采用最大类间方差法进行图像分割以及构造指数法进行颜色特征提取的识别率为93.33%,识别效果较好,算法复杂度低,运行速度快。此外,本研究算法实现了智能手机的茶叶病害智能实时诊断分析。
关键词:茶叶;图像分割;颜色特征;病害识别;智能诊断
我国是世界上茶叶种植面积最大的国家,茶叶产量位居世界第2,出口量位居世界第3,但茶叶的品质和产量受病虫害的严重影响。其中茶赤叶斑病、茶白星病、茶圆赤星病是茶树的常发病,会借助风雨传播,使得茶树遭受多次重复侵染,病害不断扩展蔓延。因此,对茶树病害的快速准确识别,最大程度地减少损失,对生产指导意义重大。
近年来,国内外专家学者对基于作物叶片的病害识别作了广泛的研究。病害识别通常可以分成4个步骤:作物病害叶片图像预处理、图像分割、病害图像特征提取、病害识别。(1)图像预处理。次丹妮以兰花黑斑病为例,对兰花叶部病害图像分别作邻域平均滤波法、中值滤波法、开运算滤波法以及小波去噪法预处理,得出前3种滤波法都可过滤噪声,但开运算滤波法使图像变得模糊,而中值滤波法预处理效果最好[1]。(2)图像分割。图像分割方法主要有基于阈值的分割方法和基于聚类的分割方法[2]。其中基于阈值的分割方法中最常用的是最大类间方差法(Otsu),张建华等使用该方法对棉花病害图像进行分割,能较好地提取出病斑区域[3]。李宗儒等分别用基于阈值、聚类的分割方法对苹果病害图像进行分割,结果表明,基于聚类的分割方法效果好,但由于病害叶片彩色多样性,造成了图像聚类中心的不稳定,分割后,还须融合细碎病斑,剔除错误病斑等[4]。Wang等在对植物类别辨别的研究中提出了可以基于数学形态学中的开运算和闭运算,消除图像中的孤立噪声点并填补叶片内部空洞的分割方法,该方法可以有效提高分割精度[5]。(3)病害图像特征提取。目前提取的病害特征一般包括颜色特征、纹理特征和形状特征。史继先等采用分块颜色直方图算法[基于色调(hue,简称H)、饱和度(saturation,简称S)、亮度(intensity,简称I)]和纹理特征算法(基于灰度共生矩阵),实现了本地图像检索和远程图像检索[6]。Yao等提出,使用基于颜色直方图和HSV颜色空间的三通道共生矩阵特征来描述病害[7]。(4)病害识别。贾建楠等提出采用神经网络识别法来辨别黄瓜叶片的病害种类[8]。罗其朝使用OpenCV库中局部特征匹配算法(speeded up robust features,简称SURF)辨别了珍珠的图像[9]。Rumpf等对甜菜的各种病害性状进行了研究,采用支持向量机的算法对不同阶段的多种甜菜病害进行了识别,得到了较高的识别率[10]。以上算法都是根据相应种类的植物病害叶片,观察其颜色、纹理以及形状等特征建立的,并不适用于其他植物。因此对于特征差异明显的病害种类,以上算法过于复杂,降低了算法效率。
茶赤叶斑病、茶白星病、茶圆赤星病这3类病害叶片的病斑颜色差异显著,本研究以这3种病害为例,从图像处理角度出发,建立一套识别率高、算法复杂度低、运行速度快的识别算法。该算法首先提取平滑处理后的茶叶病害叶片图像的色调分量;再利用Otsu对图像进行病斑分割;接着提取并统计分析图像病斑区域的9个颜色特征参数,得到茶叶病害智能诊断识别的方法;最后根据得到的方法进行病害诊断识别。
1 数据与方法
1.1 数据
本研究所用到的数据为茶赤叶斑病、茶白星病和茶圆赤星病病害圖像各130张,一共390张图像。图像于2017年1月16—17日采集于浙江省丽水市松阳县新兴乡茶叶基地,使用OPPO R9安卓机调用系统相机进行采集。采集当日为晴天,光线较好。松阳县位于浙江省西南部,地处28°14′~28°36′N,119°10′~119°42′E,四周是山地,中间是盆地,属亚热带季风气候。新兴乡位于瓯江支流的松阴溪畔,是茶叶一类适生区。
图像采集标准:只拍摄叶片病斑区域,或以其他健康叶片为背景,距离叶片20 cm左右垂直于叶片拍摄,拍摄过程中保持相机平稳,避免抖动。图像分辨率为2 000×1 500。图像中茶树生育期均为茶树成年期;图像中茶叶病害期均为病害前期。
1.2 图像预处理方法
栅格图像预处理是对像素进行处理的操作[11]。栅格图像预处理可以抑制图像中不需要的数据,增强感兴趣的图像特征,改善图像的质量,从而提高图像分割、图像特征提取以及图像识别的可靠性。本研究主要考虑茶叶病害图像平滑和色调分量提取2个部分。与灰度图像相比,彩色图像提供的信息比较繁杂,不易于后续的图像分割,同时由于茶叶病害图像中的病斑区域与其他区域色调差别较大,因此可以仅提取图像的色调分量,为图像分割作准备。
1.4 图像特征提取方法
图像识别过程是基于图像视觉特征的。图像的视觉特征[15]包括颜色特征、形状特征、纹理特征、空间特征等。由于茶树叶片上的病斑个数和位置都具有随机性,形状特征的不精确会对识别造成负面的影响;不同病斑区域会有较相似的纹理,纹理特征没有较好的区分方法。因此本研究在提取病斑形状后,只将病斑区域内的颜色特征作为识别依据。
1.4.1 形状提取方法 形状是描述物体特征的重要视觉特征之一,是图像的中间层特征,不受颜色特征和纹理特征的影响[16]。形状特征的提取是以图像分割为基础的,较常见的方法有Sobel算子、Canny边缘检测算法。Sobel算子是图像边缘检测中最重要的算子之一,它是一个离散的一阶差分算子,用来计算图像亮度函数的一阶梯度之近似值[17]。在图像的任何一点使用此算子,将会产生该点对应的梯度矢量或是其法矢量。Canny算子是由Canny研究出来的多级边缘检测算法[18]。它是符合高质量信噪比、精确定位和单边缘响应的最优边缘检测算子,包含以下几个步骤:(1)采用高斯函数对图像进行低通滤波处理。由于本研究在图像预处理时已对图像作相应的去噪处理,因此在Canny边缘检测中省略此步骤。
(3)删除亮度梯度值非极大值。在亮度梯度值中,若某点与其周围值相近,那么判定其不处在边缘,因此删除。最后得到候选边缘点。
(4)设置高阈值和低阈值,选择边缘点。如果像素亮度梯度值高于高临界点,或者位于高低临界点中间但处于边缘,那么不作处理,其余情况都作删除处理。最后选取出边缘点。
本研究分别采用Sobel算子和Canny边缘检测算法提取茶叶3种病害图像的形状,部分提取结果如图2所示,第1列为经过平滑处理后的病斑原图像,第2列为Sobel算子提取的病斑形状,第3列为Canny边缘检测算法提取的病斑形状;第1行为茶圆赤星病病斑图像,第2行为茶白星病病斑图像,第3行为茶赤叶斑病病斑图像。由图2可知,Sobel算子提取的病斑形状边缘过于细节化、零碎化,而Canny边缘检测算法提取到的病斑形状更贴合实际,因此本研究采用Canny边缘检测算法提取茶叶病斑轮廓,为后续病斑区域颜色特征提取提供基础。
1.4.2 颜色特征参数提取方法 颜色特征的提取方式有很多种,最常见的有颜色矩、颜色直方图等。颜色矩是一种简单有效的颜色特征表示方法,有一阶矩(均值)、二阶矩(方差)、三阶矩(斜度)等,由于颜色信息主要分布于低阶矩中,因此用一阶矩、二阶矩、三阶矩足以表达图像的颜色分布[19]。颜色直方图能准确表达一幅图像的颜色统计特征, 在基于内容的图像检索中应用广泛。由于RGB颜色空间的彩色图像颜色总数为256×256×256种,维数太高,因此一般采用量化的颜色直方图表示颜色特征。根据人的视觉,对HSV颜色空间进行非均匀量化,然后把3个分量按下式合成一个特征矢量(A)。
根据所构造的r、g、b、R1、R2、R3、H1、H2、H3等9个颜色特征参数,从390幅病害图片中随机选取茶赤叶斑病、茶白星病、茶圆赤星病病害图片各100幅作为训练样本,提取每个样本的9个参数值。将9个特征参数两两组合,共生成36个组合。经测试,在H1R1组合散点图中,3种病害有各自聚类效果,H1R1组合散点图如图3所示,茶白星病聚集在散点图的左下角,H1、R1均偏小;茶赤叶斑病在散点图中部大致呈倒三角的形状;茶圆赤星病在散点图中位于右下角,呈凹弯弧状。3种病害各自聚类,位于直线1(目测勾画)下方的是茶白星病;位于直线1上方,且位于曲线1(目测勾画)上方的为茶赤叶斑病;位于曲线1下方的为茶圆赤星病,H1R1组合具有较好的分类效果。最后本研究针对H1R1组合运用K近邻算法进行分类。
2 结果与分析
2.1 茶叶病害智能诊断识别系统
基于以上茶叶病害图像处理的相关理论与技术,本研究开发了一款基于Android平台的茶叶病害智能诊断识别系统。系统由服务器和客户端组成,實现客户端采集茶叶病害图像并识别,服务器保存识别结果,在用户查看时,将识别结果返回客户端,其主要的工作流程如图4所示。该系统可调用安卓相机和相册获得茶叶病害图像,再使用OpenCV库对图像作预处理、色调分量提取、图像分割、图像特征提取等一系列处理,最终根据提取的R1和H1参数进行诊断识别,给出诊断结果与诊治方案,实现茶叶病虫害实时智能诊断识别的功能。如图5所示,从左往右依次为获取图像界面、获取茶叶属性信息界面、茶叶所在茶场自动定位界面以及识别结果界面。其中将茶叶的属性信息、诊断结果信息和地理信息数据进行融合,存储至数据库,方便用户查看、定位自己的茶场病害信息。
2.2 病斑提取结果分析
对图像作平滑处理后,将图像颜色空间转化为HSV颜色空间并提取色调分量,对色调分量提取结果进行Otsu分割,再根据分割结果提取病斑边缘点,从而提取出病斑区域。
2.2.1 茶赤叶斑病分析 如图6所示,第1列为茶赤叶斑病原始图像;第2列为根据原始图像提取到的色调分量灰度图;第3列为图像分割结果,其中白色代表病斑区域,黑色代表其他区域;第4列为提取到的茶赤叶斑病病斑;每行为1个重复,其中黑色为背景。由图6可知,茶赤叶斑病病斑大部分分布在叶尖或叶缘处,病斑较大且形状不规则,但病斑颜色较一致,主要呈深红褐色至赤褐色,与健康部分界线明显。在茶赤叶斑病的色调分量灰度图中,病斑区域呈亮灰色,其他区域为深灰色至黑色,灰度值差别较大。从分割得到的病斑图像可以得知,图像分割效果较好,但若背景中有和病斑颜色类似的区域,会将其划分为病斑区域,导致错分。拍摄时应尽量只拍摄病斑区域,减少背景面积,或者以其他健康叶片为背景,以减少错误分割的情况,提高图像分割的准确度。
2.2.2 茶白星病分析 如图7所示,第1列为茶白星病原始图像;第2列为根据原始图像提取到的色调分量灰度图;第3列为图像分割结果,其中白色代表病斑区域,黑色代表其他区域;第4列为提取到的茶白星病病斑,其中黑色为背景。由图7可知,茶白星病病斑呈直径为1~2 mm大小的灰白色圆形,中间小面积凹陷带有灰色,边缘呈白色隆起且边缘线呈白色-灰色-绿色的过渡色,边缘不明显。病斑在叶片上分布散乱,没有规律。在茶白星病的色调分量灰度图中,病斑区域中心为淡灰色,边缘呈亮灰色,其他区域为深灰色至黑色。从分割得到的病斑图像可以得知,茶白星病的图像分割效果一般,病斑的中心区域基本可以被提取出来,但病斑边缘容易被错分为背景区域,导致提取的病斑面积小于真实值。这是因为茶白星病病斑区域颜色不单一,深灰色和白色交叉,使得最大类间方差法阈值的选择有所偏差,导致分割不准确。
2.2.3 茶圆赤星病分析 如图8所示,第1列为茶圆赤星病原始图像;第2列为根据原始图像提取到的色调分量灰度图;第3列为图像分割结果,其中白色代表病斑区域,黑色代表其他区域;第4列为提取到的茶圆赤星病病斑,其中黑色为背景。由图8可知,茶圆赤星病病斑为褐色小点,边缘呈淡黄色,渐渐向健康部位的绿色过渡。病斑分布有些散乱,有些较集中,会融合在一起,成为一块病斑。在茶圆赤星病的色调分量灰度图中,病斑区域呈白色,病斑边缘为亮灰色,其他区域为深灰色至黑色。从分割得到的病斑图像可以得知,茶圆赤星病的图像分割效果较好,病斑区域基本可以被提取出来,但提取得到的病斑比真实病斑偏大,这是因为茶圆赤星病边缘颜色的过渡所造成。
综上所述,3种病害的病斑主要区域基本提取正确,已经能代表病斑区域的主要特征,因此少量的错误分割不影响后续的病斑特征提取以及病害图像的诊断识别。
2.3 识别率及运行时间分析
本研究采用的茶叶病害图片库包含390幅图片,茶赤叶斑病、茶白星病、茶圆赤星病各130幅,其中训练样本图片各100幅,测试样本图片各30幅。由表1可知,本研究构造指数识别方法在茶叶病害图像库上的平均识别率为93.33%。其中,由于茶白星病病斑中心存在灰色区域,与茶圆赤星病的褐色易混淆,因此这2种病害之间存在错分情况。茶赤叶斑病的颜色与其他病害的颜色具有较大的差别,因此识别效果较好。
由表2可知,本研究算法表现出了良好的病害识别性能,与其他算法相比,病害的识别率较高。这是因为本研究所选取的参数综合考虑了HSV、RGB分量的值,构造相关指数,并根据样本进行了指数的选取,指数的区分性较好。HSV颜色直方图法较好地描述了不同色彩在整幅图像中所占的比例,不同的茶叶病害图片所统计出来的直方图,高频率数值不同,识别率高于HSV颜色矩法。茶赤叶斑病3种方法的识别率普遍高于另外2种病害。这是因为茶赤叶斑病的颜色偏向红褐色,特征较明显,较容易被识别。3种方法对茶圆赤星病的识别率普遍低于其他2种病害。这是因为茶圆赤星病病斑较细小、零碎,统计信息不够充分,因此错分率较高。
由表3可知,本研究算法的计算复杂度略高于HSV颜色矩法,但远远低于HSV颜色直方图法。本研究方法在保证较高识别率的情况下,大幅度降低了算法的计算复杂度,智能识别性能较高。
3 结论
本研究为改善以往不能实时识别植物病害的缺陷,降低算法复杂度,以茶赤叶斑病、茶白星病、茶圆赤星病等3种病害为研究对象,从图像处理角度出发,建立了智能提取茶叶病斑并识别其病害种类的算法和技术,通过基于Android的茶叶病害诊断软件,实现了对茶叶病害进行实时智能诊断识别的功能。本研究算法利用最大类间方差法对茶叶叶片病斑进行图像分割,然后提取病斑区域的6个颜色参数,并根据颜色参数构造了9个颜色特征指数,其中R1H1特征参数组合可以对3种病害进行较好地识别。结果表明,本研究方法运行效率较高、识别效果较好,具有一定的有效性和可行性。由于同种茶叶病害在不同的发病时期颜色特征存在差异,因此关于病害发展全过程中颜色特征的变化情况有待进一步研究。对于某些颜色特征相似的茶叶病害,还应进一步考虑病斑的形状特征以及纹理特征,以增强算法的可移植性。
参考文献:
[1]次丹妮. 基于计算机视觉的花卉叶部病害识别方法研究[D]. 天津:天津职业技术师范大学,2016.
[2]胡秋霞. 基于图像分析的植物叶部病害识别方法研究[D]. 杨凌:西北农林科技大学,2013.
[3]张建华,祁力钧,冀荣华,等. 基于粗糙集和BP神经网络的棉花病害识别[J]. 农业工程学报,2012,18(7):161-167.
[4]李宗儒,何东健. 基于手机拍摄图像分析的苹果病害识别技术研究[J]. 计算机工程与设计,2010,31(13):3051-3053,3095.
[5]Wang X F,Huang D S. A novel multi-layer level set method for image segmentation[J]. Journal of Universal Computer Science,2008,14:2428-2452.
[6]史继先,蒲东兵,张雪喆. 基于Android和内容的图像检索系统设计[J]. 信息技术,2014,38(7):200-203,206.
[7]Yao Q,Guan Z X,Zhou Y F,et al. Application of support vector machine for detecting rice diseases using shape and color texture features[C]//International Conference on Engineering Computation. Hong Kong,2009:79-83.
[8]贾建楠,吉海彦. 基于病斑形状和神经网络的黄瓜病害识别[J]. 农业工程学报,2013,29(增刊1):115-121.
[9]罗其朝. 基于Android的图像识别客户端系统研究[D]. 海口:海南大學,2014.
[10]Rumpf T,Mahlein A K,Steiner U,et al. Early detection and classification of plant diseases with support vector machines based on hyperspectral reflectance[J]. Computers and Electronics in Agriculture,2010,74(1):91-99.
[11]吴子龙. 基于Android移动终端的烟草病虫害图像智能识别系统研究[D]. 昆明:云南农业大学,2015.
[12]石 静. 图像分割方法综述[J]. 科技致富向导,2012(26):69,58.
[13]章毓晋. 图像分割[M]. 北京:科学出版社,2001.
[14]周 俊,王明军,邵乔林. 农田图像绿色植物自适应分割方法[J]. 农业工程学报,2013,29(18):163-170.
[15]马志远. 基于视觉特征的图像检索方法研究及系统实现[D]. 武汉:武汉科技大学,2010.
[16]闫雅楠,夏定元. 结合边缘检测和区域分割的形状特征提取[J]. 电视技术,2007,31(3):12-15.
[17]袁春兰,熊宗龙,周雪花,等. 基于Sobel算子的图像边缘检测研究[J]. 激光与红外,2009,39(1):85-87.
[18]Canny J F. The complexity of robot motion planning[M]. Massachusetts:MIT Press,1987.
[19]李 旺,唐少先,陈 荣. 基于颜色特征和支持向量机的黄瓜叶部病害识别[J]. 农机化研究,2014,36(1):73-75.
[20]Sun J D,Zhang X M,Cui J T,et al. Image retrieval based on color distribution entropy[J]. Pattern Recognition Letters,2006,27(10):1122-1126.刘淑娟,周 华,杨爱红,等. 3种瑞香花部性状的对比研究及对坐果的影响[J]. 江苏农业科学,2019,47(6):92-95.