基于计算机视觉技术的水稻病害图像识别研究进展

李 辉，罗 敏，岳佳欣

（1.成都农业科技职业学院机电信息学院，成都 611130；2.四川水利职业技术学院信息工程系，四川 崇州 611200）

近年来，随着精准农业和智慧农业的兴起，运用计算机视觉技术辅助农业生产为农作物病害的识别提供了新思路，基于图像处理技术的农作物病害识别能提高识别的准确度、客观性与识别效率，为农作物病害识别的自动化、智能化、精准化和科学化管理提供技术支持。国内外大量学者利用计算机视觉技术对水稻病害图像诊断与识别开展了深入研究，研究内容主要集中在图像采集、图像处理、特征提取、分类识别4 个方面。水稻病害是影响水稻产量及质量的重要因素，水稻病害诊断和识别是精准农业的一个重要研究方向，开展水稻病害图像识别研究对于推动水稻绿色高产、稳产、优质、高效发展具有重要意义。

本研究从水稻病害图像采集、图像处理、特征提取、分类识别4 个方面介绍国内外的研究现状，分析了典型方法的基本原理、关键技术、实现方法和应用效果，总结了该领域现有研究存在的问题与不足，对未来的发展趋势和研究方向进行了展望，以期为后续研究提供参考。

1 水稻病害图像采集

图像采集是图像识别的基础，采集到的图像质量直接影响图像识别结果的准确性和可靠性。数码相机、数字化扫描仪、移动智能手机为水稻病害图像的采集与处理提供了解决途径和方法。

1.1 数码相机或扫描仪

采用数码相机、可360 度旋转的高清摄像头、视频服务器等设备，在田间自然光照条件下对水稻常见典型病害的叶部为害状进行图像采集，但对水稻根、茎、穗部不同受害部位的病害图像采集有待改进和提高［1］。针对数码相机不适合采集狭长的水稻叶部图像的缺点，采用EPSON 扫描仪采集病害活体样本数字图像［2］。

基于数码相机或扫描仪的图像采集主要有两种方法。①在田间采集待测农作物的叶片等样本，带回实验室，通过搭建固定的图像采集装置，完成对样本叶片的检测过程。这种方法具有检测环境统一、图像采集和处理算法简单等优点，但采集到的样本容易在传输中受损，成本较高，不具备普适性和通用性，在实际农业生产中难以普及运用。②采用数码相机或扫描仪直接在田间拍摄获取和存储图像信息，大大降低了采集成本，但图像的获取需要回到实验室采用计算机设备进行图像读取，工序较为复杂；同时，相机分辨率、天气、光照影响会加大后续图像处理算法的难度。

1.2 移动智能手机

随着智能手机的普及，图像处理能力和传输能力大幅提升。智能手机的轻巧便捷性和精确性更能满足田间作业的特殊要求，为水稻作物病害的快速识别与处理提供了新的解决途径和方法。

研究者设计了分布式移动农业病虫害图像采集与诊断系统，可以实现人手或视觉难以企及的病虫害区域图像采集［3］。但由于水稻茎、叶遮挡和重叠现象严重，获取的图像数据信息不够客观、准确，对病害图像识别准确率有一定影响。郑姣等［4］以水稻常见病害为研究对象，采用Android 手机对水稻病害图像进行采集，但该方法采用覆盖有黑色棉布的方木板夹住叶片进行固定拍摄，对病害图像采集需要限定在均匀光线、简单背景下，不适合自然、复杂背景下的水稻图像采集与诊断。刘小红［5］提出手机客户端对病害图像进行实时采集和压缩并上传、远程服务端识别返回结果的方法，该方法对于复杂背景的特征提取方法有待改进，图像准确诊断率、压缩率有待提高。姜慧［6］设计了一种手持式水稻飞虱图像采集装置，通过Android 手机控制相机采集水稻基部飞虱图像，但未对水稻病虫图像去背景方法进行研究。张永玲［7］采用开源软件LAMP 及客户端开发环境，提出并开发了一种基于Android 系统的开放式水稻病虫害诊断系统。张芳［8］通过Android 手机获取病虫害图像，并可对获取图像进行裁剪以减少数据传输量。

采用移动手机进行图像拍摄并及时发回图像识别系统，可实现对病害的实时检测，具有操作简便、使用灵活、通用性和实用性强等优点，也对相关的图像处理算法提出了更高要求。

1.3 无人机技术

随着科技的进步，无人机在农业生产中的应用也越来越广泛。基于无人机技术对稻田进行航拍，获取样本信息，并实时传回数据，地面站通过病虫害识别系统和软件可以实时识别出病害类型、区域以及严重程度。王震等［9］提出一种利用小型多旋翼无人机采集稻田图像，实现了快速准确识别稻田病害白穂病。景晨［10］通过无人机低空巡航飞行对水稻按周期进行拍照，回传照片和位置信息；地面站对航拍的水稻图像进行处理，选出疑似感染水稻纵卷叶螟的区域，为无人机精准施药提供参考。

无人机获取农作物病虫害图像技术，有利于形成更多层面、更加完善的三维空间维度平台体系，是对精准农业信息获取技术的重要补充，为低成本、高效、灵活实时获取大面积和高空间分辨率的农作物信息奠定了基础。

2 水稻病害图像处理

图像分割是图像处理过程中的前续步骤，也是图像识别的难点和研究热点。图像分割技术主要分为两大类：①利用图像灰度的不连续性的边界方法，如边缘检测法。②利用图像灰度的相似性的区域方法，如阈值分割。

2.1 边缘检测法

边缘检测法的实质是提取图像中对象与背景之间的交界线，通过图像灰度分布的梯度来反映图像的灰度变化。常用的边缘检测算子包括Roberts 算子、Sobel 算子等［11］。何丹丹等［12］将水稻叶片图像采用Canny 算子进行边缘检测，采用开运算和闭运算拼接不连续的边缘点并去除非边缘信息，从而提出一种基于多策略融合技术的水稻叶片边缘检测算法，该算法具有高效、准确、鲁棒的特性。段瑞玲等［13］以水稻叶瘟病RGB 图像为研究对象，计算2RG 色差分量模型，采用Canny 算法进行边缘检测；采用HIS 模型的H 分量获得叶片范围内的病斑边界结果，采用DNGBI 阈值分割可检测出水稻叶瘟病的普通型。

边缘检测法通过在不同区域间的边缘上像素灰度值的急剧变化来解决分割问题，具有简单易操作的优点，缺点在于分割效率依赖于边缘检测算子，鲁棒性较差。

2.2 阈值分割法

阈值分割法是一种常见、简单、高效的图像分割方法，它通过设定一个或多个阈值，将图像的灰度级划分为几个部分，各像素点阈值比较与划分像素，同一部分的像素是一个整体。何丹丹等［12］根据绿色通道减去红色通道（GMR）值的大小和分布设置阈值，对水稻冠层图像进行分割。吴露露等［14］基于水稻植株RGB 彩色图像的G 分量与R 分量的比值图中，水稻植株与周围环境的差异较大这一特性，采用迭代的方法选择阈值，用阈值分割的方法对比值图进行分割，检测到的水稻植株结果比较理想。

阈值分割法的特点是简单、执行效率高，难点在于阈值的选取。

2.3 数学形态学法

数学形态学法是采用具有一定形态的结构元素去处理和提取图像的相似形状，以简化图像，保留所需的基本形状信息。数学形态学的研究主要分为二值形态学、灰度形态学和彩色形态学。刘立波等［15］利用椭圆模型，用椭圆拟合水稻稻瘟病单株最大病斑计算两椭圆主轴长，并求两者之比对水稻纹枯病病害程度进行检测。

数学形态学法有效解决了图像分割精度低下、效果差等问题。该方法对于边界噪声敏感，对于复杂生长环境下的图像分割精度问题较为突出。结构元素的选取是形态学运算的关键。

2.4 聚类分析法

聚类分析法是研究分类问题的一种统计分析方法，同时也是数据挖掘的一个重要算法。聚类分析法内容非常丰富，有系统聚类法、K-均值法、有序样品聚类法等。江林等［16］通过对42 个水稻品种进行人工离叶片接种，分别按抗瘟性的多个抗性指标进行系统聚类分析，对选育水稻抗瘟新品种和防治稻瘟病暴发具有一定的实际意义。研究者分别对水稻抗稻瘟病、褐飞虱和稻瘿蚊进行了聚类分析，对水稻病虫害诊治提供了参考［17，18］。

聚类法的优点是直观、结论形式简明；但在样本量较大时，取得聚类结论有一定困难，对图像噪声和初始化数据敏感，算法的运算量较大，在农业生产应用方面有待进一步改进和优化。

2.5 神经网络

基于神经网络的分割方法将样本图像数据用来训练多层感知机，进而用获得的决策函数和训练好的神经网络对图像进行分类，得到分割的结果。谭峰等［19］提出用训练BP 神经元网络的方法来分割水稻疫病图像，以图像的RGB 颜色分量作为训练的样本，较好地保留了图像的纹理特征，实现了较好的分割效果。Liu 等［20］以水稻褐斑病为研究对象，设计了BP 神经网络分类器对水稻叶片的健康部分和病态部分进行分类。

由于神经网络具有巨量连接容易引入空间信息的特点，将其应用于图像分割，有效解决了图像中存在的噪声和不均匀问题［21］。选择何种网络结构是神经网络法运用于图像分割所要解决的主要问题。

2.6 深度学习

深度学习是近年来图像识别领域重要的技术手段。特别是卷积神经网络的引入，在图像分割和特征提取方面十分有效。贾少鹏等［22］提出了一种CNN 与胶囊的组合模型进行农作物病虫害图像识别，模型的图像识别正确率非常高，为深度学习技术的不断发展创造了条件。王琢等［23］以Caffe 深度学习框架为基础，构建全卷积神经网络FCN，采用有监督的学习方法，通过对数据集标注、数据集标签制作，实现叶片图像的分割。陈天娇等［24］构建了基于深度学习方法的病虫害种类特征自动学习、特征融合、识别和位置回归计算框架，实现了田间病虫害识别自动化、智能化和高效率。Xiong 等［25］提出了基于简单线性迭代聚类的超像素区域生成、卷积神经网络分类和熵率超像素优化，采用Qseg、Sr 等6 个指标评价分割效果对测试样本进行了平均分割。段凌凤等［26］应用水稻图像数据集和数据增广技术，优选了基于Seg Net 的网络。该算法能克服稻穗边缘严重不规则，不同品种及生育期稻穗外观差异大，穂叶颜色混叠和复杂的大田环境中光照、遮挡等因素的干扰，提升了稻穗分割准确度及效率。Zhao 等［27］提出了一种基于深度学习的U 形网络结构的水稻倒伏评估方法，为大面积、高效率、低成本的水稻倒伏监测研究提供了重要方法。

深度学习通过局部连接和权值共享2 个特性，大大减少了模型参数的数量，具有识别速度快、准确率高等优势。但该方法存在训练样本大、模型结构复杂、复杂图像识别正确率低等问题。

3 特征提取

特征提取是图像识别的关键步骤，图像特征提取的效果直接决定着图像识别的效果和精确性。由于致病因素的不同，不同的水稻病害在水稻根、茎、叶等位置会呈现出不同的颜色、形状和纹理病斑。

3.1 颜色特征

颜色特征是一种用来形容图像内目标事物表面某些性质的全局特征，描述了图像或图像区域所对应景物的表面性质，有很强的鲁棒性。目前，使用较为广泛的颜色特征模型包括RGB、HSV、YcbCr、HIS等。刘丽娟等［28］结合水稻纹枯病的颜色特征，图像质量得到显著改善，对比度提高，轮廓细节清楚，病斑边界清晰；同时对图像进行中值滤波，保护目标图像边缘，滤除图像噪声。

颜色特征具有直观高效，不受图像平移、旋转和图像大小影响，鲁棒性强等特点，但不能很好地表示图像中目标的局部特征，在农业图像识别研究中有其局限性。

3.2 纹理特征

同颜色特征不同，纹理特征不是基于像素点的特征，它需要在包含多个像素点的区域中进行统计计算。在模式匹配中，纹理特征作为区域性特征有较大的优越性，不会由于局部偏差而无法匹配成功。Yang 等［29］采用基于显微图像纹理和形状特征协同判断的图像识别方法与决策树混淆矩阵法，采用距离变换高斯滤波分水岭算法对稻瘟病孢子进行分离。Sanyal 等［30］通过抽取水稻病害叶片的纹理特征，对水稻褐斑病和稻瘟病进行了自动识别研究。

纹理特征是一种重要的视觉线索，具有旋转不变性、抗噪能力强等优点，但它无法完全反映出物体的本质属性和获得高层次图像内容。同时，纹理分析是一个非常耗时的过程。

3.3 形态特征

图像的形态特征可以弥补颜色特征提取的不确定性。对于水稻病害而言，不同的病害具有不同的形态，也就存在一定的差异性。二值化后的图像一般占用空间较小，形态特征清晰，减少了数据量和计算时间。路阳等［31］针对水稻叶鞘腐败病最明显的特征就是病斑部位，随着病情的加重而逐渐扩大的情况，采用边缘检测处理方法有效提取了该病害的形状特征，获取了特征参量。赵开才［32］研究了适合水稻稻瘟病病斑分类的形态特征提取算法，在提取病斑面积、周长等传统形态特征的基础上，定义了病斑数、病斑面积/病斑个数比2 个新的形态特征，对急性型、慢性型和白点型3 种不同类型水稻稻瘟病进行了分类识别。

形态特征提取的难度较小，但存在缺乏较完善的数学形态模型、目标形状信息与人眼的直观感觉不完全一致等问题，导致提取的形态特征有效性受到影响，也加大了计算难度。

3.4 空间关系特征

空间关系特征是指图像分割出来的多个目标之间的、相互的空间位置或相对方向关系，这些关系也可分为连接/邻接关系、交叠/重叠关系等。如刘涛等［33］针对一些相似病害，如水稻白叶枯病和叶尖枯病在这3 个特征上非常相似，区分难度较大，但是2种病症的一个很大区别在于病健交界明显与否；水稻胡麻斑病与褐点型叶瘟病在形状上表现为点状，颜色大都表现为褐色，两者的区别是外围是否有黄色晕圈；提出一种基于病斑内部、边缘以及外围颜色差别的病健交界特征来区分相似病斑，对相似病害的识别精度效果显著。

空间关系特征的使用可加强对图像内容的描述区分能力，但对图像或目标的旋转、反转、尺度变化等比较敏感。

3.5 多特征融合

多特征融合克服了单一方法特征提取容易引起图像某方面的信息丢失，从而造成分类错误的缺点，既保留了参与融合的、多特征的有效鉴别信息，又可以在较大程度上消除信息冗余，实现压缩，有利于图像的实时处理和分类。崔丽洁［34］根据水稻病斑部位颜色和正常叶片颜色不同的特点，利用OpenCV实现HSV 空间颜色直方图特征提取颜色特征，利用HOG 方向梯度直方图特征描述图像的局部纹理和形状特征；将2 种特征向量相融合得到特征总长度作为模型的输入，该模型具有高效性、强鲁棒性和泛化能力强等特点。李妍［35］对分割后的图像提取特征参数，采用HSV 颜色模型获取图像的颜色特征，使用Hu 矩获取图像的形状特征，采用灰度共生矩阵获取图像纹理特征，利用LLE 流形算法对图像数据降维，提取3 维特征，由这4 类特征构成特征向量，实现了特征向量的识别分类。袁媛等［36］采用RGB 系统和HIS 系统来描述了水稻纹枯病病害部位图像的颜色特征表达，利用纹理特征实现了水稻纹枯病的有效识别。关莹［37］分析了水稻稻瘟病、纹枯病、白叶枯病3 种病害病斑特征，从颜色、形状、纹理3 个方面提取了不同的特征参数，基于特征参数有效组合实现了病害的有效识别。刘涛等［33］采用颜色特征、形状特征、纹理特征、病健交界特征参数融合的方法对水稻叶部病害图像进行特征提取。

目前，对水稻病害图像特征提取方面的研究，主要基于以下2 个方面。①提取方法逐步从单一的特征提取方法，如直方图法提取病害图像特征、灰度共生矩阵法提取纹理特征、边界特征法提取形状特征等过渡到综合考虑多种特征或多特征融合提取算法。②提取的目标具有单一性，以水稻叶片局部病斑区域为主，影响了病害研究的全局性；提取的时间节点单一，往往在水稻病害症状较为明显时才进行研究，严重影响了图像特征提取的实时性。大多数研究从图像识别和图像处理的角度出发对水稻病害图像进行研究，缺乏从水稻病理学知识角度进行特征提取。如水稻稻瘟病分为苗瘟、叶瘟、节瘟等多种形式，在全部生育期均可发病，各部位都可能暴发病状信息。今后的研究宜选取多时间节点、多部位进行特征提取，才能为病害暴发的不同时期准确提取特征信息，为及时识别和防治病害提供可靠的依据。

4 分类识别

图像的分类识别是图像处理的目的。高效率、高精度、高准确率的分类识别方法是农作物病害识别研究领域的重要目标，图像分类识别方法随着数学算法的进步而不断发展。

4.1 支持向量机

支持向量机方法（SVM）是一种基于结构风险最小化原理提出的、基于统计学习理论的分类及模式识别方法，其关键在于核函数。赵开才［32］以提取的特征参数组合作为支持向量机的特征向量，对急性型、慢性型和白典型3 种不同类型水稻稻瘟病进行分类识别。袁媛等［36］设计并实现了一种基于支持向量机的水稻纹枯病识别方法，分别选择水稻纹枯病、健康水稻作为训练样本，选择径向基核函数来训练分类器，根据提取病斑的颜色和纹理特征并降维，采用Lib-SVM 对提取的特征数据进行分类训练和测试，通过训练取得模型。张超［38］采取SVM 分类器识别纹枯病病斑，并根据纹枯病病斑面积占比来诊断纹枯病为害等级。谢亚平［39］采用高光谱技术建立了健康和患病水稻的识别模型，采用Linear、Polynominal、Radial Basis Function、Sigmoid 4 种核函数的支持向量机建模算法对水稻稻曲病进行分类识别。

支持向量机方法兼顾了训练误差和泛化能力，在解决小样本、非线性、高维数、局部极小值等模式识别问题中表现出许多特有的优势，可有效克服神经网络方法收敛难、解不稳定以及推广性差的缺点。但SVM 方法对缺失数据敏感，对农作物病害图像的识别分类没有一个通用解决方案；在基于支持向量机的病斑分类过程中，目前关于核函数参数的选择均采用试验的方式确定，需要继续深入研究。

4.2 神经网络法

神经网络是一种利用类似生物大脑的神经结点联接的结构对信息进行处理的数学模型。神经网络法具有大规模并行、分布式处理、自组织、自学习、抗噪性强、分类精度高等优点。BP 神经网络是人工神经网络的一种，具有非线性映射、泛化能力和容错能力强的优点。刘立波等［40］选取水稻叶片纹理特征、颜色特征，采用BP 神经网络成功地进行了水稻稻瘟病叶片病害区域和正常区域的有效识别。刘海波［41］采用BP 神经网络方法，利用多元非线性回归分析方法建立预警模型，同时根据病虫害发生的周期性，建立季节性指数平滑模型。刘丽娟［42］使用三层BP 网络建立预测模型，学习训练样本数据，建立模拟仿真系统进行病虫害预测仿真，取得了较好的识别效果。王园媛等［43］利用人工神经网络对复杂非线性问题映射能力强的特点，建立水稻白叶枯病害神经网络预测模型，采取trailm 函数的BP 神经网络模型，预测水稻病害的发生程度。胡越浪［44］通过将病害图像特征建立输入和输出矩阵，放入BP 神经网络中进行训练，并根据结果对BPS 算法进行改进，从中选出识别效果最佳的网络模型。

BP 神经网络对初始网络权重非常敏感，以不同的权值初始化网络往往会收敛于不同的局部极小，影响训练结果；同时，BP 神经网络分类识别计算量大，收敛速度较慢，样本实例的选取和训练都影响神经网络在图像识别中的应用。

4.3 深度学习法

深度学习是指多层神经网络上运用各种机器学习算法解决图像、文本等各种问题的算法集合。卷积神经网络（CNN）可以不依赖图像特定特征进行图像识别，因此被广泛地应用到人脸识别、农作物病虫害识别等领域。李淼等［45］引入了知识迁移和深度学习的方法，采用ImageNet 图像大数据集和Plant Village 植物病害公共数据集为对象，探讨了适用于农作物病害识别问题的最佳网络和对应的迁移策略。谭云兰等［46］采用深度卷积神经网络模型，将常见8 类水稻病害图像输入网络模型中进行训练和测试，取得较高的识别精度。邱靖等［47］通过使用深度卷积网络建立水稻病害识别模型，对水稻稻瘟病、纹枯病、稻曲病等常见病害进行分类识别研究。该模型具有泛化能力较强、准确率较高、鲁棒性较好及损失率较小等特点。刘婷婷等［48］以卷积神经网络进行水稻纹枯病识别，取得了较好的识别效果。刘成［49］提出了基于卷积神经网络识别稻曲病的方法，以浅层网络结构为模型，改进和优化网络结构，使用数据增强增加样本数据量，提高训练结果的泛化能力。张楠等［50］基于Softmax 深度回归分类方法研究了稻瘟病病害的识别技术，对水稻稻瘟病病害进行了有效识别。黄双萍等［51］提出了基于深度卷积神经网络GoogLeNet模型的水稻穗瘟病检测方法。

深度学习的神经网络层数多、宽度广、学习能力强，覆盖范围广，适应性能好，数据驱动上限高，可移植性好，能解决复杂的问题，但也存在计算量大、成本高、对硬件需求高、模型设计复杂等不足。

4.4 高光谱图像法

高光谱图像作为一种新型遥感图像。高光谱图像众多的波段、较高的光谱分辨率、丰富的光谱信息、灵活的数据描述分析方法使得对目标实现有效区分和辨识成为可能。李志伟等［52］以健康和感染纹枯病的水稻幼苗为研究对象，获得水稻叶片的光谱曲线，对不同预处理的光谱建模和特征信息提取，建立线性判别分析模型和误差反向传播神经网络判别模型。郑志雄等［53］利用高光谱成像系统采集了受稻瘟病侵染后不同病害等级的水稻叶片高光谱图像，通过分析叶瘟病斑区域与正常叶片部位的光谱特征，提取只含病斑的高光谱图像，对水稻叶瘟病病害程度进行分级。杨燕［54］提出了针对稻瘟病病害检测的高光谱特征提取方法，系统建立了基于高斯拟合参数、植被指数和小波近似系数的水稻稻瘟病病害分类判别模型，实现了稻瘟病的精确、无损检测。黄双萍等［55］提出了一种光谱词袋模型分析方法，分析稻穗的高光谱图像，自动评判穗瘟病害程度。朱梦远等［56］基于高光谱成像技术和化学计量方法，将叶绿素含量与光谱特征、图像特征组合，建立反向传播神经网络线性判别分析模型，实现了对水稻纹枯病害的早期检测识别。

基于水稻病虫害的多类多样，建立详细完整的水稻病害光谱库和设计专有的光谱成像采集分析系统都是十分必要的。

目前，在水稻病害图像分类识别方面的研究主要基于以下2 个方面：①大多数研究都是针对一两类疾病在特定环境和特定病发时期，采用单一的分类识别算法进行特征识别，算法局限性强，鲁棒性差；②大多数水稻病害识别系统均为线下、单机、试验环境下的静态识别，实时性和泛化性差，识别精度不高，识别效率低下，导致实际应用效果差。

5 小结与展望

本研究对基于计算机视觉技术的水稻病害图像识别进行了比较全面的综述研究，总结出进一步的研究趋势：①在图像采集方面，图像采集设备正不断朝着数字化、网络化、集成化、智能化、高分辨率化、移动化方向发展，图像采集方法也从传统实验室里基于少量图像样本获取信息到如今基于大规模农田智慧化获取海量数据样本信息，正不断满足精细化、智能化农业生产的要求。②对大规模复杂、真实自然场景下的图像分割仍将是研究的重点和难点，图像分割算法的快速性、高效性、鲁棒性研究还有巨大的提升空间。③任何一种病斑图像分割、特征提取和分类识别方法都存在一些不足与局限，引入新学科理论，结合新科技、新方法，基于研究对象和条件选择合适的算法，或将多种算法有效结合使用，以寻求最优的图像识别策略是当今领域主流的研究趋势，可以取得更好的识别效果。④随着大数据、物联网、人工智能、遥感技术的高速发展，图像特征提取和分类识别正不断朝着数字化、集成化、智能化、标准化方向发展。真实自然环境下大面积农作物病虫害图像智能识别与防治、病虫害海量数据标准化处理将是农作物病虫害识别未来的重要研究方向。