深度学习在作物及其近缘种抗病性智能鉴定上的研究进展

潘 攀,张建华,*,郑晓明,周国民,胡 林,冯 全,柴秀娟

(1.中国农业科学院 农业信息研究所,北京 100081; 2.中国农业科学院 国家南繁研究院,海南 三亚 572024; 3.中国农业科学院 作物科学研究所,北京 100081; 4.中国农业科学院 农田灌溉研究所,河南 新乡 453002; 5.甘肃农业大学 机电工程学院,甘肃 兰州 730070)

作物近缘种是指与栽培作物具有最近亲缘关系的野生植物。相较于栽培作物,作物近缘种具有更强的遗传多样性和环境适应性,蕴藏着众多栽培作物驯化过程中丢失了的优异抗病基因,是作物种质创新和品种改良的天然基因库。作物及其近缘种的抗病性智能鉴定对野生种质资源的异位保存具有重要意义。

病害是作物及其近缘种生长过程中受到的生物胁迫之一。病害的发生不仅会造成作物及其近缘种的减产与损失,更是危及粮食安全的重要因素之一。当前,作物及其近缘种病害防治的主要措施是使用杀菌剂,但长期大量使用杀菌剂不仅会污染生态环境,还会造成杀菌剂残留,引起作物及其近缘种的品质和安全性下降。此外,不当的杀菌剂使用还会导致病菌的抗药性增强,从而削减防治效果[1]。相较于杀菌剂防治方法,筛选作物及其近缘种中抗病性强的品种,并在育种中利用抗病基因,是一种更为有效且经济的控制作物病害的技术措施[2]。

作物抗病性鉴定是指通过适宜的方法,在特定的环境下,鉴定品种对接种体或特定侵染性病原物潜在的抗病性[3]。快速、准确、可靠的作物及其近缘种抗病性鉴定是培育作物抗病品种的关键环节之一,从抗原筛选、后代选择,再到品种推广的全过程,都离不开抗病性鉴定[4]。在鉴定具有广谱、持久抗病特性的新基因,解析其抗病分子机制的过程中,需要对不同种质资源或育种材料的抗病性进行鉴定和验证,以筛选出优质的种质资源和培育出抗病性强的育种材料。在种质资源的抗病性鉴定或进行作物抗病性遗传规律研究,以及育种中间材料的抗性鉴定时,也要对植株的群体或个体进行抗病性鉴定。总之,抗病性鉴定是筛选作物抗病性品种的基础工作,且贯穿于抗病性育种的全过程[5]。

在开展作物及其近缘种的抗病性鉴定时,需根据作物和病害种类的不同,参照一定的鉴定流程和标准来进行,通常需要综合发病率、病情指数、平均严重程度等参数指标[4]。传统的抗病性鉴定方法需要调查人员在实验室或田间户外对鉴定品种逐一进行鉴定和统计,鉴定过程多依赖于调查人员的经验判断,既费时又费力,且具有准确性不高和主观性强等缺点。随着抗病性育种的不断发展,如何实现作物及其近缘种抗病性的高效准确鉴定日益受到各方关注。

深度学习具有多级表示的表征学习方法,善于从原始数据中挖掘抽象的特征,拥有良好的泛化能力[6]。近年来,深度学习在作物及其近缘种的抗病性智能鉴定方面取得较大突破和发展,本文先以水稻为例,阐述其抗病性鉴定的相关标准和传统鉴定方法,然后从病害检测、病害分割、病害危害程度评估3方面综述近年来深度学习在作物及其近缘种抗病性鉴定上的研究进展,凝练深度学习在抗病性鉴定上的应用情况和面临的难点与挑战,并对未来的研究方向与发展趋势进行展望。

1 传统的作物及其近缘种抗病性鉴定方法

作物及其近缘种抗病性鉴定是作物抗病育种的重要基础,对野生种质资源的异位保存和开发利用具有重要意义。狭义的抗病性鉴定是评价寄主品种、品系或种质对特定病害的抵抗或感染程度,广义的抗病性鉴定还包括病原物的致病性评价[7]。传统的作物及其近缘种抗病性鉴定方法主要通过人工方式进行病害调查,并基于调查结果进行抗病性指数计算和作物抗病性等级分级(图1)。

以下以水稻为例,围绕水稻稻瘟病、白叶枯病、纹枯病3大病害[8],阐述作物抗病性鉴定的流程和标准,以期为作物及其近缘种的抗病性智能鉴定提供理论支撑。

1.1 水稻稻瘟病

由稻瘟病菌(MagnaporthegriseaBarr.)引起的稻瘟病是一种遍布全世界的水稻病害。全球每年因稻瘟病造成的水稻产量损失达11%～30%[9]。据全国农业技术推广服务中心预计,2022年全国水稻稻瘟病发生面积400万hm2·次[10]。

病害调查是指在病害发生现场收集病害的种类、分布、严重程度,以及相关环境要素的基本数据,是开展相关试验研究的前提[11]。

在对苗叶瘟的病害调查过程中,调查人员可凭经验目测病斑的颜色、形状等特征,通过主观估算病害面积占叶面积的比例来鉴定苗叶瘟的抗病性类型。在实际调查过程中,亦可借助标尺等测量工具以病害褐色坏死为边界测量病斑长度[12],从而计算出病害面积占叶面积的比例。条件充足的实验室,还会借助扫描仪获取离体病叶的图像,利用图像处理软件计算病害和病叶的像素数,以计算出图像中的叶片相对病斑面积[13],并参照苗叶瘟调查分级标准——NY/T 2646—2014《水稻品种试验稻瘟病抗性鉴定与评价 技术规程》[14],依据病斑颜色和形状进行分级。

在对穗瘟的调查过程中,调查人员根据感病株与未感病株穗质量的比值评估每穗的损失率,依据穗瘟单穗损失率分级标准[14]判别其单穗损失率级别。

抗病性指数计算是指依据抗病性鉴定与评价技术规范中的相应公式,结合病害调查时所收集、记录的数据计算其抗病性指数,是后续抗病性分级的唯一判别依据。参照NY/T 2646—2014《水稻品种试验稻瘟病抗性鉴定与评价 技术规程》[14],水稻稻瘟病抗病性指数由苗叶瘟病级、穗瘟发病率病级、穗瘟损失率3部分综合计算得到。

抗病性分级是指依据抗病性指数,对照相应的分级标准,判别其抗病性等级与类型,从而实现对抗病性的鉴定。依据NY/T 2646—2014《水稻品种试验稻瘟病抗性鉴定与评价 技术规程》[14],将水稻品种对稻瘟病的抗病性划分为高抗、抗、中抗、中感、感、高感6个等级。

1.2 水稻白叶枯病

水稻白叶枯病(rice leaf blight)是由革兰氏阴性菌黄单孢水稻变种(Xanthomonasoryzaepv.Oryzae, Xoo)引起的一种细菌性维管束病害[15]。水稻白叶枯病在我国的分布和流传很广,对水稻的危害性很大。水稻白叶枯病一旦发生,一般可减产10%左右,严重的可减产50%～60%[16]。

在病害调查过程中,调查人员需使用标尺等工具测量每组调查叶片的病斑长度和接种叶的平均长度,或目测病斑占接种叶面积的比例[17],然后依据水稻白叶枯病病情调查标准(如DB36/T 1033—2018《水稻品种抗白叶枯病鉴定技术规程》[18]),对其严重度进行分级。

水稻品种对白叶枯病的抗病性可划分为高抗、抗、中抗、中感、感、高感6个等级。调查人员需根据相应公式计算参鉴品种的病情指数,然后对照水稻白叶枯病抗性分级标准对其抗性进行分级。

1.3 水稻纹枯病

水稻纹枯病是由立枯丝核菌(RhizoctoniasolaniKühn)引起的一种病害。该病主要引起鞘枯和叶枯,使水稻结实率下降,秕谷率增加,粒重减轻,一般减产10%～20%,严重时可达50%以上[19]。随着稻田病原物的累积增多,其一度成为我国南方一些稻区三大病害之首,成为水稻高产、稳产的严重阻碍[20]。

参照水稻纹枯病抗病性鉴定技术规范(如DB34/T 3306—2018《水稻纹枯病抗病性鉴定技术规范》[21]),应根据病害发病情况的调查结果,按水稻成株期纹枯病调查分级标准进行分级。水稻品种对纹枯病的抗病性可划分为免疫(I)、抗病(R)、中抗(MR)、中感(MS)、感病(S)、高感(HS)6个等级。调查人员需按照相应公式计算参鉴品种的病情指数,然后对照水稻纹枯病抗性评价标准对其抗性进行分级。

2 基于深度学习的作物及其近缘种抗病性鉴定

传统的作物及其近缘种抗病性鉴定方法的局限性在于:(1)效率低。调查人员需在户外田间或实验室逐株逐叶地进行测量和统计,既费时又费力。(2)主观性较强。鉴定、评价的结果与调查人员的经验、主观判断等关系较大。

相较于传统方法,基于深度学习的鉴定方法具有快速、自动、准确性相对较高的特点。目前,基于深度学习的作物及其近缘种抗病性智能鉴定主要包括病害目标检测、病害分割、病害危害程度评估3方面。基于上述结果,再结合抗病性鉴定技术规范,即可实现对作物及其近缘种抗病性的智能鉴定。将基于深度学习的作物及其近缘种抗病性鉴定实现流程整理于图2。

PSPNet,Pyramid scene parsing network;SegNet,Segmentation network;Faster R-CNN,Faster region-based convolutional neural network;YOLO,You only look once;VGG,Visual geometry group;SSD,Single shot multibox detector;YOLACT,You only look at coefficients。图2 基于深度学习的作物及其近缘种抗病性智能鉴定实现流程Fig.2 Realization process of intelligent identification of disease resistance of crops and their related species based on deep learning

对作物近缘种进行抗病性鉴定是培育作物抗病品种的重要途径,但是,目前对作物近缘种的抗病性智能鉴定研究尚处于起步探索阶段,相关研究主要为遥感或光谱分析领域下的作物近缘种监测。例如:Bailey等[22]利用遥感数据评估和监测野生稻的产量;O’Shea等[23]在谷歌地球的数据中训练了3个野生稻监测模型,并使用随机森林算法绘制野生稻地图,为野生稻资源的保存夯实基础。

近年来,深度学习方法已开始广泛应用到作物病害目标检测、病害分割、病害危害程度评估等领域,并取得了较好的效果。

2.1 作物病害目标检测

作物病害目标检测是作物及其近缘种抗病性鉴定的重要内容,病害目标检测的准确性直接决定智能鉴定后续环节的处理效果。目前,作物病害目标检测可分为锚点类模型和无锚点类模型两类,其中,锚点类模型又可细分为以Faster R-CNN等为代表的二阶段(2-stage)检测模型和以YOLO和SSD为代表的单阶段(1-stage)检测模型。

2.1.1 叶部病害检测

二阶段检测模型在实现检测任务时有2个主要阶段:第一阶段,先找出目标出现的位置,并得到备选框;第二阶段,对备选框进行判断和细粒度的检测,以寻求更精准的位置。这类模型通常具有精确度较高,但速度偏慢的特点。目前,Faster R-CNN模型在基于二阶段的病害目标检测模型中的应用比例较大。Sethy等[24]用其检测水稻稻曲病,研究结论虽有一定的局限性,但为水稻稻曲病目标检测的进一步研究提供了参考。Bari等[25]用其检测水稻稻瘟病、胡麻斑病两类病害,能在实验室环境下有效实现对健康叶片、稻瘟病叶片和胡麻斑病叶片的检测,识别准确率分别为99.25%、98.09%和98.85%。为实现基于Faster R-CNN检测模型的视频检测,Li等[26]提出了视频检测的评估方法,并证实Faster R-CNN检测模型可用于实验环境下水稻的视频检测,而YOLOv3检测模型对边界模糊、形状不规则物体的检测结果不理想。

一阶段检测模型生成的锚点是一个逻辑结构,通过提取特征、分类和回归直接产生物体的类别概率和位置坐标值,从而得到检测结果,较二阶段检测模型减少了生成备选框的步骤,因而其速度更快,但检测精度有所损失。Jhatial等[35]采用YOLOv5模型检测水稻白叶枯病、稻瘟病、东格鲁病毒病、胡麻斑病4类病害,mAP达到62%,可用于实时检测水稻病害。Agbulos等[36]采用YOLOv3模型检测水稻稻瘟病和胡麻斑病,能够满足实时检测的速度要求,但相比于Faster R-CNN等二阶段检测模型,其检测准确率较低,仅为73.33%。Wang等[37]基于YOLOv3模型检测番茄早疫病、晚疫病等叶部病害,并将改进的k-means聚类算法用于锚框的计算,提高了备选框与特征图的匹配度,改进后的YOLOv3(YOLO-Dense)模型的检测耗时为20.28 ms,mAP达到96.41%,检测性能优于传统的YOLOv3、SSD、Faster R-CNN模型,检测速度比Faster R-CNN模型快141倍,对于复杂自然环境下的番茄病害检测具有较强的稳健性。Wang等[38]采用改进注意力机制子模块(IASM)的YOLOv5模型检测花生褐斑病和锈病,其检测时间为15 ms,mAP为93.73%,检测性能优于传统的YOLOv5和Faster R-CNN等模型,说明图像处理方法对模型精度有一定影响。Di等[39]对Tiny-YOLO模型进行改进,采用1×1、1×1、3×3的卷积核降低特征维度,并采用reorg和resize的方式压缩特征图,其检测速度达到了280 frame·s-1,mAP高达99.9%。

近年来,基于无锚点的目标检测又可细分为以CenterNet等为代表的基于关键点的检测模型和以FCOS等为代表的基于密集预测类的检测模型。CornerNet模型只使用对角点,会出现精度不高的问题[40]。为解决此问题,CenterNet算法被提出。不同于CornerNet算法的左上角和右下角对角点,以及ExtremeNet算法最上点、最下点、最左点、最右点、中心点的编框方式,CenterNet算法利用中心点、框的宽高和离中心点的offset值来编框,提取的仅仅是目标的中心点[41]。这种编码方式可以更有效地利用目标内部特征来分类,相比于锚点类模型更快、更简洁。在叶片病害目标检测方面,Liang等[42]提出了一种基于改进CenterNet模型的检测方法,并将其用于无人机采集图像的病害检测,mAP达到了54.7%,为利用无人机图像检测病害提供了有效解决方案。

将作物叶部病害检测的主要研究进展[24-39,43-54]及其参数对比整理于表1。

综上所述,锚点类一阶段模型和二阶段模型在速度和准确度上各具优势;而CenterNet等无锚点的模型在检测病害小目标时的准确度较高,且在泛化能力上潜力较大,有望为早期较小病害的准确检测带来更多机会。此外,Vision Transformer(视觉自注意力模型)在目标检测中的研究也为作物叶部病害目标检测提供了新思路。

当前,作物叶部病害目标检测研究正在从实验室简单环境转向田间复杂环境[55],拍摄角度变化、天气条件变化、背景复杂、高质量图像数据量构建困难等仍是该方面的研究难点,如何实现在田间复杂环境下的作物叶部病害准确检测,尚有不少困难需要克服。

2.1.2 作物穗部病害检测

小麦赤霉病、水稻稻瘟病等在作物的穗部发生。作物穗部病害检测即是指检测为害部位包含穗部的作物病害。Hong等[56]将YOLOv4模型的骨干网络由CSP Darknet53替换为轻量级的MobileNet v3,实现了对小麦赤霉病病害的检测,检测准确率为93.69%,相较于传统的YOLOv4模型,其检测速度更快,准确率更高,且可实现在边缘设备上的部署。戴雨舒等[57]使用Deeplab v3+网络模型检测和识别小麦赤霉病,平均精度为96.92%。

当前,作物穗部病害检测研究多在高光谱图像上开展,基于RGB图像的穗部病害检测研究相对较少。但是,基于高光谱图像的检测方式,采集数据费时费力,且因相关设备费用高昂,难以大范围推广和应用。进一步探究密集目标检测、小目标检测等技术,提升深度学习对RGB图像中穗部病害的感知能力,是拓宽基于深度学习的抗病性鉴定方法应用普适性的关键。

2.2 作物病害分割

病害分割是指将作物病害或病斑目标从复杂背景中分离出来,主要包括病叶分割和病斑分割两部分任务。能否准确地从图像中分割出病叶和病斑,对后续的病害危害程度评估和抗病性鉴定均具有关键作用。根据技术的不同,病害分割又可划分为病害语义分割和病害实例分割。

2.2.1 病害语义分割

病害语义分割是指对图像进行像素级分割,将图像所有病害区域的像素分为一类。主要的语义分割网络包括U-Net、SegNet、PSPNet(金字塔场景解析网络)和DeepLab系列。引入注意力机制、改进卷积方式是提升分割效果的主要手段。

U-Net是一款采用编码器-解码器结构的语义分割网络,其最初是被设计来解决医学图像的分割问题的,后因出色的分割效果而被广泛应用到其他领域[58]。在病害语义分割方面,研究人员对其做进一步改进以提升分割效果。Jia等[59]提出了一种基于自注意力机制和可变形卷积的U-Net网络对柿子叶斑病和灰霉病两类病害进行分割,在U-Net下采样阶段,使用可变形卷积代替标准卷积以适应病害的几何变形,并使用自注意力机制在可变形卷曲之前获得全局空间信息和上下文信息,结果显示,该算法的mAP和mIoU(均交并比)分别为89.18%和83.58%,分割效果优于传统的U-Net网络。Liang等[60]提出了一种基于U-Net网络改进的框架,该框架添加了金字塔池化模块,删除了传统U-Net网络中的一些跳跃连接,比传统的U-Net网络具有更好的分割性能,在小麦白粉病孢子图像数据集中的分割mIoU达到了91.4%。Chen等[61]提出的BLSNet网络是在U-Net网络的基础上改进的,该网络使用了注意力机制和多尺度特征提取,mIoU为95.6%,优于DeepLab V3+网络和传统的U-Net网络,其分割时间为0.021 s,能实现水稻细菌性条斑病的实时病害分割。

SegNet是在VGG16网络的基础上修改得到的,是最先提出编码器-解码器结构的网络之一,其编码器使用了与VGG16网络相同的13个卷积层[62],具有清晰明了的网络结构,但分割效果往往无法满足实际使用的需要。Agarwal等[63]使用差分进化开发了SegNet的压缩版本,并用其分割马铃薯晚疫病病害,该方法在SegNet网络的基础上实现了25倍的压缩, mIoU达到了94.74%;但因其数据集选自公开数据库Plant Village,数据集采集环境为实验室单一背景,在田间自然环境下的分割效果仍无法满足需求。

PSPNet和DeepLab均采用改进卷积的方式来提升分割效果。目前,基于DeepLab系列模型的研究相对较多。PSPNet采用聚合不同区域上下文信息的方式改进卷积方法[64]。Tassis等[65]分别采用U-Net和PSPNet网络分割锈病、褐斑病、叶斑病3类咖啡病害图像, mIoU分别达到了94.25%和93.54%,其中,PSPNet的病害分割边缘略超过病害的实际边缘,这样虽有利于病害的分类识别,但会影响基于病斑占比的病害危害程度评估的准确性。

DeepLab系列模型使用空洞卷积来扩大感受野,通过串联不同空洞率的空洞卷积实现不同尺度的目标分割[66]。Li等[67]在DeepLab V3+模型的基础上,提出了一种混合注意力和迁移学习的优化的语义分割模型,用于分割霜霉病、白粉病两类黄瓜病害,该模型对病叶和病斑的分割交并比(IoU)分别为94.14%和60.55%,该模型在复杂自然条件下的性能优于其他比较模型(FCN、Unet、SegNet和DeepLab V3+)。Yao等[68]采用DeepLab V3+模型分割猕猴桃褐斑病、溃疡病两类病害,并将其与U-Net++模型相比,其中,DeepLab V3+和ResNet+Focal Loss+cosine_decay的训练方法准确度最高,但U-Net++和Focal Loss的组合可以在减少参数数量的同时达到良好的精度。此外,该研究还在DeepLab V3+模型的基础上引入轴向注意力模块来屏蔽干扰信息,并利用Focal Loss作为损失函数来分割病变,准确度达到了96.6%,相较于传统的DeepLab V3+模型95.6%的准确率,提高了1.0百分点。除此之外,在一些研究中,DeepLab系列分割模型也与其他的语义分割模型混合使用。Wang等[69]提出一款融合了DeepLab V3+和U-Net的二阶段模型,该模型在第一阶段使用DeepLab V3+模型分割和提取完整的黄瓜叶片,然后在第二阶段使用U-Net从第一阶段提取的简单背景叶片中分割和提取病斑,该模型能够实现复杂背景下的病叶和病斑分割,第一阶段的准确率为93.27%,第二阶段的Dice系数为0.691 4。该研究为病害的危害程度评估奠定了技术基础。

近年来,在自然语言处理领域取得出色表现的Transformer模型也被创新性地跨领域引入到计算机视觉领域。Transformer是一种基于自注意力机制、并行化处理数据的深度神经网络,采用编码器-解码器架构,由分别堆叠了6层的编码器和解码器组成[70]。相较于基于FCN结构的分割网络,Transformer的分割算法能有效捕获更大范围的信息。常用的网络主要将ViT作为骨干网络进行改进。SegFormer是一款将Transformer与轻量级多层感知器(MLP)相结合的语义分割框架[71]。Deng等[72]基于SegFormer分割小麦条锈病的病害区域,相较于PSPNet、DeepLabV3+等网络,SegFormer的分割效果更好,其F1 Score为72.60%。

将作物病害语义分割的相关研究进展整理于表2。

表2 作物病害语义分割研究进展Table 2 Advances in semantic segmentation of crop diseases

2.2.2 病害实例分割

病害实例分割是在病害目标检测基础上的进一步细化,是结合病害目标检测和语义分割的更高层次的任务,在病害语义分割的基础上对发生在不同位置的每一处病害进行区分。根据处理阶段的不同,病害实例分割方法可分为二阶段实例分割方法和单阶段实例分割方法。二阶段实例分割方法又可划分为基于目标检测的自上而下的实例分割方法和基于语义分割的自下而上的实例分割方法,其中,自上而下的实例分割方法的研究和应用较多。

自上而下的实例分割方法先检测图像中病害所在的区域,再对其进行分割;因此,目标检测技术的发展直接影响其分割性能。Mask R-CNN模型是典型的自上而下的实例分割算法,其在Faster R-CNN检测模型的基础上扩展了实例分割框架,能在检测目标的同时将目标从图像中分割出来,虽然准确率较高,但速度难以满足实时要求,且实例分割标注的代价巨大[73]。Das等[74]采用Mask R-CNN模型分割水稻病害,其分割性能优于传统的病害分割方法。近年来,研究人员对传统的Mask R-CNN模型做了改进,以提高分割效果。Zhang等[75]提出了一种改进的Mask R-CNN模型分割水稻白叶枯病病害,该模型将特征金字塔的特征融合方法由自上而下改进为自下而上,较传统的Mask-R-CNN模型提高了准确性。Mask R-CNN模型的病害分割效果在一定程度上依赖于其较高的病害目标检测准确率。Masood等[43]使用该模型检测水稻病害,在数据集中的准确率为87.6%,在不包含本地化信息的情况下,其准确率为58.4%。Anandhan等[44]采用该模型检测稻瘟病、胡麻斑病、纹枯病3类水稻病害,准确率分别为96.0%、95.0%和94.5%。Afzaal等[76]在复杂背景条件下用Mask R-CNN模型分割角斑病、花腐病等7类草莓病害图像,平均精度为82.43%。Stewart等[77]采用深度学习技术在无人机图像中分割玉米叶枯病,当IoU(交并比)值为0.50时的平均精度为96%。Storey等[78]采用3种不同主干网络的Mask R-CNN模型(ResNet-50、MobileNet V3-Large、MobileNet V3-Large-Mobile)分割苹果锈病病害,并通过分割的数据确定叶片和病害的面积,其中,以ResNet-50作为主干网络的Mask R-CNN模型能够取得较好的准确性,而以MobileNet V3-Large-Mobile作为主干网络的较适合低功率的CPU设备。Mu等[79]提出了一种基于Mask R-CNN的病害分割模型,通过使用具有不同扩展率的扩张卷积来获得不同大小的感受野,该模型的MIoU为88.55%,分割效果优于传统的Mask R-CNN模型。

将自上而下的实例分割方法在作物病害分割中的研究进展整理于表3。大量研究结果表明,以Mask-R-CNN为典型的自上而下的实例分割方法,由于在前期需要单独设计网络生成大量建议区域,其推理时间与建议框的数量成正比,因此在推断速度上较为缓慢,且依赖于目标检测[80]。

表3 自上而下的实例分割方法在作物病害分割上的研究进展Table 3 Research progress of top-down case segmentation method in crop disease segmentation

自下而上的实例分割方法将病害实例分割转化为图像聚类,将图像的每个像素聚成不同的集合,再对集合进行区分。这样虽然节省了自上而下分割方法生成建议框的时间成本,但受限于聚类算法的性能,其在复杂条件下的预测准确性相对较差[81]。近年来,为实现摆脱建议框的高准确性的病害分割,单阶段病害分割方法得到快速发展,并表现出较好的速度和准确度。YOLACT是一款由单阶段检测模型YOLO等衍生的单阶段实例分割模型,其将分割任务拆分为两个并行的简单子任务,在轻微损失分割准确率的情况下,较Mask R-CNN等模型大幅压缩了分割时间[82]。Huang等[83]为实现自然条件下的玉米叶片病害分割,提出一种基于YOLACT++的图像分割方法,该方法引入了注意力机制,分割准确度为98.71%,IoU为84.91%,单张图像的平均处理时间约为31.5 ms,相较于Mask R-CNN和传统的YOLACT++模型,该方法在分割速度和准确度方面都有较为明显的提升。除此之外,由无锚检测模型FCOS衍生的单阶段实例分割方法BlendMask,在分割准确度和速度上也表现出较强的优势,在病害分割方面极具潜力。

综上所述,基于深度学习的作物病害分割方法(图3)已经取得较好的分割效果;但在自然环境下,作物病害可能存在土壤、枯叶、地膜、杂草等复杂背景[84],加上图像数据角度、光线不同等,会导致分割的准确率较低或出现错误分割[85],同时,也存在因病害较小而导致的漏分割现象。复杂的自然环境为作物病害的实例分割带来较大不利影响,是病害实例分割的难点。

图3 病害分割网络图Fig.3 Disease segmentation network diagram

2.3 作物病害危害程度评估

病害危害程度评估是作物及其近缘种抗病性鉴定的关键,病害危害程度的准确评估能有效促进作物及其近缘种抗病性的鉴定和抗病性品种的快速筛选。按危害程度评估的作物部位不同,现有研究可主要划分为叶部病害危害程度评估和穗部病害危害程度评估两类。

2.3.1 叶部病害危害程度评估

叶部病害危害程度评估主要可分为基于图像识别的方法和基于病害分割的方法(图4)。基于病害分割的评估方法是指通过计算叶片病害面积与总面积的比值,对病害的危害程度进行评估。该类方法对病害检测和病害分割技术的依赖较强。Wang等[69]通过计算病斑像素面积和病叶像素面积之比,对黄瓜病害的危害程度进行评估,评估的平均准确率为92.85%。Wu等[86]采用该方法对番茄早疫病和晚疫病两类病害进行危害程度评估,病害危害程度分级的准确率为96.40%。随着作物生长周期的变化,基于病害分割方法的评估效果也会因作物叶片形态等的变化而具有不稳定性。Deng等[72]的研究表明,因秋季分蘖期的小麦具有相对更为平整的叶片,故能有效地估计病斑面积比例从而评估其病害危害程度;反之,如果要在拔节期之后调查小麦的病害程度,则该模型可能不适用。另外,前述研究中的方法虽然在适当的生育期取得了不错的评估效果,但因需进行病害分割,评估时间相对较长,对于大面积实时条件下的评估需求尚无法很好满足。

图4 叶部病害危害程度评估实现流程图Fig.4 Flow chart of leaf disease index assessment

基于图像的识别方法是指对病害图像进行分析处理,以识别病害不同危害程度的方法。何东健等[87]提出了一种改进残差网络的葡萄霜霉病危害程度分级模型,改进后的残差块增强了网络的特征提取能力,在优化超参数的基础上,其准确率较原始模型提升了2.31百分点,达到了99.92%。万军杰等[88]采用GoogLeNet模型对6种果园作物的25类病虫害进行危害程度分级,识别准确度达99.35%,较AlexNet、VGG-16、ResNet-18、SqueezeNet、GoogLeNet、MobileNet-v2模型提高了2.38～11.44百分点,且收敛速度最快。

刘斌等[89]构建了一种基于快照集成方法的苹果叶部病害程度识别系统,在不增加训练代价的情况下可实现多神经网络的集成,准确率达90.82%。Esgario等[90]提出一种多任务系统组成模型,使用ResNet50架构对咖啡褐斑病进行危害程度评估,取得了86.51%的准确率。

将叶部病害危害程度评估的研究进展整理于表4。由于同一危害程度的作物病害特征具有多样性,这就导致了目前基于图像识别的病害危害程度评估方法在实现难度方面高于作物病害识别,且其在稳健性方面也有待进一步提升。引入特征增强、注意力机制等有望提高模型学习辨别特征的能力[91],可为该类评估方法的性能和效果提升提供借鉴。

表4 叶部病害危害程度评估的研究进展Table 4 Research progress in leaf disease index assessment

2.3.2 穗部病害危害程度评估

穗部病害危害程度评估是指评估为害部位包含穗部的作物病害,在穗部发生危害的严重程度。当前的研究主要通过分别分割穗部和病害,并分别计算其面积的方法实现。Gao等[92]采用双BlendMask框架来同时分割小麦穗和赤霉病患病区域,并通过计算病害面积与穗面积的比值将危害程度分为健康、轻度、中度和重度4个等级。该模型在麦穗分割中的准确率、召回率和MIoU值分别为85.36%、75.58%和56.21%,在患病区域分割的准确率、召回率和MIoU值分别为78.16%、79.46%和55.34%,对小麦穗和病害部位的分割准确率分别为85.56%和99.32%,对赤霉病危害程度评估的平均准确率为91.80%,且推断时间平均在2 s以内,能实现对小麦赤霉病的危害程度评估,为小麦抗病性育种筛选提供了实现思路。Su等[93]在采用Mask R-CNN模型检测并分割小麦穗和患病区域的基础上,通过计算病害区域与小麦穗的占比,将其划分为14个病害危害程度等级,取得了77.19%的准确率。

综上所述,近年来,关于作物病害危害程度评估的研究取得积极进展,深度学习技术在作物及其近缘种的病害危害程度评估中取得了较好的效果,且研究人员偏向于开发能搭载在手机等移动设备上的APP以便于随时随地应用。但无论是叶部病害危害程度评估,或是穗部病害危害程度评估,现有研究均偏向于在实验室等简单背景环境或特定条件下进行评估,在多株作物、背景复杂等自然条件下的评估效果仍然不佳。如何实现在自然复杂条件下的准确、快速病害危害程度评估,仍是未来需要关注的内容之一。

3 总结与展望

基于深度学习的抗病性鉴定方法是一项交叉了农业、生物学、人工智能等学科的复杂任务。随着育种科研工作对于快速、准确、自动化的作物抗病性鉴定需求的急剧增长,该领域在保障粮食安全、加强种质资源建设、培育优良抗病性的品种方面将发挥更加重要的意义。虽然近年来基于深度学习的作物及其近缘种抗病性智能鉴定取得了积极进展,但在实际场景中,深度学习在作物及其近缘种抗病性鉴定中的研究和应用仍然面临着诸多难点和挑战,如何有效地将育种领域的相关知识与深度学习相结合也是提升其在该领域应用价值的关键之一。

(1)田间作物高密度种植与遮挡造成作物病害目标检测率低。作物及其近缘种抗病性鉴定通常在田间或实验室进行,其作物种植密度较高,会造成分枝、叶片、果实等遮挡作物病害目标的情况。常见的抗病性鉴定作物因其生长习性,也极易造成遮挡的情况。病害目标的检测和分割任务是相辅相成的,从两者相互关系的角度出发,可考虑综合借鉴推理关系网络、胶囊网络、密集目标检测模型等应对遮挡的解决方案,以期为该问题的解决带来更多机会。

(2)多视角与时空特征融合的全面抗病性鉴定还面临挑战。作物病害可发生在作物的各个部位,通常无法仅通过从单一视角采集鉴定作物的图像数据来实现作物抗病性的准确鉴定。从不同时间、不同视角采集鉴定作物的图像数据,并融合其时序信息和空间信息,是增强深度学习对病害区域及其危害程度感知能力的有效方法之一,采用时空特征融合的网络模型并对其进行改进是提高作物抗病性智能鉴定准确率的突破点之一,但因风干扰等因素的影响,极易造成叶片、穗、病害等发生形变、模糊等情况,并导致其特征改变,这使得时空特征融合的全面抗病性鉴定成为一项复杂的工作,并面临诸多难点与挑战。

(3)兼顾速度与准确度的轻量化作物病害目标检测模型还有待更深入地研究。作物及其近缘种抗病性的智能鉴定常需要可移动的载体,在智能手机、无人机或巡检机器人等计算资源受限的设备中进行作物抗病性鉴定是未来的重要发展方向,但现有的轻量化模型无法满足速度、准确度等因素之间的平衡。采用并改进轻量化目标检测模型以实现快速准确的作物病害目标检测是今后的研究方向之一。

(4)智能化精准化的作物抗病性自动鉴定有待更深入的研究。从实际应用的角度来看,育种科研人员需要速度快、准确性高、易于使用或便于携带的抗病性鉴定途径。目前,使用深度学习对作物及其近缘种抗病性进行鉴定的技术还未成熟完善。依照现有的研究成果和相关作物抗病性鉴定与评价的标准,深度学习虽然已为作物及其近缘种抗病性的鉴定带来了巨大的机遇,但如何利用深度学习实现智能化和精准化的作物及其近缘种抗病性鉴定还有待更深入的研究。