基于Mask R-CNN的玉米干旱卷曲叶片检测

安江勇，黎万义，李茂松※

（1. 中国农业科学院农业资源与农业区划研究所/农业农村部农业遥感重点实验室，北京100081；2. 中国科学院自动化研究所，北京100190）

0 引言

旱灾是主要的自然灾害之一，随着全球气候变暖，旱灾的强度和频率逐渐增加［1-3］。干旱是影响玉米产量的主要因素之一，快速、及时的玉米干旱监测对保障玉米丰产稳产具有重要意义，传统的干旱监测方法有土壤水分、农业气象预报和人为诊断等，虽能对玉米干旱做出判断，但具有滞后性［4-5］。在干旱胁迫下玉米植株表现出一系列的表型特征，如叶片萎焉、卷曲、颜色变化和植株生长缓慢等［6］。随着计算机视觉和作物表型组学的发展，传统机器学习和深度学习算法广泛应用于农作物生物或非生物胁迫识别［7-8］，常用的图像识别和分类算法是对一张图像的内容进行识别和分类，然而在农业生产实践中特别是大田条件下一幅图像中包含多种生物或非生物胁迫，如不同的病虫害、土壤水分分布不均，导致在大田条件下采集的同一幅图像里既有适宜水分的植株，也有干旱萎焉的植株［9］。在一幅图像中包含多物体、多目标情况下，受到复杂的图像背景及多物体之间的相互影响，常用的图像识别算法无法对图像进行精确识别和分级。因此，常用的图像识别算法如传统机器学习（SVM，ANN，DT）或深度学习模型（AlexNet，GoogleNet，ResNet）在多物体识别中仍然存在问题。计算机视觉技术应用于生物或非生物胁迫的防灾减灾和监测预警中不仅要对图像中生物或非生物胁迫进行正确的识别和分级，而且要对目标位置进行精确定位，以便采取合适和准确的防灾减灾措施，保障作物正常生长，提高作物产量水平。

目标检测是使用计算机视觉中目标检测算法对一幅图像中目标物体进行识别、分类和定位。目标检测算法既能识别出图像中物体的类别，更进一步地分割出目标物体在图像中的位置［10］。近年来随着计算机视觉和人工智能的发展，目标检测方法逐渐应用于农作物生物或非生物胁迫监测应用研究中。Xia等［11］使用深度学习模型对24种昆虫进行识别，在模型中应用区域候选网络（Region Proposal Network）对图像进行处理生成目标候选窗口，试验结果表明该目标检测模型能得到很高的精度。Tian等［12］使用改进的YOLO模型对不同时期的苹果进行检测和定位，结果表明YOLO能很好地进行苹果检测和定位。Hasan等［13］在大田条件下获取10个小麦品种的数字图像，使用R-CNN对小麦麦穗进行精确的检测和计数，通过计算小麦麦穗的密度对小麦产量进行预测。然而，尽管目前基于深度学习的目标检测算法在农业领域已开展作物识别研究，但对农业生物或非生物胁迫识别方法研究较少。干旱是主要的非生物胁迫之一［1］。在干旱胁迫下，玉米水分代谢和光合作用受阻，玉米植株表现出叶片萎焉、发黄、卷曲、失去光泽等性状，而叶片卷曲是玉米干旱胁迫表型中典型的表型特征［6］，在其他生长环境条件合适的情况下，玉米叶片卷曲可视为主要由干旱胁迫造成。因此，文章期望通过对玉米卷曲叶片的检测实现玉米植株干旱精确识别，为玉米干旱胁迫的防灾减灾提供及时准确的监测信息，为精准灌溉提供技术支持，保障玉米丰产稳产。

1 材料与方法

1.1 供试材料

实验采用盆栽控旱方法，在中国农业科学院农业资源与农业区划所温室内进行（39°57′39°N，116°19′18°E），共设置 2 个处理，即干旱处理和适宜对照。每个处理 8 盆，共16盆植株，将4盆植株分为一组获取玉米图像（2盆干旱玉米植株和2盆适宜对照玉米植株）。供试玉米品种为郑单958［14］，该品种是我国目前种植面积最大的玉米品种，具有高产、稳产、抗倒、抗病、适应性广的特点，综合农艺性状好，黄淮海地区夏播生育期96 d左右，株高240 cm，穗位高100 cm左右。供试土壤为潮土，土壤田间持水量为25%，基本理化性质为土壤全氮1.09 g/kg，碱解氮95.12 mg/kg，速效钾130.50 mg/kg，速效磷25.81 mg/kg，有机质16.10 g/kg，pH 8.58，实验所用花盆高29 cm，上缘直径27.5 cm。

1.2 玉米图像获取

实验设计在玉米拔节—抽穗期进行玉米植株数字图像采集，图像获取时间2018年8月1—5日。采集图像时将同一组的4株玉米植株放在一起，包括2盆干旱胁迫和2盆水分适宜植株，使用单反相机从玉米植株正上方获取玉米图像（图1），图像大小为5 184×3 456像素，共4组，每组处理获取25张图像，共获取玉米数字图像100张。图像采集采用4台单反相机，型号为EOS700D，有效像素1 800万，CMOS感应器，镜头实际焦距f=18～135 mm，拍摄照片以JPG格式自动存储SD卡中。每台相机安装品色282信号接收器用于自动获取玉米图像，相机距地面2.5 m，控旱期间自动获取玉米图像。

图1 图像获取装置及获取的玉米图像：a单反相机；b定时遥控器；c玉米图像Fig.1 Image acquisition device and acquired maize image

1.3 Mask R-CNN模型

Mask R-CNN是基于Faster R-CNN架构提出的新型目标检测网络，Mask R-CNN是在Faster R-CNN基础上增加了mask预测分支（Mask representation branch）和用RoIAlign取代RoI Pooling结构实现特征图像与原图像像素级对齐［15］。以前的目标检测（Faster R-CNN）算法仅是对图像中目标进行识别和定位，没有加入实例分割，对农作物的检测和定位不太准确。由于农作物中物体相互遮挡，环境条件复杂，而且农作物中病斑或者其他胁迫特征图像往往区域很小，是不规则的图形，如病虫害，叶片卷曲等。目标检测算法不仅要检测物体，还对物体进行精细定位。在Faster R-CNN模型中使用RoI Pooling对特征图进行池化操作，RoI Pooling在池化过程中对特征图做了2次量化操作，特征图在缩放过程中并不是按像素对齐的，所以当经过池化后的特征图映射到原图像时会有较大的偏差，导致目标检测效果差，这对物体的分类没有影响，但是对图像的分割影响很大。因此该文采用Mask R-CNN对叶片卷曲进行检测（图2）。

图2 Mask R-CNN模型结构 ［15］Fig.2 Mask R-CNN model structure

1.4 模型训练流程及精度计算

如图3所示，将实验分为2个阶段：（1）目标检测模型的建立，包括图像获取、标注和检测模型训练，首先通过盆栽实验获取不同干旱等级的玉米植株图像，然后使用LabelMe软件对卷曲叶片进行标注［16］，并将标注好的图像分为训练集和测试集，图像标注好后将训练数据输入Mask R-CNN进行训练，最后得到玉米叶片卷曲检测模型；（2）目标检测模型测试，利用已训练好的卷曲叶片检测模型对测试图像进行卷曲叶片检测，得到卷曲叶片的数量、卷曲置信度、分割掩码等检测结果。

图3 Mask R-CNN对玉米卷曲叶片检测流程Fig.3 Flow chart of detection of maize rolled leaves by Mask R-CNN

将采集的图像数据集随机划分为训练集和测试集，其中80%为训练集（80张），20%为测试集（20张），并在Mask R-CNN模型中进行训练和验证。在训练过程中通过TensorFlow可视化工具TensorBoard来查看模型的收敛情况。当模型训练好后用测试集对模型进行评估。采用不同IOU阈值（Intersection Over Union）对模型进行评估，计算模型的准确度（Precision），召回率（Recall），调和平均值（F1score）和均值平均精度（mAP）等评价指标，其计算公式为：

式（1）～（4）中，TP代表分类正确的正例，FP代表分类错误的正例，FN代表分类错误的反例，N代表图像样本数；Precision是模型的识别准确度，为正确检测到的样本占所有实际被检测到样本的比例；Recall是模型的召回率，为正确检测的样本数占应该检测到样本数的比例；F1score是准确度和召回率的调和平均数；mAP为Mask R-CNN模型对卷曲叶片检测的均值平均精度。

该实验将IOU阈值分别设置为0.5和0.75。IOU阈值可定义为叶片卷曲检测模型中叶片卷曲真实标注框（Ground truth）和模型预测边框（Prediction）的交集与卷曲真实标注框和模型预测框的并集的比值，其计算公式为：

式（5）中，G代表目标物体真实的边框大小（Ground truth），P代表模型预测的目标物体边框大小（Prediction）。在该实验中叶片卷曲可视为二分类问题即对叶片卷曲和背景的识别。二分类问题可分为正例（Positive）和反例（Negative），如表1所示，TP和FP分别代表分类正确的正类和分类错误的正例，FN和TN分别代表分类错误的反例和分类正确的反例。

表1 叶片卷曲检测模型判断是否为卷曲的混淆矩阵Table 1 Confusion matrix for judging whether the leaf roll detection model is roll or not

1.5 图像标注及图像数据集的建立

使用Mask R-CNN对玉米卷曲叶片进行识别时，首先需要对卷曲叶片进行标注。该实验使用LabelMe软件对100张图像的玉米卷曲叶片进行标注，由于玉米叶片是不规则的物体，因此标注时采用多边形框实现精细标注，如图4所示，每张图像标注后生成一个JSON文件，JSON文件里包含了图像标注的信息，包括目标物的位置坐标、目标物的类别标签和图像大小信息等。图像标注后进行图形的注释，根据JSON文件内叶片卷曲标注的位置信息，使用OpenCV软件分别画出每个卷曲叶片的二值图像，最后根据每个卷曲叶片的注释信息和原始图像生成Mask R-CNN所需格式的JSON文件，该文件包含了所有图像的类别标签，卷曲叶片的坐标信息等。

图4 玉米植株图像标注卷曲叶片Fig.4 Label rolled leaves with maize plant image

2 结果分析

2.1 定量评估

表2为叶片检测模型在不同IOU阈值下对测试集20张玉米植株图像叶片卷曲检测的均值平均精度，准确度，召回率和F1score值。分析可知，在IOU阈值为0.5时，玉米叶片检测的均值平均精度为74.35%，准确度，召回率和F1score分别为88.37%，45.83%和60.36%。而IOU阈值为0.75时，模型的均值平均精度，准确度，召回率和F1score分别为52.25%，74.92%，38.48%和50.85%。由于在其他条件一定的情况下，玉米叶片卷曲由干旱胁迫造成，因此检测出有卷曲叶片的玉米植株可判定为受到了干旱胁迫。

表2 不同IOU阈值下Mask R-CNN叶片卷曲检测模型对叶片卷曲检测的精度比较Table 2 Accuracy comparison of Mask R-CNN rolled leaf detection model under different IOU thresholds

2.2 定性分析

Mask R-CNN进行玉米卷曲叶片检测的结果如图5所示，其中图5a、图5b和图5c分别为测试集中随机选取的3张玉米植株原始图像，图5a1、图5b1和图5c1分别为3张原始图进行卷曲叶片标注结果，图5a2、图5b2和图5c2分别为Mask R-CNN对3张原始图进行卷曲叶片的检测结果。从结果可知Mask R-CNN能很好地检测玉米卷曲叶片，如图5a1中共标注了12个卷曲叶片，Mask R-CNN检测出了9个（图5a2），检测精度为75%；图5b1中共标注了9个卷曲叶片，Mask R-CNN检测出了9个卷曲叶片（图5b2），检测精度为100%；图5c1中共标注了10个卷曲叶片（图5c2），Mask R-CNN检测出9个卷曲叶片，检测精度为90%，在使用Mask R-CNN检测玉米卷曲叶片时卷曲叶片检测置信度高（表3），3个图像样本的卷曲叶片检测置信度均在98%以上，绝大多数卷曲置信度为100%和99%。在IOU阈值为0.5时图5a样本的卷曲叶片检测的均值平均精度，准确度，召回率和F1score分别为75%，90.9%，43.18%和58.55%；图5b样本检测的均值平均精度，准确度，召回率和F1score分别为76.4%，86.6%，50.5%，63.8%；图5c样本的均值平均精度为78.9%，准确度，召回率和F1score分别为88.9%，48.2%，62.51%（表4）。

图5 玉米叶片卷曲检测图：a/b/c原始图像样本；a1/b1/c1标注图像；a2/b2/c2 Mask R-CNN模型检测图像Fig.5 Maize rolled leaf detection figures

表3 不同图像样本的卷曲置信度Table 3 Rolled confidence of different image samples

表4 IOU阈值为0.5时不同图像样本的检测精度Table 4 Detection accuracy of different image samples at IOU threshold of 0.5

3 讨论

干旱胁迫对作物生长造成严重影响，在干旱胁迫下作物发生一系列生理生化反应来抵御干旱胁迫对植株的伤害［17-19］，表现出叶片卷曲，失去光泽和萎焉等症状［20-21］，叶片卷曲是玉米干旱胁迫典型的表型特征［6］。近年来，随着表型组学的发展，相关学者开展了基于叶片卷曲的玉米干旱胁迫诊断研究。如陈浩［21］使用数码相机获取大田条件下玉米的可见光图像，使用矩形度，叶形比和圆度率3个参数来量化玉米叶片卷曲程度对不同抗旱性玉米干旱胁迫进行诊断；岳焕然等［22］通过获取玉米俯视图像，提取玉米叶片舒展和卷曲时的叶宽，使用玉米叶片的卷曲圈数来表征玉米的干旱等级。上述不同方法从不同的角度反映干旱胁迫下玉米叶片的卷曲状况，然而此类方法首先需要对卷曲叶片进行分割等复杂的预处理工作，然后再计算叶片的卷曲度，无法对卷曲叶片进行直接定位，同时，此类方法卷曲程度的计算都是基于某一拍摄角度，因此在大田自然条件下难以实际应用。该研究直接以卷曲叶片为研究对象，使用目标检测模型直接对干旱胁迫下玉米卷曲叶片进行检测，该检测方法不需要对卷曲叶片进行分割处理和计算卷曲程度，节约图像预处理时间，在进行卷曲检测时，能在图像中直接对卷曲叶片进行定位和分割，由于在大田条件下玉米叶片杂乱交错，叶片相互重叠，尽管对单一叶片进行手动分割并计算叶片卷曲程度能反映叶片的卷曲特征，但此类方法泛化能力较差，不同的拍摄视角会有不同的结果，然而目标检测模型是基于叶片卷曲表型通过大量的数据训练后直接对卷曲叶片进行检测，模型具有更好的泛化能力，因此与已有研究相比使用卷曲叶片检测方法对作物干旱进行识别在大田作物应用上具有更好的实用性

结果表明目标检测模型在自然条件下能直接对玉米卷曲叶片进行检测，同时分割出卷曲叶片的具体位置，具有快速、精确等特点，叶片卷曲检测置信度在98%以上，均值平均精度为74.35%，表明基于Mask R-CNN模型的目标检测方法能很好地对玉米卷曲叶片进行检测和分割。模型在测试集上的卷曲检测精度为74.35%，检测精度不高的一个原因是训练集数量较小，导致卷曲叶片的特征库数量有限，自然条件下植株叶片形状千变万化且相互重叠遮挡，模型需要进行大量的学习才能应对复杂的条件。

4 结论

该研究通过采集玉米数字图像，基于Mask R-CNN模型实现了对干旱胁迫下玉米卷曲叶片的目标检测，对玉米干旱胁迫的及时和准确监测具有重要意义。该方法能直接对卷曲叶片进行定位和分割，使模型具有更高的置信度。然而该模型由于样本量较小，检测精度为74.35%，还需要在今后的研究中进一步提升。在后续研究中将获取大田条件下不同品种、不同生育期、不同拍摄角度的玉米数字图像，建立玉米卷曲叶片大数据集，同时标注更多的数据样本，开发设计适用于干旱胁迫的目标检测模型，使该模型通过对大数据样本的学习，提高精度。同时，为了提高实际应用能力，将卷曲叶片检测模型开发成相应的APP安装在移动设备如无人机和智能手机上，为玉米干旱识别提供行及时、准确和大范围的实时监测信息。此外，目标检测算法也可用于农业生物、非生物胁迫和作物表型等方面的研究，如病虫害的检测等。