基于Mask R-CNN的柑橘主叶脉显微图像实例分割模型

翁海勇 李效彬 肖康松 丁若晗 贾良权 叶大鹏

(1.福建农林大学机电工程学院, 福州 350002; 2.福建省农业信息感知技术重点实验室, 福州 350002;3.湖州师范学院信息工程学院, 湖州 313000)

0 引言

目前,我国柑橘产量约占世界的33%[1],研究柑橘植株对生物/非生物胁迫因子的响应能够指导柑橘种植,对我国柑橘产业的提质增效具有重要意义。在柑橘的整个生育期内,其生长发育跨越了亚细胞-细胞-器官-植株等多个尺度[2]。分析不同尺度的性状特征可从不同角度解析胁迫因子对柑橘表型的影响。因此,对柑橘植株特定组织区域的精确识别与分割是其表型研究的基础。在计算机视觉、机器学习等方法支撑下,研究人员已将图像分割算法应用到植株[3]、花[4]、叶片[5]和果实[6]等不同尺度上的目标部位的精确分割中,为植物表型的高通量分析提供了有效的技术手段。

在显微尺度下对植物特定组织或细胞的精准分析,有助于高通量地获取植物解剖表型信息,助力植物遗传和生理分析[7]。王诗雅等[8]探究了水淹胁迫对于大豆生理特性和显微结构的影响,试验结果表明随着水淹胁迫时间延长,通气组织面积逐渐增大。陈文妃等[9]研究不同程度干旱胁迫对黄瓜幼苗中组织和细胞结构的影响,发现在干旱胁迫下黄瓜幼苗组织中的根皮层薄壁细胞、茎木质部导管、叶片栅栏组织等发生变形、萎缩、排列紊乱和表皮破裂等情况,且随着胁迫程度的增加,结构变化程度逐渐加剧。针对柑橘,有学者研究发现,与健康的叶片相比,感染柑橘黄龙病(Citrus Huanglongbing, HLB)叶片的主叶脉韧皮部筛管分子细胞壁周围的中间片层出现了异常肿胀且韧皮部坏死[10]。FOLIMONOVA等[11]、黄镜浩等[12]从显微尺度分析了缺硼或镁对柑橘叶片中脉维管的组织结构变化影响,结果发现,在缺镁条件下叶片中脉的木质部、髓部和韧皮部等组织区域呈现不同的结构变化,缺硼则出现主脉初生韧皮部及纤维鞘外层薄壁细胞坏死。上述结果表明,在显微尺度下能够实现胁迫对植物显微结构的影响分析。因此,自动、准确地量化植物显微结构,对于探究植物的生理功能至关重要。

近年来,深度学习/机器学习结合显微成像技术在植物显微结构的目标检测和语义分割场景中表现出巨大应用前景。林少丹等[13]利用显微成像技术获取感染柑橘黄龙病叶片主叶脉的显微图像,分析了主叶脉横切面中的韧皮部、木质部和髓部等区域形状结构变化情况,提出一种增强特征的无监督训练黄龙病检测算法(Enhanced Huanglongbing unsupervised pre-trainingdetect transformer,E-HLBUP-DETR),实现了显微尺度下柑橘黄龙病的快速识别。DU等[14]开发了一种基于深度学习的维管束表型分析方法,提出利用维管束数目检测精度和尺寸检测精度两个语义指标来评估和筛选适合维管束的语义分割网络,实现了茎秆表皮、周皮和维管束等结构的智能解析,为探究玉米茎秆微观结构与生理功能的关系提供有力技术支持。LI等[15]开发了一款基于深度学习的自动定位植物叶片气孔并分割表皮细胞的工具(LeafNet),通过分级策略,使用深度卷积网络识别气孔,然后使用区域合并方法在掩蔽气孔的图像上分割铺面单元,在量化气孔和铺面细胞的不同表型自动化分析时体现其优异的性能。LIANG等[16]基于特征金字塔(FPN)、R-CNN等深度学习模型研发了一种低成本、高通量叶片气孔表型无损检测新技术,为实现作物叶片气孔表型高通量检测和遗传机制解析提供技术支撑。QIU等[17]设计了一种基于显著性的显微图像处理分析方法,引入卷积神经网络提取表型特征。与人工评估结果的相关系数可达0.88,实现了像素级别上白粉病侵染的高通量定量分析。张高亮等[18]构建了一个基于改进Mask R-CNN网络的水稻茎秆切片显微图像分割模型,实现了水稻茎秆切片图像中大、小维管束区域的定位、检测和分割。

综上所述,本文拟采用图像实例分割结合人工智能技术,建立基于数据驱动的主叶脉实例分割方法并构建深度网络模型,以实现对柑橘主叶脉横切面中的韧皮部、木质部、髓部和皮层细胞4种组织区域复杂特征的提取并实现精准识别与分割,为生物/非生物胁迫下柑橘主叶脉解剖表型组学的图像分析提供新的技术手段。

1 材料与方法

1.1 柑橘主叶脉显微图像采集方法及数据集构建

本文以柑橘(脐橙)叶片主叶脉为研究对象。脐橙叶片于2021年11月采集于福建省古田县三保村。试验前,先将叶片的主叶脉切成条状,再用冷冻恒温切片机(CM 1950 Leica,Leica Microsystems Inc.,Wetzlar,德国)切成厚度为20 μm的横向切片。从每片叶子的主叶脉中随机选取3～4片没有碎裂的横向切片用于显微图像采集。使用LEICA光学显微镜(LEICA-Mi8型,Leica Microsystems Inc.,Wetzlar,德国)采集切片50倍(目镜10×,物镜 5×)条件下叶片主叶脉的显微图像(分辨率为2 560像素×1 920像素),共300幅,并以TIFF文件格式存储。用Labelme[19]图像标注工具添加髓部(Pith, Pi)、木质部(Xylem, X)、韧皮部(Phloem, Ph)和皮层细胞(Cortical cell, Co)这4种掩膜标签,生成json标签文件,用于生成对应目标掩膜信息。使用COCO2017数据集格式进行训练,因此仿照COCO数据库自建了一个柑橘主叶脉横切面各组织区域分割数据集,将原图像转换为该数据集默认的JPG格式,并生成用于分割任务的COCO格式json文件。最后,随机将生成后的数据集按比例8∶1∶1分为训练集、验证集和测试集[20]。数据获取过程如图1所示。

图1 柑橘主叶脉显微图像采集流程图

1.2 柑橘主叶脉实例分割模型

对柑橘主叶脉各类组织区域的定位与识别可以通过目标检测与图像分割的手段来实现。研究表明,基于实例分割的掩膜区域卷积神经网络目标检测平均精确率(Average precision, AP)高于目标检测模型[21-22]。此外,目标检测是检测图像中目标的位置框并给出所对应的标签,而本研究需要识别的是4个层层包围的环形组织区域,若只有定位框则不能精确定位到某一组织区域。语义分割是像素级别的任务,具体通过识别图像中每个像素点对应的物体语义信息,可将主叶脉中待识别的感兴趣区域像素都归为同一类,但不能具体将髓部、木质部、韧皮部和皮层细胞4类组织区域分开。单独采用目标检测或语义分割都不能很好地完成柑橘主叶脉各组织区域的定位与识别。因此,本研究选取基于实例分割技术的掩膜区域卷积神经网络(Mask region convolutional neural network,Mask R-CNN)框架进行柑橘主叶脉实例分割研究,该框架将目标检测和语义分割结合,可对柑橘主叶脉中待测区域进行定位、分类和分割[23-25]。该模型由特征提取网络(Feature extraction network, FEN)、区域建议网络(Regional proposal network, RPN)、2个感兴趣区域对齐层(Region of interest Align, RoI-Align)、全连接层(Fully connected layers)、卷积层(Covn-layers)、目标检测层和分割层组成。由于柑橘主叶脉的分割任务要求精度更高,所以在对齐特征图坐标时,检测和分割不共用同一个RoI-Align,而是引出了另一个RoI-Align分支,用以获得更高的分割精度,如图2所示。

图2 柑橘主叶脉实例分割模型

1.2.1柑橘主叶脉不同部位的特征提取

模型特征提取部分主要是由不同的卷积运算组成,特征提取为后续定位、分类和分割掩膜的计算提供基础。在卷积神经网络中,增加网络的深度可以提升网络的性能,但有研究表明,如果简单地增加网络深度,会导致梯度爆炸或消失,所以网络层数增加到一定限度,模型的精度不增反降。但随着ResNet系列网络残差模块的引入,梯度消失的问题得到了有效解决,模型精度得到了提升[26-28]。因此,本研究为了提升特征提取网络的性能,主干网络选择具有残差结构的ResNet50,其残差模块可表示为

xi+1=F(xi,Wi)+xi

(1)

xi+2=xi+1+F(xi+1,Wi+1)=

xi+F(xi,Wi)+F(xi+1,Wi+1)

(2)

(3)

(4)

(5)

式中xi——第i层残差模块的输入

Wi——激活函数l——损失函数

F(xi,Wi)——残差值

xi+1——第i层的输出(第i+1层的输入)

xk——任意第k层(k>i)残差块的输入值

假设输入数据xi,通过捷径链接(Shortcut connection)进行恒等映射Gixi(Gi在通常情况下为常数1,此处也设为1),映射后得到的xi进行卷积并通过激活函数Wi,得到残差值为F(xi,Wi)。

由式(1)可推出式(2),通过递归,可得到任意第k层的输入,用式(3)表示,即第k层的特征为第i层和k层中间所有残差函数输出的总和加上xi。式(4)为损失函数l对于输入xi的梯度。由式(3)和式(4)可得式(5),由式(5)可知,任意深层xk的梯度可以传递到比其浅的任意层xi,且由于有常数的存在,因此无论如何加深网络,都不会出现梯度消失现象[4,26]。

模型特征提取部分结合了特征金字塔(FPN),将特征图中的深层特征和浅层特征融合,达到增强特征的效果[29-30]。基于特征金字塔的特征提取网络是一种解决多尺度问题的网络,它采用双金字塔结构,如图3所示。左侧金字塔一般为常规的特征图卷积网络,为了提升模型特征提取性能,采用带残差层的ResNet50网络作为特征提取主干网络,Conv2_x、Conv3_x、Conv4_x、Conv5_x为残差层,特征图大小随着残差层深度加深逐层缩小为上一层的1/2,深度扩大为上一层的2倍;中间金字塔则在每层都添加了256个1×1的卷积核用于统一特征图的深度,然后从上至下对卷积后的图像进行反向采样,通过将中间上层的特征图放大2倍,进而与下一层左侧的特征图各像素点进行元素相加,在不增加模型参数的基础上,增强了金字塔右侧每一层输出在不同尺度下空间信息和语义信息的预测能力。由此可见,FPN网络有助于模型对各种尺度的目标进行识别。

图3 基于特征金字塔的特征提取网络

1.2.2特征图处理

经过基于特征金字塔的特征提取网络之后,原始图像被转换为多尺度特征图,再由区域建议网络(RPN)对其感兴趣区域(Region of interest,RoI)进行筛选,进而对筛选后的 RoI 进行池化。本研究采用感兴趣区域对齐法(RoI-Align),利用双线性插值进行采样点坐标计算。与传统的感兴趣区域池化法(RoI-Pooling)不同的是,该方法保留采样点坐标的小数值以提高池化精度。因此,本研究在特征图处理模块中以感兴趣区域对齐法替代感兴趣区域池化法,以期减少特征图尺度标准化过程中的精度损失。

1.2.3Mask分支优化

相较于目标检测任务,分割任务要求的精度更高,所以本研究的模型在对齐特征图坐标时,检测和分割不共用同一个RoI-Align。在RPN网络生成建议框后,将生成的建议框输入2个不同的RoI-Align分支中,分别进行双线性插值计算。其中一个RoI-Align向检测端输出7×7×256的固定尺寸的特征图,经过全连接层后得到检测框和分类信息。另一个RoI-Align向分割端输出14×14×256的固定尺寸特征图,经过全卷积网络(Full convolutional network,FCN)后预测相应的目标分割掩膜。Mask分支上的特征图尺寸是目标检测分支上特征图尺寸的2倍,保留了更多的细节信息。

1.2.4损失计算

经过特征图的处理及特征区域筛选后,模型预测头部分对各特征区域进行分类、检测框和掩膜的损失计算,研究表明在多个数据集的模型训练中,以分类、检测框和掩膜三者的损失之和作为模型整体的损失值,均取得很好的效果[23,31]。损失值L计算公式为

L=Lcls+Lbox+Lmask

(6)

式中Lcls——分类损失

Lbox——检测框回归损失

Lmask——分割掩膜损失

1.3 模型训练参数及评价

本试验在Windows 10系统中完成,试验框架为Pytorch,处理器为Intel(R)Core(TM)i7-9700K CPU @ 3.60 GHz 3.60 GHz,内存为16 GB,使用NVIDIA 2070super图形处理器加速运算。设置单GPU同时处理图像数为1,每幅显微图像实例分割的类别为Pi、X、Ph和Co 4类(不包含背景),模型主要参数如表1所示。

表1 模型参数

采用平均精确率(AP)评估图像分割模型的性能。AP为以准确率(Precision)为纵坐标,召回率(Recall)为横坐标所绘曲线与坐标轴所围区域的面积。当预测目标与标定目标的交并比(Intersection over union,IoU)大于所设定阈值时,判定为预测正确,反之为预测错误。AP值越高,模型性能越好。在实例分割中,对于每一种类别都有对应的AP值,对于全部目标的平均AP称为平均精确率均值(Mean average precision,mAP)。

2 结果与分析

2.1 目标检测和实例分割效果

经试验证明,模型验证到第100个周期后,损失趋于平稳(图4a)。因此,目标检测和实例分割的验证周期也取到第100个。由图4b可以看出,模型的学习性能良好,且验证的平均精确率可以达到90%以上,且目标检测的AP大于图像分割,可知对目标的定位和分类效果优于分割。综上,模型对图像中所有种类的目标检测和实例分割可以达到较好的效果。

图4 柑橘主叶脉实例分割模型验证结果

改进的Mask R-CNN模型对柑橘主叶脉中的Pi、X、Ph和Co的检测和分割的平均评价指标如表2所示。由表2可知,目标检测和实例分割的AP(IoU为0.50)都达到90%以上。目标检测在IoU为0.50、0.75、0.50～0.95 3个评价范围内整体的AP较实例分割更高,为97.7%、83.2%和73.4%。可知该模型对待检测区域的检测框定位和类别分类的精度比具体分割出特定区域的精度更高,尤其是在IoU为0.75、0.50～0.95评价范围内,分割精度与目标检测精度相差较大。而分割端的结果是通过Mask分支得来的,因此本研究对Mask分支进行改进,在检测端保留原有的RoI-Align层。

表2 柑橘主叶脉中Pi、X、Ph和Co的检测和分割mAP

对于各具体的组织区域类别,当IoU为0.50时,检测Pi、X、Ph和Co的AP都可达到90%以上,如表3所示。其中Pi、Ph和Co的检测AP达到100%,由此可知,该模型对这4个不同待测区域的检测框定位与分类效果良好;分割Pi、X、Ph和Co的AP最低的也达到89.8%(X),其余均在90%以上,可知该模型对各组织区域具体分割任务也能取得较好的效果。

表3 各类别目标检测和实例分割的AP

2.2 模型预测效果

随机选取2幅未参与训练的图像进行预测,平均预测时间仅需0.54 s。其预测效果如图5所示,其中,黄色掩膜部分为髓部预测区域,浅蓝色掩膜部分为木质部预测区域,浅绿色掩膜部分为韧皮部预测区域,白色掩膜部分为皮层细胞预测区域。图5a为图中只有待测目标,无背景干扰的柑橘主叶脉原图,图5b为其分割效果。图5c中除了待测目标外,还存在其他靠近目标且与目标类似的干扰物(同一载玻片上其他样本的部分皮层细胞Co),图5d为图5c的分割效果。对于无背景干扰的柑橘主叶脉原始图像,模型可对其中的Pi、X、Ph和Co 4种组织区域都能进行比较精准的定位和识别,类别得分都为99%,对各组织区域的分割也能取得较好的效果。对于有背景干扰的柑橘主叶脉原始图像,模型也可对其中的Pi、X、Ph和Co 4种组织区域进行精准的定位和识别,除了X的类别得分为92%外,其余都为99%,对各组织区域分割也能取得较好的效果。因此,无论有无背景干扰,预测区域均和真实部位重合度较高。

图5 模型预测效果

2.3 模型改进前后对比

对比模型Mask分支改进前后的分割mAP,如表4所示。改进前检测和分割端共用一个RoI-Align,改进后的Mask分支利用一个不同的RoI-Align生成检测分支2倍的特征图。可以看出,改进后的Mask分支,在IoU为0.50、0.75、0.50～0.95 3种条件下,平均分割精度均提升1～2个百分点,分别为95.4%、59.0%、56.1%。

表4 Mask分支改进前后分割精度对比

改进后的模型,检测端保留原有的RoI-Align层,特征图尺寸与改进前相同,改进前后检测精度对比如表5所示。由表5可以看出,改进Mask分支前后的模型目标检测效果与改进前基本持平,在IoU为0.50、0.50～0.95情况下,改进后的模型检测mAP略微升高,IoU为0.75时,检测mAP略微降低,整体差别不大。由此可知,在Mask分支引出一个新的RoI-Align几乎不会影响检测端的效果。

表5 Mask分支改进前后检测精度对比

3 结束语

基于Mask R-CNN框架设计了柑橘主叶脉中的髓部、木质部、韧皮部和皮层细胞4种组织区域的实例分割方法,并对Mask分支添加独立的感兴趣区域对齐层(RoI-Align),进行对比试验。试验结果表明,改进后的Mask R-CNN对所有目标的检测mAP(IoU为0.50)达到97.7%。其中,模型对髓部、木质部、韧皮部和皮层细胞的分割AP(IoU为0.50)分别为98.9%、89.8%、95.7%和97.2%。对4个部位的mAP(IoU为0.50)可达95.4%,与未在Mask分支添加RoI-Align的Mask R-CNN相比,准确率提升1.6个百分点。结果表明,Mask R-CNN框架能够实现柑橘主叶脉中的髓部、木质部、韧皮部和皮层细胞4个组织区域的实例分割,研究结果可为生物/非生物胁迫下柑橘叶片解剖表型组学的图像分析提供新的技术手段。