基于多视角时间序列图像的植物叶片分割与特征提取

2022-02-21娄路吕惠宋然

农业机械学报 2022年1期

娄路吕惠宋然

(1.重庆交通大学信息科学与工程学院, 重庆 400074; 2.山东大学控制科学与工程学院, 济南 250061)

0 引言

植物表型是指植物可测量的特征和性状, 是植物受自身基因和生长环境相互作用的结果, 也是决定农作物产量、品质和抗逆性等性状的重要因素[1]。传统的植物表型研究主要依靠手动测量和专家经验,效率低且具有很强的主观性。随着植物功能基因组学和作物分子育种研究的深入,传统的表型观测已经成为制约其发展的主要瓶颈,而新兴的植物表型分析技术成为解决这一问题的有效途径[2]。在植株表型测量中,为实现各器官相关表型的精确测量,比如对叶子形态(包括叶面积、叶片数量、叶倾角、叶脉等)、茎形态、果实特征等表型的测量,则对植物的各器官进行高精度分割是非常重要的前提条件[3]。其中,植物茎叶自遮挡现象比较严重,因此植物茎叶的高精度分割研究成为植物表型研究领域的热点与难点之一。

近年来,随着计算机视觉技术的不断成熟,基于图像的植物表型研究成为农业研究的热门领域。早期基于图像的植物表型研究主要是利用图像处理技术、机器学习算法和叶子的形状特征等[4-12]实现植物叶片的分割,并进行叶片计数、病虫害检测和植物识别等表型研究。随着植物表型研究的深入以及深度学习算法的快速发展,在植物图像的分析和识别中出现了新的挑战和需求,即满足高精度的植物表型数据需求成为植物表型研究的重点[13-22]。深度学习算法能够实现植物表型更高精度地提取和测量,这不仅仅局限于植物的单一器官。在植物分割领域目前仍集中于叶片分割[14]。针对植物幼苗时期叶片的表型研究问题(如叶片分割、叶片计数、叶子跟踪和定位等),2014年召开的欧洲计算机视觉会议上举办了叶子分割挑战赛并公开了其数据集[15](Computer vision problems in plant phenotyping, CVPPP)。国内外的研究者基于此数据集进行研究并取得了很多成果[16-22]。XI等[16]提出利用具有10个单位隐藏层的前馈神经网络进行前景/背景分割,降低背景干扰,再利用分水岭算法进行叶片分割,并实现叶片计数,但分割效果并不理想,对称最佳骰子(Symmetric best dice, SBD)分数[17]只有71.1%。ROMERA-PAREDES等[18]首先提出基于递归神经网络的循环实例分割算法,但叶子分割效果很差,之后在此算法基础上进行改进,使用条件随机场(Conditional random field, CRF)作为后处理,尽管分割结果有所改善,SBD分数提升了10个百分点左右,但SBD分数也只达到66.6%。随后,REN等[19]提出一种具有注意力机制的端到端递归神经网络架构用于植物叶片的实例分割,该算法不仅解决了部分遮挡问题,且实现了精细分割,分割效果有很大提升,即SBD分数达到84.9%。KULIKOV等[20]从语义分割角度思考,首先提出一种将实例分割简化为语义分割的新方法,以端到端的方式训练实例分割,网络架构可以利用标准的语义分割架构。此算法不需要受到常规实例分割方法中的对象建议和边界框检测的限制,因此在小型数据集上也能得到很好的分割效果。同样地,BRABANDERE等[21]和KULIKOV等[22]分别提出基于判别损失函数和基于正弦波嵌入式网络对植物图像进行实例分割,2种方法在叶子实例细分上表现出很大竞争优势,且后一种方法是目前在拟南芥幼苗期的叶片分割算法中表现最好的,其SBD分数达到89.9%。

上述研究大多是以植物幼苗为研究对象,即分割类别只有叶子一类,并没有实现植物茎叶的分割,也没有实现针对植物全生长周期的通用性分割模型。随着植物的生长,植物的自遮挡问题越来越严重,导致植物表型测量更加困难。Mask-RCNN[23]是专门进行实例分割的深度学习算法,能同时实现多目标检测和实例分割。因此本文拟采用Mask-RCNN算法实现植物茎叶的实例分割,然后结合目标检测结果,以期利用基于多视角图像的叶子跟踪算法解决叶片遮挡问题,并能够计算出叶片数量和叶片面积。

1 材料与方法

1.1 数据集

使用CVPPP数据集中常用的A1序列(拟南芥幼苗),该序列有128幅图像,每幅图像的分辨率为500像素×530像素。该数据集是拟南芥幼苗的单视角图像(俯视图)。

除公共数据集外,本文还使用了自采集的拟南芥、玉米和酸浆属植物3种植物在不同生长时期的多角度图像。这些植物生长在自动控制环境(温室大棚)中,温度设置在15～20℃之间,并配有辅助灯光照明。自采集设备主要是带有变焦镜头的普通高分辨率数码相机(佳能Canon 600D型)、三角支架、漫反射补光灯和一个简易电动转盘。在拍摄时,相机的摆放位置距离植物0.5～2 m,根据植物形态不同,可采用竖向(肖像模式)或横向(风景模式)拍摄,确保整个植物位于相机取景框范围之内。相机镜头的水平位置略高于植物,拍摄角度约为45°,镜头聚焦点瞄准植物主茎的下部而不是顶部或叶片表面,拍摄开始前锁定自动变焦开关(禁止自动调焦)。同时,为了提高拍摄图像的清晰度,减少阴影(通常是由植物自身遮挡引起的),使用了2个漫射照明灯和黑色背景[24],拍摄实际场景如图1所示,拍摄装置平面示意图如图2所示。在成像过程中,植物临时从温室大棚转移到转盘上。转盘匀速顺时针转动,约1.5 r/min,相机采用自动快门连续拍摄模式,从而得到360°全方位视角的植物图像序列,拍摄图像编号依次递增,原始图像分辨率很高,为2 304像素×3 456像素。植物的整个拍摄过程通常在2～3 min内可以完成。针对植物形态结构的复杂程度,本文选择间隔3°～6°拍摄1幅图像,并将原始图像分辨率降低一半进行实验,以提高运算性能。实验由英国阿伯里斯特威斯大学IBERS学院英国国家植物表型组研究中心(NPPC)[25]的成员提供了植物样本和图像采集方面的帮助,由中心主任JOHN H D教授提供实验指导。

图1 多视角二维图像拍摄装置Fig.1 Multi-view 2-D imaging setup

图2 拍摄装置示意图Fig.2 Illustration of imaging setup1.背景 2.照明灯 3.相机 4.计算机 5.转盘

本文自采集的拟南芥数据包括4个时间序列的图像,按照拟南芥的生长周期长短依次命名为M1～M4,其中M1数据集图像是在拟南芥播种后28 d左右拍摄的,M2～M4数据集图像则是在M1数据采集之后每间隔3～4 d持续追踪同一株拟南芥生长过程拍摄的。自采集的酸浆属植物数据集(L1、L2)和玉米数据集(P1、P2)是分别拍摄采集2株酸浆属植物和2株玉米得到的。本文将拟南芥的M1数据集、玉米的P1数据集和酸浆属植物的L1数据集作为训练集,分别为166、60、120幅图像,样本图像如图3所示。本文为测试模型对植物分割的通用性,将拟南芥的M2～M4数据集、玉米的P2数据集和酸浆属植物的L2数据集作为测试集,每个测试集各包含10幅图像。

图3 标注过程Fig.3 Illustration of labelling process

1.2 图像标注

采用Labelme工具对数据集进行标注。CVPPP数据集的A1序列(拟南芥)有128幅图像,且分辨率不高,均为500像素×530像素。A1序列中拟南芥是幼苗植株,因此只有叶子1个标注类,标注后的结果如图3第1行图像所示。

在自采集的训练数据集中,拟南芥(M1)、玉米(P1)和酸浆属植物(L1)3种植物的样本图像数量分别为166、60、120幅。由于图像中拟南芥幼苗体积小,所占图像面积的比例较小(无用背景区域较多),本文先裁剪出图像中拟南芥区域后再进行标注,裁剪后图像分辨率为800像素×380像素。自采集拟南芥数据集与CVPPP数据集的A1序列中标注类别相同,只有叶子1个类,标注后的样本图像如图3第2行所示。由于实验平台采用的图形处理器(Graphics processing unit, GPU)的显存容量限制, 自采集的玉米和酸浆属植物图像需要进一步降低图像分辨率才能保证训练实验正常进行。玉米和酸浆属植物数据集的图像分辨率分别被降至600像素×400像素和400像素×600像素。玉米的标注类别分为叶子和茎2类,而酸浆属植物的标注类别分为茎、叶柄和叶3类, 其中叶柄是指叶子和茎干相连的部分,具体的标注结果如图3第3行和第4行所示。

1.3 植物分割实验方法

1.3.1Mask-RCNN算法基础框架

Mask-RCNN算法因能精确地保存像素的空间位置以及完成逐像素的掩膜预测,使得最终的模型不仅能够进行目标检测和分类,也能进行实例分割,而其他的神经网络算法(如YOLO、RCNN等)并不能满足本文的要求,即同时实现目标检测和实例分割。Mask-RCNN算法的主干网络通常是采用残差网络ResNet101或ResNet50,经过实验对比,本文决定采用ResNet101。从网络的底层到高层依次提取出植物图像的低级特征(边缘和角等)和高级特征(叶片和茎等),再使用特征金字塔网络(Feature pyramid networks, FPN)将高级特征传入底层,使其与低级特征融合,形成特征图输入到区域建议网络(Region proposal networks, RPN)中。RPN通过分布在特征图中不同尺寸的锚框(anchor)寻找存在目标的区域,形成区域建议框,并且每个建议框有2个输出,分别是anchor的前景/背景分类和前景边框。随后对建议框进行分类并生成掩膜(Mask)和边界框(BBox)。其中,分类器是对建议框进行具体分类(叶子、茎等类别)和边框精调,实现目标检测功能。最后经过1个全卷积网络(Fully convolutional network, FCN)对建议框进行掩膜生成,完成图像实例分割,具体的网络结构如图4所示。

图4 Mask-RCNN 结构图Fig.4 Framework of Mask-RCNN

1.3.2模型训练

本文的实验运行环境为安装Windows 10操作系统的计算机服务器,CPU为Intel E5-2678V3,GPU显卡为GTX1080Ti。编程语言为Python 3.7,采用Tensorflow 1.12.0和OpenCV 3.4软件库。模型训练时,将学习率设置为0.01,动量默认设置为0.9,batch size设为4,其他参数为默认值。实验选择的Mask-RCNN的主干网络为 ResNet101,训练阶段首先迭代40次用于训练调整网络的heads层,然后迭代80次用于从ResNet的阶段4开始微调,最后对整个网络进行调整,迭代40次。每一个训练总共迭代160次,大约需要训练8 h。

1.3.3评估方法

本文目的是对植物的茎叶进行较好的分割和分类,即实现目标检测和实例分割,因此需要采用不同的评价指标分别对模型性能进行评估。针对模型的目标检测性能,本文采用的评价指标是类别平均精度[26](Mean average precision, mAP0.5),当交并比(IOU)大于等于0.5时精度(AP)定义为AP0.5。对于实例分割部分,本文采用平均交并比(Mean intersection over union, mIOU)进行评价。因此,在目标检测中,当IOU大于等于0.5时,该预测框检测正确;当IOU小于0.5时,该预测框检测错误。

1.4 叶子跟踪方法

遮挡问题是基于图像的植物表型研究的难点之一,在单一视角采集的植物图像中,感兴趣的表型特征可能因为器官遮挡导致提取困难或提取错误。本文针对该问题提出了新思路:利用多视角植物图像中的特征匹配实现叶子目标的跟踪,部分解决遮挡导致的叶子识别问题。以本文使用的酸浆属植物数据集(L1)为例,采用尺度不变特征变换(Scale invariant feature transform, SIFT)[27]算法进行特征点检测与匹配,利用投票策略和选取最大值的方法,完成时间序列图像中多叶子目标的动态跟踪与计数。详细的跟踪实现方法描述为：

Input:2幅植物不同角度图像(原图像Pt+1和目标图像Pt+2)

(1)对Pt+1和Pt+2进行特征点检测和匹配

(3)使用Mask-RCNN模型对Pt+1和Pt+2进行分割

(4)得到Pt+1和Pt+2目标识别框bi(i=0,1,…,n)和bj(j=0,1,…,m)

(5)初始化k=0,i=0,j=0,matches=[]∥k为特征点对序号,i和j分别为Pt+1和Pt+2的识别框下标,matches用于存储匹配好的实例

(6) ifk≤r

(7) ifj≤mand (xk2,yk2)⊆bj

(8) ifi≤nand (xk1,yk1)⊆bi

(9) 将(i,j)保存到matches中

(10) elsei+1 then Goto(9)

(11) elsej+1 then Goto(8)

(12) elsek+1 then Goto(8)

(13)matches集合中每个实例对应关系以少数服从多数原则,确定最后的匹配结果

output:输出叶子跟踪后的分割效果图

2 实验与结果分析

2.1 拟南芥数据集分割

针对单视角的CVPPP数据集,本文将其A1序列按照4∶1∶1的比例随机取样构建了训练集、验证集和测试集[28]。所采用的Mask-RCNN模型在训练集和验证集上的实验耗时约8 h,最终损失率降低至0.092。然后将训练好的模型在测试集上进行测试,实验效果良好,精度性能指标mAP0.5和mIOU分别为85.3%和73.4%。某个测试的可视化结果如图5第1行第3列图像所示,叶片遮挡对检测精度有一定影响:对于遮挡较重的2片叶子,模型不能正确地将它们分割为不同的实例对象;而被茎干遮挡分成2部分的同片叶片(遮挡不严重),模型识别基本正确,仍将其分类为一个实例对象。由此可以看出,基于单一视角的植物图像分割受遮挡影响较大且很难解决。

图5 拟南芥分割可视化结果Fig.5 Visualization results of Arabidopsis segmentation

对于自采集的拟南芥数据集,本文进行了组合对比实验,即从M1数据集中随机抽取100幅图像作为训练集B,也将训练集B与CVPPP的A1序列中的80幅图像混合为1个训练集C。在这2个训练集上分别进行实验,模型训练精度较高,损失率分别降至0.094和0.090。

为验证Mask-RCNN算法在植物茎叶分割领域的泛化能力,本文继续进行对比分析实验,将以上3个数据集训练得到的Mask-RCNN模型分别在拟南芥不同生长周期的数据集(A1和M1～M4)上进行分割测试实验,目标检测和分割评估结果如表1和表2所示。从表1、2可以得到:①随着生长周期的延展,拟南芥不断长出了新叶片,形态变化显著,整体上分割精度有小幅度的下降,但是mAP0.5基本都大于70.0%,mIOU也基本都在60.0%以上。②如果训练集中植物样本类型越多(包含更多生长周期植物图像),分割和识别精度也将会有所提高。如M4测试集的分割可视化样本图像所示,A1序列的训练模型(图5c)在测试时存在一片叶片的一部分被重复识别为单个实例,训练集B训练出的模型(图5d)对部分叶片的识别和分割不完全,存在叶片部分边缘分割缺失,导致分割精度降低,而训练集C训练出的模型(图5e)并没有出现重复识别的情况,且分割精度较高。

表1 拟南芥在不同时期目标检测结果(mAP0.5)Tab.1 Target detection results of Arabidopsis in different periods (mAP0.5) %

表2 拟南芥在不同时期的分割评估结果(mIOU)Tab.2 Segmentation results of Arabidopsis in different periods (mIOU) %

2.2 玉米和酸浆属植物分割

玉米和酸浆属植物属于多实例分割,其中玉米分为叶子和茎2类,而酸浆属植物则有叶子、茎干和叶柄3类。本实验从自采集的玉米(P1)和酸浆属植物(L1)数据集中分别随机抽取40幅和72幅图像作为训练集,玉米和酸浆属植物的分割模型在训练时参数与拟南芥分割模型训练时的参数设置保持一致,2个模型训练的最终损失率分别降至0.075和0.083。

与拟南芥的分割模型测试方式相同,本文将训练好的模型在同一植物不同生长时期进行对比测试,尽管玉米结构相对复杂和叶片扭曲严重,酸浆属植物存在叶片遮挡等问题,但最终2个分割模型测试实验的评价指标mAP0.5也都达到70.0%。玉米的分割可视化结果如图6第1行所示。从图6中可以看出:①玉米叶片细长且存在扭曲,表面纹理差异明显,导致该叶片可能被错误识别成2段。②在玉米的P2时期,mAP0.5仍达到74.4%,但mIOU仅为54.4%,主要原因也在于玉米叶片的扭曲,使得在分割时识别不完全,从而导致分割精度很低。酸浆属植物的测试结果可视化样本如图6第2行所示。可以看出,在L2测试集上,由于酸浆叶之间相互遮挡严重,导致实例对象的漏检,最后的mAP0.5只为70.0%左右,mIOU也只达到58.1%。遮挡问题一直是植物表型研究中的一个重点和难点[11]。

图6 玉米和酸浆属植物分割可视化结果Fig.6 Visualization results of maize and physalis segmentation

2.3 叶片跟踪和叶面积估算实验

在植物表型研究中,叶片数目的准确计算和叶面积的无损测量是研究目标之一。本文在完成植物分割基础上,首先采用分辨率为400像素×600像素的酸浆属植物图像进行特征匹配, 但是跟踪效果较差,只有50%左右的叶片跟踪正确。通过实验对比,本文最终采用分辨率为800像素×1 200像素的图像进行实验,效果较好,实验结果如图7所示。

图7 在L1数据集上的跟踪结果Fig.7 Results of leaf tracking on L1 dataset

本实验输出可视化图像结果时,按照拍摄时间的前后顺序,t+1时刻图像与t时刻图像中同一片叶片对象的掩膜颜色和标签编号保持一致,便于匹配跟踪结果的观测与分析。在实验中发现,相邻2幅图像的间隔角度在3°～6°时跟踪效果最好。若选取的图像间隔角度过大,将导致特征点匹配数量降低,大约只有50%的叶子能够正确匹配。本实验可视化结果见图7,由t时刻的结果图像可以看到,标号为3的叶片由于茎干的遮挡,被错误分割成2片叶片(标记为3和8),导致最终的叶片总数暂时被错误统计为9片。而在t+2时刻之后的图像中,因为之前遮挡不复存在,标号8的“叶片”消失,只出现标号3的叶片，说明跟踪方法有效地进行了纠错。在全部序列即将结束的t+8和t+9时刻图像中,标号6和标号3的叶片尽管分别因为遮挡被错误分割为2片叶片,但均被跟踪算法检测为同一个分类,纠正为1片叶片,叶片总数最终也统计为正确的8片。由此可以看出,虽然也有遮挡,但是可以通过对多视角图像的叶片跟踪,从其他角度的图像中得到叶片的精确数目。

叶片面积是植物学家一直比较关注的植物表型特征之一。由于单视角的2D图像存在投影变换和遮挡的问题,基于图像对植物叶面积进行测量的方法难于进行。传统方法一般采取专门手持的叶面积测量仪器对叶片进行手工测量[29];或者把叶片裁剪下来,平铺后用相机进行俯视拍摄(正投影),然后用专门的植物图像处理软件进行叶面积的计算[30]。传统方法需要人工介入,较为耗时低效,本文采用酸浆属植物(L1)的实例分割和叶跟踪实验结果,可以简单便捷地对叶面积进行估测。因为Mask-RCNN是基于像素点的实例分割算法,其输出结果中边界框(BBox)和掩膜(Mask)是由包含像素点位置和分类类别的多维数组表示,二值Mask数组用“1”代表该像素属于分类目标。因此,Mask中的“1”的统计数量就近似对应每片叶片分割区域的像素总数。本文在对序列图像进行叶子跟踪的同时,将每片叶片的像素总数按照标签编号顺序依次存储在一个二维数组中,通过排序对比,提取每片叶片对应的最大像素数量(近似认为最接近正投影角度)。然后对每片叶片的最大像素数量进行等比例换算(还原到原始采集图像分辨率),即可粗略地估算出叶子的2D投影图像面积(像素)。通过以上方法,本实验得到的叶片1～8的投影面积分别为64 812、51 732、244 312、116 619、558 213、541 326、62 482、285 560像素。通过已知的拍摄相机参数(镜头焦距、图像分辨率、CCD物理尺寸等)与固定参照物尺寸(花盆和标定板),可计算出原始图像中每个像素面积近似对应0.02 mm2,因此换算出叶片1～8的实际物理面积分别约为12.96、10.35、48.86、23.32、111.64、108.27、12.50、57.11 cm2。由于缺少拍摄采集时刻这株酸浆植物叶面积的手工真实测量值(ground truth),目前无法对本文叶片面积估算方法的准确率进行定量分析,有待进一步实验验证。