利用FL-DGCNN模型估测绿萝叶片外部表型参数

陈 玲，王浩云，肖海鸿，马仕航，杨 瑶，徐焕良

利用FL-DGCNN模型估测绿萝叶片外部表型参数

陈 玲1，王浩云1，肖海鸿1，马仕航2，杨 瑶1，徐焕良1※

（1.南京农业大学人工智能学院计算机系，南京 210095；2.中国移动通讯集团上海有限公司，上海 200060）

为了能够低成本、自动化批量获取植物叶片的外部表型参数，同时解决自然生长条件下的植物叶片存在遮挡而无法获取完整的外部表型数据的问题，该研究以绿萝叶片为研究对象，基于曲面参数方程建立叶片几何模型，提出一种基于特征分层的动态图（Dynamic Graph CNN based on Feature Layering，FL-DGCNN）和堆栈编码器模型的绿萝叶片外部表型参数估测算法。通过多层组合的编码-解码器模型对残缺点云进行形状补全，将不同尺度下的点云通过多层感知机提取分组点不同层的特征向量融合后获取特征信息，以决定系数和均方根误差评价模型结果。结果表明：多层组合的编码模型对残缺点云补全的鲁棒性更高，特征分层的动态图模型估测结果的叶长、叶宽、叶面积的决定系数分别为0.92、0.93和0.94，叶长、叶宽的均方根误差分别为0.37、0.34 cm，叶面积的均方根误差为3.01cm2。该方法对叶类植物叶片的外部表型参数估测效果较好，具有实用性。

模型；参数；三维；深度学习；遮挡补全；绿萝

0 引 言

叶片作为植物生长发育的主要器官，是植物进行光合作用和蒸腾作用的主要途径，叶片的外形参数能够反映植物的生长状况、表征植物的生理指标，从而预测植物的生长模型，便于合理栽培管理与品种特性分类[1]。因此，植物叶片外形参数的准确测量是了解植物生长发育状态、实现科学培育的关键。

点云是最简单的形状表示，能够表示物体的空间信息，对点云的处理和分析的应用主要在形状合成和三维建模[2-4]方面，同时点云在表型参数预测方面的应用也逐渐兴起。文献[5]拍摄玉米和大豆的多视角图像，通过VisualSFM软件进行三维重建，采用局部多项式回归算法拟合叶中脉，提取叶长和叶宽。文献[6]通过RGB相机获取簸箕柳的二维图像序列，结合运动恢复结构算法生成三维点云，基于最小包围盒求得植株的株高、基径、叶片面积、分枝数和分枝角等表型参数。但是上述方法没有利用点云数据间信息且需要大量的迭代回归计算，对于大批量的植株数据无法自动得到表型数据。文献[7]将点云通过体素云连通性分割算法生成超体素块，利用局部凸包连接算法对点云进行聚类分割得到树木的枝干和树叶。文献[8]根据三维点云的空间位置和法向量信息，利用八叉树对点云进行初始分割得到超体素,建立重采样后点云数据的K-D树索引，根据其局部特征的点云簇划分植物器官。上述方法利用了点云的结构信息，但是需要将原始点云转换为体素网格表示，无法获取细粒度特征，同时内存占用多。

随着最新的PointNet深度神经网络[9]的提出，可以直接将点云数据输入神经网络进行处理来获取特征。文献[10]提出一种基于多分辨率编码点云深度学习网络，以PointNet网络为基础，使用回归模型代替原始网络分类输出层，同时通过迁移学习对参数微调，得到对绿萝叶片的叶长、叶宽和叶面积的值。上述方法直接处理点云数据，但是忽略了点之间的几何关系，无法获取点的局部特征。因此为了利用点云的局部信息且自动化获取叶片表型参数，本研究提出一种利用FL-DGCNN的深度学习模型来提取点云特征信息的方法。以生长期的长藤大叶绿萝（）作为研究对象，应用运动恢复结构算法获取绿萝的点云，使用堆栈编码器模型对残缺点云补全，通过特征融合的边卷积结构获取不同层下的点云特征信息，从而实现对叶片外部表型参数的估测。

1 试验材料与方法

1.1 试验材料

试验选取10盆冠层直径在10～15 cm之间的生长6个月左右的长藤大叶绿萝，共有200片大小不均的绿萝叶片作为研究对象，每盆绿萝获取植物冠层俯视可见的叶片。

1.2 数据采集

1.2.1 叶片外部表型参数的真实值采集

叶片外部表型参数的真实值采集分为叶长、叶宽和叶面积数据采集。其中叶长、叶宽数据采集是将每层叶片沿叶基剪下，平铺贴于A4纸上，通过游标卡尺测量叶片叶基与叶尖之间的最大长度作为叶长，测量与主脉垂直方向的最大宽度作为叶宽。叶面积的测量是将叶片平铺在A4纸上，采用图像分割的方法提取叶片和A4纸的二值图像进行像素点统计，通过两者的比例求叶面积。

1.2.2 点云数据采集

为了低成本获取叶片外部表型参数，试验采用多视角三维重建方式获取点云数据，将相机固定在三脚架上，通过手动移动三脚架从环绕绿萝一周的侧拍角度对其进行拍摄，得到多视角图像序列，拍摄过程中以绿萝作为圆周中心，移动半径在20 cm左右，调整相机轴线确保绿萝完全处于相机视野范围内。使用量角器每隔5°在平台上做上标记，圆周内共标记72处，每隔一个标记拍摄一张RGB图像，其中相机焦距为4.73 mm，光圈数为f/1.7，曝光程度正常，拍摄的图像尺寸为4 000×3 000，对每层绿萝冠层进行一次拍摄后将冠层叶片剪下测量其外部表型参数的真实值。

三维重建通过运动恢复结构算法[11]，将空间中的任意物体抽象成很多点构成，物体上的任意点，其在空间中的三维坐标记作=[，，]T，对应的图像上的二维点记为=[，，1]T。物体中的点通过相机光心在影像平面上成像，利用相似三角形的特性，加上世界坐标系到相机坐标系存在旋转和平移，根据Zhang[12]提出的相机标定方法，可得二维点和空间下三维物体点的对应关系式为

=[]（1）

式中为尺度因子，为相机的内参矩阵，、是相机的外参矩阵，表示旋转矩阵，表示平移矩阵。

由于尺度因子只是为了方便计算，对其次坐标不会影响其坐标值，因此图像二维点与空间三维点对应关系式可以简化为=[|]，通过本征矩阵分解得到相机的外参矩阵旋转矩阵及平移矩阵，根据两两图像之间的像素点和三维坐标的对应关系式=[|]生成该视角下的个点云，将两两点云合并可得新点云，在合并点云时需要保证估计的点到原始像素点的投影差最小，即需要满足

目前能实现三维重建的开源系统有开放式多视图几何（open Multiple View Geometry，openMVG）、多视图重构环境（Multi-View Reconstruction Environment，MVE）、运动系统的视觉结构（Visual Structure from Motion System，VisualSFM）系统等，试验选择MVE系统进行植株的三维重建，MVE系统包含运动恢复结构算法、稠密点云重建、表面重建，涵盖了三维重建的整体流程[13]。使用相机拍摄的多视角图像，通过MVE系统得到三维重建模型如图1所示。

从生成的点云数据来看，多视角三维重建得到的点云数据能清晰的看出叶片的纹路及形状，但是其背景噪声点更多，查看点云数据ply文件，多视角三维重建的点云中点数量为65 190个，面数量为1 242 491个。由于三维重建过程中使用了表面重建，最终的点云数据面数量较多，总体来看，多视角三维重建的点云数据对原始绿萝还原度较高。

采集点云数据后对其进行预处理，点云数据处理分为去除背景和单片点云分割。点云去除背景采用直通滤波方法[14]，只保留叶片的冠层部分，如图2a所示。点云的分割采取手动标注结合区域生长分割算法，根据所有点的曲率值排序后得出同一区域的点，从而对叶片进行分割如图2b。为了提高运行效率，同时不破坏叶片整体形状，通过最远点采样法[15]对分割的完整叶片和残缺叶片点云精简如图2c、2d。

由于在自然生长环境下冠层叶片存在遮挡，对其进行分割后，部分叶片能得到完整的点云，如图2a中的1-1号叶片经过分割、精简等预处理后能得到的叶片点云如图2c；部分叶片存在遮挡，如图2a中的1-4号叶片由于和周围的1-3号、1-5号叶片生长存在遮挡，导致经过分割、精简等预处理后得到的1-4号存在残缺的叶片点云如图2d。因此对多视角三维重建后的点云数据经过预处理后，一方面获取对应编号的完整叶片点云，另一方面获取存在遮挡的残缺叶片点云。

1.3 绿萝叶片几何模型

根据植物叶片形状研究[16-17]可知，绿萝叶片呈上窄下宽的卵圆形，叶尖形状急尖，叶基为钝圆形，因此采用参数曲面方程(,)[18]构建长方形平面，方向、方向、方向函数分别记为x、y、z。绿萝的叶形与叶基呈平滑的弧形曲线，通过对正弦函数变形形成曲线。叶尖所呈现的急尖通过线性函数来交汇形成，在方向上添加叶形干扰函数1，在方向上添加叶基和叶尖干扰函数1、2、3，在方向增加叶片的弯曲幅度来模拟叶片的外形与姿态。

表1 参数曲面方程中的参数含义

因此最终曲面方程[18]为

由曲面方程可得[18]，a、d、a、a、u，、u、、、x、y10个内参影响几何模型的叶长、叶宽、叶面积，固定10个内参在取值范围内改变系统参数值，（−0.5≤≤0.5，0≤≤1），从轴的最高点和最低点的差值得到叶长，从轴的最高点和最低点的差值得到叶宽，将曲面三角网格化之后，使用海伦公式得出单个网格的面积累加可得叶面积。调整10个内参可以获得不同形态的几何模型，排除畸形叶片的情况（如叶长叶宽比例失衡、叶片出现交叉等），得到内参的取值范围后控制步长得到12 763组几何模型数据。

1.4 绿萝叶片外部表型参数的估测模型

1.4.1 DGCNN网络

基于特征分层的动态图的深度学习模型（Dynamic Graph CNN based on Feature Layering，FL-DGCNN）的基本模块以边卷积结构为基础，利用不同深度对应不同的语义，通过浅层网络学习细节特征，深层网络学习语义特征，改进原始边卷积结构，将点云结构通过有向图表示，对每个点选择个邻居点分组后提取有向边缘特征，利用多层感知机得到的每组点的局部特征进行浅层特征与深层特征叠加获取更多特征信息，如图3b。

1.4.2 特征分层融合

图像金字塔是以多个尺度来表示图像的简单结构，通过原图的上采样和下采样的集合构建了不同尺度空间，能够解决多尺度变化问题。图像金字塔可以进行多尺度变化增强，对每一种尺度的图像进行特征提取得到多尺度的特征表示，每层特征图都包含了较强的语义信息，并且在不同尺寸在提取的特征在整体上与尺寸无关，最终通过不同尺度提取得到的特征图增强语义和几何信息。

将这种不同尺度特征分层的结果应用在FL-DGCNN网络中，利用最远点采样[15]进行降采样得到不同尺度下的点云，即分别从原始点云中提取64×3、128×3、×3的数据，获得不同尺度下具有轮廓特征的点云，输入特征融合的边卷积结构中分别提取1 024维特征向量，将3个不同尺度的点云提取的特征连接后，经过多层感知机得到融合不同层信息的特征向量如图4所示。

1.4.3 基于FL-DGCNN的叶片外部表型参数的估测

三维重建后的叶片点云周围存在噪声点，并且自然生长状态下的绿萝存在叶片遮挡，导致经过分割预处理后的单个叶片点云信息存在残缺，因此利用堆栈编码器模型对点云二次去噪及残缺点云补全，同时结合特征分层的动态图深度学习网络（FL-DGCNN）提取点云特征，得到估测的点云的叶长、叶宽和叶面积，绿萝叶片外部表型参数的估测模型总体流程如图5所示。

1）残缺叶片点云的补全生成

通过编码-解码器模型[23-24]无需任何体素化即可直接将部分点云映射到密集的完整点云，将残缺的点云进行补全。为了更好捕捉叶片点云形状变化，将自编码器模型编码部分得到的全局特征向量扩展后与多层感知机得到的特征连接，重新训练一个新的自编码器得到最终的全局特征向量，通过多层组合的方式将自编码器模型修改为深度结构的堆栈编码器来对残缺点云进行补全生成。

模型由编码-解码两部分构成，编码器输入存在遮挡的单个叶片点云×3，经过多层感知机得到×128维的特征，通过最大池化得到128维的全局向量，将得到的128维全局变量扩展后与之前多层感知机得到的×128维的特征连接，再次经过多层感知机得到最终的128维全局向量，作为对输入点云的特征提取。解码器将编码器得到的128维全局向量经过多层感知机恢复为×3的点云，模型如图6所示。

2）基于FL-DGCNN的叶片外部表型参数的估测

FL-DGCNN网络以完整点云×3作为输入，通过K最近邻（K-Nearest Neighbor，KNN）算法计算每对点的距离，选择=10个点作为邻居点得到××3，这是为了提取每个点的局部特征，然后经过多层感知机{64，64}将每组点升维至××64，经过最大池化得到新的数据为×64，将得到的新的数据再输入下一层的边卷积结构中，经过两层多层感知机（64×128、128×1 024），最终得到特征向量为×1 024，通过最大池化提取1 024维的特征向量。为了更好的捕捉局部结构信息，考虑不同层下的局部结构信息，将原始边卷积结构中的多层感知机经过特征融合得到新的边卷积结构，将每组点的局部特征×64进行两层叠加得到特征融合的边卷积结构×128，这样能更好的提取局部特征。

1.5 模型设置及评估

将由参数曲面方程得到的12 763组几何模型数据按照9∶1的比例划分为训练集和测试集，残缺叶片点云的补全生成中堆栈编码器模型的损失函数为输入的点云和生成的点云之间的倒角距离，通过反向传播减小输入输出点云间的距离来训练模型。FL-DGCNN模型中损失函数为均方差函数，通过反向传播减小均方差的值来训练模型，试验模型迭代次数为100次，批样本大小为30，学习率为0.01，优化器为Adam。

采取200片预处理后的叶片点云，将其中100片输入预先训练的绿萝叶片外部表型参数的估测模型中训练，剩余100片作为测试集。使用决定系数2和均方根误差（Root Mean Square Error，RMSE）作为模型评估指标。2表示回归直线对观测值的拟合程度，RMSE反映真实值与估测值之间的偏差。

2 结果与分析

2.1 绿萝叶片外部表型参数实际测量结果

试验选取200片绿萝叶片，通过游标卡尺和彩色相机测量其叶长、叶宽和叶面积数据。实测的绿萝叶片叶长在5.85～14.39 cm，叶宽在4.70～10.89 cm，叶面积在15.35～40.99 cm2，叶片的大小分布较广且符合正态分布，因此试验数据具有一定的普适性。

表2 叶片实测参数统计表

2.2 真实叶片外部表型参数的估测结果与分析

如表2所示，基于FL-DGCNN及堆栈编码器模型对叶片的外部表型参数的估测中，叶长的均方根误差平均值在0.5 cm左右，叶宽的均方根误差平均值在0.2 cm左右，叶面积的均方根误差平均值在2 cm2左右，说明该方法得到的估测值与实际值相近，具有一定的准确度。

表3 基于FL-DGCNN及堆栈编码器模型的叶片估测误差统计表

模型估测结果如图7所示。叶长、叶宽、叶面积估测结果的决定系数分别为0.92、0.93和0.94，叶长和叶宽的均方根误差分别为0.37、0.34cm，叶面积为3.01 cm2。拟合的²均高于0.92，RMSE均较小，说明该方法拟合效果较好，对叶片外部表型参数的估测准确率较高。

2.3 几何模型残缺叶片补全的估测结果与分析

为了检验堆栈编码器对存在遮挡的叶片点云的补全效果，以自编码器模型作为对比，将12 763条几何模型残缺10%～50%后模拟叶片存在遮挡，以9∶1的比例分为训练集和测试集训练堆栈编码器，将残缺补全后的点云输入基于FL-DGCNN模型中得到估测值，与几何模型生成的原始完整点云的真实值作线性拟合，使用2和RMSE评估，结果如表4所示。从对几何模型的点云外形参数估测精度来看。当叶片残缺10%时，堆栈编码器补全后估测的叶宽比自编码器补全后估测的叶宽的2更小，误差也更大，但是叶长和叶面积估测值的2和RMSE都与自编码器估测值基本相当；当叶片残缺20%～50%时，堆栈编码器补全后估测的叶长、叶宽、叶面积的2和RMSE均优于自编码器，当随着点云残缺比例的增加，堆栈编码器补全后估测的叶长、叶宽、叶面积的2下降较少，而自编码器估测的则呈倍数下降，总体来看，堆栈编码器补全生成的鲁棒性更好。

图8a分别为叶片几何模型完整点云、几何模型残缺10%～50%的点云，图8b、图8c分别为自编码器模型和堆栈编码器模型对几何模型残缺点云的补全生成结果。

表4 对不同残缺度的几何模型点云补全后的估测结果

注：决定系数2无量纲单位；叶长、叶宽的均方根误差单位为cm；叶面积的均方根误差单位为cm2。下同。

Note: Determination coefficient is dimensionsless; the unit of root mean square error of leaf length and leaf width is cm, and that of leaf area is cm2. Same below.

如图8所示，从对几何模型的点云补全效果可以看出，当叶片模型点云残缺10%～30%时，两种编码器补全后都基本还原了完整模型点云的外部轮廓，其中自编码器补全方式点云内部整齐，堆栈编码器补全后的点云内部保留了一定原始的点的顺序；当叶片模型点云残缺40%时，自编码器补全后的完整点云形状发生了变化，而堆栈编码器补全后形状与原始类似，叶长叶宽没有发生较大变化；当叶片模型点云残缺50%时，自编码器补全后已完全丢失叶片的形状，而堆栈编码器能够通过部分点云的轮廓还原整体点云形状，但是叶长叶宽也发生了变化。总体来看，堆栈编码器能适用于点云残缺更多的情况，在残缺40%以内补全后形状与原始点云形状相近，当叶片残缺50%以上叶片形状有所变化，因此使用堆栈编码器对存在遮挡的叶片补全效果较好。

图9为两种编码器模型对自然条件下残缺点云补全生成结果，存在残缺的叶片点云原始叶片是狭长略胖的形状如图9a所示，由于残缺后只保留了叶尖部分如图9b所示，所以自编码器补全的点云长度变小，无法完整还原叶基部分，叶片变为短宽的形状，而堆栈编码器补全的点云完整还原了叶基部分，整体叶长和原始形状相近，因此堆栈编码器对自然条件下存在遮挡的叶片点云补全效果更好。

2.4 几何模型叶片外部表型参数的估测结果与分析

为了对比提出的FL-DGCNN网络对叶片外部表型参数的估测能力，选择用于 3D 分类和分割的点集的深度学习模型PointNet[9]、动态图卷积神经网络[19]（Dynamic Graph CNN，DGCNN）、多分辨率编码点云深度学习网络模型（MRE-PointNet）[10]3种模型作为对比，其中PointNet是第一个对点云直接处理的深度学习模型，作为模型结果的基准，DGCNN是使用边卷积结构获取点云局部特征的模型，为了对比改进边卷积结构后的FL-DGCNN和原始边卷积结构估测的效果。MRE-PointNet是以PointNet为基础进行多分辨率编码得到全局特征进行估测，和本试验提出的以DGCNN为基础提取局部特征的估测效果对比。

表5 不同模型对叶片外部表型参数估测精度

从表5可以看出，和其他三个模型对比，FL-DGCNN网络估测效果最好，对叶长、叶宽和叶面积的估测结果均好于PointNet模型和DGCNN模型，与MRE-PointNet网络估测结果相比，叶宽估测结果与其相近，其余两个参数估测结果明显更好，估测的误差值也更低，说明通过多层特征的融合增加了提取的边缘特征信息，特征提取能力更强。

从FL-DGCNN网络对叶长、叶宽和叶面积3个外部表型参数估测结果来看，该模型对叶宽和叶面积估测精度最高，2为0.99，对叶长估测效果相比较差，但是估测的误差也仅为0.36 cm，总体来看，FL-DGCNN网络对叶片的外部表型参数估测效果较好且结果较为准确。

3 结论与讨论

1）基于运动恢复结构算法从相机拍摄的多角度图像序列中重建了绿萝三维模型。对存在遮挡的残缺点云通过多层自编码器组合的堆栈编码器模型补全效果较好，在叶片点云同等残缺下与自编码器相比，堆栈编码器模型补全后估测的决定系数2和均方根误差（Root Mean Square Error，RMSE）基本优于自编码器，当随着点云残缺比例的增加，点云补全后估测的2和RMSE变化小模型的鲁棒性更好，并且能适用于点云残缺更多的情况，在残缺40%以内补全后形状与原始点云形状相近。

2）基于FL-DGCNN的绿萝叶片外部表型参数的估测算法与多组网络模型相比，能更好的提取叶片局部特征，2优于其他网络模型，对叶长估测的均方根误差为0.37 cm，对叶宽估测的均方根误差为0.34 cm，对叶面积估测的均方根误差为3.01 cm2，模型估测的偏差较小，方法具有一定的实用性，并且能够自动化批量获取叶片表型数据，为同类型叶类植物叶片外形参数的估测提供了可能。

然而，对叶片补全的编码模型不能适用于残缺50%以上的点云，并且编码生成的点云内部较为混乱，金字塔解码器可以通过多阶段补全损失减少几何结构瑕疵，将点云3D网格化可以保留原有空间结构，因此，优化编码模型，以便更好的感知点云的几何结构，对于残缺组分大的点云，也需具有泛化性和普适性，尚需进一步研究。另，试验需要通过手动移动相机来获取多视角图像序列，耗时较长，且数据采集阶段植物处于室内自然光下静止状态，后续需要研究通过旋转台构建自动获取图像的单目成像装置，同时考虑光照、风力等因素的干扰。

[1] 徐超，李乔. 基于计算机视觉的三维重建技术综述[J]. 数字技术与应用，2017，28(1)：54-56.

Xu Chao, Li Qiao. Overview of 3D reconstruction technology based on computer vision[J]. Digital Technology and Application, 2017, 28(1): 54-56. (in Chinese with English abstract)

[2] Hui F, Zhu J Y, Hu P C, et al. Image-based dynamic quantification and high-accuracy 3D evaluation of canopy structure of plant populations[J]. Annals of Botany, 2018, 121(5): 1079-1088.

[3] 孙国祥，汪小旵，刘景娜，等. 基于相位相关的温室番茄植株多模态三维重建方法[J]. 农业工程学报，2019，35(18)：134-142.

Sun Guoxiang, Wang Xiaochan, Liu Jingna, et al. Multi-modal three-dimensional reconstruction of greenhouse tomato plants based on phase-correlation method[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(18): 134-142. (in Chinese with English abstract)

[4] Sandhu J, Zhu F, Paul P, et al. PI-Plat: A high-resolution image-based 3D reconstruction method to estimate growth dynamics of rice inflorescence traits[J]. Plant methods, 2019, 15(27): 818-822.

[5] 朱冰琳，刘扶桑，朱晋宇，等. 基于机器视觉的大田植株生长动态三维定量化研究[J]. 农业机械学报，2018，49(5)：256-262.

Zhu Binglin, Liu Fusang, Zhu Jinyu, et al. Three-dimensional quantitative research on field plant growth dynamics based on machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(5): 256-262. (in Chinese with English abstract)

[6] 李杨先，张慧春，杨旸. 一种基于图像处理技术的植物形态表型参数获取方法[J]. 林业工程学报，2020，5(6)：128-136.

Li Yangxian, Zhang Huichun, Yang Yang. A method for obtaining plant morphological phenotypic parameters using image processing technology[J]. Journal of Forestry Engineering, 2020, 5(6): 128-136. (in Chinese with English abstract)

[7] 杨玉泽，林文树. 基于激光点云数据的树木枝叶分割和三维重建[J]. 西北林学院学报，2020，35(3)：171-176.

Yang Yuze, Lin Wenshu. Segmentation and 3D reconstruction of tree branches and leaves based on laser point cloud data[J]. Journal of Northwest Forestry University, 2020, 35(3): 171-176. (in Chinese with English abstract)

[8] 杨琳，翟瑞芳，阳旭，等. 结合超体素和区域增长的植物器官点云分割[J]. 计算机工程与应用，2019，5(16)：197-203.

Yang Lin, Zhai Ruifang,Yang Xu, et al. Segmentation of plant organs point clouds through super voxel-based region growing methodology[J]. Computer Engineering and Applications, 2019, 55(16): 197-203. (in Chinese with English abstract)

[9] Qi C R, Su H, Mo K, et al. Pointnet: Deep learning on point sets for 3d classification and segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2017: 652-660.

[10] 王浩云，肖海鸿，马仕航，等. 基于MRE-PointNet+AE的绿萝叶片外形参数估测算法[J]. 农业机械学报，2021，52(1)：146-153.

Wang Haoyun, Xiao Haihong, Ma Shihang, et al. Estimation algorithm of leaf shape parameters ofbased on MRE PointNet and Autoencoder Model[J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(1): 146-153. (in Chinese with English abstract)

[11] Schonberger J L,Frahm J M.Structure-from-motion revisited[C]//Proceedings of the CVPR.New York: IEEE,2016.

[12] Zhang Z Y. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330.

[13] Fuhrmann S, Langguth F, Goesele M. MVE—a multi-view reconstruction environment[C]//EUROGRAPHICS Work Graph Cult Herit,Los Alamitos:IEEE COMPUTER SOC,2014.

[14] Li L, Miao Z, Liang M. 3D reconstruction based on Kinect[C]// International Conference on Signal Processing. New York: IEEE, 2015: 1247-1250.

[15] Qi C R,Yi L,Su H, et al. Pointnet++: Deep hierarchical feature learning on point sets in a metric space[C]//Advances in Neural Information Processing Systems.New York: IEEE, 2017: 5099-5108.

[16] 周南. 基于变形的三维植物叶片可视化造型研究[D]. 南昌：东华理工大学，2013.

Zhou Nan. Visualization Modeling of the 3D-plant Leaves Based on Deformation[D]. Nanchang: East China University of Technology, 2013. (in Chinese with English abstract)

[17] 陆玲，李丽华，宋文琳，等. 计算机图形学[M]. 北京：机械工业出版社，2017：213-225.

[18] 徐焕良，马仕航，王浩云，等. 基于几何模型的绿萝叶片外部表型参数三维估测[J]. 农业机械学报，2020，51(12)：220-228.

Xu Huanliang, Ma Shihang, Wang Haoyun, et al. Three-dimensional estimation of money plant leaf external phenotypic parameters based on geometric model[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(12): 220-228. (in Chinese with English abstract)

[19] Wang Y, Sun Y B, Liu Z W, et al. Dynamic graph CNN for learning on point clouds[J/OL]. ASSOC Computing Machinery, (2019-06-11) [2019-06-30]. https//arxiv.gg363.site/abs/ 1801.07829.

[20] Wang L, Huang Y C, Hou Y L, et al. Graph attention convolution for point cloud semantic segmentation[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Los Alamitos: IEEE Computer Society Press, 2019: 10288-10297.

[21] 王旭娇，马杰，王楠楠，等. 基于图卷积网络的深度学习点云分类模型[J]. 激光与光电子学进展，2019，56(21)：56-60.

Wang Xujiao, Ma Jie, Wang Nannan, et al. Deep learning model for point cloud classification based on graph convolutional network[J]. Laser & Optoelectronics Progress, 2019, 56(21): 56-60. (in Chinese with English abstract)

[22] Huang Z, Yu Y, Xu J, et al. PF-Net: Point Fractal Network for 3D Point Cloud Completion[C]// New York: IEEE, 2020.

[23] Achlioptas P, Diamanti O, Mitliagkas I, et al. Learning representations and generative models for 3D point clouds[C]// Stockholm: ICML, 2018.

[24] Yuan W,Khot T,Held D,et al. PCN: Point completion network[C]// New York: IEEE, 2018.

Estimation of external phenotypic parameters of Bunting leaves using FL-DGCNN model

Chen Ling1, Wang Haoyun1, Xiao Haihong1, Ma Shihang2, Yang Yao1, Xu Huanliang1※

(1.,,,210095,; 2.200060,)

Plant leaves blocked under natural growth conditions cannot fully acquire the complete external phenotypic data. Therefore, this study aims to estimate these parameters in low-cost and automated batches using Dynamic Graph CNN with Feature Layering (FL-DGCNN). A stack encoder model was also used for Bunting () leaves. A camera was selected to shoot at a certain angle between two images. Further, motion recovery was utilized to reconstruct the three-dimensional model of the plant after feature points matching. Straight-through filtering and clustering segmentation were used to obtain a single chip Point cloud data. Specifically, the geometric model of the blade using surface parameters was discretized into a point cloud, but the point cloud was incomplete to a certain proportion to simulate the natural growth state. An auto-encoder model was modified into a deep-structured stack encoder under a multi-layer combination, and then to reduce the distance between the input point cloud and the actual point cloud. As such, the incomplete geometric model point cloud achieved shape completion after the training. The determination coefficients of leaf length, width, and area estimated by the stack encoder decreased less, as the percentage of incomplete point clouds increased, while those estimated by the auto-encoder decreased by multiples. The robustness of stack encoder completion was better in the leaf point cloud, compared with autoencoders under the same incompleteness. The shape was also similar to the original point cloud after completion within 40% of incompleteness. There were great variations in the shape of the blade when the blade was incomplete or more than 50%. A better performance was also achieved in the occluded blades. The completed point cloud was input into the FL-DGCNN deep learning network, and the feature maps were then extracted at different scales in the image pyramid, thereby enhancing semantic and geometric information. The farthest point sampling was used to extract from the original point cloud. The extracted features were connected to obtain a vector after feature layering and fusion, particularly for point clouds with contour features at different scales. The basic neural network module of edge convolution structure was adopted to better capture the local structure. The point cloud structure was represented by the directed graph, where the edge feature was obtained from the neighbor nodes. The local features of each group were superimposed on the shallow and deep network for the multiple perceptions in the original edge convolution structure, and then the leaf length, width, and area were estimated for the external phenotypic parameters of leaves. The highest accuracy was achieved to estimate the leaf width and area, followed by that of leaf length with a relatively small error. The determination coefficient and root mean square error were better than before, indicating a relatively lower error and stronger ability of feature extraction, compared with multiple networks. Additionally, a total of 200 leaves ofwere collected in the experiment to verify the model, where the estimated values were linearly fitted to the measured. The determination coefficients and root mean square errors of leaf length, width, and area were 0.92 and 0.37 cm, 0.93 and 0.34 cm, 0.94, and 3.01 cm2, respectively. The experiment demonstrated that the model is highly effective to estimate the external phenotypic parameters of plant leaves.

models; parameters; three-dimensional; deep learning; occlusion completion;

陈玲，王浩云，肖海鸿，等. 利用FL-DGCNN模型估测绿萝叶片外部表型参数[J]. 农业工程学报，2021，37(13)：172-179.

10.11975/j.issn.1002-6819.2021.13.020 http://www.tcsae.org

Chen Ling, Wang Haoyun, Xiao Haihong, et al. Estimation of external phenotypic parameters of Bunting leaves using FL-DGCNN model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(13): 172-179. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.13.020 http://www.tcsae.org

2020-09-20

2021-06-25

国家自然科学基金项目（31601545；61502236）

陈玲，研究方向为计算机视觉与植物表型分析。Email：2019114004@njau.edu.cn

徐焕良，博士，教授，博士生导师，研究方向为数据科学与大数据技术、计算机视觉与植物表型分析、农产品品控与可追溯。Email：huanliangxu@njau.edu.cn

10.11975/j.issn.1002-6819.2021.13.020

TP391; S126

A

1002-6819(2021)-13-0172-08