基于深度信息的植株叶面积估算方法

施 滢， 刘永华

(1.南京理工大学紫金学院，江苏南京 210023； 2.江苏农林职业技术学院，江苏镇江 212400)

在信息技术和农业知识有机结合的背景下，以植物形态结构的数字化设计和生理功能的可视化表达为研究内容的“数字植物”已经成为现代农业的重要组成部分[1]。该技术通过数字化方法，对植物生命系统和农业生产过程，进行数字化表达、生长建模、过程模拟、可视化计算分析，对植物进行研究与分析，并通过信息服务和技术支撑平台，实现协同科研试验、成果共享及集成应用。植物表型参数可以用来反映植物生长状况，评估碳储量以及碳汇能力等。提高植物表型的获取效率是研究植物生理机制过程亟待解决的问题。叶片是植物进行光合作用和蒸腾作用的重要功能器官，在植物生长过程中起着无可替代的作用，其生长状况直接影响着植物发育。叶面积直接反映了植物的生产力，因此建立植物叶片的三维可视化模型对于研究植物的生长规律，对植物实施精准灌溉、精准施肥、精准喷药等精准农业方式具有重要的理论意义[2-4]。

目前，获取三维点云主要有基于激光扫描原理，利用结构光、TOF等获取深度信息原理以及基于双目相机的立体视觉原理。Trooien等探索了利用图像处理方法获取马铃薯叶面积的方法，从3个角度采集植物图像经图像处理后算出各幅图中的面积，将3幅图中计算的面积在三维空间中合成真正的植物面积，结果表明，利用图像处理方法测量的马铃薯叶片面积具有较高的准确性[5]。Hack等在温室条件下利用图像处理技术测量生菜初期生长阶段的叶面积，用一波段的近红外光采集植物图像得到了较满意的测量叶面积与植物鲜质量的回归曲线[6]。付豪等通过检测装置由框架、光源装置、顶升旋转系统、图像采集及分析系统、检测装置控制系统等部分组成，通过各部分协作完成玉米幼苗顶视图像与侧视图像的实时采集及分析处理，计算玉米幼苗的叶面积[7]。张雪等以高架栽培模式生长环境下的草莓植株为研究对象，提出了一种基于多源图像轮廓分割的草莓植株结构形态三维重建算法[8]。熊龙烨等利用Kinect v2 获取柑橘树的彩色图像和深度图像，采用泊松曲面重建算法对柑橘树进行三维重建，通过颜色特征信息分割识别果实[9]。陈柱等通过运动恢复结构算法、聚类多视角立体算法和基于面片的多视角立体算法处理图像并生成三维点云，再对点云进行去噪、分割、填补、三角网格化处理，最后对叶片面积进行估测[10]。徐焕良等采用粒子群优化算法计算几何模型离散点云和局部点云间的空间距离，进行空间匹配，利用遗传算法求解最优匹配模型的内部模型参数，输出最优匹配模型的叶长、叶宽与叶面积作为估测结果[11]。Miao等提出了一种玉米茎秆叶片自动分割方法，包括骨架提取、基于骨架的粗分割和基于茎叶分类的细分割[12]。Li等创新了一种双功能深度学习神经网络，包括用于预处理输入点的3D边缘保持采样策略，基于动态图卷积的局部特征提取操作模块，以及语义实例特征融合模块，实现了不同物种点云的茎和叶语义分割和叶实例分割[13]。Mohammed等基于立体视觉的自动叶片分割和重叠叶片分离提出了一种利用立体视觉传感器的深度提取植物叶片的算法，通过协调颜色、形状和深度等特征来处理多叶分割和重叠叶分离[14]。Li等以玉米为代表作物，研究开发了DeepSeg3DMaize，这是一种集成高通量数据采集和深度学习的植物点云分割技术[15]。

本研究采用低成本基于TOF原理的Kinect v2相机获取植株原始点云，去除背景和离群点噪声，分割出植株叶片，对叶片进行三维重建并计算其面积。该方法成本低精确度高，对叶片面积适应范围大，可以推广应用于其他植物叶片参数的活体无损测量。

1 材料与方法

1.1 点云采集平台

点云数据采集设备包括计算机，Kinect v2相机，直径30 cm的转盘，转盘上放有刻度盘，将植株(含3张叶)放置于转盘中心，为了获得视角清晰且质量较高的点云，Kinect 相机使其正对转盘中心，距转盘中心水平距离1.5 m，每个22.5°获取植株点云图像，共获取16个角度，每个角度获取50张(图1)。

1.2 试验流程

基于深度信息的植株叶面积估算流程见图2，主要包括植株点云获取与预处理、多帧融合、点云配准、点云分割、叶片点云重建和叶面积估算。

1.2.1 点云获取与预处理 每隔22.5°逆时针转动采集50幅点云图像，当转盘转过360°时得到16幅稳定的不同视角下的点云图像。背景点云数据的滤除可以采用直通滤波去除指定范围内点云，也可以通过背景差法即有通过待测目标点云和背景数据相减，从而将大量背景数据去除。直通滤波方法由于无法准确估计植株XYZ坐标范围，因此，不能很好地对背景数据进行精确地滤除，且对其他植株缺乏兼容性；背景差法实质为利用k-d tree树将A数据中的点在B数据中进行近邻搜索，当近邻点对应的平方距离小于一定阈值之后，即判定为重合点并将其记录，通过puch_back函数将A数据中异于B数据的点云存储后保存为PCD文件。

经过背景点云数据滤除后的点云数据存在着部分噪声点，其一是距离待测主体距离较远的离群点，它往往是由于光线反射、点云数据获取设备的精度等问题产生的，另一种是存在于植株的叶片之间以及边缘的噪声点，它主要是受待测物体的表面特性影响，并在对点云数据进行融合过程中表现出来的噪声点。本研究采用基于搜索半径和邻域内所包点云数相结合的方法去除噪声。

1.2.2 点云配准 在进行深度信息获取时，对于红外光线无法照射到的阴影部分，往往存在着大量深度数据的缺失，因此，需要对待测物体采取多角度拍摄的深度信息获取方式，以确保可以完整地获取待测物体的深度信息，为后续对于该物体三维模型的构建提供必要的基础。对于不同角度获取的点云数据，存在着旋转角度上的位置错乱以及水平方位上的平移错乱，需要对点云进行配准操作，分初始配准和精准配准。

点云配准实现步骤如下：(1)对噪声点去除后的点云进行初始配准，选择FPFH局部特征；(2)利用k-d tree的加速对源点云和目标点云进行迭代搜索其欧氏距离平方和最小的对应点；(3)计算出待配准点云数据之间的变换矩阵，得到配准后点云。

1.2.3 点云分割 为对植株进行叶片分析等研究，需要将叶片从整体的植株点云中分割。欧氏聚类方法是一种利用三维立体空间内各点的欧氏距离作为参考进行聚类的方法。对于欧氏聚类分割算法的实现，首先选取1个原始点，利用k-d tree对该点进行邻域搜索，搜索半径r可自行设定，如果搜索的邻域内存在点云，则将其与原始点归为同一聚类，对聚类内点云重复选取原始点并进行领域搜索，直至聚类内的点数不再增加且点数满足设定的阈值时，对聚类结果进行保存，在剩余的点云重复上述步骤。

欧氏聚类分割法对于分散的点云进行分割具有很好的效果，而对于带有干扰点云的待分割物体，则可以通过采取直通滤波等方法对干扰点云进行滤除，并调整搜索半径和聚类点数阈值对物体进行分割。

1.3 叶面积估算

通过滚球算法[16]重建了叶片的表面网格模型。叶片曲面由大量的立体小网格构成，使用海伦公式计算三角形面积，通过统计网格面积，得到叶片拟合曲面的总面积。

对整个点云三维模型，统计网格面积

(1)

式中：n为叶片三维模型网格三角形数量；Si为第i个三角形点云面积；S为叶片面积。通过植物的三维模型比例尺的比例变换得出植物叶片面积的计算值[17]。

2 结果与分析

试验数据的硬件处理平台：CPU为Intel Core i7-11800H，主频2.3 GHz；T600 4G独立显卡；512 GB 固态硬盘。软件包括KinectV2 SDK、Opencv3.4、PCL1.8，在 Visual Studio 2017软件平台下编程实现。

2.1 多帧融合

对于植株点云数据缺失的问题，采用多帧融合的方法对点云数据进行补充，虽然可以取得很好的效果，但与此同时，噪声点也会随之累积，融合后再进行噪声点的滤除会产生严重的影响，导致将噪声点错误地判定为非噪声点而难以去除，且对于各种滤波算法中阈值的调整会产生较大的影响，从而增大试验的复杂度，当加强去噪强度时，甚至会将植株的局部特征信息一并滤除。分别采取先滤除噪声点再多帧融合和先多帧融合再去除噪声点2种方法进行试验(图3)，从图3可以清晰地观察到，先对噪声点进行滤除的方法比先多帧融合再进行噪声点滤除所获得的点云数据呈现出更好的效果，有利于后续对于不同角度的点云数据的配准。

2.2 点云叶片分割与重建

原始点云总数217 788(图4-a)。采用待测目标点云和背景点云相减，得到只含有目标植株点云，点云数为16 621(图4-b)。采用基于搜索半径(r=0.008 m)和邻域内所包点云数(s=50)相结合的方法去除离群点，点云数为15 772(图4-c)。结果表明，通过本研究方法经过去噪处理后，植株点云更加平滑，噪声明显减少。

对16个角度点云进行上述去噪后，需要进行配准。选择FPFH局部特征，对噪声点去除后的点云进行初始配准，利用k-d tree的加速对源点云和目标点云ICP精确配准，计算出待配准点云数据之间的变换矩阵，得到配准后点云，经过点云精简后点云数为14 544，图5-a、图5-b为2个不同角度的配准结果。采用欧氏聚类对植株点云进行分割，图5-c为选择半径r=0.012 m，只将叶片和花盆分开；图5-d选择半径r=0.008 m，可以较好地分割出植株叶片。

结合图6各叶片分割结果和表1各点云数量统计分析，分割前点云14 544，分割后点云累计 14 514，相差30个，这30个点云在欧氏聚类选择半径r=0.008 m时没有合适的聚类，但只占总数的0.2%，说明该方法可以较好地分割植株叶片。

表1 植株叶片分割结果的点云数量统计

采用滚球算法对分割出来的叶片进行三维重建，重建结果见图7。

2.3 叶面积估算

为了评估试验结果的准确性，以相对精确的坐标纸法作为标准测量方法，与本研究方法进行比较，测量的叶片面积见表2。本研究方法测量的叶片面积比实际面积要大，主要在于叶片锯齿状边缘在三维重建时， 形成光滑边缘。测量叶片1面积误差3.45%，叶片2误差0.46%，叶片3误差3.72%，误差平均百分比为2.54%，试验结果表明，本研究无损测量叶片面积的方法是可靠的。

表2 叶片面积测量结果比较

3 结论

采用低成本Kinect v2深度相机获取植株三维点云数据；通过背景去除、离群点去除，实现点云预处理； 对16个角度点云实现点云配准， 通过欧氏聚类分割出植株叶片；最后重建植株叶片表面网格模型。

计算网格面积求得叶片面积，相比坐标纸法，本研究方法测量面积误差平均为2.54%，本研究方法成本低精确度高，对叶片面积适应范围大，可以推广应用于其他植物叶片参数的活体无损测量。