激光雷达与Kinect融合的果树冠层参数计算方法

司徒伟熙　魏宝源　纪艺杭　韩耀荣　李震　吕石磊　宋淑然　薛秀云

摘要：果树冠层参数直接反映果树的生长情况和产能潜力。针对单传感器点云密度低及传统算法精度低的问题，提出激光雷达与Kinect融合的果树冠层参数计算方法。首先，通过果树冠层检测系统获取果树冠层点云数据；然后，将果树冠层点云数据预处理后，通过采样一致性初始匹配（SAC-IA）和双向KD树改进的迭代最近点（KD-ICP）算法配准多传感器点云，改善点云位姿；接着，通过坐标转换融合两侧配准点云，获得果树冠层点云；最后，通过切片台体法计算果树冠层体积和叶面积。实验结果表明：該方法相较于传统的几何体拟合法、三维凸包法，果树冠层体积计算精度分别提升了38.12%、12.96%，叶面积计算精度分别提升了11.56%、2.78%；相较于Kinect和激光雷达的单传感器点云，融合点云的果树冠层体积计算精度分别提升了7.41%、12.62%，叶面积计算精度分别提升了19.41%、7.08%。该方法可准确计算果树冠层参数，为药肥精准变量喷施、果树估产等提供科学依据。

关键词：激光雷达；Kinect；点云融合；果树冠层；切片台体法

中图分类号：TP391;S24 文献标志码：A 文章编号：1674-2605（2023）03-0002-09

DOI：10.3969/j.issn.1674-2605.2023.03.002

Calculation Method of Fruit Tree Canopy Parameters Based on

Fusion ofLiDAR and Kinect

SITU Weixi1WEI Baoyuan2JIYihang1HANYaorong1LIZhen1，3，4

LYU Shilei1，3，4SONG Shuran1，3XUE Xiuyun1，3，4

（1.College of Electronic Engineering / College of Artificial Intelligence， South China Agricultural University， Guangzhou 510642， China  2.School of Electronics and Information Technology / School of Microelectronics， Sun Yat-sen University， Guangzhou 510275， China  3. Division of Citrus Machinery， China Agriculture Research System， Guangzhou 510642， China  4. Key Laboratory of Smart Agricultural Technology in Tropical South China， Ministry of Agriculture and Rural Affairs， P.R.China， Guangzhou 510642， China）

Abstract： The canopy parameters of fruit trees directly reflect their growth and productivity potential. A fruit tree canopy parameter calculation method based on the fusion of LiDAR and Kinect is proposed to address the issues of low density of single sensor point clouds and low accuracy of traditional algorithms. Firstly， obtain the point cloud data of fruit tree canopy through the fruit tree canopy detection system; Then， after preprocessing the fruit tree canopy point cloud data， multi-sensor point clouds are registered by sample consensus initial alignment （SAC-IA） and bidirectional KD-tree iterative closest point （KD-ICP） algorithm to improve the point cloud pose; Next， by integrating the registration point clouds on both sides through coordinate transformation， the fruit tree canopy point cloud is obtained; Finally， the canopy volume and leaf area of fruit trees were calculated using the slicing table method. The experimental results show that compared to the traditional geometric fitting method and three-dimensional convex hull method， this method has improved the accuracy of fruit tree canopy volume calculation by 38.12% and 12.96%， and the accuracy of leaf area calculation by 11.56% and 2.78%， respectively; Compared to the single sensor point clouds of Kinect and LiDAR， the accuracy of fruit tree canopy volume calculation using fused point clouds has been improved by 7.41% and 12.62%， respectively， and the accuracy of leaf area calculation has been improved by 19.41% and 7.08%， respectively. This method can accurately calculate the canopy parameters of fruit trees， providing scientific basis for precise variable spraying of drugs and fertilizers， and estimating fruit tree yield.

Keywords：LiDAR; Kinect; point cloud fusion; fruit tree canopy; slicing table method

0 引言

我国水果种植产能丰富，果树种植面积超过1.2×107hm2。冠层是果树进行主要生理活动的重要场所，其结构特征直接反映果树的生长情况和产能潜力。精准表征冠层结构和测算冠层体积、叶面积等特征参数能为产量估计、精准施药、自动化收获等智能农业生产活动提供有效的数据支撑。

近年来，国内外很多学者利用超声波[1-2]、激光雷达[3-6]、立体视觉[7-8]等单一传感技术采集果树冠层信息，对果树冠层的形态结构进行了数字化表达。MAGHSOUDI等[9]利用超声波传感器设计了一种可预测开心果果园冠层体积的算法，使喷雾系统的农药使用量减少了34.5%，但超声波拓展角度较大，测量精度较低[10]。LOVELL等[11]和JUNG等[12]结合地面激光雷达和无人机机载激光雷达的数据，以减小冠层遮挡对体积测量结果的影响，但多点位布控的测量方式较复杂，不适用于果树冠层参数的测算[13]。BERK等[14]通过激光雷达采集果树冠层数据，使用回归分析法研究激光雷达点云数据与果树冠层体积、叶面积之间的相关性，但忽略了叶片重叠的问题。郭彩铃等[15]使用三维激光雷达采集苹果树冠层三维点云数据，提出基于标靶球的KD-trees-ICP算法配准三维点云，提高了配准精度，获取了苹果树株高、树冠直径、果径等参数，但该算法所需的点云数据量较多，实际操作较繁琐。李秋洁等[16]采用车载二维激光扫描技术获取树木点云数据，减少了点云量，将树冠点云离散化为长方体来测量树冠体积，提高了计算精度。蔡健荣等[17]基于双目立体视觉，采用归一化相关法获取立体图像

视差图，三维重建果树，但未对果树冠层参数进行计算。王玮[18]使用消费级深度相机Kinect有效地获取苹果树冠层的宽幅、高度、果实个数等特征参数信息，但Kinect相机存在分辨率低、扫描范围小等问题[19]。

超声波、激光雷达和立体视觉等传感器对测量环境要求较高，温度、湿度和光照条件都会对其测量精度造成影响[20]。任何一种测量技术都有其优缺点，若要获得较高精度的作物结构信息，提高系统的可靠性和稳定性，需要将两种或多种技术融合，使其优缺点互补[10]。郭庆华等[21]研发了一套以激光雷达为主，集成高分辨率相机等多传感器的作物测量平台——Crop3D，用于提取株高、叶倾斜角、叶面积等参数。刘慧等[22]基于SICK二维激光传感器和Kinect相机，提出点云超限补償信息融合的方法，实现对植株三维点云的重构。目前，多传感器融合在作物信息提取、果树冠层三维显示等方面研究有一定的进展；在果树冠层提取及参数计算等方面成为研究热点。

本文提出一种激光雷达与Kinect融合的果树冠层参数计算方法。首先，搭建基于二维激光雷达和Kinect的检测系统；然后，在果树冠层点云数据预处理的基础上，通过采样一致性初始匹配（sample consensus initial alignment， SAC-IA）算法和双向KD树改进的迭代最近点（KD-tree iterative closest point，KD-ICP）算法完成多传感器点云配准；接着，通过欧氏距离坐标转换实现正反两侧果树冠层点云的融合，获得完整的果树冠层点云；最后，通过切片台体法计算果树冠层体积和叶面积，提高计算精度。

1 基本原理

激光雷达与Kinect融合的果树冠层参数计算流程主要包括果树冠层点云获取、点云预处理、点云配准、点云融合、果树冠层参数计算等，如图1所示。

1.1点云获取

果树冠层检测系统采集果树冠层正反两侧点云数据，通过上位机处理点云数据，计算冠层特征参数。果树冠层检测系统主要由二维激光雷达、Kinect相机和履带车构成。其中，二维激光雷达沿履带车的行驶方向（箭头方向）运动，并在以行驶方向为法线的平面上进行扫描；Kinect摄像头正对果树进行拍摄，同时获取果树冠层三维点云数据，如图2所示。

1.2 点云数据预处理

果树冠层三维点云数据预处理主要包括二维激光雷达点云映射和三维点云滤波处理。果树冠层检测系统获取的原始激光雷达数据为极坐标形式，包含各点距离和角度信息，需先转换为笛卡尔坐标系的Y轴和Z轴坐标，再根据雷达运动速度和采样周期计算X轴坐标，以获取点云中各点的三维坐标，计算公式为

式中： 为二维激光雷达的采样周期/（s）； 为二维激光雷达的运动速度/（m/s）； 为采样周期数； 为果树冠层检测点与二维激光雷达之间的直线距离/（m）； 为果树冠层检测点和Y轴之间的夹角/（°）。

二维激光雷达与Kinect相机获取的果树冠层三维点云数据含有试验场地的环境和背景信息，造成数据冗余，需对其进行滤波处理。通过直通滤波从背景信息中分割提取果树冠层，利用半径滤波滤除果树冠层点云中的环境噪声和离群点，简化点云数据的同时保留了果树的冠层信息。

1.3 多传感器点云配准

多传感器数据进行点云配准是数据融合的关键步骤。为提高配准的效率和准确度，本文先采用SAC-IA算法进行粗配准，再采用KD-ICP算法进行精配准。

SAC-IA算法的基本原理为：设定Kinect点云为待配准源，寻找一组点快速特征直方图（fast point feature histogram， FPFH）特征相似点对；找出两组点云之间的对应关系，计算其最小误差对应的刚体变换矩阵；重复寻找计算直至迭代次数超过预设的最大迭代次数，将最优解刚体变换作用于源点云，完成粗配准。SAC-IA粗配准效果示意图如图3所示。

针对传统的ICP算法[23-24]需要重复迭代、点云计算量大且计算耗时长的问题，本文采用KD-ICP算法优化精配准。在传统ICP算法的基础上，使用双向KD树加速一一对应的最近点对搜索，减少迭代时间，提高点云配准效率。

KD-ICP算法优化精配准的主要步骤为：

1）将粗配准后的源点云P和目标点云Q作为精配准初始点云，分别构建KD树；

2）在Q中寻找P中任意一点的最近点 ；

3）在P中寻找 的最近点，若为 ，则说明 和 是一一对应的最近点对；若不为 ，则寻找下一点 在Q中的最近点；

4）遍历P中各点，计算最近点对的最优旋转向量R和平移向量t（如公式（2）所示），使误差 最小，得到单次迭代的变换矩阵并作用于源点云P；

式中：k为对应点对的个数；

5）重复上述步骤直至满足收敛条件或达到最大的迭代次数。

SAC-IA粗配准为KD-ICP算法提供较好的初始位置，可有效解决两组点云在位置偏差较大时，配准易陷入局部最优状态的问题。

1.4 点云融合

为得到完整的果树冠层点云，需对冠层两侧配准点云进行融合。在果树冠层三维点云数据采集过程中，果树冠层的两侧相对于传感器为同向，获取的点云坐标均为相对于传感器的三维坐标，无法正确反映真实的果树冠层正反面关系和坐标，表现为果树冠层两侧点云重叠。因此，本文通过欧氏距离坐标转换，实现果树冠层正反两侧的点云融合。

果树冠层正反两侧点云的融合步骤为：

1）果树冠层反面点云绕Z轴旋转180°，在冠层正面点云与冠层反面点云相接侧所对应的相近位置，分别取若干点形成对应点对，计算对应点对的三维坐标转换距离平均值；

2）根据坐标转换距离平均值对冠层反面点云进行坐标转换，并将坐标转换后的冠层反面点云与正面点云叠加，实现点云融合。

1.5 冠层特征参数计算

1.5.1 果树冠层体积

对比了几何体拟合法、三维凸包法、切片台体法3种冠层体积的计算方法。由于果树冠层内部信息复杂，几何体拟合法和三维凸包法的体积计算结果误差较大，本文选取切片台体法来计算果树冠层体积。

切片台体法计算果树冠层体积的步骤为：

1）设置间隔高度 ，对果树冠层进行纵向等间距分层；

2）将每层内所有点云投影至X-Z平面，形成二维点云；

3）通过Alpha-Shapes算法提取二维点云外围点，连接形成不规则的二维平面并计算平面面积；

4）以每层形成的二维平面和间隔高度构成不规则台体，通过公式（3）计算每个台体的体积；

式中： 表示第 层的体积/（m3）， 表示第 层的面積/（m2）， 表示 层的面积/（m2）；

5）叠加所有台体的体积，得到总体积即为果树冠层体积：

式中： 表示第 层的体积/（m3）， 表示冠层体积/（m3）。

1.5.2 果树冠层叶面积

利用切片台体法计算果树冠层叶面积，叠加每层切片台体的侧面积和顶端、底端锥体侧面积，实现过程如下：

1）设置间隔高度 并对果树冠层点云进行纵向分层；

2）将每层内所有点云投影至X-Z平面，形成二维平面；

3）通过Alpha-Shapes算法提取二维平面最外围点，并连接成平面边界；

4）计算二维平面边界点与点之间的欧氏距离 ，累加得到边界周长 ；

5）计算该层台体侧面积 ；

式中：a表示该层二维平面边界点与点之间的连线总数；

6）将顶面面积 、底面面积 与所有台体侧面积相加，得到果树冠层叶面积 ：

式中：b表示冠层的分层总数。

2 实验和结果分析

2.1 实验设备及方法

在无遮掩的空旷场地，利用本文搭建的果树冠层检测系统进行实验，如图4所示。

在果树冠层检测系统中，二维激光雷达选用SICK公司的TIM561（内置850nm红外线光源，扫描范围为270°，采样频率为15Hz，角度分辨率为0.33°）；深度相机选用Microsoft公司的Kinect v2（内置分辨率为1920×1080像素，帧率为30f/s的彩色摄像头和分辨率为512×424像素的深度摄像头，可探测角度为水平方向70°，垂直方向60°，探测范围为5m）；上位机选用华为MateBook13笔记本电脑，处理器型号为Intel Core i7-8550U。

实验过程中，为保证二维激光雷达和Kinect v2能够采集到果树的完整点云数据，经多次试验，当履带车的平均速度为0.25m/s时，系统采集的果树冠层三维点云效果最佳。实验在Windows系统下，以Visual studio2013为开发环境，通过PCL1.8.0实现本文算法，利用CloudCompare实现点云可视化和点云位置信息的获取。

2.2 实验结果及分析

对已经融合的多传感器果树冠层点云，通过几何体拟合法、三维凸包法和切片台体法获得每棵果树的冠层体积和叶面积。由于冠层体积的真值无法获取，林松等[25]、韦雪花等[26]表明，采用体元法按照0.2m格网，可以获得准确的树冠体积，并验证了格网划分得越细，得到的体积值越准确，且趋于稳定这一结论。为有效获得果树冠层体积的真值，本文采用0.09m格网计算果树冠层体积，并将其近似为真值。融合点云的果树冠层体积的3种方法计算结果与相对误差对比如表1所示。

由表1可知，切片台体法的平均相对误差为7.97%，相较于几何体拟合法（平均相对误差为46.09%）和三维凸包法（平均相对误差为20.93%），果树冠层体积的计算精度分别提升了38.12%和12.96%。原因为几何体拟合法中呈现近似外接性质的规则几何体，三维凸包法中生成的包围点云内所有点的最外围不规则几何体，两者相较于果树真实冠层，包含较多非果树冠层部分，使果树冠层体积计算结果偏大；而切

片台体法基于果树冠层点云进行点云分层和各分层平面计算，真实反映了果树冠层各高度的冠层信息，与果树冠层体积的真值基本一致。

本文实验所用的果树均为仿真树，有大树叶、中树叶、小树叶3种叶片，已知果树的3种叶片数与叶片面积，可得到3棵果树的冠层叶面积真实值[27]，如表2、图5所示。

由图5可知：对于果树冠层叶面积，本文提出的切片台体法的平均相对误差为3.19%，可视为接近真实值；相较于几何体拟合法（平均相对误差为14.75%），计算精度提升了11.56%；相较于三维凸包法（平均相对误差为5.97%），计算精度提升了2.78%。原因为果树冠层表面凹凸不平而非平滑曲面，其表面积计算结果大于平滑曲面。几何拟合法通过规则椭球体近似计算叶面积，其表面为光滑曲面；三维凸包法形成了包围点云的不规则几何体，凸包表面由多个平面组成，两种方法都会导致叶面积计算结果减小。而切片台体法则通过点云等间距分层构成多个点云切面，通过各点云切面周长和分层高度计算各不规则台体侧面积叠加表面、底面面积以获取冠层叶面积，其计算思想更贴合冠层表面实际。

综上所述，本文切片台体方法适用于果树冠层体积和叶面积的计算，可提高计算精度。

为验证点云配准融合算法的可行性，本文通过切片台体法计算单传感器的果树冠层体积和叶面积，得到相对误差，对比多传感器融合点云的计算结果。单传感器点云的冠层体积、叶面积相对误差分别如图6、图7所示。

由图6、图7可知：多传感器融合点云在果树冠层体积（平均相对误差为7.97%）的計算精度上，比Kinect点云提升了7.41%、比二维激光雷达点云提升了12.62%；在果树冠层叶面积（平均相对误差为3.19%）的计算精度上，比Kinect点云提升了19.41%、比二维激光雷达点云提升了7.08%。多传感器融合点云方法解决了单传感器存在的目标边缘点云缺失、点云密度偏低的问题，丰富了果树冠层的内部信息，故提高了果树冠层参数计算的准确性。

3 结论

本文提出一种激光雷达与Kinect融合的果树冠层参数计算方法，融合二维激光雷达和Kinect点云获得完整的果树冠层点云，通过切片台体法计算果树冠层体积和叶面积。实验结果表明，相较于传统的几何体拟合法和三维凸包法，本文方法减少了非冠层区域的计算，果树冠层体积的计算精度分别提升了38.12%和12.96%；并且更加贴合果树冠层表面，果树冠层叶面积的计算精度也得到较大提升。相较于单传感器点云，本文方法丰富了果树冠层的内部信息，与所测真值相比，果树冠层体积和叶面积的相对误差分别为7.97%和3.19%，可反映冠层真实特征参数，提高参数的准确性。本文中仍有许多值得改进之处，如实验场地位于室外，由于建筑物遮挡等原因，其环境噪声、光照影响等因素无法完全模拟果园真实的应用场景。下一步考虑在果园真实环境中开展实验，进一步验证本文方法的有效性。

参考文献

[1] 王万章，洪添胜，陆永超，等.基于超声波传感器和DGPS的果树冠径检测[J].农业工程学报，2006，22（8）：158-161.

[2] 俞龙，洪添胜，赵祚喜，等.基于超声波的果树冠层三维重构与体积测量[J].农业工程学报，2010，26（11）：204-208.

[3] 赵方博，王佳，高赫，等.地面激光雷达的单木真实叶面积指数提取[J].测绘科学，2019，44（4）：81-86，109.

[4] 刘芳，冯仲科，杨立岩，等.基于三维激光点云数据的树冠体积估算研究[J].农业机械学报，2016，47（3）：328-334.

[5] 俞龙，黄健，赵祚喜，等.丘陵山地果树冠层体积激光测量方法与试验[J].农业机械学报，2013，44（8）：224-228.

[6] 李鹏，张明，戴祥生，等.基于不规则三棱柱分割法实时测算果树冠层体积[J].中国农业科学，2019，52（24）：4493-4504.

[7] 魏立群.基于Kinect传感器自主标定的果树冠层三维形态测量方法研究[D].南京：南京农业大学，2019.

[8] 余秀丽.基于Kinect的苹果树三维重建方法研究[D].杨凌：西北农林科技大学，2016.

[9] MAGHSOUDI H， MINAEI S， GHOBADIAN B， et al. Ultrasonic sensing of pistachio canopy for low-volume precision spraying[J]. Computers and Electronics in Agriculture. 2015，112：149-160.

[10] 齐亚聪，杨会民，陈毅飞，等.变量喷雾靶标探测技术研究现状与展望[J].中国农机化学报，2022，43（6）：83-89;149.

[11] LOVELL J L， JUPP D L B， CULVENOR D S， et al. Using airborne and ground-based ranging lidar to measure canopy structure in Australian forests[J].Canadian Journal of Remote Sensing， 2003，29（5）：607-622.

[12]JUNG S， KWAK D， PARK T， et al. Estimating crown variables of individual trees using airborne and terrestrial laser scanners[J]. Remote Sensing， 2011，3（11）：2346-2363.

[13] 祁力钧，程一帆，程浈浈，等.基于M-K聚类法的果树上下冠层体积比测算[J].农业机械学报，2018，49（5）：57-64.

[14] BERK P， STAJNKO D， BELSAK A， et al. Digital evaluation of leaf area of an individual tree canopy in the apple orchard using the LIDAR measurement system[J]. Computers and Electronics in Agriculture， 2020，169（C）：105158.

[15] 郭彩玲，宗泽，张雪，等.基于三维点云数据的苹果树冠层几何参数获取[J].农业工程学报，2017，33（3）：175-181.

[16] 李秋洁，郑加强，周宏平，等.基于车载二维激光扫描的树冠体积在线测量[J].农业机械学报，2016，47（12）：309-314.

[17] 蔡健荣，孙海波，李永平，等.基于双目立体视觉的果树三维信息获取与重构[J].农业机械学报，2012，43（3）：152-156.

[18] 王玮.基于Kinect的苹果树冠层特征信息提取方法研究[D].南京：南京农业大学，2018.

[19] 刘刚，司永胜，冯娟.农林作物三维重建方法研究进展[J]. 农业机械学报，2014，45（6）：38-46;19.

[20]ABBAS I， LIU J， FAHEEM M， et al. Different sensor based intelligent spraying systems in Agriculture[J]. Sensors and Actuators A： Physical. 2020，316：112265.

[21] 郭庆华，吴芳芳，庞树鑫，等. Crop 3D—基于激光雷达技术的作物高通量三维表型测量平台[J].中国科学：生命科学，2016，46（10）：1210-1221.

[22] 刘慧，潘成凯，沈跃，等.基于SICK和Kinect的植株点云超限补偿信息融合[J].农业机械学报，2018，49（10）：284-291.

[23] 王欣，张明明，于晓，等.应用改进迭代最近点方法的点云数据配准[J].光学精密工程，2012，20（9）：2068-2077.

[24] 钟莹，张蒙.基于改进ICP算法的点云自动配准技术[J].控制工程，2014，21（1）：37-40.

[25] 林松，田林亚，毕继鑫，等.三维激光扫描数据的单木树冠体积精确计算[J].测绘科学， 2020，45（8）：115-122.

[26] 韦雪花，王永国，郑君，等.基于三维激光扫描点云的树冠体积计算方法[J].农业机械学报，2013，44（7）：235-240.

[27] 李秋洁，袁鹏成，邓贤，等.基于移动激光扫描的靶标叶面积计算方法[J].农业机械学报， 2020，51（5）：192-198.

作者簡介：

司徒伟熙，男，2002年生，本科，主要研究方向：智能检测与控制。E-mail：situweixi@stu.scau.edu.cn

魏宝源，男，2000年生，硕士，主要研究方向：智能检测与控制。E-mail：weiby6@mail2.sysu.edu.cn

纪艺杭，男，2001年生，本科，主要研究方向：图形图像处理。E-mail： atticusji@163.com

韩耀荣，男，2002年生，本科，主要研究方向：三维重构。E-mail： han_yaorong@163.com

李震，男，1981年生，博士，教授，主要研究方向：基于计算机图像技术和无线多媒体物联网的果园病虫害检测方法研究与装备设计。E-mail：lizhen@scau.edu.cn

吕石磊，男，1984年生，博士，教授，主要研究方向：山地果园运送、植保装备设计及智能信息化。E-mail：lvshilei@scau.edu.cn

宋淑然，女，1965年生，博士，教授，主要研究方向：检测及测控技术在农业中的应用。E-mail：songshuran@scau.edu.cn

薛秀云，女，1980年生，博士，高级实验师，主要研究方向：智能检测与控制、图形图像处理和三维重构。E-mail：xuexiuyun@scau.edu.cn

* 基金项目：国家自然科学基金（31971797，32271997）；财政部和农业农村部：国家现代农业产业技术体系资助、广东省现代农业产业技术体系创新团队建设专项资金（2023KJ108）；国家级大学生创新创业训练计划项目（202110564040，202210564009，202210564010）。