面向表型精确鉴定的豆株快速三维重建

傅汝佳，冼楚华，李桂清，万隽杰，曹铖，杨存义，高月芳

面向表型精确鉴定的豆株快速三维重建

傅汝佳1，冼楚华1，李桂清1，万隽杰2，曹铖2，杨存义2，高月芳2

（1.华南理工大学 计算机科学与工程学院，广东 广州 510006； 2.华南农业大学农学院，广东 广州 510640）

利用计算机视觉与图像技术对植物进行数字化重建是植物表型组学的重要手段。以国内常见的粮食作物豆类植株为研究对象，利用RGB-D深度相机采集的深度图像对豆株进行快速三维数字化重建，首先，基于点云分层聚类提取点云骨架点；然后，根据各骨架点到根节点的最短距离连接第一阶段的主干骨架点，并根据形态特征筛选子图和主干图的连接点、选择子图生长路径；最后，由连接骨架进行植物数字化建模。实验表明，基于真实大豆植株点云的单帧和配准数据，本文方法能对不同形态特征的大豆植株进行快速三维重建，并能对分辨率不高、噪音干扰较大、配准误差较大等情形做处理。

植物表型组学；植物三维重建；骨架提取；植物建模

三维植物重建是计算机图形学、计算机视觉和数字农业等领域的研究热点。真实精确的三维植物形状可以应用于游戏动画图形、虚拟现实、农业数字化生产等领域。具有真实感的三维植物模型也是网络虚拟场景中最具代表性的自然景观模型，被广泛应用于虚拟旅游、虚拟城市和虚拟生态景观模拟以及数字化农业生产等领域。同时，数字植物是数字农业的基础性工作，综合利用数字化技术对植物的生命过程和农业生产过程进行定量化和可视化研究，而植物形态结构的真实感建模与三维可视化正是数字植物首先要解决的问题之一。

植物表型组学是研究植物生长、表现和组成的科学，近年来植物表型组学作为一种有前景的干预手段广受关注，在植物发育过程中对高维植物形态进行准确、高通量的测量是植物表型组学的研究内容之一，大豆是重要的粮食和油料作物，是高质量人类蛋白质的主要来源，可以预见，随着人口的增加和土地的退化，对大豆的需求将不断增加，然而由于大豆植物的复杂性，对大豆植株表型的研究较少。研究植物的形态结构对于明确大豆的生长规律具有重要意义，理想的方法是将大豆的每个器官三维重建为精细的器官网格，得到所有形态学表型特征，如骨架结构、叶片宽度和茎秆粗细等。但在大多情况下，很难获得单个植物的完整形态。因此，解析这些器官特征的另一种方法是从3D点云中提取骨架。

近年来，由于民用级深度相机可用性和功率的提高，令扫描小型和复杂植物更为方便，为大豆植株快速三维重建提供了可能。消费级RGB-D扫描设备（如微软Kinect二代扫描设备等）价格低廉、系统简单，适合在室内场所构建植物三维重建系统。但基于RGB-D的三维植物扫描面临深度相机分辨率较低、扫描范围小、噪声大、深度信息易缺失等问题，通过提取三维植物的骨架点进行建模是解决这些问题较便利可行的方法之一。

大豆植株的形态特征对选育种、长势监测、长相评价都有重要意义，骨架是植株表型中结构特征的简明表示，有助于描述其形状和三维物体的基本拓扑结构。植物点云通常由一个躯干和诸多复杂密集的植物茎秆分支以及叶片组成，用深度相机扫描得到的点云提取植物骨架，由于受扫描设备精度限制，加之枝叶复杂、数据嘈杂不完整，提取比较棘手。

为此提出一种多阶段处理框架，通过Kinect对得到的大豆植株点云进行快速植物三维重建。方法分4步，每步的输入都以上一阶段的输出结果作为初值。第1阶段：对Kinect采集的点云数据进行数据预处理和多帧配准，得到完整的植株点云；第2阶段：对第1阶段得到的大豆植株点云进行分层采样，对每一层级进行聚类，得到植株的骨架点；第3阶段：设置骨架图，对每个点的近邻，以欧氏距离为权重构造连通图，从最低点开始进行Dijkstra路径生长，得到骨架点主干图，并对每个分支子图进行主干点和子图对应点筛选，对筛选得到的每个分支点分别进行Dijkstra路径生长，并连接主干点和子图的对应点；第4阶段：观察大豆植株的形态特征，设置植物骨架对应的半径，通过pyvista可视化库进行三维可视化。

1　相关工作

本节分别从基于点云的骨架提取以及植物点云建模介绍相关工作。

1.1　基于点云的骨架提取

BLUN［1］利用对称轴分析法根据模型视觉特征提取骨架，但在现实应用中难以实现。CAO等［2］建立了一种简易的基于近邻的点云拓扑关系，用拉普拉斯算子将点云模型压缩为零体积的点集，然后对点集进行拓扑细化，获得模型的曲线骨骼。Voronoi图和Reeb图是2种具代表性的基于数学结构分析的点云骨架提取方法，DEY等［3］提出一种用Voronoi图直接近似骨骼曲线的方法，但Voronoi图方法只适合提取简单多面体骨架，不适合离散模型，其缺点是对噪声非常敏感，并且随着模型复杂度的增加，算法的计算量将非常庞大。Reeb图由SHINAGAWA等［4］提出，利用数据输入点中的标量函数，构造数据结构图，对数据边缘点与点之间的关系进行映射。HUANG等［5］针对三维点云数据提出了一种L1中轴骨架提取算法，对原始点云进行随机采样，通过不断扩大邻域半径，迭代收缩采样点，将采样点均匀地投影到邻域的中心位置，得到收缩的线性骨架。SHAF等［6］通过构造一个可变形的球体网格使其在点云内部沿各个方向扩展生长，在变形过程中获取不完整点云的骨架。NIBLACK等［7］引入鞍点的概念，解决了基于距离变换提取的骨架连通性问题，得到连通的线骨架。WU等［8］基于物理学中互斥力计算模型的平衡点，得到模型的骨骼曲线。就植物点云而言，LIVNY等［9］将植物骨架结构定义为枝干结构图（BSG），由根节点为起点，以任意两点的欧氏距离为权重，以权重为路径用Dijkstra算法构建最小路径图，并设置若干与植物生长关联的几何参数，以植物形态特征，如上细下粗作为约束条件优化骨架。DU等［10］基于点云生成Delaunay三角剖分，并生成最小生成树，提取树木骨架。BREMER等［11］结合基于对象的点云分析提取树木骨架。张天安等［12］以Dijkstra距离分段为基础，用线性规划方法得到树木骨架结构。

1.2　植物点云建模

植物点云建模可分为两类。第1类利用软件处理植物点云数据获取植物参数，再利用建模软件和得到的参数进行植物建模。PFEIFER等［13］用圆柱体和B-样条曲线跟踪和拟合点云数据，并成功重建了植物的枝干结构。RUTZINGER等［14］将由车载激光设备获得的点云数据进行Alpha Shape简化，并基于提取的基本参数，遵循特定的生长规律生成Open Alea三维植物模型。TEOBALDELLI等［15］采集了数百棵无叶柳树枝条样本，用JRC-3D Reconstructor软件提取样本的几何参数，构建了多级树状图，并用AMAPmod 重建了植物的形态结构。第2类用算法直接处理点云数据，提取植物模型结构。XU等［16］基于聚类的植物模型重建工作，利用经验范围和欧氏距离生成植物的层级结构，进而依据点与根节点之间的最短路径参数对目标点进行算法排序，生成多个不同层级的聚类，按序连接具有相邻系的聚类中心点，生成骨架，完成植物的三维重建； BUCKSCH等［17］将八叉树作为存储结构，重新组织点云结构，通过设置体素邻域规则建立体素邻域关系，并按照多体素空间法则完成八叉树图的创建，进而根据几何学原理及自定义法则对节点进行合并与删除操作，提取完整的植物骨架。

近年来，植物三维重建研究在国内得到快速发展，钟南等［18］综合多种L-system的优势，三维可视化植物根系生长，实现了大豆的根系可视化；刘阁等［19］利用L-system生成了苹果树树干和虚拟植物模型；陈劲等［20］用无向图组织点云数据，基于类主干点约束生成最小生成树初始树木骨架，建立了高逼真度的树木模型。

2　算法流程

用1台二代扫描设备Kinect和1个转盘扫描大豆植株数据。转盘旋转一周，相机距离植株约1 m，利用植株点云进行骨架提取，实现快速三维重建。步骤如下：

Step 1 数据采集和预处理。用一台标定的Kinect 相机扫描大豆植株，植株在平台上旋转一周，每60°获取一帧RGB-D数据，对RGB-D数据进行数据对齐处理，得到植株点云，用直通滤波去除植株背景，用统计滤波去除点云中的离群点。

Step 2 植株点云刚体配准。用自动旋转平台的方法对点云进行两两配准，将得到的不同角度的点云变换至同一坐标系下，实现点云拼接，并通过ICP方法进行精细配准。

Step 3 点云分层聚类。将配准点云的最低点作为植株点云的根节点，以欧氏距离为度量将点云分成多层，对各层点云分别进行欧氏聚类，将聚类重心作为骨架点。

Step 4 骨架点连接。将骨架点云视为一幅图，取该点云每个点的近邻为该点的邻域（本文=4），即最接近该点的个点，连通领域内的点云，得到点云图的连通分量，从骨架点云的最低点出发生成Dijkstra路径，得到骨架主干图，并从其他连通分量子图中筛选出最合适的路径生长点，进行路径生长及骨干图连接。

Step 5 植株三维重建。通过pyvista可视化库用圆柱进行骨架可视化，并通过观察大豆植株的形态特征，定制圆柱半径，随机添加叶子，得到具有植株形态真实感的大豆植株虚拟模型。

2.1　点云获取和刚体配准

2.1.1大豆RGB-D扫描数据采集与预处理

扫描设备为Kinect（v2），首先将大豆植株水平放置于旋转平台，将Kinect也水平放置于与植株高度相当的地方，注意须水平放置，植株应放置于旋转平台正中央。拍摄环境如图1左侧图所示。

拍摄过程中，Kinect相机保持不动，首先将一支铅笔竖立于旋转平台中央，获取一帧旋转平台旋转轴数据，将其用于配准，标记旋转平台刻度，每60°为一格；然后，植株所在的平台旋转一圈，每60°拍摄一帧，共6帧数据，分别调用Kinect的深度摄像头和RGB摄像头获取深度信息和彩色信息；最后调用Kinect官方SDK进行深度图和彩色图对齐。深度像素和彩色像素坐标映射关系为

点云数据预处理流程如图1所示，由于直接对齐生成的单帧点云离群点较多，须进行去除离群点操作。

图1　点云数据预处理

2.1.2植株点云刚体粗配准

图2　旋转轴

步骤如下：

（5）求步骤（3）矩阵的逆。

（6）求步骤（2）矩阵的逆。

（7）求步骤（1）矩阵的逆。

2.1.3ICP精细配准

ICP是经典的配准算法，可用于匹配2个点云，得到2个点云之间的位姿转换关系。ICP采用最小二乘估计计算变换矩阵，原理简单，精度较高。

ICP算法：

假设源点云和目标点云之间的位姿对应关系由最近点确定，简要流程如下：

（3）剔除距离较远的点对。

（5）极小化误差函数，当对应距离小于给定阈值时，算法结束；否则根据得到的旋转平移更新源点云，继续上述步骤。

依此类推，将各帧点云统一至第1帧坐标系，实现最终配准。

2.2　植株点云分层聚类

2.2.1植株点云分层

点云分层距离示意如图3（a）所示，用相同颜色表示同一层点云，如图3（b）所示。

图4为=30时的点云分层情况，为方便区分，赋予不同层点云不同的颜色，可见，点云被细分成了多层。

图4　K=30时点云分层

2.2.2欧氏聚类

经分层后，可发现每层的大豆植株点云。观察大豆植株的形态特征可知，枝干和主干之间存在明显的空隙，这就使得同一层点云在空间上具有不连续性，可以就此特征利用局部点云的邻接以及全局点云的非连续性，将每一层点云分别抽离出来进行欧氏聚类，并将重心作为骨架点。

欧氏聚类是基于欧氏距离考量的聚类方法，步骤如下：

在本文方法中，基于kdTree近邻搜索加速欧氏聚类过程。骨架点的提取整体均匀，并且有效提取了植物的茎秆部分。

2.3　骨架点的连接

对得到的骨架点云，需用正确的骨架连接将其组织成正确的骨架形态，基于植物生长特性考量，采用Dijkstra路径生长的方式模拟植物的生长过程，对骨架点云图，将每个点云均设置为与临近的个点相邻，骨架点云连通图随的不同可能有1个或多个连通分量。具体步骤如下：

Step 1 设置点云图的每个点与周边最近的个点邻接，以两点之间欧氏距离为权重。

Step 2 从骨架点云图的最低点开始路径生长，生成主干骨架图。

Step 3 对其他连通分量，基于后面2.3.3节的办法进行子图子节点与主干图主节点连接点的筛选及路径生长。

Step 4 连接子节点与主节点，算法结束。

2.3.1连通图的生成

2.3.2主干图的生成

并称生成的路径为主干图，生成的主干图如图5所示。

2.3.3子图的生成及与主干图的连接

生成主干图后，由于其他连通分量的点与主干图点云路径不可达，所以不在主干图的路径上，此时，基于植物形态考量，其他连通分量通常为离主干较远的枝干，基于枝干的生长方向通常也是从离主干较近的某个点开始生长这一自然现象，提出以下枝干生成策略：

时选定作为主干上的主节点，记点集中的任意一点为，计算到的欧氏距离Di，直线与的夹角，到点集中某一点的距离。

2.4　骨架三维可视化

得到完整的骨架点以及骨架连接关系后，利用pyvista三维可视化库进行骨架三维可视化。连接每段骨架，用圆柱类代替骨架，基于大豆植株形态特征考量，赋予每段圆柱半径参数，并在过渡处做平滑处理，最后随机添加树叶，完成三维可视化工作。

2.4.1骨架半径设置

随机添加树叶，最终得到的pyvista三维可视化图如图7所示。

3　实验结果分析

3.1　骨架提取的均匀性分析

对2种不同骨架形态特征的植株进行了实验，结果表明，本文方法提取骨架点的速度更快，骨架点分布更均匀，在噪声较大的情况下，骨架提取质量仍较好，见图8。

图8　点云骨架点提取

3.2骨架连接的正确性分析

对不同的植株骨架点进行了骨架连接，结果表明，骨架连接正确性良好，对不同的植株，均能较好地完成连接和还原植株骨架形态，见图9。

图9　完整骨架连接

3.3　骨架点生成及骨架连接时间分析

对不同植株点云的分层和聚类方法选择及连接方式进行了时间测试，实验表明，本文方法均能较快地对多植株点云数据进行骨架点获取和骨架连接。为方便实验对比，本文同时对2株大豆植株点云和1株较大的树木点云骨架点获取和连接时间进行了实验（表1），结果表明，当点云数较小时，聚类和骨架点获取的时间较长，连接的时间较短，而当点云数较大时，随着骨架点的增多，近邻搜索的时间随之大幅增加，骨架点连接所需时间长于骨架点获取时间。总体而言，本文方法可对小型大豆植株进行快速重建。

表1　植株点云重建耗时

3.4　鲁棒性分析

受Kinect精度和植株枝叶茂盛影响，采集的点云数据噪声和遮挡较多，以及因深度部分缺失导致点云部分缺失。针对以上问题，本文通过去除离群点等处理，效果有较大提升，当某个角度拍摄的植株有枝叶遮挡时，可通过旋转平台旋转拍摄多帧图片，经点云配准得到更完备的植株空间信息，并利用配准后的点云再配准。对枝叶更为稠密的点云，可增加聚类参数，设置更多分层，避免丢失植物空间信息。由于本文方法依赖植株枝叶的空间间隔，因此，当植物枝叶茂密且枝叶间几乎无间隔时效果欠佳，对扩散性生长、具有明显枝叶间隔的植物效果较好。

3.5　树木骨架重建方法对比及适用性分析

本文将树木骨架重建方法应用于大豆植株点云，整体而言，扩散性生长的树木骨架重建方法对大豆植株的重建有一定借鉴意义，但由于大小和生长形态上的差异，且根部的营养运输受高度影响，树木的根部半径和枝条半径差异较大，故不能直接用树木骨架重建方法处理大豆植株。

基于大豆植株的扩散性生长特点，本文直接将文献［10］的树木重建方法应用于大豆植株点云（图10），由图10可知，植株根部十分粗大，末梢十分细小，失真度较高。同样将该方法应用于非大豆植株，实验结果表明，对形态相似的外扩生长的植物具有一定的参考意义。

图10　树木重建方法应用于大豆植株点云

而将本文方法应用于非大豆植株时，实验结果表明，本文方法对形态相似的外扩生长的植物具有一定参考意义。图11为应用本文方法时一棵树的骨架点提取，图12为其骨架连接，可见其骨架点提取均匀，骨架连接基本与树木形态吻合。

图11　树木点云骨架点提取

图12　树木点云骨架连接

4　结语

在植物表型鉴定中，研究植株的形态结构对研究植物的生长发育规律和培育育种有重要意义，植物的形态结构可分为几何结构和拓扑结构，骨架是对表型结构特征的简明表示，有助于描述形状和三维物体的基本拓扑结构。

基于大豆植株的点云，以欧氏距离为度量，用空间区分层次的方法对植株进行点云分层，并以欧氏聚类的中心点为骨架点，根据大豆植株的生长特性设计算法，进行骨架连接，最后根据大豆植株的特点设置参数，三维可视化具有结构真实感的植株模型，将其用于植株的精确表型鉴定。在方法的普适性和鲁棒性上仍有提升空间，未来工作将聚焦于以下四方面：

4.1 由于Kinect的精度问题，配准后的植株仍有较多的噪声点，当枝干过于稠密或遮挡较多时，基于空间欧氏距离的分层聚类方法，将对最终的配准精度造成很大影响，需继续研究如何去噪。

4.2 植株点云骨架点提取，对枝干较为复杂的大豆植株，如果分层较少，则不能很好地还原植株真实拓扑结构，分层过多则算法运行时间增加，且稠密的骨架点易产生错误连接，影响植株的真实感，对大豆植株形态的复杂性进行度量并自动分层是今后新的努力方向。

4.3 数据集聚类自适应尺度问题。若要将本方法应用于不同植物，则需要重新设置欧氏聚类的搜索半径和最小聚类，操作较烦琐，如能找到一种自适应尺度的聚类方法，则可能具有更好的泛化性。

4.4 参数化重建。本文可抽象出几个重点参数进行植物重建，如分层数、近邻搜索设置的值、欧氏聚类的搜索参数邻域半径等，其中分层数的增加会增加植物骨架的细节，增加算法运行复杂度，近邻搜索的值，需权衡植物点云局部连接的正确性和全局连通性，欧氏聚类则取决于重建植物的尺度。

［1］BLUM H. Biological shape and visual science （Part I）［J］. Journal of Theoretical Biology， 1973， 38（2）： 205-287. DOI： 10.1016/0022-5193（73）90175-6

［2］CAO J， TAGLIASACCHI A， OLSON M， et al. Point cloud skeletons via laplacian based contraction［C］//2010 Shape Modeling International Conference. Piscataway： IEEE， 2010： 187-197. DOI： 10.1109/SMI.2010.25.

［3］DEY T K， ZHAO W L. Approximating the medial axis from the Voronoi diagram with a convergence guarantee［J］. Algorithmica， 2004， 38（1）： 179-200. DOI： 10.1007/s00453-003-1049-y

［4］SHINAGAWA Y， KUNII T L. Constructing a Reeb graph automatically from cross sections［J］. IEEE Computer Graphics and Applications， 1991 （6）： 44-51. DOI： 10.1109/38.103393.

［5］HUANG H， WU S H， COHEN-OR D， et al.1-medial skeleton of point cloud［J］. ACM Transactions on Graphic，2013， 32（4）：65. DOI： 10.1145/2461912. 2461913.

［6］SHARF A， LEWINER T， SHAMIR A， et al. On the fly curve skeleton computation for 3D shapes［J］. Computer Graphics Forum， 2007， 26（3）： 323-328. DOI： 10.1111/j.1467-8659.2007.01054.x

［7］NIBLACK C W， GIBBONS P B， CAPSON D W. Generating skeletons and centerlines from the distance transform［J］. CVGIP： Graphical Models and Image Processing， 1992， 54（5）： 420-437. DOI： 10.1016/1049-9652（92）90026-T

［8］WU F C， MA W C， LIOU P C， et al. Skeleton extraction of 3D objects with visible repulsive force［C］//KOBBELT L，SCHEDER P，HOPDE H.Eurographics Symposium on Geometry Processing. New York： ACM Press， 2003.

［9］LIVNY Y， YAN F， OLSON M， et al. Automatic reconstruction of tree skeletal structures from point clouds［J］. ACM Transaction of Graphics， 2010， 29（6）：151. DOI： 10.1145/1866158.1866177

［10］DU S L， LINDENBERGH R， LEDOUX H， et al. AdTree： Accurate， detailed， and automatic modelling of laser-scanned trees［J］. Remote Sensing， 2019， 11（18）： 2074. DOI： 10.3390/rs11182074

［11］BREMER M， RUTZINGER M， WICHMANN V. Derivation of tree skeletons and error assessment using LiDAR point cloud data of varying quality［J］. ISPRS Journal of Photogrammetry and Remote Sensing， 2013， 80： 39-50. DOI： 10.1016/j.isprsjprs. 2013.03.003

［12］张天安，云挺，薛联凤，等. 基于骨架提取的树木主枝干三维重建算法［J］. 南京师范大学学报（工程技术版）， 2014， 14（4）： 51-57. DOI： 10.3969/j.issn. 1672-1292.2014.04.009

ZHANG T A， YUN T， XUE L F， et al. Three-Dimensional reconstruction algorithm of tree limbs based on skeleton extraction［J］. Journal of Nanjing Normal University （Engineering and Technology Edition）， 2014， 14（4）： 51-57. DOI： 10.3969/j.issn. 1672-1292.2014.04.009

［13］PFEIFER N， WINTERHALDER D. Modelling of tree cross sections from terrestrial laser scanning data with free-form curves［C］//International Archives of Photogrammetry， Remote Sensing and Spatial Information Sciences. Nice： ISPRS， 2004： 76-81.

［14］RUTZINGER M， PRATIHAST A K， OUDE ELBERINK S， et al. Detection and modelling of 3D trees from mobile laser scanning data［C］//International Archives of Photogrammetry， Remote Sensing and Spatial Information Sciences. Nice： ISPRS， 2010： 520-525.

［15］TEOBALDELLI M， PUIG A D， ZENONE T， et al. Building a topological and geometrical model of poplar tree using portable on-ground scanning LIDAR［J］. Functional Plant Biology， 2008， 35（10）： 1080-1090. DOI： 10.1071/FP08053.

［16］XU H， GOSSETT N， CHEN B Q. Knowledge and heuristic-based modeling of laser-scanned trees［J］. ACM Transactions on Graphics， 2007， 26（4）： 19-es. DOI： 10.1145/1289603.1289610

［17］BUCKSCH A， LINDENBERGH R. CAMPINO： A skeletonization method for point cloud processing［J］. ISPRS Journal of Photogrammetry and Remote Sensing， 2008， 63（1）： 115-127. DOI： 10. 1016/j.isprsjprs.2007.10.004

［18］钟南，罗锡文，秦琴. 基于生长函数的大豆根系生长的三维可视化模拟［J］. 农业工程学报， 2008， 24（7）： 151-154. DOI： 10.3321/j.issn：1002-6819. 2008.07.031

ZHONG N， LUO X W， QIN Q. Modeling and visualization of three-dimensional soybean root system growth based on growth functions［J］. Transactions of the Chinese Society of Agricultural Engineering， 2008， 24（7）： 151-154. DOI： 10.3321/j.issn：1002-6819.2008.07.031

［19］刘阁，周国民，胡林. 基于 L 系统的开心形苹果树枝干模型［J］. 安徽农业科学， 2009， 37（16）： 7795-7796， 7804. DOI： 10.3969/j.issn.0517-6611.2009. 16.191

LIU G， ZHOU G M， HU L. Trunk and branch model of open-center apple tree based on the L system［J］. Journal of Anhui Agricultural Sciences， 2009， 37（16）： 7795-7796， 7804. DOI： 10.3969/j.issn.0517-6611.2009.16.191

［20］陈动，张振鑫，王臻，等. 骨架优化下的地面激光树木点云重建方法［J］. 地球信息科学学报， 2019， 21（2）： 236-248. DOI：10.12082/dqxxkx.2019.180223

CHEN D， ZHANG Z X， WANG Z， et al. Individual tree modeling from terrestrial laser scanning point clouds via skeleton-based optimization［J］. Journal of Geo-Information Science， 2019， 21（2）： 236-248. DOI：10.12082/dqxxkx.2019.180223

Rapid 3D reconstruction of bean plant for accurate phenotype identification

FU Rujia1, XIAN Chuhua1, LI Guiqing1, WAN Juanjie2, CAO Cheng2, YANG Cunyi2, GAO Yuefang2

(1,,510006,;2,,510640,)

Using computer vision and image technology to digitally reconstruct plants is an important means for plant phenotyping. In this paper, we take the common grain crop legume plants in China as the research object, study the rapid three-dimensional digital reconstruction of the bean plants based on the depth images collected by the RGB-D depth camera for accurate phenotype identification. Firstly, the skeleton points are extracted from the point cloud of bean plant by employing a hierarchical clustering algorithm. Secondly, the backbone skeleton points of the first stage are connected according to the shortest distance of each skeleton point to the root node. According to the morphological characteristics, the connection points of the subgraph and the backbone graph are filtered out and the path growth of the subgraph is performed. Finally, the 3D plant model is reconstructed based on the connected skeleton. Experiments show that, under a single frame and registration data of multiple real soybean plants point cloud, the method of this article can carry out rapid three-dimensional reconstruction of the soybean plants with different morphological characteristics, and it is robust for situations such as low resolution, large noise interference, and large registration error.

plant phenotyping; plant 3D reconstruction; skeleton extraction; plant modeling

10.3785/j.issn.1008-9497.2021.05.002

TP 391.41

A

1008⁃9497（2021）05⁃531⁃09

2020⁃12⁃08.

广东省自然科学基金资助项目（2021A1515011849，2019A1515011793）；中央高校基本科研业务费项目（2020ZYGXZR042）；国家自然科学基金项目（51978271）.

傅汝佳（1996—），ORCID：https：//orcid.org/0000-0003-4088-2805，男，硕士研究生，主要从事计算机视觉、计算机图形学研究，E-mail：964219224@qq.com.