实测数据驱动的小型植物三维重建研究

陆声链， 李 帼， 吴 升

(1.广西师范大学 计算机科学与信息工程学院 广西 桂林 541004；2.北京农业信息技术研究中心 北京 100097)

实测数据驱动的小型植物三维重建研究

陆声链1， 李 帼1， 吴 升2

(1.广西师范大学 计算机科学与信息工程学院 广西 桂林 541004；2.北京农业信息技术研究中心 北京 100097)

以小型植物为对象，根据植物的形态结构特点，采用三维数字化技术获取植物主干和枝条的空间信息，重建植物枝干骨架拓扑结构模型；然后以植物器官的三维网格模型为模板，结合不同器官在植物上的生长规律，实现植物形态结构的精细三维重建.实验结果表明，该方法能较好地实现不同类型小型植物不同生长时期植株形态结构的多分辨率三维重建，用户可以根据需要调整三维模型的精细程度，从而为开展植物株型分析研究、植物品种展示及植物三维资源库开发等应用提供了简单、灵活的技术.

植物形态建模; 三维数字化; 三维重建; 数字植物

0 引言

植物形态结构的建模是计算机图形学和农学研究领域的重要研究内容. 从20世纪70年代起，围绕植物形态结构的三维建模，研究者提出了各种各样的方法，包括L-systems[1]及其改进方法[2]、参考轴技术[3]、双尺度自动机模型[4]和GreenLab模型[5]等.由于这些方法对植物形态结构进行了高度的抽象，因此需要具有丰富的植物结构甚至生理知识才能较好地构建特定植物的三维形态结构模型.近年来，随着各种现代测量仪器在工业上的成功应用，越来越多的研究者在尝试基于实测数据的植物形态结构三维重建.按数据源获取方式的不同，这些方法可以分为3种：基于图像的重建[6-10]、基于三维数字化仪测量数据的重建[11-15]和基于数据点云的重建[16-19].

图1 总体实施流程Fig.1 Overview of the implementation process

虽然目前基于实测数据的植物形态测量和重建方面的研究取得了一些进展，但由于植物形态结构特有的复杂性，使得植物形态结构的原位测量和精确三维重建仍然是一个十分困难的问题.本文针对作物株型分析、植物品种展示等应用中对小型植物形态结构的原位测量和高精度三维重建的需求，在兼顾重建质量和数据获取时间成本的情况下，综合考虑了以上3种重建方法的适用性和优劣，选用三维数字化仪作为植物形态特征数据的获取设备.

1 总体实施流程

本文方法的总体实施流程如图1所示，主要包括数据获取、骨架重建、植株重建3个步骤.其中，数据获取阶段主要是利用三维数字化仪按某种规则从植物上获取代表植株拓扑结构的三维空间点坐标；在骨架重建阶段，根据事先定义好的数据获取规则，对这些空间点坐标进行解析，实现植株枝干拓扑结构的三维重建；最后基于植物的骨架结构，结合第一步获取得到的植株上每个器官的空间位置信息，从器官模板中选取相应器官的三维网格模板，从而实现单株植物的精细三维重建.

2 关键技术

2.1 植株拓扑结构数据获取

每一棵植物都是由枝条、叶子、花、果实等器官组成的，考虑到叶子是影响植物的外观形态和功能计算的主要器官，因此我们在获取数据时仅考虑植物枝干和叶子，花、果实、卷须等其他附属器官仅在植株重建时根据需要灵活添加.

图2 黄瓜植株的重建Fig.2 Reconstruction of cucumber stand

以单叶植物(即每个节间只有一片叶子的植物)为例，每个节间仅需少数几个空间特征点即可较好地描述一片叶子的空间形态.例如，在图2中的黄瓜植株上选取5个点.其中，p1为叶子在枝条(茎)上的着生点，p2为叶柄和叶片的交叉点，那么p1、p2两个点不仅确定了该叶柄的长度，而且指定了其空间走向；p3是叶尖点，p4和p5分别是叶子左右边缘的最外侧点.显而易见，p2和p3确定了叶片的长度，p4和p5则确定了叶片的宽度.因此，这5个特征点不仅能够确定枝条上一个节位上叶子的空间姿态，同时也确定了该叶子的大小和方向.当然，也可以选取更多的特征点，如图2所示，每个节间选取11个点，以便能够更好地描述叶子的空间姿态.不过，更多的点意味着需要更多的测量时间.

三维数字化仪具有精确测量物体空间三维坐标的功能，因此我们用三维数字化仪进行上述植物形态空间特征点的获取.由于植物往往具有多根枝条(茎)，枝条上还可能有分支，每根枝条往往有多个节间.对于数据获取顺序，一般是从根部往上的顺序进行数据获取，即对同一根枝条，从枝条根部的节间开始，顺序往其顶部节间进行获取，每获取一根枝条，就将该枝条的所有特征点保存到同一个文件中.需要注意的是，当一棵植物有多个枝条时，从根部往上，逐根枝条进行测量，当遇到某个枝条存在分支时，测量完该枝条上每个节间的特征点后，马上按从下往上的顺序，对每个分支进行测量.所有枝条测量完成后，将这些枝条对应的特征点数据文件都保存在同一个文件夹中.

2.2 骨架重建

如上一小节所述，在每个节间的特征点中，相邻两个节的叶子的着生点同时确定了枝条上对应节间的长度和空间走向，将一根枝条上每个节间的叶子着生点连接起来，即可实现枝条骨架的重建.同时，在数据获取时将每根枝条的特征点顺序保存在同一个文件中，读取这些特征点后，根据数据获取时制定的规则，包括每个节间获取几个点，就可以对这些数据进行分组，每组数据就对应了一个叶子的空间姿态.因此，骨架重建就是对三维数字化仪所获取的植株特征点数据进行解析并进行拓扑结构连接.图2中，b是按a所示的规则获取特征点数据进行重建后得到的黄瓜植株骨架.其中，曲线上的点为三维数字化仪直接获取得到的植株特征点，通过连接这些特征点即可勾画出表示植株的茎(藤蔓)、叶柄和叶片边缘轮廓的线条.这些线条是利用特征点作为控制点,然后用B样条曲线表示的[20].从图2b即可看出，这样的植株骨架已经精确地描述了一个植株的主要空间拓扑结构，包括每个叶子的大小和空间朝向.

2.3 植株重建

植株重建的任务是在骨架重建的基础上，重构植株上每个器官的三维形态，主要包括枝条(茎)、叶子的网格曲面生成以及其他附属器官的添加.

其中，枝条(茎)和叶柄都可以看作类圆柱形物体，可以在骨架线的基础上加上半径，然后利用参数化方法生成圆柱体网格曲面[20].而半径信息可以在数据获取阶段手工测量得到，也可以作为用户手工调整的参数.对于叶片三维曲面的重建，最简单的方法是在骨架重建得到的每个叶片轮廓线的基础上，利用参数化方法生成.例如图2c，就是对叶片用Delaunay三角化方法得到的三维重建结果.

从图中也可以看出，由于在获取数据时每个叶子仅采集了少数几个特征点，通过这些点重建的叶片边缘都很光滑，与大多数具有裂片、锯齿等边缘形态特征的真实植物叶片存在较大差距.要精细地描述植物叶子复杂的外形特征，就需要采集几十甚至更多的特征点，这无疑会极大增加数据采集的时间成本.为此，我们采用了器官模板技术，用来在不增加三维特征点数据采集工作量的基础上，提高植株器官曲面三维重建的精细程度.

图3 3个黄瓜叶片模板Fig.3 Three templates of cucumber leaves

以叶片为例，器官模板技术的处理流程如下：首先建立目标植物若干个叶片的三维网格曲面(图3即为3个黄瓜叶片的网格曲面模型)，每个叶片网格曲面即为一个模板，并以.obj格式的外部文件存储到模板库中.在植株重建过程中，由于植株骨架上每个叶片的特征点确定了该叶片的位置、大小和方向，因此对每个叶子，直接从叶片模板库中选取一个叶片网格曲面，放置到指定空间位置并根据对应的特征点调整该网格曲面的大小和方向即可.

2.4 器官模板的构建

与植物个体相比，植物器官同样具有丰富的外部形态.如果对植株上每个器官都建立其三维网格曲面模型的话，又将是一件巨大的工作.考虑到相同品种的植物器官都有极大的相似性，同种器官形态上的区别更多体现在因处于不同生长阶段而表现的不同.例如，同一根枝条上的叶子，根部出生较早的叶子和中部以及顶部萌发较晚的叶子普遍存在明显差异.

因此，以节位为依据，将植物的叶子分为下部叶、中部叶和上部叶3种类型，对每种类型的叶子，利用高精度三维扫描仪直接从植物群体中抽样获取该类型叶子几个叶片的三维点云数据，并重建每个采样叶片的三维曲面模型(见图1).

3 应用示例

本文描述的基于三维数字化测量数据的小型植物三维重建方法已经在Visual Studio 2008开发环境下结合OpenGL图形引擎进行了实现，本小节将选取部分植物为例子，展示该方法如何实现植物形态结构的多尺度建模.

第一个例子将展示如何通过数字化仪测量数据进行西瓜植株和群体的三维重建.在该例子中，利用Polhemus FastScan三维扫描仪附带的数字化探笔获取了8棵西瓜植株的空间拓扑结构特征点，基于这些特征点可自动初步重建每个植株的三维模型(图4b)，最后利用叶子的模板进行精细重构.所开发的软件同时提供了批量导入特征点的功能以实现群体的三维重建(见图4d).

我们也在葡萄树、栀子树、苹果树等形态结构更为复杂的树木类植物的小树龄植株上测试了该方法，图5展示了三维数字化仪测量数据的工作现场和葡萄树、栀子树的三维重建结果.

4 讨论和结语

本文介绍了一个结合三维数字化仪测量数据和器官网格模板的小型植物精细三维重构的技术方案及实现案例.该方法可以构建不同种类小型植物的三维植物模型，并通过调整器官模板的网格精度的方式灵活控制植株三维模型的精度.该方法避免了仅利用叶子的少量形态特征点进行重建而导致的冠层叶子模型精度不高的问题，同时又充分利用了植物叶子所具有的形态相似性，没有对植物的每一个叶片进行三维扫描，从而极大减少了数据采集时间.两者结合起来，使重建的植物三维模型具有更高的准确性和精度，同时尽量减少植物三维重建所需要的数据获取时间.

图4 西瓜植株及群体三维重建过程Fig.4 3D reconstruction of watermelon stand and community

图5 幼龄果树的三维重建Fig.5 3D reconstruction of small fruit trees

需要指出的是，植物的形态结构十分复杂，本文的工作仅考虑植物某个特定时期的静态结构建模.而实际上，植物是动态生长的，随时受环境的影响并在形态和外观上做出反馈.特别是在需要考虑周围的环境因素的情况下，构建几何、颜色、纹理和生理功能均与真实植物高度吻合的植物模型仍然有很多问题需要解决，有待进一步深入研究.

[1] PRUSINKIEWICZ P. Modeling and visualization of biological structures[C]// Proceeding of Graphics Interface '93. Toronto, 1993:128-137.

[2] 常村红，葛寒松，谭同德. 三维树木模拟研究与应用[J]. 河南科技大学学报(自然科学版), 2012,33(1):41-44.

[3] DE REFFYE P, EDELIN C, FRANCON J, et al. Plant models faithful to botanical structure and development[J]. Computer graphics, 1988, 22(4): 151-158.

[4] ZHAO X, DE REFFYE P, XIONG F L, et al. Dual-scale automaton model for virtual plant development[J]. Chinese journal of computers, 2001, 24(6):608-615.

[5] HU B G, DE REFFYE P, ZHAO X, et al. GreenLab: a new methodology towards plant functional-structural model-structural aspect[C]// International Symposium on Plant Growth, Modeling, Simulation, Visualization and Their Applications. Beijing, 2003: 21-35.

[6] QUAN L, TAN P, ZENG G. Image-based plant modeling[J]. ACM transactions on graphics, 2006, 25(3): 599-604.

[7] TAN P, FANG T, XIAO J, et al. Single image tree modeling[J]. ACM transaction on graphics, 2008, 27(5):1-7.

[8] 赵春江，杨亮，郭新宇，等. 基于立体视觉的玉米植株三维骨架重建[J]. 农业机械学报, 2010,41(4): 157-162.

[9] 王传宇，郭新宇，吴升，等. 采用全景技术的机器视觉测量玉米果穗考种指标[J]. 农业工程学报,2013,29(24): 155-162.

[10]KAZMII W, FOIX S, ALENYA G, et al. Indoor and outdoor depth imaging of leaveswith time-of-flight and stereo vision sensors: analysis and comparison[J]. ISPRS journal of photogrammetry and remote sensing, 2014,88: 128-146.

[11]SINOQUET H, MOULIA B, BONHOMME R. Estimating the three-dimensional geometry of a maize crop as an input of radiation models: comparison between three dimensional digitising and plant profiles[J]. Agr for Meteorol, 1991, 55(3/4):233-249.

[12]SINOQUET H, RIVET P, GODIN C. Assessment of the three-dimensional architecture of walnut trees using digitising[J]. Silva fennica,1997, 31(3):265-273.

[13]WU J, GUO Y. An integrated method for quantifying root architecture of field-grown maize[J]. Annals of botany, 2014，114: 841-851.

[14]LU S L, GUO X Y, DU J J, et al. Reconstruction of tree structure from multi-scale measurement data[C]//World Automation Congress.Hawaii,2014:855-858.

[15]DALLABETTA N, COSTA F, GUERRA A, et al. 3D digitizing tool to determine fruit quality distribution within the canopy[C]//The X International Symposium on Modelling in Fruit Research and Orchard Management. Montpellier, 2015: 27.

[16]CHENG Z, ZHANG X, CHEN B. Simple reconstruction of tree branches from a single range image[J]. Journal of computer science and technology, 2007, 22(6): 846-858.

[17]BOUDON F, PREUKSAKAM C, FERRARO P, et al. Quantitative assessment of automatic reconstructions of branching systems[C]// Proceedings of the 7th International Conference on Functional-Structural Plant Models. Finland, 2013: 64-66.

[18]SYLVAIN D, CHRISTIAN J, PASCAL R. PypeTree: a tool for reconstructing tree perennial tissues from point clouds[J]. Sensors, 2014, 14(3): 4271-4289.

[19]BALDUZZI M, BOUDON F, GODIN C. Optimal 3D reconstruction of plants canopy from terrestrial laser scanner data by fusion of the 3D point information and the intensity value[C]//Proceedings of the 7th International Conference on Functional-Structural Plant Models. Finland, 2013:58-60.

[20]赵春江, 陆声链, 郭新宇, 等. 西瓜三维形态几何建模和真实感绘制技术研究[J]. 中国农业科学, 2008, 41(12): 4155-4163.

(责任编辑：王浩毅)

Data-driven 3D Reconstruction of Small Plant Structure

LU Shenglian1, LI Guo1, WU Sheng2

(1.CollegeofComputerScienceandInformationTechnology,GuangxiNormalUniversity,Guilin541004,China;2.BeijingResearchCenterforInformationTechnologyinAgriculture,Beijing100097,China)

The method for a detailed 3D reconstruction of small plant was presented. Feature points measured by using 3D digitizer and organ’s 3D templates was combined .These feature points were used to reconstruct the skeleton model of the plant.The organ’s 3D template was created by 3D point cloud data measured from real plant organs, or created with interactive designing.The experimental results indicated that the proposed method was suitable for multi-scale structural modeling of different plants with high details and flexibility.

modeling plant structure; 3D digitization; 3D reconstruction; digital plant

2016-12-01

国家“863”高技术研究发展计划项目(2013AA102405)．

陆声链(1979—)，男，广西桂平人，副研究员，主要从事计算机图形学、虚拟现实方向研究，E-mail:shllu@126.com；通信作者：吴升(1982—)，男，河南驻马店人，博士研究生，主要从事农业信息技术研究，E-mail:wus@nercita.org.cn.

TP391

A

1671-6841(2017)03-0084-04

10.13705/j.issn.1671-6841.2016334