基于序列图像的植株三维重建试验与分析

孙 婷，张琳琳，宋怀波



基于序列图像的植株三维重建试验与分析

孙 婷，张琳琳，宋怀波

(西北农林科技大学机械与电子工程学院，陕西杨凌 712100)

如何在保证精度的前提下实现更为高效、快捷以及廉价的植株三维重建是智慧农业领域研究的重要课题。本研究从实用的植株三维重建角度出发，利用3DSOM软件开展了植株的三维重建方法研究，搭建了一套植株序列图像获取系统，可以精确地获得植株的360°视角的序列图像，为后期进行植株的三维重建奠定了基础。本试验以圣女果植株和树木植株为研究对象，分别利用8、16、32、64、80、96幅序列图像和20、40、60、80幅序列图像开展了植株的三维重建试验与对比测试。试验结果表明，对于树木植株，由于其枝干较多且不同角度的枝干间存在重叠，重建图像会丢失部分枝干细节信息，而对于小型植株如圣女果植株的重建效果较好；测试结果表明，最少利用16幅序列图像即可重建圣女果植株，最少利用20幅序列图像即可重建树木植株；圣女果植株的重建时间在14分钟以内，树木植株的重建时间在18分钟以内，且随着序列图像数量的增加，重建时间增长缓慢，表明重建用序列图像的数目对重建时间影响较小。为进一步验证该方法的三维重建精度，对圣女果植株的枝干选取了5个截段进行了实际测量，其重建误差在0.05%-2.36%之间；同时选取树木4个截段进行了实际测量，其重建误差在0.11%-2.67%之间，重建精度满足植株三维测量、树形修剪等的要求。

三维重建；植株；序列图像；精度分析；3DSOM

0 引言

植物形态的三维可视化是智慧农业研究领域面临的一项技术难题。目前，植物的形态特征信息主要靠目测等人工测量方式获取。人工测量方式存在速度慢、强度大、主观性强和误差大等缺陷。通过使用计算机视觉技术对植物三维形态进行可视化研究，能够有效避免这些问题[1]。植物的形态结构是进行植物生长规律探寻的关键，对植株的三维重建尤为重要。基于图像的建模技术是当今计算机视觉领域的一个研究热点，与传统的基于图形的建模技术相比具有易操作、高效等特点[2]。通过三维重建得到植株形态以及其空间分布情况，可为研究人员对作物生长分析、病虫害防护等研究提供高精度的数据支撑。

国内外众多学者已经开展了目标的三维重建工作，Marr等提出了基于双目立体视觉的三维重建方法，利用2幅有视差的平面图像提取目标的三维信息，奠定了双目视觉发展的理论基础[3]。三维重建技术作为计算机图形学的重要分支，在诸多领域取得了较好的应用[4-6]。在医学方面，三维重建技术常被用到脑组织、心血管等疾病的治疗[7]。付淼进行了医学图像三维重建及应用的研究[8]。江贵平等进行了基于MRI数据的人体器官三维重建方法研究[9]。王志坚等对数字化三维重建技术在产科疾病诊治中的应用进行了研究[10]。卢慕峻等人在泌尿外科领域应用了CT三维重建成像技术[11]。在军事方面，刘彬等利用无人机拍摄的遥感影像来构建三维战场[12]。张明使用MATLAB和VRML对军事等高线地图进行了三维重建系统的研究[13]。张源利用双目立体视觉进行了战车的三维重建系统设计[14]。在农业方面，果树的三维重建对于自动采摘机械化[15]、果树的机械剪枝[16]和果树冠层光照研究等都有重要作用[17]。辛龙娇等探寻了温室环境中的番茄快速重建方法[18]。刘刚等对农林作物三维重建方法进行了研究[19]。刘睿等利用地基激光雷达数据对单株玉米进行了三维重建[20]。

本研究通过对目标植株的拍摄和序列图像的预处理，借助3DSOM软件，分别选择圣女果植株和树木植株为研究对象，利用不同数量序列图像对其进行三维重建工作，并对其重建精度进行评估，以期为植株的三维重建提供更好的借鉴。

1 3DSOM图像获取平台

1.1 图像获取可行性分析

本次作为研究对象的圣女果植株高54 cm，两枝干最远点间距22 cm。旋转展台的直径为37.08 cm，植株下方有细长的茎秆部分，小于旋转展台的直径。用于固定植株的花盆直径小于旋转展台直径，圣女果植株、花盆的质量小于展台最大载重100 kg。

试验用树木植株高约163 cm，枝干上两点间最宽距离90 cm，不会影响展台旋转的精度，其总量同样满足展台载重要求。因此，利用该设备进行圣女果及树木植株序列图像获取平台的搭建是可行的。图1为圣女果植株和树木植株固定在旋转展台上的实物图。

(a)圣女果植株 (b)树木植株

1.2 实际工作台搭建

本研究所搭建的植株序列图像获取工作台如图2所示，主要由背景、校准垫、旋转平台、相机和三脚架构成。其中背景为白色打印纸和白色墙壁；校准垫由15组（每组4个）有规律的径迹点组成，用于判定目标图像的高度、角度和距离信息；旋转展台可以精确地控制每幅图像的拍摄角度，借助遥控器便能精准的控制该转台每一次旋转的角度，并能精确到0.1度；相机在拍摄时要保证其设置不发生改变，本研究所使用的为尼康D90数码相机；三脚架起着固定相机的作用。

拍摄时相机距离圣女果植株的水平距离为1.45 m，选取20°俯角和30°俯角（可以拍摄到植株全景）分别拍摄48幅序列图像，相机距离地面的距离分别为1.30 m和1.65 m；拍摄时相机距离树木植株的水平距离为4.13 m，20°俯角和30°俯角时相机距离地面的距离分别为1.98 m和2.24 m。

(a)圣女果植株 (b)树木植株

2 基于序列图像与3DSOM的植株三维重建

2.1 试验材料

（1）试验样品

为了探究不同序列图像下植株三维重建的效率和精度，以3.75°为间隔，分别获取圣女果植株和树木植株的360°序列图像共96幅，随机选取8、16、32、64、80和96幅圣女果植株序列图像分别重复进行10次试验；对于树木植株，随机选取20、40、60和80幅树木植株序列图像分别重复进行10次试验。所用时间、所测距离均取平均值，重建结果取最优。由于8幅圣女果植株序列图像不能重建其三 维模型，故没有给出重建信息；由于20幅树木植株序列图像所包含的图像信息过少，在进行树木植株 的三维重建时仅能重建出其大体的轮廓，效果较差，故没有进行具体分析。

（2）试验软件及硬件

所有试验均在2.3 GHz处理器、8 G内存的Lenovo Ideapad 310S的计算机上完成，试验环境为3DSOM Pro V4.0。

2.2 圣女果树重建

本次试验对象为圣女果植株，分别用8、16、32、64、80和96幅图像对目标进行了三维重建，并分别对其进行了重建计时。图3为拍摄的96幅圣女果植株序列图像示例。图4为在16、32、64、80和96幅图像下的重建模型。

由图4可以发现，当采用32、64和80幅序列图像进行重建时，其中一条枝干出现了断层，当将重建图像提高到96幅时断层消失，与16幅序列图像重建结果类似。由图4（圆圈标注部分）可见，圣女果植株的部分细节没有在重建中得到体现，可见3DSOM对轮廓细小区域的重建能力有待提高。

表1为不同序列图像下树木植株的重建耗时，由表1可知，在16、32、64、80和96幅序列图像下，随着序列图像数量的增多，3DSOM处理的时间逐渐增加但处理时间均在14分钟以内，满足植株三维重建的实时性要求。

2.3 树木植株重建

分别选用20、40、60和80幅序列图像对目标进行了重建。图5为拍摄的树木植株序列图像示例，图6为在40、60和80幅图像下的重建模型与原图同一角度下的对比。

由图6可以发现，60和80幅序列图像时，树木植株的重建结果中树木根部区域未得到较好重建，而将重建序列图像减少到40幅时可以实现植株根部的重建，这是由于图像过多时，重复信息过多而难以重建导致的。同时可以发现，由于树木植株的枝干较多，生长紧密，不同角度的枝干之间存在相互遮挡，导致重建结果中枝干的部分细节信息丢失。表明3DSOM对生长较密的大型树木植株的重建能力有待提高。

图3 部分圣女果植株重建序列图像

(a)原图 (b)16幅重建结果 (c) 32幅重建结果 (d)64幅重建结果 (e)80幅重建结果 (f) 96幅重建结果

表1 不同数量序列图像下3DSOM重建时间统计

Tab.1 Time consumption of different image sequences by using 3DSOM software

不同数量序列图像重建过程的时间统计如表2所示，由表2可以看出，树木植株的重建时间随着序列图像的增加而增加，与圣女果植株重建结果类似，在利用80幅序列图像进行重建时，耗时也在18分钟之内，满足重建的实时性要求。

图5 部分树木植株序列图像

(a)原图 (b)40幅序列图像重建 (c) 60幅序列图像重建 (d)80幅序列图像重建

表2 树木植株重建计时

Tab.2 Time consumption of different image sequences by using 3DSOM software

3 数据对比分析

3.1 概述

为了更好地探究植株的重建效果，本研究分别从定性和定量两个方面进行了分析。3DSOM能够将模型输出至其他三维编辑软件中，借助其他软件即可测量重建模型上任意两点的距离。3DSOM对植株的重建效果可用表示，其计算公式如式（1）所示。

×100% （1）

其中，是距离误差，该值的大小直接反映了3DSOM重建的效果，值越小说明目标的重建精度越高。是实际测量的植株长度，是在三维编辑软件中获得的3DSOM重建植株的长度。

植株实际长度的测量工具为游标卡尺，重建模型距离的测量工具为3DSOM自带直尺工具，能够直接测得重建模型上两点的距离，精度为0.01米。

3.2 圣女果树数据及其分析

由于茎秆部分较直，也方便软件的直接测量，故在圣女果植株的茎秆部分选取5个部分来进行测量，因为茎秆部分较直，也方便软件的直接测量。为了方便数据统计及叙述，将需要测量的截段用字母进行标识。图7为圣女果植株测量截段及对应标识图。

图7 圣女果植株测量截段

表3为不同图像数量下，计算3DSOM原圣女果植株实际距离和枝干各截段的误差表。

由表3所提供的数据来看，不同图像数量的不同截断的Error percentage最高不超过2.36%，最低为0.05%，平均值是0.84%，其精度符合预期要求。由于在测量时难免会出现误差，所以实际的失误率应该比表格中的数据低。而且随着图像数量的增多，其Error percentage的值并没有明显的增多或者减少，因此可以认为在保证3DSOM能够完整的获得原圣女果植株360度信息的前提下，其原圣女果植株的重建效果与图像数量没有直接关系。

表3 圣女果植株枝干各截段实际距离、重建距离和重建误差（以AB为参考点）

Tab.3 Results of the real length, reconstructed length and reconstruction error of Cherry tomato (AB as reference)

3.3 大树数据及其分析

在对树木植株进行测量时，分别选取较直的两段主干和两段从干进行测量，并用字母进行标识。选取较直的部分，将其分段表示。图8为重建树木植株测量截段及其标识。不同序列图像数量下计算得到的3DSOM树木植株截段距离及数据分析如表4所示。

由表4所提供的数据来看，不同序列图像数量、不同截断的重建误差最高不超过2.67%，最低为0.11%，平均值为1.32%。3DSOM重建的精度符合要求，而且其重建精度与图像数量并没有直接关系。但值得注意的是，当树木植株图像数量为60和80幅时，重建模型不能重建出植株的根部区域，丢失大量信息，而40幅序列图像能够准确的重建出植株的根部细节。再次证明了3DSOM的重建精度与图像数量没有直接关系，而且随着3DSOM处理信息量的增加，还有可能出现错误的重建结果。

图8 树木植株测量截段及其标识

表4 树木植株各截段实际距离、重建距离和重建误差（AB为参考点）

Tab.4 Results of the real length, reconstructed length and reconstruction error of Tree plant (AB as reference)

4 结论

通过以上对圣女果植株和树木植株在不同数量序列图像下进行三维重建结果的对比，得出以下结论：

（1）3DSOM对生长较密，重叠部分较多的树木植株的重建效果远低于枝干分布稀疏的圣女果植株。表明3DSOM具有较好的实时性，基本满足植株实时性三维重建的要求。

（2）在保证3DSOM能够完整获取目标植株360°信息的前提下，原植株的重建效果和精度与植株序列图像数量没有直接关系。序列图像数量过少时，会导致提供的信息量太少，而无法进行重建；序列图像数量过多时，会使重复信息增多，可能导致重建出错。

（3）对于不同的植株，重建时要选择合适数量的植株序列图像才能准确且不丢失信息的重建出高精度的三维模型。圣女果植株最少需要16幅植株序列图像才能重建出三维模型，而树木植株至少需要20幅植株序列图像才能重建出三维模型。

（4）3DSOM对目标植株中轮廓比较细小的部分和生长较密枝干的重建效果较差，需要进一步研究。

[1] 雷欣. 植物三维重建中深度图像配准系统的设计与实现[D]. 西北农林科技大学, 2016.

[2] 殷小舟. 基于图像的花卉植物三维重建技术研究[D]. 北京林业大学, 2013.

[3] 隋婧, 金伟其. 双目立体视觉技术的实现及其进展[J]. 计算机应用, 2004, 10(1): 4-6.

[4] 王春莉, 梁立波, 王宝玉. 计算机三维重建技术发展与应用[J]. 沈阳大学学报, 2003, 15(2): 20-26.

[5] G. Hu, Q. Peng, A. Forrest. Robust mesh smoothing[J]. Journal of Computer Science and Technology, 2004, 19(4): 521-528.

[6] B. Alexandra, L. Denis, J. Luc. Three-dimensional reconstruction of the bony structures involved in the articular complex of the human shoulder using shaped-based interpolation and contour- based extrapolation[C]. Proceedings of the 4thInterpolation Conference on 3D Digital Imaging and Modeling. Banff, Canada, 2003: 1061-1072.

[7] 孙正. 心血管三维运动场的重建方法及验证[J]. 中国医学影像艺术, 2007, 23(8): 1248-1252.

[8] 付淼. 医学图像三维重建及应用[J]. 中国医学工程, 2013, 9: 189-190.

[9] 江贵平, 张煜, 陈武凡, 等. 基于MRI数据的人体器官三维重建[J]. 南方医科大学学报, 2005, 25(1): 15-17.

[10] 王志坚, 何艳红, 钟梅. 数字化三维重建技术在产科疾病诊治中的应用[J].中国实用妇科与产科杂志, 2012, 1: 19-22.

[11] 卢慕峻, 王忠, 董国勤, 等. CT三维重建成像技术在泌尿外科领域的应用[C]. 全球华人泌尿外科学术会议. 2005.

[12] 刘彬, 陈向宁, 郭连朋. 基于无人机遥感影像的三维战场构建技术研究[J]. 系统仿真学报, 2015, 27(6): 1268-1273.

[13] 张明. 基于MATLAB和VRML的军事等高线地图三维重建系统的研究和实现[D]. 山东大学, 2007.

[14] 张源. 基于双目立体视觉的战车三维重建系统设计与实现[D].中国科学院大学, 2014.

[15] L. He, X. Du, G. Qiu, et al. 3D reconstruction of Chinese hickory trees for mechanical harvest[C]. ASAE Annual Meeting, ASABE Paper 12-1340678, 2012.

[16] Adhikari B, Karkee M. 3D reconstruction of apple trees for mechanical pruning[C], 2011 ASAE Annual Meeting, ASABE Paper 1111613, 2011.

[17] 王菲. 高纺锤形苹果树分形维数及三维数字化建模和 STAR值的研究[D]. 杨凌: 西北农林科技大学, 2012.

[18] 辛龙娇, 徐立鸿, 李大威, 等. 基于参数L-系统的温室番茄植株的三维重建[J]. 现代农业科技, 2014, 3: 340-343.

[19] 刘刚, 司永胜, 冯娟. 农林作物三维重建方法研究进展[J]. 农业机械学报, 2014, 45(6): 38-46.

[20] 刘睿, 刘婷, 董润茹, 等. 基于地基激光雷达数据的单株玉米三维建模[J]. 中国农业大学学报, 2014, 3: 196-201.

3D Reconstruction of Plants Based on Image Sequences

SUN Ting, ZHANG Lin-lin, SONG Huai-bo

(College of Mechanical and Electronic Engineering, Northwest A&F University, Yangling, Shanxi 712100, China)

How to achieve more efficient, fast, and inexpensive 3D reconstruction of plant under the premise of accuracy is an important issue in the field of intelligent agriculture research. In this study, for the practical 3D reconstruction of plants, 3DSOM software was used and the sequence images were taken by the image capturing system we have built, it can accurately obtain the plants’ 360 degrees sequence images. In this research, Cherry Tomatoes plant and Tree plant were selected as the research objects, and 8, 16, 32, 64, 80, and 96 sequence images of Cherry Tomatoes plant, 20, 40, 60and 80 sequence images of Tree plant were selected to test the performance of 3D reconstruction results respectively. The results showed that the Tree plants lost too many details of branches during the reconstruction process, because it has too many overlap stems and branches, too many details of branches. However, some small plant such as the Cherry Tomatoes plant, its reconstruction result was much better. The results also showed that the Cherry Tomatoes plants could be reconstructed by using no less than 16 sequence images, and no less than 20 sequence images for Tree plants. The reconstruction of the Cherry Tomatoes plant could be realized within 14 minutes, and within 18 minutes for Trees plant. Moreover, with the increase of the number of image sequences, the reconstruction time increase slowly, which showed that the number of reconstructed images has a little influence on the reconstruction time. In order to further verify the accuracy of 3D reconstruction, 5 points from Cherry Tomatoes plant and 4 points from Tree plant were selected, respectively,and the results showed that the reconstruction error was between 0.05% and 2.36% for Cherry Tomatoes plant, 0.11% and 2.67% for Tree plants, which showed that the reconstruction accuracy met the requirements of measuring the three-dimensional plant, pruning tree and so on.

3D Reconstruction; Plant; Sequence image; Accuracy analysis; 3DSOM

TN911.72

A

10.3969/j.issn.1003-6970.2017.04.002

863计划资助项目（2013AA10230402）；陕西省农业科技创新与攻关项目（2016NY-157）；中央高校基本科研业务经费（2452016077）

孙婷(1995­-)，女，陕西铜川人，主要研究方向为计算机图形学；张琳琳(1996­-)，女，河南尉氏人，主要研究方向为计算机图形学。

宋怀波(1980-)，男，山东济宁人，博士，副教授，研究方向为智能化检测与技术。

本文著录格式：孙婷，张琳琳，宋怀波. 基于序列图像的植株三维重建试验与分析[J]. 软件，2017，38（4）：06-11