基于双目立体视觉的植物三维重建系统*

殷悦，张慧春，郑加强

(1.南京林业大学机械电子工程学院，南京市，210037；2.泰州学院船舶与机电工程学院，江苏泰州，225300)

0 引言

伴随着农林业信息化技术的迅速发展，应用图像处理技术的虚拟植物三维模型对作物生长机理研究、产量预测、栽培措施制定、植物对环境的反应研究以及农林机械的设计都有着十分重要的意义[1-2]。其中植物三维重建是近年来全球的研究热点。

模式植物基因组小、特征明显、与人类密切相关，其选择和利用对于开展遗传分析、基因克隆、功能研究和植保机械研究等都具有重要意义。拟南芥因为其形态简单、体型较小、生长周期快等优点被列为模式植物之一，经常用于科学研究。

目前按照植物生长三维重建的不同重点，主要分为基于模型的植物三维重建[3]、基于扫描数据集的植物三维重建[4-5]和基于图像的植物三维重建[6](也称基于机器视觉技术的植物三维重建)。Quan Long等[7]利用仿射分解的方法，在目标植物周围采集多幅图像，恢复物体表面三维信息，实现了树木和花草的三维建模。周云辉等[8]利用L系统构造了水稻稻穗的仿真模型，模拟出的稻穗模型具有高度相似性和逼真性。王勇健等[9]在高质量点云的基础上生成叶片网格并进行优化，最后建立了高精度的植物叶片网络模型。Rose J C等[10]利用基于图像重建的番茄的三维模型，获取了番茄的叶面积、主茎长度和体积相关信息。成沁源等[11]通过单目视觉获得玉米粒图像，利用图像处理获得玉米粒轮廓数据，提出的玉米粒姿态识别算法检测速度快，时效性好。基于模型的植物三维重建可以直观逼真地模拟一种动态的形态变化和生长规律，但是迭代过程复杂；基于扫描数据集的植物三维重建可以准确扫描得到植物多角度的三维点云，但是匹配难度大，模型复杂、设备成本昂贵，而且要求目标植物在扫描过程中保持静止，否则会出现点云拼接精度降低，并且对于较小的植物扫描效果不是很好；基于机器视觉技术的植物三维重建，灵活性强、图像获取便捷、像素高、设备成本很低。综上所述，从图像中提取出信息进行植物三维重建是最灵活最方便的，目前针对模式植物拟南芥的三维重建较少，且通常没有特定的装置来实现目标物到相机之间相对位置的便捷调整，而相机标定过程也与图像采集过程为完全独立的两个步骤，所以本文选择利用机器视觉技术来进行虚拟植物拟南芥的三维重建，通过特定设计的机器视觉系统对拟南芥进行多方位拍摄图像来进行三维建模。

1 立体视觉和相机标定系统设计

构建的拟南芥图像采集双目立体视觉系统用两个相机同时对目标植物拟南芥进行图像采集，通过JAI(Java advanced imaging，爪哇高级成像)control tools软件将图像信息从相机传送到台式机存储供后期图像处理。用Matlab对采集到的图像进行相机标定得到相机的内外参数，再进行拟南芥图像的畸变校正、极线校正和图像分割。用OpenCV对图像处理过的两幅图像进行SURF(Speeded Up Robust Features，加速鲁棒特征)特征检测、SIFT(Scale Invariant Feature Transform，尺度不变特征转换)特征匹配和RANSAC(Random Sample Consensus，随机抽样一致性法)去除误匹配，得到精确匹配过的两幅图像。同时，得到经过匹配的特征点的二维数据，根据相机的内外参数转换得到拟南芥上特征点的空间三维坐标，并得到点云模型。利用OpenGL对点云进行三角剖分得到点到面的转换，再进行纹理贴合得到具有纹理信息和几何信息的拟南芥虚拟生长模型。拟南芥双目立体视觉系统工作原理如图1所示。

图1 拟南芥图像采集双目立体视觉系统原理框图

本文为了实现拟南芥到相机之间相对距离的调节，以及在标定过程中，根据不同的位置要求能够实现标定板沿着三个坐标轴的移动和绕着三个坐标轴的转动等六个自由度的运动，将拟南芥图像采集系统与相机标定系统相结合，如图2(a)所示为三维台架示意图，图2(b)所示为试验台实物。图2中，拟南芥位置固定，用两个内部参数相同的相机，在拟南芥同一侧正对面间隔约80 mm保持平行并且前后高度一致，镜头与竖直方向成60°，可同时采集到较全面的拟南芥两幅生长图像。

(a)三维台架示意图

2 拟南芥图像采集的相机标定及图像预处理

2.1 拟南芥图像采集相机标定

本文选用张正友标定法[12]进行相机标定，得到本文两个相机的内外参数，分别如表1和表2所示。

表1 相机内参数

表2 相机2相对相机1的外参数

其中，fx，fy为相机焦距的像素单位表达，u0，v0为相机主点在像素坐标系上的坐标，k1，k2为相机的畸变系数。

根据相机标定中像素坐标到世界坐标的转换关系式[13]，当得到两幅拟南芥图像上的特征点的二维坐标时，根据相机标定的内外参数，可以得到特征点在空间的唯一三维坐标。

2.2 拟南芥图像校正

由于通过广角镜头拍摄到的图像一般具有桶形畸变，所以必须进行几何畸变校正来消除畸变从而获得一幅无畸变的宽视野图像[14]。同时为了后期匹配的精度和速度，需要利用相机标定的参数对左右两幅拟南芥图像进行极线校正[15]，使得因相机关系导致的左右图像的点不在同一水平线上这一现象得到校正。本文采集到的两个相机的拟南芥原始图以及预处理过后的图像分别如图3和图4所示。

(a)相机1采集的拟南芥原始图

(a)相机1采集的拟南芥图像校正图

经过校正之后，左右两幅图像消除了桶形畸变，且两幅拟南芥图像上的同一点是在同一水平线上面的，这使得后期的特征点提取匹配在速度和精度上面都得到了一定的提升。

2.3 拟南芥图像分割

为了能单一地处理植物，减少后期拟南芥图像特征点提取和匹配的多余工作量和误匹配，保证后期拟南芥三维信息的精度，本文选择在RGB(红、绿、蓝)模型上进行彩色拟南芥图像的分割。根据拟南芥的颜色特点，先提取绿(G)分量，根据不同阈值的比较选择阈值35进行二值化，再获取最大连通区域来实现拟南芥与背景的分割。具体过程如图5所示。

图5 图像分割过程图

3 拟南芥图像立体匹配

拟南芥图像立体匹配主要是根据对所选拟南芥图像特征的计算，建立特征间的对应关系，将从不同拟南芥图像中检测到的投影点与拟南芥相应空间点对应起来，计算两幅拟南芥图像的二维信息，通过相机参数进而得到拟南芥的三维信息，重建出拟南芥空间三维点。

由于拟南芥本身形态简单，色彩单一，特征点不容易提取，本文通过在拟南芥上人工添加特征点的方式来增强特征识别，通过试验分析比较SURF算法[16-18]和SIFT算法[19-21]相互结合的拟南芥特征检测匹配的效果，又利用基于RANSAC算法[22-23]估计单应矩阵[24-26]方法去除在立体匹配过程中因为旋转或者光照等原因导致的拟南芥特征误匹配，根据最终的拟南芥的特征匹配的效果，确定了SURF特征检测算法和SIFT特征匹配算法的结合方法，完成了拟南芥图像的特征检测、匹配和去除误匹配，如图6所示。

图6 拟南芥去除误匹配效果图

4 拟南芥三维重建

根据拟南芥图像的特征匹配的结果，可以得到拟南芥两幅不同视角下的图像上经过误匹配删除后的特征点的二维坐标，再根据校正后的相机参数，可转换得到拟南芥的各个特征点在空间的三维坐标，这些三维坐标就代表了拟南芥上被提取出来的特征点在空间上的位置，这些位置的集合体就是拟南芥的空间点云信息。对拟南芥的空间点云进行三角剖分[27-29]后再进行纹理贴合[30]，得到同时具有几何信息和纹理信息的拟南芥纹理映射三维模型，添加了纹理信息的拟南芥三维模型效果比空间点云构成的三维模型更加逼真，并且可以看到拟南芥本身的颜色信息。

5 基于人机互动的拟南芥三维重建系统设计

本文设计的基于机器视觉技术的模式植物三维重建的人机交互系统的流程图，如图7所示。人机交互系统过程图如图8所示。

图7 模式植物三维重建人机交互系统流程图

图8 人机交互系统过程图

为了能对拟南芥以及其他模式植物图像的三维重建提供三维重建人机交互系统，本文设计将整个拟南芥的三维重建过程集成为一个界面，用户可以通过点击界面的按钮选择自己想要重建的模式植物的两幅不同视角的图像，通过修改后台程序达到理想的图像处理效果，每一步骤都以将近一秒的速度进行，整个重建过程持续仅30 s左右，有很好的实时性，并对整个过程演示、直观解释、后续拓展研究和其他模式植物的三维重建发挥作用。

6 拟南芥三维重建系统的验证

本文使用Meshlab点云处理软件进行参数的提取，因为拟南芥本身体型较小，叶片，茎秆为主要器官，所以本文对同一批在智能人工气候箱(参数为光照时间16 h，黑暗8 h，光照强度为150 μmol/(m2·s)，温度为25 ℃，湿度为50%RH。)种植的生长了40天的60盆拟南芥提取同一位置的叶片的叶长、叶宽和茎秆长度，将软件测量值与人工测量值进行对比。拟南芥叶片长度的软件测量值为纵坐标，分析出拟南芥叶片长度的软件测量值与真实值的线性拟合图(图9)以及拟南芥叶片长度的软件测量值与真实值之间的对比关系图(图10)。

图9 拟南芥叶片长度的软件测量值与真实值的线性拟合图

图10 拟南芥叶片长度的软件测量值与真实值的数据对比图

从图9看出，拟合的拟南芥叶片长度的软件测量值与真实值之间的线性方程为y=0.986x-0.180 3，拟南芥叶片长度的软件测量值与真实值之间的相关系数R2=0.940 4，说明拟南芥长度的软件测量值与真实值的数据相关性很高。从图10可以看出，拟南芥叶片长度的真实值附近的误差线为真实值的5%的正负误差线，拟南芥叶片长度的软件测量值与真实值之间的差距很小，且基本都在误差线范围之内。

同样通过对拟南芥叶片宽度的尺寸对比，拟合的拟南芥叶片宽度的软件测量值与真实值之间的线性方程为y=1.007 4x-0.513 9，相关系数R2=0.974，拟南芥叶片宽度的软件测量值与真实值之间的误差很小，基本都在正负5%的误差线以内。拟南芥茎秆长度拟合的线性方程为y=0.973 7x+1.538 5，相关系数R2=0.986 2，拟南芥茎秆长度的软件测量值与真实值之间的误差很小，基本都在拟南芥茎秆长度真实值的5%误差线范围以内。

综上所述，通过对多盆拟南芥进行建模和参数验证，本文重建的拟南芥模型稳定性和可靠度都较高，对能提取出特征信息的模式植物拟南芥均可以进行逼真的三维模型的建立。

7 结论

本文研究了基于机器视觉技术的模式植物拟南芥的三维模型，在分析研究现代植物模型建立发展的基础上，通过双目视觉图像采集及相机标定、图像校正与预处理、检测和匹配图像特征点、二维信息到三维信息转化等，实现模式植物拟南芥三维重建模型，并得到以下主要结论。

1)研制的拟南芥双目视觉图像采集系统结合相机标定的三维试验台架，可以满足模式植物的多方位图像采集、模式植物到相机之间相对位置的调节以及标定板相对相机的位置的固定。

2)相对于本文列出的几种其他的特征检测匹配方法，通过SURF特征检测结合SIFT特征匹配以及RANSAC结合单应性矩阵，得到的拟南芥图像的特征检测、匹配和去除误匹配的效果更好。

3)设计的基于机器视觉技术的模式植物三维重建人机交互系统，整个模式植物拟南芥三维重建过程持续仅30 s左右，满足实时性要求，同时，通过对多盆拟南芥进行建模和参数验证，拟南芥叶片长度、宽度和茎秆长度的软件测量值与真实值之间的相关系数R2分别为0.940 4，0.974，0.986 2，且软件测量值都在真实值的5%误差线范围以内，确定了本文重建的拟南芥模型系统的可靠性。