基于三维重建技术的植物表型分析

史维杰 郝雅洁 赵明霞 吕致 胡欣宇 李富忠

摘 要：植物表型作为基因组在环境中的实际表现，是研究基因功能和植物育种的重要桥梁，而破坏性的测量对于持续性的研究来说是灾难性的。大量的同一物种植物的取样，只能在一定程度上保证实验条件一样，但是基因组某一性状的表现不仅受基因影响还受环境影响。所以对植物进行三维重建，非破坏性的获取植物表型是必要的。文中主要介绍了基于图像序列的三维重建流程及算法，在一定程度上还原了植物的三维模型，从实验的角度论证了使用三维重建进行植物表型分析的可行性。

关键词：三维重建;植物表型分析;基因组;植物育种;SIFT算法;图像序列

中图分类号：TP391.9文献标识码：A文章编号：2095-1302（2019）09-00-03

0 引 言

1997年Schork首次提出了表型组学（Phenomics）的概念[1]，特指作为基因组研究重要补充的复杂疾病性状研究。植物表型组学作为其中的一员，主要是理解植物基因功能及环境效应[2]。过去仅依赖肉眼观察和破坏性获得的植物特征和性状十分有限[3]，无法满足作物基因组功能研究和作物育种的实际需求。

目前，表型获取技术成为作物育种中比较薄弱的环节，制约着植物表型组学的发展。所以如何提高该技术的精度、通量，降低价格成本成为研究植物表型的重点。随着计算机技术的进步和硬件的不断优化，与难以持续获取植物信息的手动采集相比，使用计算机对植物进行三维重建，实现非破坏性采集，十分受科研人员的欢迎[4]。本文主要从重建流程及相关算法进行介绍。

1 重建流程及算法

当前实现三维重建主要为两类[5]：基于激光扫描的三维重建;基于图像序列的三维重建。

现实中的物体都是三维立体的，而人眼或者其他视觉设备获取到的图像都是二维的，但是人眼可以从二维图像中获取三维信息，而计算机视觉需要通过恢复现实环境的模型从而来认知世界[6]。

本文主要介绍基于图像序列的三维重建，其流程如图1所示。

首先，打印棋盘格[7]的照片，并将其粘贴在一面空白的墙上，使用手机对其拍摄获取标定图片;然后，对选择重建的物体进行拍摄，对得到的图片进行筛选，去除光照不足和模糊的照片，对重建的图像进行预处理，为特征检测与匹配做准备;接着，进行特征点检测与匹配，尽量获得多的特征点，去除误匹配[8];最后，通过标定图片进行相机标定，计算基础矩阵本质矩阵，进行三维重建[9]。

1.1 标定图片及重建图片的获取

本文使用普通手机拍摄就可以直接得到实验需要的RGB图片，在一定程度上降低了对设备的要求。对于标定图片来说，尽量保证不同角度同一水平线拍摄;而重建图片从两个不同角度正面拍摄[10]。

1.2 图像预处理

获取图片后需要对图片进行预处理才能使用。图像预处理主要目的是：抽出对象的特征作为图像识别的特征模式;适应图像处理的要求，消除图像的噪声[11]。

对图2进行处理，使用低通滤波进行模糊，使用高通滤波进行锐化[12]。处理后的效果如图3所示。

1.3 特征点检测与匹配

如何高效且准确地匹配来自两个不同视角图像中的同一个物体是许多计算机视觉应用中的第一步[13]。为了更好地进行特征匹配，需要在图像中选择具有代表性的区域，如角点。然而，角点并不能很好地满足需求，因此采用SIFT算法[14]。

图像的特征点由两部分构成：关键点（Key Point）和描述子（Descriptor）。关键点是具有图像位置信息的特征点，有些还具有方向、尺度信息;描述子通常是一个按照人为设计方式的向量，用来描述关键点周围像素的信息[15]。一般的描述子都是按照外观相似的特征应该有相似的描述子的原则设计的。因此，在匹配时，只要两个特征点的描述子在向量空间中距离相近，就可以视它们为相同的特征点[16]。

特征点的检测和匹配通常需要以下3个步骤。

（2）根据得到的关键点位置，计算特征点的描述子。从图像中提取特征的关键点信息，通常只包含它的位置信息，单独使用这些信息并不利于特征匹配。因此，需要更详细的信息来区分特征点，这就是特征描述子。此外，特征描述子可以消除因视角变化而导致的图像的尺度和方向的变化，获得更好的匹配[18]。

（3）根据特征点的描述子进行匹配。然而，仅使用SIFT算法存在大量的误匹配，为了消除由图像遮挡和图像背景而产生的无匹配关系的关键点，Lowe提出了比较最近邻距离与次近邻距离的SIFT匹配方式[4]。特征点检测与匹配如图4所示。

1.4 相机标定并计算基本矩阵和本质矩阵

相机标定的目的：主要是获取相机的内参和外参矩阵，与此同时也会得到每一幅标定图像的旋转和平移矩阵，内参和外参矩阵可以对重建图像进行矫正，得到矫正后的图片[19]。

相机拍照的过程其实就是从世界坐标系到像素坐标系的一个数学变换（不考虑畸变），如下：

通过标定图片进行相机标定（考虑畸变）并进行矫正[20]，效果如图5所示。

1.5 三维重建

通过得到的特征点以及相機的内参外参进行三维重建，效果如图6所示。

2 结 语

本文从实验的角度论证了使用计算机视觉技术进行三维重建得到植物模型，进行植物表型分析是可行的。只是目前的技术实现重建后，在精度上存在一定的问题，一些对于精度有硬性要求的分析还不能得到良好的结果，但是对于株高、叶面积这些耗费人工的破坏性测量还是有较好的效果。

注：本文通讯作者为李富忠。

参 考 文 献

[1] SCHORK N J. Genetics of complex disease： approaches，problems，and solutions [J]. American journal of respiratory and critical care medicine，1997，156：103-109.

[2]周济，TARDIEU F，PRIDMORE T，等.植物表型组学：发展、现状与挑战[J].南京农业大学学报，2018，41（4）：580-588.

[3]潘映红.论植物表型组和植物表型组学的概念与范畴[J].作物学报，2015，41（2）：175-186.

[4] LOWE D G. Distinctive image features from scale-invariant keypoints [J].International journal of compute vision，2004，60（2）： 91-110.

[5]戴宗贤.基于双目视觉的三维重建与测量技术研究[D].重庆：重庆大学，2014.

[6] ITAKURA K，HOSOI F. Automatic leaf segmentation for estimating leaf area and leaf inclination angle in 3D plant images [J]. Sensors，2018，18（10）：3576.

[7] XIONG X，YU L J，YANG W N，et al. A high-throughput stereo-imaging system for quantifying rape leaf traits during the seedling stage [J]. Plant methods，2017，13（1）：7.

[8]何谦.基于单目视觉的环境稀疏重建与稠密重建算法研究[D].杭州：浙江理工大学，2018.

[9]张洪鑫，王明珠，仇浩然，等.基于单目图像序列的铸件三维重建方法[J].中国机械工程，2018，29（23）：2799-2803.

[10]缪盾.基于改进的SIFT算法的图像三维重建研究[J].贵州大学学报（自然科学版），2018，35（5）：63-66.

[11]黄炯荣，鲁铁定.基于无人机序列图像的多视图几何三维重建研究[J].江西科学，2018，36（1）：145-149.

[12]郭继东.三维重建技术及其应用研究与实现[D].济南：山东大学，2005.

[13]梁超佳.机器视觉振动目标三维重建及模态识别方法研究[D].合肥：合肥工业大学，2016.

[14]冉冉.基于单目视觉的移动机器人目标识别及抓取系统研究[D].北京：北京交通大学，2010.

[15] STEVE H，ARKO L，JON O. The impact of the calibration method on the accuracy of point clouds derived using unmanned aerial vehicle multi-view stereopsis [J]. Remote sensing，2015，7（9）：11933-11953.

[16]金俊杰.非增加式的多视图几何三维重建[D].杭州：浙江工业大学，2015.

[17]高峰，魏少华，刘彩红.序列图像中的目标区域跟蹤算法的设计[J].计算机技术与发展，2011，21（8）：85-88.

[18]陈伟，索胜军，边信黔，等.无人水下潜器回收过程中光学引导模式的研究[J].机器人，2001（6）：541-544.

[19]李红俊，韩冀皖.数字图像处理技术及其应用[J].计算机自动测量与控制，2002（9）：620-622.

[20]贾涛，程强，韩曙东，等.一种火焰辐射图像探头的标定方法[J].热力发电，2002（5）：23-25.