单目多视角图像的美国白蛾三维模型重建系统与试验*

舒卓，陈立平，陈梅香，张瑞瑞，郭新宇，温维亮

(1. 西北农林科技大学机械与电子工程学院,陕西杨凌,712100;2. 国家农业智能装备工程技术研究中心,北京市,100097;3. 国家农业信息化工程技术研究中心/数字植物北京市重点实验室,北京市,100097)

0 引言

美国白蛾Hyphantriacunea(Drury)危害日益严重,是举世瞩目的世界性害虫,防治工作艰巨。美国白蛾发生信息的获取是该虫发生预警和精准防治的重要前提。基于机器视觉获取害虫发生信息是当前的研究热点,单一基于二维图像的害虫识别算法当遇到多种类、多姿态的害虫时,由于三维虫体进行二维图像获取时造成信息缺失,其识别算法的普适性受到影响,导致害虫自动识别准确率不高[1-4]。美国白蛾姿态多样,自动识别难度大,因此,开展美国白蛾的三维重建研究,构建美国白蛾的数字三维模型,为美国白蛾识别研究提供重要基础数据,对美国白蛾的准确识别、及时防控具有重大意义[5]。

在昆虫研究上,三维重建技术主要应用于昆虫局部器官特征的三维形态重建,实现三维形态模拟,以用于分析其三维形态结构特点[6-7],而昆虫全局形态三维重建处于起步阶段。昆虫局部器官主要采取激光扫描共聚焦显微镜(Confocal laser scanning microscope,CLSM)技术、核磁共振(Magnetic resonance imaging,MRI)技术、micro-CT、显微切片与图像技术相结合等进行三维重建[8-10]。Chitsaz等[11]研究了基于尼康相机的蜻蜓翅膀三维重建方法,公开数据集有助于对蜻蜓的空气动力学和结构进行航空分析,研究功能结构的进化,以及昆虫生态学的研究。在昆虫全局形态三维重建研究方面,Nguyen等[12]研究了基于单反相机、双轴转台以及三维重建软件构建昆虫真彩色3D模型的方法,主要针对鞘翅目虫体进行三维重建,具有一定的复杂度,对鳞翅目蛾类害虫的适用性较低。Lau[13]将一对立体图像进行处理,实现了鞘翅目害虫的三维重建。Ströbel等[14]基于DISC3D开展了昆虫数字化研究,获取的图像可用于生成颜色纹理化3D模型,可为分类学、系统发育等基于特质的研究开辟新的机会。胡玉婷等[15]基于Flash软件设计了一套昆虫三维标本制作系统。基于CLSM、MRI、micro-CT等仪器的昆虫三维重建存在设备成本高、数据量大、数据处理耗时长、三维重建效率低等问题。基于机器视觉的昆虫三维重建具有设备简单、成本低等特点,与立体视觉系统相比较,单目多视觉系统具有设备小型化、图像获取效率高、便携性等特点,单目多视觉三维重建系统在昆虫三维重建方面具有较强的优势。

本文基于微距相机与单片机控制单元研制多视角昆虫高清图像样本采集系统,实现美国白蛾虫体高质量序列图像自动化获取。通过运动结构恢复(Structure from motion,SFM)算法和多视角立体视觉(Multiple view stereo,MVS)算法进行三维模型重建,实现基于单目视觉的美国白蛾虫体三维模型重建,为病虫害精准防控识别提供支撑。

1 昆虫图像采集系统设计

本文研制了一种昆虫多视角图像采集系统,主要包括计算机、单片机、步进电机及其控制器、微距相机、光源、图像采集台等重要部件,如图1所示,其中图像采集台包括底座、旋转轴、滑轨、可更换背景板及可调整位置的相机支架等。

图1 昆虫多视角图像采集系统

微距相机由工业相机加装微距镜头组成,相机选用MER-2000-5GC-P工业相机,相机配备焦距为75 mm的GX-7828-10M的微距镜头,微距镜头参数见表1。

表1 相机与镜头技术参数Tab. 1 Parameters of camera and lens

昆虫图像采集光源选择科视RL100-75环形白色无影光源,步进电机及其控制器分别采用42BYG34-401A型步进电机、TB6560型细分驱动器,步进电机装在底座上,主轴与转轴刚性连接。步进电机上安装带有针孔的旋转轴,虫体样本用昆虫针固定于旋转轴上,固定在旋转轴上的刻度指针以及底座上相应位置的刻度盘用来显示图像采集时昆虫标本所处的角度位置,便于查询序列图像中每张图像所处的旋转角。该采集系统工作原理如图2所示,通过单片机(意法半导体公司STM32F103RET6)控制步进电机的转动角度及微距相机的快门开关,完成图像采集与存储。基于上述系统,相机可以上下、前后移动,以调整镜头与昆虫的相对位置,实现不同大小昆虫样本的清晰对焦。

图2 昆虫多视角图像采集系统工作原理

美国白蛾成虫用昆虫针沿虫体躯干方向竖直固定。本文制作的美国白蛾样本如图3(a)所示,每只美国白蛾采集32张图片。用1 cm的立方体放置于昆虫旁,作为昆虫大小的参照物。采集不同姿态的美国白蛾成虫10只,并获取翅膀肩角到顶角的距离、躯干长度形态参数,如图4所示。

(a) 美国白蛾标本

图4 美国白蛾形态特征

2 三维模型构建

基于昆虫图像采集系统所获取美国白蛾高质量图像序列,利用运动结构恢复算法(Structure from motion,SFM)进行三维模型的稀疏重建,利用多视角立体视觉算法(Multiple-view stereo,MVS)进行三维模型稠密重建,对三维点云模型进行网格化、纹理映射、纹理贴图,实现美国白蛾虫体的三维重建。最后,基于美国白蛾形态学参数对重建的三维模型进行重建精度评估。

基于美国白蛾虫体高质量图像序列样本集,实现美国白蛾虫体三维模型的SFM[6]稀疏重建,SFM算法流程如图5所示。

图5 SFM算法流程图

首先利用SIFT(Scale-invariant feature transform,SIFT)算法对图像样本集中的每幅美国白蛾图像进行特征点的提取。利用KNN(K-nearest neighbors,KNN)算法[16]对图像样本集中两张美国白蛾图像进行特征点匹配,将匹配对最多的两幅图像作为美国白蛾三维重建的初始图像对;利用随机抽样一致性[17]算法剔除美国白蛾图像错误匹配,并计算两幅美国白蛾图像的基础矩阵、相机参数和本质矩阵。再对本质矩阵进行分解,得出两个相机之间的旋转矩阵和平移向量,还有每一对匹配点的坐标,通过这些已知信息还原匹配点在空间当中的坐标。

设x1和x2分别为两幅图像中特征点的归一化坐标,其关系如式(1)所示[18]。

s2x2=s1Rx1+t

(1)

式中:R——旋转矩阵;

t——平移向量;

s1、s2——两个特征点的深度。

(2)

式(2)左侧为0,右侧可以看成s1的一个方程,可以根据它直接求得s1,接着再求出s2,根据这两图像特征点的深度确定空间坐标。最后将三维点三角化并重映射到摄像机得到二维点,计算与最初二维点之间的距离,说明三角化误差,并利用光束平差法[19]优化相机参数信息和三维点云位置信息。

添加第三幅图像,计算第三幅图像与第二幅图像的匹配点,根据这些匹配点在第三幅图像中的像素坐标计算其投影矩阵,进而得到新的三维点云;将新得到的三维点云与之前的三维点云进行融合,并利用光束平差法进行优化;添加新图像,重复上述步骤,循环迭代;最后利用光束平差法进行优化调整,实现美国白蛾虫体三维模型稀疏重建。利用聚簇分类技术(Clustering views for multi-view stereo,CMVS)[20]对图像进行聚簇分类以减少密集匹配的工作量如图6所示;利用面片重构技术(Patch-based multi-view stereo,PMVS)[21]对分类所提取的图像聚簇进行面片重构操作从而得到具有颜色信息的稠密点云模型。

图6 聚簇分类算法流程

稠密重建后的美国白蛾点云模型可能会存在部分区域细节缺失或重建失败,所以需要重新添加这个区域的照片。本文的多视角昆虫图像采集系统使得重新添加照片变得更加简单、快速,添加照片的过程:根据错误相机的编号或者需要补充点云信息区域周围的相机编号,计算需要添加图像中标本的位置在采集装置中对应的刻度盘角度,然后控制标本准确、快速地旋转至该角度,通过滑轨调整相机与标本的拍摄相对位置,采集美国白蛾图像并将新图像添加到重建图像集中进行匹配并生成新的点云。根据匹配结果和重建效果,不断地返回添加照片,重复稀疏重建和稠密重建的步骤,直至新图像与重建图像集有良好的匹配效果、重建模型有更完整的点云信息。最后,对稠密点云模型进行泊松表面重建[22]实现网格化,删除冗余网格,创建UV纹理映射,进行纹理投影,得到美国白蛾虫体的三维模型。

3 结果与分析

采用SIFT算法进行特征点的提取,在对美国白蛾的处理中,共获得375个匹配对,匹配效果如图7(a)所示。图7(b)为使用RANSAC算法消除误匹配后的结果,稀疏重建结果如图8所示。经过孔洞修补和纹理贴图后,建立高清纹理的美国白蛾虫体三维模型如图9所示。

(a) 粗匹配结果

图8 美国白蛾稀疏重建结果

(a) 三维模型正面

为验证本文方法的可行性以及可靠程度,将美国白蛾虫体实际测量的形态参数数据作为参照值,将美国白蛾的单目多视角图像三维重建模型作为待评估模型。将待评估模型导入MeshLab软件,测量待评估模型的肩角到顶角的距离、躯干长度,作为待评估值,并用已知参照物进行美国白蛾肩角到顶角的距离、躯干长度的计算。分别计算待评估值与参照值的绝对误差、相对误差、标准误差、决定系数,以量化参照值和待评估值的吻合程度。

绝对误差(Absolute error,AE)和相对误差(Relative error,RE)计算公式如式(3)、式(4)所示。

AE=Pi-Oi

(3)

RE=|AE|/Oi×100%

(4)

式中:Pi——待评估值;

Oi——参照值。

均方根误差(Root mean square error,RMSE)是用来衡量待评估值同参照值之间的偏差,其计算公式如式(5)所示。

(5)

为了进一步检验参照值和待评估值的吻合程度,计算两组数据的决定系数R2表示一个随机变量与多个随机变量关系的数字特征,一般可反映出回归模式回归分析所得结果的可靠性。对应的表达式为

(6)

n——参照值或待评估值的比较次数。

理论上本文的美国白蛾虫体三维重建方法可推广于多种昆虫的三维重建,三维模型可以用于虫体的样本扩增、种类识别[23]等。本研究测量10只不同姿态的美国白蛾三维信息,与本文提出方法构建的三维信息进行对比分析,评价模型精度。总体上,实际测量的肩角到顶角距离的参照值与待评估值之间相对误差在0.16%～4.08%之间,平均相对误差为1.79%,相对误差小于5%,均方根误差RMSE为0.266 3 mm2,决定系数R2为0.957 9,见表2。说明基于多视角图像三维重建的待评价模型和基于实际测量的美国白蛾肩角到顶角差距较小。

表2 美国白蛾3D模型肩角到顶角的距离Tab. 2 Distance from the humeral angle to apical angle of H.cunea 3D model

美国白蛾三维模型躯干长度的参照值与待评估值之间的相对误差范围为0.38%～2.05%,平均相对误差为1.27%,相对误差小于5%,均方根误差RMSE为0.147 5 mm2,决定系数R2为0.954 7,见表3。说明基于单目多视角图像重建的美国白蛾三维模型躯干长度的参照值与待评估值之间的误差小。

表3 美国白蛾3D模型躯干长度Tab. 3 Torso length of H.cunea 3D model

基于多视角图像三维重建的美国白蛾待评价模型和基于实际测量的肩角到顶角的距离、躯干长度形态参数数据的RE均小于5%,RMSE均在合理范围内,R2均大于0.95。结果表明,待评估值与参照值的吻合程度比较大,本文所重建的三维模型精度的较高。

4 结论

精准的害虫三维构建为病虫害高精度识别提供数据基础,能为植保病虫害高质量防控提供支撑。当前基于CLSM、MRI、micro-CT等仪器的昆虫三维重建存在设备成本高、数据处理耗时长、三维重建效率低等问题。基于机器视觉的昆虫三维重建具有设备简单、成本低等特点。不同视角昆虫图像采集是三维重建的基础,三维模型精度评价是昆虫高精度三维重建的重要技术保障。本文构建了具有小型化、效率高、便携性特点的昆虫图像获取系统,利用SFM和MVS算法相结合实现美国白蛾虫体的三维重建。

1) 采用单目多视角昆虫图像样本采集系统,该系统具有昆虫样本精准旋转、自动触发拍照的功能,图像获取效率高,费用成本低,基于该图像获取系统建立了美国白蛾虫体序列图像样本集。

2) 利用SFM与MVS相结合的方法,实现了具有高清纹理特征的美国白蛾虫体三维模型重建。基于单目多视角图像构建的美国白蛾三维模型翅膀肩角到顶角的距离、虫体躯干长度的待评估值与参照值的相对误差小于5%,决定系数均大于0.95,两个模型之间的形态参数没有明显差异。本文所重建的美国白蛾虫体三维数字模型可在深度学习中进行害虫样本扩增,构建害虫识别数据集,还可用于3D-CNN进行害虫种类识别。

美国白蛾虫体小,点云修复难度大。因此,如何更高效地对小型昆虫进行高精度三维重建是以后将要研究的方向。在今后的研究工作中,拟在颜色、纹理的逼真程度上,对美国白蛾虫体三维模型进行客观、定量的重建效果评估,为植保病虫害防控识别提供支撑。