基于多视点同步成像的三维重建方法*

罗　枭　范　艳　曹太腾　邓哲煜

(武汉工程大学图像处理与智能控制研究室　武汉　430205)



基于多视点同步成像的三维重建方法*

罗枭范艳曹太腾邓哲煜

(武汉工程大学图像处理与智能控制研究室武汉430205)

摘要在工业产品质量检测过程中,如何精确地重建出产品的三维表面是一个关键性问题。为了解决这一问题,论文提出一种基于多目立体视觉同步成像的三维重建方法,设计了一套由八个工业相机构成的三维重建方法。相比单相机拍摄,该方法可以将多个相机的曝光时间控制在有效的范围,做到同步多视点拍摄目标,可以得到更加精确的相机参数。实验表明该文方法可以有效的重建三维物体。

关键词三维重建; 多视点; 特征点匹配

Three-Dimensional Reconstruction Based on Multi-View Synchronization imaging

LUO XiaoFAN YanCAO TaitengDENG Zheyu

(Laboratory of Image Processing and Intelligent Control, Wuhan Institute of Technology, Wuhan430205)

AbstractIn the process of industrial products quality inspection, how to accurately reconstruct the three-dimensional surface of the product is a critical problem. In order to solve this problem, a method based on multi-view stereo vision is proposed, a system of three-dimensional program is designed by eight industrial cameras. Compare to the single camera, this method controls the multiple cameras exposure time within a valid range and get more accurate camera parameters. The experiments show that the proposed method can effective reconstruct 3D object.

Key Words3D reconstruction, multi-view, feature point matching

Class NumberTP391.41

1引言

客观世界上物体都是三维的,即使细如发丝都可以测量出其长度,而现在图像获取其仅仅反映的是真实世界在二维空间的表达,随着如何在计算机中建立真实世界的模型的问题提出,三维重建这一学科随之建立起来,即在现有图像技术下如何适当、合理地反映客观世界的存在,这一技术被视觉测量,工程建筑,安全防护等行业所探讨及研究[1~2]。现有实践途径可分为两种方式,一个是通过一是通过成熟的三维软件如Maya、3DMax等;另外是通过图像建立实际场景的三维模型,这种方法也分为两种方法,即通过结构光的三维重建方法和根据主动视觉的三维重建方法[3]。

1) 基于结构光的三维重建

按结构光的产生方式,主要分为:光栅式结构光、线结构光、点结构光等[4]。因此基于结构光的重建方法可以分为基于点光源的重建方法,基于线阵光源的重建方法与基于结构光源的重建方法。基于线结构光的重建方法和基于点结构光的重建方法。其重要区别是基于编码的结构光获取是带特定图案的信息进行三维重建,而点结构与线结构光表示光源为点光源和线光源得到图像信息。上述三种方法在特定的场合都具有应用前景。光源的质量,稳定性影响了最后结果的准确性。

2) 基于视觉的三维重建

机器视觉是一门应用广泛的学科,许多学者对基于视觉的三维重建方法进行了深入的研究。如明暗度法、纹理法、立体视觉法是基于物体表面的光照信息或物体表面的纹理结构信息进行三维重建,对于规格较小或表面具有明显纹理的目标,效果较好。如利用序列图像之间的特征点检测进行三维重建的运动法,需要精确提取目标且运算量较大;利用数字图像的深度信息,对摄像机进行调节焦距进行三维重建的方法,操作繁杂且工作量大,难以实现自动重建;为了增加目标三维重建的精度,基于双目视觉的重建方法[5~7]是指在重建系统中增加一台摄像机,从而添加了重建过程的约束条件,能稳定的进行三维重建,同时增加了重建的计算量。

针对上述问题,我们设计了一套基于多目的立体视觉三维重建系统,以八个相机为例从不同的角度采图,采用Harris角点及高斯差分检测算法实现特征点提取和立体匹配,结合泊松表面重建方法对物体进行三维重建。研究结果表明,本文方法有着较好的稳定性和准确性。

2算法原理

2.1实验平台的设计

针对生产线动目标三维视觉检测的应用要求,我们建立了多视点成像和三维重建系统。该系统的相机数量可以根据生产线产品三维视觉检测的具体需要确定。每个相机在不同的视点位置和视角对准产品,各视点相机的位置基本保持不变。根据三维视觉检测和三维重建的基本要求,采用同步信号发生器准确控制多视点成像系统同步采集目标的多视点图像。我们基于平台VC++6.0编写了多视点图像采集软件,软件界面见图2,利用编制的采集软件,能完成目标多视点图像采集工作。主要功能有:连续采集、单幅采集、相机参数调节、相机使用数量控制等。可以方便地进行双目视点及双目以上视点的实验研究工作,为便于在实验室进行算法验证和实验研究,我们把目标置于旋转平台上,通过转动平台可以控制目标进行旋转,从而获取目标不同视角的图像信息。

多视点成像与三维重建系统中采用的工业相机型号为IEEE1394b FL2-20S4C-C(加拿大Point Grey公司),图像传感器为Sony CCD(1/1.8” 1624*1224),采用AZURE-0614M5M镜头和FWB-PCIE-02图像采集卡。设计过程中使用的系统平台为Windows xp,开发环境为VC++ 6.0。系统中使用的软件介绍如下:

1) 我们基于对话框架构建立了多视点图像采集界面,利用的软件开发工具包为CCD相机的FlyCapture2。在单相机的成像系统基础上,设计并实现了多个相机同步采集各视点图像的软件。

2) 相机参数的设置,在图像采集时,我们经常要设置相机的参数如图像分辨率(Resoulation)、帧率(FPS)、白平衡(White Balance)、快门时间(Shutter)、增益(Gain)等。虽然工业相机一般都有参数设置菜单,但我们在实际应用中不可能经常对相机的所有参数进行设置,因此,我们通过程序功能模块把常用的相机参数设置菜单封装在图像采集软件里面,实现了多视点图像采集与相机参数控制一体化的成像控制软件,方便我们对图像的质量进行实时调试。

2.2多视点图像采集

利用2.1节设计出的多视点图像采集软件可以控制不同数量的摄像机进行单幅采集、连续采集和保存图像。本文采用多视点模糊图像采集系统,该系统有如下功能:可针对单个或者多不同位置相机同步拍摄,同步时间控制的10ms误差范围内,并且针对各个图像进行优化,保证序列相机采集图像显示具有相同的灰度分布。如图1为本实验过程中采集主机采集到图像的现实界面。

图1　多视点图像同步采集平台

2.3多视点图像相机标定

摄像机标定是实现三维重建的重要步骤,一般通过数字摄像机作为图像传感器获取目标信息,通过光电转换和信号处理方式转换为计算机能够识别的二维图像,通过二维信息特征空间距离等之间的差别估算出三维空间相对应的位置关系,在计算机几何基础理论中,二维图像点和三维空间点之间的坐标转换关系由摄像机的内部参数和外部参数共同决定。本文采用张正友标定法计算出相机的坐标参数[8~9]

2.4特征点的提取

在本文中,采用两种特征检测滤波类型,即Harris角点检测及高斯差分检测对各视点去模糊后图像进行特征提取[10~11]。Harris算子是一种基于信号的点特征提取算子,计算所在位置的梯度检测角点。当像素所在位置沿任意方向的曲率都比较大时,则判定该像素点为角点。是先提取Harris角点,再利用高斯差分确定最终特征点,算法的实时性及有效性均可得到很好的保证。

2.5同名特征点的匹配与校正

为了确保统一的覆盖面,每一幅图像粗定β×β像素窗口网格,并经过上述两种检测方法得到相应的局部最大值返回每个像素窗口的角点。我们在去模糊后的多视点图像中找到物体表面同一点的投影(同名投影),同时根据建立的极小误差准则反复剔除一些位置误差较大(去模糊会引起)的特征点,校正各视点图像上的准确特征点。在每幅图像中找出相应的特征点以后,通过多幅图像将这些特征点匹配并得出一系列离散的长方形块,这些长方形块存储于覆盖每一幅图的窗口网格中。像点是物景上的点与相机光心连线的延长线与像平面的交点,但是,已知像点与相机光心边线的延长线并不能唯一确定这个物点。运用三角形法,将两两视点图像对应图中同一物点的位置信息恢复出该物景的深度信息,即通过两两像点与相机光心连线的延长线相关来确定该点的空间坐标。用Harris或者高斯差分角点检测可以得出一幅图像I的特征点f。同理,得出另外一些图像特征点f′的集合F。并进行特征点校正,确保误差最小。两两取图像对的特征点(f,f′),运用三角形法则可重建出空间点的三维坐标。

2.6三维表面重建

本文采用泊松表面重建方法[12],即将一系列带有方向的点应用泊松公式进行表面重建。与径向基函数法不同,所用的泊松方法允许对局部基函数划分层次结构,因此,这种方法能使问题的解缩减为一个良态的稀疏线性系统。我们描述了一个空间自适应的多尺度算法,其时间和空间的复杂度正比于重建模型的大小。前面去模糊后同名特征点的校正与匹配方法可得到模型表面的一系列有向点集,泊松重建时,先将模型表面采样的有向样点转换为模型指示函数梯度的样点。除了模型表面附近点的指示函数梯度等于模型表面的内法线外,其余指示函数的梯度在向量场中始终为零。使用隐函数框架的方法进行表面重建,计算指示函数x(点在模型内时定义x=1;点在模型外时定义x=0),在泊松重建中,隐函数的梯度被全部的空间点所约束,因此在远离样本点的地方被抑制为零。最后通过计算得到的指示函数提取对应的等值面,从而获得重建表面。

3实验结果及分析

为了验证本论文的多视点图像去模糊与三维重建方法的可行性和稳定性,我们对不同尺寸、颜色、材质等的目标采集了多视点图像并进行了一系列的三维重建实验,同时对多视点仿真模糊图像进行了去模糊实验和三维重建实验,并对实验结果进行了比较与分析。本文的算法在VC++6.0环境下编程实现,软件界面如图2所示。

图2　多视点仿真图像去模糊及三维重建软件界面

实验一:基于单个摄像机的多幅图像与基于八个摄像机的多视点图像的三维重建实验。

图3　香蕉的部分多视点图像与三维重建结果

依据前面介绍的三维重建方法,我们分别利用单个相机和八个相机采集24幅目标图像进行三维重建实验。图3(a)和图4(a)为不同目标的部分多视点图像,图3(b)、图3(c)、图3(d)和图3(e)、图3(f)、图3(g)为通过不同相机数量成像时,香蕉表面的三维重建结果,可以看到,基于多个相机的香蕉图像的重建结果比单个相机的香蕉图像重建结果信息保留更加完整和精确。图4(b)、图4(d)和图4(c)、图4(e)为不同相机数量成像时,纸盒表面的三维重建结果,可以看到,基于多个相机的图像与基于单个相机的图像的三维重建结果相比,三维表面字符信息更加清晰,同时轮廓信息保留更加完整。

图4　纸盒的部分多视点图像与三维重建结果

4结语

本文讨论了基于多目立体视觉的三维重建方法,将Harris角点及高斯差分检测算法运用到特征点提取和立体匹配中,结合了泊松表面重建方法设计了一套稳定可靠的系统,以八个镜头为例,通过多视点图像恢复出物体的三维表面,验证了本文算法的可行性,为后续基于机器视觉的三维非接触测量提供了可靠的三维数据,这种方法具有重要意义。

参 考 文 献

[1] 洪汉玉.现代图像图形处理与分析[M].武汉:中国地质大学出版社,2011:1-2.

HONG Hanyu. Advanced processing and analysis for image and grahics[M]. Wuhan: China University of Geosciences Press,2011.

[2] 张双腾,张太怡,连续断层图象计算机三维重建轮廓点匹配插补算法的研究[J].重庆大学学报,1994,17(2):1-5.

ZHANG Shuangten, ZHANG Taiyi. Study on Computer 3D-Reconstruction Algorithm of the Contour Points Matching Interpolation for Serial Cross Images[J]. Journal of Chongqing University,1994,17(2):1-5.

[3] 佟帅,徐晓刚,易成涛,等.基于视觉的三维重建技术综述[J].计算机应用研究,2011,28(7):2411-2417.

TONG Shuai, XU Xiaogang, YI Chengtao. Overview on vision-based 3D reconstruction[J]. Application Research of Computers,2011,28(7):2411-2417.

[4] 滕世明,王森,许志闻.基于结构光和序列图像的三维重建方法[J].吉林大学学报,2009,12(4):42-48.

TENG Shiming, WANG Sen, XU Zhiwen. Research of 3D Reconstruction Based on Structured Light and Sequence Images[J]. Journal of Jilin University,2009,12(4):42-48.

[5] 张文明,刘彬,李海滨.基于双目视觉的三维重建中特征点提取及匹配算法的研究[J].光学技术,2008,34(2):181-185.

ZHANG Wenming, LIU Bin, LI Haibin. Characteristic point extracts and the match algorithm based on the binocular vision in three dimensional reconstruction[J]. Optical Technique,2008,34(2):181-185.

[6] 王莉莉,刘嵘.基于图像的几何三维重建方法[J].系统仿真学报,2001,13(16):78-83.

WANG Lili, LIU Rong. Review of Image-based 3D Geometric Reconstruction[J]. Journal of System Simulation,2001,13(16):78-83.

[7] 李靖,王炜,张茂军.双目立体视觉和编码结构光相结合的三维重建方法[J].计算机应用,2012,32(S2):154-158.

LI Jing, WANG Wei, ZHANG Maojun. 3D reconstruction method combined by binocular stereoscopic vision and coded-structured light[J]. Journal of Computer Applications,2012,32(S2):154-158.

[8] 马颂德,张正友.计算机视觉——计算机理论与算法基础[M].北京:科学出版社,1998.

MA Songde, ZHANG zhengyou. Computer vision, computer theory and algorithms[M]. Beijing: Science Press,1998.

[9] Zhang Zhengyou. A flexible new technique for camera calibration[C]//IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,2(11):1330-1334.

[10] Harris. C, Stephens. M. A Combined Comer and Edge Detector[C]//Manchester: Proceedings of the 4th Alvey Vision Conference,1988:147-152.

[11] 高健,黄心汉,彭刚,等.基于Harris角点和高斯差分的特征点提取算法[J].模式识别与人工智能,2008,21(2):171-176.

GAO Jian, HUANG Xinhan, PENG Gang, et al. A Feature Detection Method Based on Harris Corner and Difference of Gaussian[J]. PR & AI,2008,21(2):171-176.

[12] Kazhdan. M, Bolitho. M, Hoppe. H. Poisson Surface Reconstruction[C]. 2006.

中图分类号TP391.41

DOI:10.3969/j.issn.1672-9722.2016.02.031

作者简介:罗枭,男,硕士研究生,研究方向:图像处理与目标识别。范艳,男,硕士研究生,研究方向:图像处理。曹太腾,男,硕士研究生,研究方向:图像处理。邓哲煜,男,硕士研究生,研究方向:模式识别与智能系统。

基金项目:国家自然科学基金面上项目(编号:61175013)资助。

*收稿日期:2015年8月9日,修回日期:2015年9月19日