视觉注意机制下的三维重建技术的改进

李敏宁,张 巧,赵 劼

(1.渭南职业技术学院机电工程学院,陕西渭南 714000;2.西安电子科技大学计算机学院,陕西西安710071;3.陕西黄河集团有限公司,陕西西安 710000)

视觉注意机制下的三维重建技术的改进

李敏宁1,2,张 巧3,赵 劼2

(1.渭南职业技术学院机电工程学院,陕西渭南 714000;2.西安电子科技大学计算机学院,陕西西安710071;3.陕西黄河集团有限公司,陕西西安 710000)

在三维重建技术中,从特征提取方面入手,在特征提取的过程中加入了模拟的人类视觉注意机制,对显著性比较高的目标关注多一些,将显著性比较低的目标的关注度降低.将所提取的特征进行筛选,使得信息量有所减少,从而减少了计算机的计算负担,提高了重建效率.

三维重建;人类视觉;相关矩阵;注意机制;图像

客观世界在空间中是三维的,而目前所采用的图像采集装置所获取的图像是二维的,这对理解现实世界有一定的影响.实际上,二维图像是会包含一些某种意义上的三维信息,但是在使用这些二维信息进行应用处理时,需要运用三维重建技术把二维图像中的信息合理地提取出来,进行三维模型的重建,从而达到从二维图像认识客观世界的目的[1].三维重建是计算机视觉、人工智能、虚拟现实等领域的关键技术,它是从单幅加景物约束或从两幅及两幅以上的图像中恢复出空间点三维坐标的过程[2],被广泛应用在医疗、农业、交通、建筑等各个行业之中[3].

三维重建通常会耗费大量的系统资源[4].近年来关于三维重建的研究报道很多[5-8],人们提出了各种方案[4].Kumar等[5]利用透视明暗恢复性状(Perspective Shape From Shading,PSFS)算法对医学图片进行三维重建,发现利用PSFS算法重建的三维形状在细节上更逼真.Grossberg等提出了一种神经模型实现的纹理恢复形状(Shape From Texture,SFT)算法.Martin等提出了轮廓恢复形状法,该方法通过多个角度物体的轮廓图像得到物体的三维模型.这些方案给人们在解决类似的问题上提出了一种思路,但是在节省资源、减少计算机系统负担方面仍然差强人意.

笔者从特征提取方面入手,在特征提取的过程中加入了模拟的人类注意机制,对显著性比较高的目标关注多一些,将显著性比较低的目标的关注度降低.将所提取的特征进行筛选,进而使得信息量有所减少,从而减少了计算负担,提高了重建效率.

1 三维重建的实现

一般情况下,三维重建的第1个步骤是寻找两幅图像中的对应点[9].至今已有很多的二维图像配准算法.图像配准算法一般可分为基于图像灰度统计特性配准算法、基于图像特征配准算法和基于图像理解的配准算法[10-11].基于特征的图像配准算法的核心步骤为:特征提取、特征匹配、模型参数估计、图像变换和灰度插值.特征点定位的算法有:加速分割测试特征(Features from Accelerated Segment Test,FAST),尺度不变特征变换(Scale Invariant Feature Transform,SIFT),加速鲁棒特征(Speed-up Robust Features,SURF),最稳定极值区域(Maximally Stable Extremal Regions,MSER),Harris角点检测算法(Harris detector algorithm)等.特征点描述的算法有SURF和SIFT等.寻找对应点、特征点定位以及特征点描述这3个步骤的算法可以任意选择.

基于点的三维重建是最基本的,也是最简单的.一般的方法是,假定空间任一点P在两幅图像上的点p1和p2已经从两个图像中分别检测出来,也就是说p1和p2为空间同一点P的匹配点,则有

其中,(u1,v1,1)与(u2,v2,1)分别是p1和p2在两幅图像中的齐次坐标,(X,Y,Z,1)为P点在世界坐标系下的齐次坐标(k=1,2;i=1,2,3;j=1,2,3,4)分别是(k=1,2)的第i行第j列元素.在上式中消去Z1或者Z2,得到关于X,Y,Z的4个线性方程,即

由解析几何可以得到,三维空间的平面方程为线性方程,两个平面方程的联立为空间直线的方程,4个方程必定有解,而且解是惟一的.该解就是要求的空间坐标.

可以看出,传统的三维重建的步骤主要有图像获取、摄像机标定、特征提取和立体匹配.所获取的图像一般在特征提取的步骤中会提取大量的特征点,这其中会包含大量的误匹配点,而这些误匹配点在后面的立体匹配步骤上会耗费大量的计算时间.

2 视觉注意机制的实现

神经生理学与解剖学的研究结果表明,视觉信息在大脑中是按照一定的通路进行传递的,视网膜接收到光学信息,经由神经节细胞和侧膝状体,最终到达主观皮层区.在神经节细胞和侧膝状体中[12],每个细胞对亮度和颜色信息的感受野在空间分布上呈同心圆颉颃形式,即在感受野中心与外围区域刺激对细胞响应的影响正好相反,这种感受野有利于对比度信息的抽取.主视皮层区域的皮层细胞一方面具有与侧膝状体细胞类似的同心圆颉颃形式的感受野,另一方面还存在对边缘、朝向等刺激敏感的感受野[13].

依据刺激的来源不同,把视觉注意可分为不同的两种类型:一种是基于初级视觉的,由数据驱动自底向上的视觉注意;另外一种是基于高层视觉的,与任务和知识等相关的自顶向下的视觉注意[14].自底向上的数据驱动的注意模型,它的基本思想是,把各种底层视觉特征,如颜色、亮度、方向、纹理、运动等从图像中提取出,形成各个显著图;然后把显著图按照一定的方式进行组合,得到最终需要的兴趣图.自顶向下的任务驱动模型是由任务驱动的,以不同的任务需求对感兴趣的目标有意识地进行逐一处理.

文献[15]提出以调节心理阈值函数的形式来调节控制视觉感知的视觉注意模型,该注意机制模型是以特征整合理论为基础,通过仿生物的视觉系统的神经机制来实现的,并通过预注意阶段将亮度、朝向和颜色等初级视觉特征进行快速、自动的并行加工,进而形成多个显著图,来给图像的每个位置的显著性提供度量;显著图模型通过对初级特征的提取,将多种特征、多种尺度的视觉空间运用中央周边算子,得到各个特征的显著性图,从而合成一幅总显著图,如图1所示.

图1 视觉模型的原图与通过视觉感知模型产生的总显著图比较

3 三维重建算法改进及实验验证

传统的三维重建存在的问题是,在图像中提取的大量特征点,会给立体匹配过程带来庞大的计算量,包括误匹配点所耗费的计算量与时间.而在上节中,提到了人类的注意机制,该机制具有选择性.将人类特有的选择性注意机制加入到传统的三维重建的步骤中,注意机制所具有的选择性会使得所提取的特征点比较少,会将大量的误匹配点剔除掉.这样计算量就会大大减少,所耗费的时间也会大大缩减.

文中改进后加入了人类的注意机制的三维重建过程的新算法的步骤如下:

(1)对需要重建的物体在不同的角度拍摄不同的照片.

(2)利用人类视觉的选择性注意机制对两幅图像进行处理:

(3)用SUASAN算法分别对两幅处理过的图像进行检测,并提取特征点,形成初始的匹配点集.

(4)迭代地使用RANSAC算法,得出更加精确的匹配点集.

(5)利用三角法计算出匹配点的空间坐标.

通常静态图像中所包含的信息I(image)分为显著信息H(innovation)与背景信息H(redundancy)(也就是冗余信息)两类,如果用H(i)表示显著信息,H(r)表示背景信息,未加入注意机制的三维图像重建时间复杂度可以表示为T(n)=O(n H(i))+O(n H(r)).

加入注意机制后,由于通过仿生物的视觉系统的神经机制,利用大脑可以有效去除冗余的特性,预先去掉了冗余信息,所以重建过程的时间复杂度可以表示为T(n)=O(n H(i)).

显然,从时间复杂度上,冗余信息重建的时间复杂度本身就远远大于显著信息重建的时间复杂度,所以,加入了注意机制会大大缩短图像重建的时间.

为了更直观地说明,将改进算法的重建效果与未改进的传统的重建效果进行比较,得到的效果图如图2～4所示.由于原始图像的信息比较丰富,所以重建的三维效果也比较好.

图2 三维重建的原始图像

图3 两幅图像的显著图

将具有代表性的3次实验的结果列于表1.可以看出,重建时间由原来的124 812 ms缩短到了3 610 ms.

4 结束语

试验的硬件环境:Intel®CoreTM2 Duo CPU T6570@2.10 GHz; 2.09 GHz,2.00 GB内存.

软件环境:Windows7操作系统下使用Visual C++6.0平台.

由于人类注意机制的选择性,将图像的总显著图进行三维重建,重建时间从20 203 ms缩短到11 203 ms.进行三维重建时,在特征点提取的过程中,通过人类视觉的注意选择机制,该机制所特有的选择性会将那些显著性比较差的特征点过滤掉,把留下来的显著性比较好的特征点进行立体匹配,这样计算速率就大大提高了,所以三维重建的效率也就大大提高了.

由于计算机模拟的人类注意机制有一定的局限性,所进行的特征提取也可能存在偏差,效果也有些偏差,但为三维重建提高效率提出了新的思路.

图4 三维重建的效果对比图

表1 三维重建加入注意机制的对比表

[1]康皓,王明倩,王莹莹,等.图像三维重建技术[J].企业技术开发,2009,28(6):42-43.

Kang Hao,Wang Mingqian,Wang Yingying,et al.3D Reconstruction Technique of Image[J].Development of Enterprise Technology,2009,28(6):42-43.

[2]高宏伟,于洋,刘晓阳,等.双目立体视觉三维重建实验平台研究[J].计算机工程与应用,2009,45(33):149-152.

Gao Hongwei,Yu Yang,Liu Xiaoyang,et al.The Research of the Binocular Stereo Vision 3D Reconstruction Experiment Platform[J].Computer Engineering and Applications,2009,45(33):149-152.

[3]朱庆生,罗大江,葛亮,等.基于多幅图像的三维重建[J].计算机工程与设计,2010,31(10):2351-2357.

Zhu Qingsheng,Luo Dajiang,Ge Liang,et al.The 3D Reconstruction Based on Multiple Images[J].Computer Engineering and Design,2010,31(10):2351-2357.

[4]Hajizadeh A,Farhadpour Z.An Algorithm for 3D Pore Space Reconstruction from a 2D Image Using Sequential Simulation and Gradual Deformation with the Probability Perturbation Sampler[J].Transport in Porous Media,2012,94 (3):859-881.

[5]Kumar T S,Vijai A.3D Reconstruction of Face from 2D CT Scan Images[C]//International Conference on Communication Technology and System Design.Oxford:Elceiver Ltd,2012:970-977.

[6]Ciechomski P D,Constantinescu M,Garcia J,et al.Development and Implementation of a Web-Enabled 3D Consultation Tool for Breast Augmentation Surgery Based on 3D-Image Reconstruction of 2D Pictures[J].Journal of Medical Internet Research,2012,14(1):21.

[7]魏立梅,张永瑞,谢维信.图像处理中边缘漏检的自动补偿[J].西安电子科技大学学报,1997,24(4):563-566. Wei Limei,Zhang Yongrui,Xie Weixin.Automatic Compensation Missing Edge Detection in Image Processing[J]. Journal of Xidian University,1997,24(4):563-566.

[8]杨钉钉,王晓蕊,杨琛,等.三维集成成像系统中物体三维信息的重建方法[J].西安电子科技大学学报,2012,39(5): 102-106.

Yang Dingding,Wang Xiaorui,Yang Chen,et al.Reconstruction of 3D Information of the Object in Three-dimensional Integrated Imaging System[J].Journal of Xidian University,2012,39(5):102-106.

[9]王俊,朱利.基于图像匹配-点云融合的建筑物立面三维重建[J].计算机学报,2012,35(10):2072-2079.

Wang Jun,Zhu Li.The 3D Reconstruction of Building Facade Based on the Image Matching-the Point Cloud Fusion[J]. Chinese Journal of Computers,2012,35(10):2072-2079.

[10]Pilu M.A Direct Method for Stereo Correspondence Based on Singular Value Decomposition[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Los Alamitos:IEEE,1997:261-266.

[11]洪明坚,吕建斌,杨丹,等.一种新的基于互信息的图像配准方法[J].重庆大学学报,2009,32(6):697-700.

Hong Mingjian,LüJianbin,Yang Dan,et al.A New Method for Image Registration Based on Mutual Information[J]. Journal of Chongqing University,2009,32(6):697-700.

[12]吴月娥,边后秦.尺度与特征引导视觉选择性注意机制模型[J].现代电子技术,2009,32(22):84-87.

Wu Yuee,Bian Houqin.Scale and Features Guide the Attention Mechanism Model of the Visual Selectivity[J].Modern Electronic Technology,2009,32(22):84-87.

[13]Salah A A,Alpaydin E,Akarun L.A Selective Attention-based Method for Visual Pattern Recognition with Application to Handwritten Digit Reeognition and Face Reeognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(3):420-425.

[14]朱巨莲,霍宏,方涛.基于自顶向下视觉注意的摇杆影像目标检测[J].计算机工程,2011,37(20):172-174.

Zhu Julian,Huo Hong,Fang Tao.The Rocker Image Target Detection Based on Top-Down Visual Attention[J]. Computer Engineering,2011,37(20):172-174.

[15]姜峰,郭美思,刘绍辉,等.基于感知视觉重要性的立体图像质量评价[J].智能系统学报,2012,37(5):414-422.

Jiang Feng,Guo Meisi,Liu Shaohui,et al.The Stereo Image Quality Assessment Based on the Importance of the Visual Perception[J].Sinica of Intelligent System,2012,37(5):414-422.

(编辑:齐淑娟)

简 讯

日前,西安电子科技大学电子装备结构设计教育部重点实验室与中国电子科技集团公司第十四研究所天线微波与微电路部合作成立了电子装备结构技术联合创新研究中心.中心将以雷达、导航、通信等领域中广泛应用的电子装备中的机械结构为对象,从学科交叉角度,深入开展电磁、结构、热及控制等多学科交叉融合的研究.其研究方向主要包括雷达/天线结构、电子装备防护、新材料应用、微系统,以及新技术等5个方面.

(摘自《西电科大报》2014.7.5)

Improvement on three-dimensional reconstruction of the attention mechanism

LI Minning1,2,ZHANG Qiao3,ZHAO Jie2
(1.School of Mechatronics Engineering,Weinan Vocational&Technical College,Weinan 714000, China;2.School of Computer Science and Technology,Xidian Univ.,Xi’an 710071,China;3.Shaanxi HUANGHE Group Co.,LTD.,Xi’an 710000,China)

In 3D reconstruction,from the aspects of feature extraction,in the feature extraction process with human visual attention mechanism simulation,the higher significant target is given more attention. The extracted features are selected,and the information quantity is reduced.The purpose is to reduce the computational burden of the computer,and improve the reconstruction efficiency.

3D reconstruction;human eye;correlation matrix;selective attention;images

TP301.4

A

1001-2400(2014)05-0192-05

2013-07-25< class="emphasis_bold">网络出版时间:

时间:2014-01-12

国家自然科学基金资助项目(61172147)

李敏宁(1975-),女,讲师,西安电子科技大学硕士研究生,E-mail:lmnmxj@163.com.

http://www.cnki.net/kcms/doi/10.3969/j.issn.1001-2400.2014.05.032.html

10.3969/j.issn.1001-2400.2014.05.032