IBR技术与应用综述

庄 怡，汪剑春，胡新荣

（武汉纺织大学 计算机科学学院，湖北 武汉 430073）

IBR技术与应用综述

庄 怡，汪剑春，胡新荣*

（武汉纺织大学 计算机科学学院，湖北 武汉 430073）

IBR技术是一种全新的用于产生真实感图像的技术，主要应用于虚拟实景空间建立，虚拟实景空间漫游和虚拟对象展示。与传统的技术相比，IBR技术的优势主要在于图像的真实性，实时性和与用户的交互性。本文主要介绍了几种常用的IBR技术，以及IBR技术的主流应用，并进行一定的分析比较，总结了IBR技术发展的基础和关键问题。

IBR技术；全景图技术；视图差值；全光模型；光流场

IBR技术，作为现代图像处理的一种新型技术，从提出到发展是一个迅速的过程。从最开始的地形绘测技术，一直到现在，空间漫游，三维建模等应用领域都或多或少的添加了IBR技术。该技术现在已经成为平面图像，三维图像技术发展的一个必不可少的因素。IBR技术可以根据是否需要几何信息大致分为两种方法[1]。一种方法是：根据已有的几何信息建立一个粗略的三维模型的场景。另外一种方法则是不需要任何几何场景，但是需要大量的图像数据。

IBR技术主要应用于虚拟实景空间建立，虚拟实景空间漫游和虚拟对象展示。其优势在于计算的绘制量是与像素成正比，而不是与几何模型的定点数相关。这样，对复杂场景很有效；在绘制复杂场景的同时，也提高了图像质量。同时，该技术可有效平衡场景真实度和交互实时性之间的矛盾。但是，这种方法也存在一定问题。对于某些环境而言，不仅要刻画出逼真的复杂环境，同样得考虑光影效果和视觉角度。在一定的数据量的前提下，如何优化场景的光影效果和优化视角等成为IBR技术的关键问题。

针对这些问题，本文对基于IBR技术的虚拟现实技术做了一些初步的探讨。通过对各种IBR技术优势和劣势的分析，提出目前IBR技术的不足，以及该技术发展的一些关键问题。并给出一些技术性意见，从而缓和实时性和真实性的矛盾，提高IBR技术的应用效率。

1 IBR技术

由于建模技术存在的问题被人们不断提出和改进，例如不同视角之间的图像变形问题，复杂场景的逼真效果等。人们开始引进新的方法来拍摄，重绘图像，以达到逼真的视觉效果以及加快图像重绘的时间。

下面主要介绍了几种目前常用的IBR技术。

1.1 全景图技术

能放映全局场景的图像被称为全景图像[2]。全景图技术源于80年代提出的环境映照技术，环境映照以景物中心为固定视点，观察整个场景，并将周围场景的图像记录在以该点为中心的环境映照球面或立方体表面上，实际上以全景图像的方式提供了其中心视点出的场景描述。

图1 拍摄场景

图2 柱面全景图映射

该算法首先绕一固定点旋转拍摄场景，如图1所示，得到具有部分重叠区域的图像序列，将这个图像序列无缝的拼接成一幅更大的画面，投影到所选择的简单形体的表面，如图2所示。具有同一视点，但视线方向不同的两幅部分重叠画面间的投影变化函数可简单的表示成一个3*3矩阵。在计算机视觉中，有多种优化迭代方法来决定该矩阵；将拼接后的整幅图像变形投影到一个简单形体的表面上，即构成一幅全景图像。对全景图像重采样就可得到新的画面[3]。常用的形体一般有立方体，球，圆柱等。

然而，上述算法仍然存在很大的局限性，它可以适用于以摄像机为中心，旋转拍摄全景图，从而产生中间画面。但不适用于摄像机位置移动的情形。

1.2 视图插值法

当视点连续移动时，相邻视点所看到的图像大部分是重叠的，只是在位置，形状上稍有不同，于是便产生通过相邻图像之间的插值来生成中间视点的新图像。视图插值法[4]根据从给定互相之间密集光溜的两幅输入图像来重建任意视点的图像。它能在相邻采样点图像之间建立光滑自然的过度，从而真实再现了各相邻采样点间场景透视变化的变化。

图3 原始图像

图4 视图插值结果图

上图中[5]，图3是通过相机拍摄的同一对象不同角度的两幅图像。对于相互之间已经建立了对应关系的两幅图像，存在一种光流的关系，即随着视点的移动，像素点在对应点之间存在的移动关系[6]。视图插值技术采用线性插值来模拟这种移动。图4则是根据原始图像图3，基于视角的不同通过视图插值算法所输出结果。为了加速新图像的生成速度考虑到像素点移动时，相邻像素常常是一起移动的，因此可以将相邻像素点组织成像素块，进行成块移动，这样可以大大提高绘制速度。

视图插值技术也存在一定的问题，首先真实图像之间的对应关系一般很难寻找，所以视图插值技术大多用于合成场景。其次，当视点不平行于视平面时，视图插值的结果会和真实的结果有所偏差。

1.3 全光模型

全光建模系统的大致实现流程如下：首先在选定的离散视点处进行图像采样，使用迭代技术和优化方法计算出原始图像到圆柱映射的投影变换矩阵，将原始图像拼接成柱面的环境映射；然后选取不同柱面图像上的对应点，利用匹配算法，确定圆柱的极线约束，最后利用已知的柱面全景参考图和各圆柱之间的几何约束，将参考图像投影到任意的圆柱或者平面图像中去[6]。全光建模系统忽略了时间和波长参数，原始的七维全光线函数退化为五维。全光建模系统是采用柱面的全景图，其关键问题是如何从离散的采样恢复连接的五维全光线函数。

图5 全光建模中的全景拼图

图6 全光建模中的极线约束全景拼图

图5是通过全光建模的全景图拼接，图6在全光建模中加入了极线约束[6]。

全光建模系统对经典的全光线函数在理论和时间方面做出了突破性的贡献，可以说它是第一个真正意义上的基于全光线函数的IBR系统。它的突出优点是用户可以在三维空间中自有的漫游，可以观察任意角度的场景，同时也具有一般IBR系统的真实性和实时性的特点。但全光建模系统基于5维全光线函数，数据量非常庞大，特别是一些复杂场景等。非常稠密的采样，导致数据海量，导致全光建模一直停留在实验室阶段。

1.4 光流场技术

光流场技术是在全景函数重建基础上发展起来的一种新的IBR技术。输入图像解释为一个四维函数的二维切片，它的关键技术是将所输入的二维图像作为四维公式-光场的一个切片存储起来，在浏览时从所获得的光线提取出来重新采样出一个切片[7]。这个函数完全刻画了在固定光照条件下通过这个静态场景无遮挡空间的光流。所获得图像可能是由来自所输入的不同的图像的光线组成，所以它可能与实际所获得图像中的实际一幅都不相似。

图7 光场工作视图

光场中的光线是由光线所在直线与两个平面相交点在各自面上的坐标来表示的。如图7中光场中的光线由光线与两个平面相交的坐标(u, v)，(t, s)来表示。这样可以方便的计算得到各幅图像上个像素u，v，s，t的坐标,通过这些值计算得到新视图中各像素的颜色值。

光场技术需要大量的图像素材，在真实生活中，大量的图像是很难得到的。即使是对于较小的对象也需要较大的数据存储容量，而且在所存放的大量数据中，存在着大量的冗余信息，还需要对其进行数据压缩。

1.5 混合式IBR技术

混合式IBR技术是指同时采用几何及图像作为基本元素来绘制画面的技术。该技术根据一定的标准，将部分场景简化为映射到简单几何表面的纹理图像。当简化引起的误差小于给定阈值时，混合式IBR技术直接利用纹理图像取代原场景几何来绘制画面，由于简单几何面置于被简化景物的中心，而简化误差被严格的控制在给定的阈值内，因而这种绘制技术仍保持正确的前后排序，所生成的图形质量亦非常高[8]。

混合式IBR技术最显著的应用是采用环境映射来表示远距离景物，而采用传统的几何绘制模式表示近距离景物。但由于对视点的不同把握，对整个场景均取同一的映射，使得所生成的图像存在着较大的误差。

1.6 其他IBR技术

除了上述的几种基本的典型的IBR技术，还有视图变形技术；基于3D重构的IBR技术；基于分层深度图像技术等。同样在拍摄的基础上，也可以优化了IBR技术。

2 IBR技术应用

IBR技术，主要应用于真实场景的描述。同样，在虚拟实景空间建立，虚拟实景空间漫游，虚拟对象展示方面发挥了不可缺少的作用。

Chun-Fa Chang 介绍了一种基于IBR技术的移动设备上的3D图像显示技术[9]。基于IBR技术的方法非常适合移动设备，其基于图像的渲染时间取决于屏幕分辨率，而不依赖输入模式的复杂性。

在视频技术中，利用IBR技术将现有的2D视频材料转换为三维显示输出。Sebastian Knorr 提出了一个基于单筒视频序列，现实立体视图展示的新方法[10]。

同样，IBR技术在空间漫游系统中也被非常普遍的使用。该技术使三维场景的建立变得容易,使复杂的虚拟现实系统能在普通硬件平台上推广应用。钱芬[11]其论文中，基于IBR技术实现了一个数字化校园系统。

除此之外，还有IBR技术在天空[12]地理显示，三维游戏场景展示等方面的应用。目前IBR技术已成为当前计算机图形学研究中的一个热点，尤其是在虚拟环境的构造上有着很好的前景。

3 结论

IBR技术的最终目标是赶上虚拟现实等图形学应用对真实感的高要求，通过计算机平台就能对复杂景物进行实时真实感绘制的方法。同时，由于其技术发展本身的一些限制，让其的应用前景也受到限制。

根据IBR技术的基本特性，如下几个关键问题影响并制约了IBR技术的发展。

（1）数据量与实时性之间的冲突：由于IBR技术的逼真效果，则它所需的数据量是非常巨大的，其大量数据传输速度和重绘的速度影响了IBR技术的实时性，同时也产生了大量的冗余；

（2）光线技术的处理，必须解决困难的特征比配问题；

（3）IBR技术的渲染技术，怎样能根据不同的IBR技术来提高其绘制能力，增加输出图像的逼真度；

（4）IBR技术不必局限于单独的算法优化，可以在特定的场景中，针对不同对象的展示，对IBR技术进行融合。

本论文介绍了IBR技术的几种典型的方法，同时基于各种方法的特点，简要描述了几种常用的IBR技术的应用。最后，针对IBR技术发展的关键问题上提出几点观点。使得IBR技术能够快速发展，扩大其应用领域。

[1] Hynek BAKSTEIN, Tomas PAJDLA, Omnidirectional Image-based Rendering’[J]. Computer Vision Winter Workshop, 2006(2): 6-8.

[2] Green N. Environment Mapping and Other Application of World Projections [M]. Computer Graphics and Application, 1986.

[3] 郑新,基于图像的快速绘制技术的研究[D].北京：中国科学软件研究所，2001.

[4] Chen S, William S L. View Interpolation for Image Synthesis Computer Graphics. (GIGGRA PH’93)[C],1993.

[5] Chen S.E. and Williams.L, View interpolation for image synthesis [J].Computer Graphics(SIGGRAPH’93), 1993(8): 279-188.

[6] 钟云德,IBR中的插值与对应点问题研究[M]. 北京：中国科学院自动化研究所, 2002.

[7] 吴跃冰. 基于图形和图像的虚拟场景绘制技术研究[D]. 大连：大连理工大学,2005.

[8] 阮宗才. 基于图像的快速绘制技术研究[M]. 安徽：安徽大学,2002.

[9] Chun-Fa CHANG and Shyh-haur GER, Enhancing 3D Graphics on Mobile Devices by Image-based Rendering: LNCS[C]. 1105-1111, 2002.

[10] Sebastian KNORR, Thomas SIKORA, An Image-based Rendering Approach For Realistic Stereo View Synthesis of TV Broadcast Based On Structure From Motion: IEEE International Conference on Image Processing [C]. 2007.

[11] 钱芬，虚拟现实技术在数字化校园中的应用研究[M].成都：电子科技大学,2008.

[12] Mehlika Inanici, Applications Of Image Based Rendering In Lighting Simulation: Development And Evaluation Of Image Based Sky Models[J]. Building Simulation, 2009(7): 27-30.

[13] 邹琼兵，基于图像的虚拟场景漫游技术研究：国防科学技术大学[M].哈尔滨：国防科学技术大学.2004.

[14] H.-Y.Shum and S.B.Kang, A review of image based rendering techniques [J]. In IEEE/SPIE Visual Communications and Image Processing (CVIP), 2000(6): 2-13.

[15] T,Jebara, A. Azarbayejani and A. Pentland, 3D Structure from 2D Motion[J]. IEEE Signal Processing Magazine, 1999,16(3): 64-84.

[16] L. MacMillan, An Image based Approach to Three-dimensional Computer Graphics[M]. Carolina: University of North Carolina, 1997.

Survey on IBR Technology and Its Application

ZHUANG Yi, WANG Jian-chun, HU Xin-rong

(College of Computer Science, Wuhan Textile University, Wuhan Hubei 430073, China)

The IBR technology is a brand new technology utilized to produce realistic images, which is mainly used in the establishment of virtual space, virtual space tour as well as virtual objects display. Compared with traditional technologies, the advantage of IBR mainly lies in its authenticity of images, real-time property and the interaction of the users. The paper mainly introduces a number of commonly used IBR technologies and current application of IBR technology. Besides, it also makes an analytical comparison to summarize the basic and key issues of IBR technology.

IBR technology; panorama technology; view interpolation method; all-optical model; optical flow field

TP37

A

1009－5160(2010)03－0049－04

*通讯作者：胡新荣 (1973-)，女，副教授，研究方向：图像处理与虚拟现实.

湖北省重大项目（C2010036).