基于深度信息虚拟视点生成

江雷

（四川大学计算机学院，成都 610065）

0 引言

三维电影是近年来兴起的一种能够增强观赏效果的新型传播媒体，它能给人更加真实的感觉与体验。多视点视频技术是三维电影的基础上，通过某种算法获得任意视点的图像，从而让我们可以全方位观察我们想要看到的细节，这种技术加强了人与机器之间的交互。

现有的虚拟视点生成技术可以大致分为两类，首先是基于模型的绘制技术（Model Based Rendering，MBR），其次是基于图像的绘制技术（Image Based Rendering，IBR）。我们知道基于模型的绘制技术需要对真实场景建立一个准确的三维模型，一旦模型建立成功之后，我们可以很快得到任意视点的图像。但是这种技术有一个很明显的缺点就是，需要很深的计算机图形学知识，并且要对现实场景建模不是一件容易的事情，计算量很大。因此我们有了基于图像的绘制技术，基于图像的绘制技术可以在参考了多个视点的图像之后，利用重投影，插值等技术直接生成虚拟视点处的图像。该方法的绘制速度很快，生成的虚拟图像很真实，因此基于图像的绘制技术应用更加广泛。本文研究的目的，学习与研究多视点视频技术的原理，提出一种有效的算法，帮助我们快速有效地生成虚拟视点处的图像。

1 相机成像原理

在计算机视觉领域，相机几何模型解决了实际三维空间坐标系到图像二维空间坐标系的映射。在相机模型中，小孔成像模型是一个最经典的理想模型，它可以帮助我们快速有效地理解成像过程。但在实际应用中还有很多缺点，所以现实中，常常使用的不是线性几何模型。摄像机成像可以看做是把三维空间的物体转换到二维空间去表示，我们知道降维的过程往往伴随着信息的丢失。那么如何把三维空间坐标系的物体转到二维空间表示呢，最常用的方法是使用透视投影。经过透视投影之后，信息肯定存在一定的丢失，如角度；但也有一些信息会原封不动的被继承，如原空间中的直线，经透视投影之后仍就是直线，不会变成曲线。

1.1 坐标系描述

在摄像机模型中一般存在着三种坐标系，世界坐标系、摄像机坐标系、图像坐标系。成像的过程实际上是把世界坐标系中表示的物体，投影到图像坐标系表示的过程。可以简单的用下图表示成像过程。

图1 相机成像原理示意图

可以用公式（1）表示其映射过程，期中f为焦距，R矩阵表示的试旋转变换的过程，而t矩阵表示的是平移的过程，第一个矩阵表示是透视映射的过程。其中（U,V,W）代表物体在世界坐标系下的坐标，而（x,y）代表物体在图像坐标系下的坐标。

1.2 针孔成像模型

小孔成像模型属于线性模型，如图1所示。三维空间的任意一点P在图像中的成像位置均可以用小孔成像模型近似表示，即任意三维空间点P在图像中的投影位置p’，为光心O与P点的连线OP与图像平面的交点。这种关系也被称为中心射影。通过观察上面的小孔成像模型，我们可以得到关系式如下：

（x,y）为p点的图像坐标；（U,V,W）为三维空间点P在摄像机坐标系下的坐标，f为XY平面与图像平面的距离，也就是我们常说的焦距，上面的关系我们仍然可以用一个矩阵表示，也就成像公式如下（3）所示：

2 基于深度信息的视点生成算法

基于深度信息的虚拟视点生成需要经历三个步骤，原始数据预处理、反向投影，以及重投影三个过程。可以利用左右视图的纹理图像以及深度图像还有相机内参等信息合成中间虚拟视点的图像。

2.1 数据预处理

本文所需的数据有原始图像，深度图像，以及每个相机的内参矩阵等。一般来说，其它数据我们都可以很容易得到，但是深度数据的获取却是一个难点问题。正常情况下，我们可以通过特有的深度相机获取深度数据，但是由于深度相机价格高昂，无法满足一般用户的需求。其次我们可以通过某些深度估计算法进行数学计算获得，这种方法不仅简便且易用，因此成为当前最流行的方法，而且是当前研究的热点之一。

不过用数学方法计算深度数据虽然简便，却存在一些问题，在图像的特定区域上会存在错误的值，这是由于深度估计过程中的局部特性导致的。当我们在实验中使用了这些错误的数据之后可能会在虚拟图像上产生各种视觉伪影。为了解决这个问题，我们想到了预处理深度数据。我们使用一个中值滤波器代替均值滤波器因为均值滤波的结果是产生一个新的像素值，产生的这个像素值在原始的深度图像上是不存在的，所以会降低绘制质量。

2.2 反向投影

前面我们说过相机成像原理，可以看做三维坐标向二维映射的过程。然而这时一个信息丢失的过程，我们成像的过程中会丢失一个维度。而所谓反向投影，则可以看做这个过程的逆过程。我们需要从二维的坐标加上图像的深度信息，反投影到三维空间，求出图像在三维空间下的实际坐标。对公式（3）我们可以记 R 为公式（4），A 为公式（5）。

所以成像过程可以简化为(x y 1)T=P(U V W)T，所谓正向投影，是我们已知p和（U,V,W）从而得到（x,y）的过程。而反向投影则正好是反过来，现在我们已知（x,y）和p反向求出（U,V,W）。这可以看做一个数学求逆的过程，公式如下，其中d代表深度值。

2.3 重投影

经过反向投影我们求出了物体在三维空间的坐标，这样我们只要再次正向投影一次就可以得到物体在虚拟视点处的坐标了。投影公式如下所示：

3 实验结果及对比

4.1 实验数据

本文使用的数据集来源于微软亚洲研究院公开数据集，该数据集由8台相机从8个角度拍摄的两组照片，每组照片中每个角度相机均拍摄了100张连续动作的照片，并且每张照片的深度信息也有。并且微软研究院提供给了我们8台相机的基础矩阵与旋转矩阵等信息。

3.2 验证方法

首先因为得到的结果是图像，我们可以肉眼观察改进后图像与改进前图像以及实际图像的优劣，可以通过观察空洞，伪影以及一些其他噪点的多少来判断实际的实验效果。

其次我们可以使用PSNR来（Peak Signal to Noise Ratio）峰值信噪比来作为图像质量的衡量指标。

其中，MSE表示当前图像X和参考图像Y的均方误差（Mean Square Error），H、W分别为图像的高度和宽度；n为每像素的比特数，一般取8，即像素灰阶数为256。PSNR的单位是dB，数值越大表示失真越小。

PSNR是一种基于误差敏感的图像质量评价，能够在一定程度上反映出图像的质量。但是其在使用过程中并未考虑到人眼的视觉特性，因此有可能出现人眼主观感觉与PSNR评价结果不一致的情况。

最后SSIM（Structural Similarity）结构相似性，也是一种有效的图像质量评价指标，它可以分别从结构、对比度、亮度三方面比较图像的相似度。

其中uX、uY分别代表图像X与图像Y的平均值，σX、σY分别代表图像X和Y的方差，σXY代表图像X和Y的协方差，即：

C1、C2、C3为常数，为了避免分母为0的情况，通常取C1=(K1*L)^2，C2=(K2*L)^2，C3=C2/2，一般取K1=0.01、K2=0.03、L=255。SSIM取值范围为[0,1]，其值越大，表示图像失真越小，越小表示图像失真越大。

在实际应用中，可以利用滑动窗将图像分块，令分块总数为N，考虑到窗口形状对分块的影响，采用高斯加权计算每一窗口的均值，方差以及协方差，然后计算对应块的结构相似度SSIM，最后将平均值作为两图像的结构相似性度量，即平均结构相似性MSSIM：

3.3 实验结果

通过实验我们可以得到我们使用本文中的算法得到的结果如图4所示，以及原图实际结果图3所示，我们可以看到，从宏观上来看两者并无太大区别。然而我们各自放大它们，观察它们的细节效果如图5与图6所示，可以看到我们虚拟出来的视点图相比原始图片确实存在一些空洞以及伪影的问题。

另外我们以原始图像作为参考图像，以我们使用算法得到的虚拟视点图像作为目标图像，分别进行PSNR与SSIM检测得到的结果如图7所示。可以看出与我们得到的图像已经接近实际图像了，但还有一定的差距。

3.4 实验总结

从上面的实验结果可以看出，我们的算法很好地得到了虚拟视点出的图像，宏观上看虚拟视点处的图像与实际图像并无太大区别。说明利用深度信息很好地弥补了了在相机成像过程中，导致的信息丢失的问题。但深度信息只能帮助我们解决大部分信息丢失的问题，还有一部分信息需要我们通过其他方法来解决。

图3 原图

图4 结果图

图5 部分原图

图6 部分结果图

图7 PSNR与SSIM检测结果

4 结语

本文利用深度信息很好地解决了从二维空间到三维空间的映射，虚拟点产生的效果较好，虽然还有一些细节问题，如存在空洞与伪影问题。但我们的算法基本上解决了虚拟视点产生，后期还需要其他方法帮助我们优化此算法。

[1]许士芳.多视点视频编码及虚拟视点生成[D].浙江大学,2009.

[2]刘丹.自由立体显示中虚拟视点生成算法研究与实现[D].天津大学,2010.

[3]吴祖成.虚拟视点生成算法研究[D].浙江大学,2010.

[4]王莎.基于多视点的虚拟环境生成技术研究[D].解放军信息工程大学,2007.

[5]刘海旭.面向多视点视频的新视点合成技术研究[D].北京邮电大学,2014.

[6]陈佳侨.多视点立体视频系统的研究与实现[D].北京交通大学,2016.

[7]Remco M.Dijkman,Dick A.C.Quartel,Marten J.Van Sinderen.Consistency in Multi-Viewpoint Design of Enterprise Information Systems[J].Information and Software Technology,2007,50（7）.