基于几何模型的高质量虚拟视点绘制

张　倩，李少敏，郭文凤，陈佳佳，王　斌，王　沛，黄继风

(上海师范大学　信息与机电工程学院，上海　200234)

基于几何模型的高质量虚拟视点绘制

张倩，李少敏，郭文凤，陈佳佳，王斌，王沛，黄继风

(上海师范大学信息与机电工程学院，上海200234)

摘要:该研究主要完成用kinect获得的“单路纹理+深度图像”来生成新的虚拟视点图像。针对深度图像的虚拟视点绘制技术(Depth Image Based Rendering，DIBR)生成的虚拟图像空洞问题，利用高斯混合模型分离前背景，背景空洞采用背景值填充，前景空洞采用改进的图像修复技术方法来填充。实验证明生成的虚拟视点图像具有较好的视觉效果。

关键词:虚拟视点；图像绘制；空洞填充；图像修复

1图像绘制技术

近几年发展起来的基于图像绘制技术(ImageBasedRendering，IBR)极大地引起了人们研究的兴趣，并成为计算机图形学和虚拟现实领域的一个新的研究热点。传统的基于模型的绘制方法存在很大的局限性，跟图像的复杂度有关，而基于图像的绘制技术是利用相关对象来绘制出新的视点图像，绘制效果与场景的复杂度无关，只与图像的分辨率有关。在基于图像的绘制过程中一个很重要的问题是如果修补虚拟图像中的空洞问题，主要原因是随着前景物体的移动被遮挡的区域逐渐显露出来，而这些区域的像素值是未知的，从而形成了空洞。目前空洞修补技术主要有两大类：一类是基于几何模型的图像修复技术，该技术适用于修补图像中的小尺度缺损，另一类是基于纹理合成的图像补全技术的，该技术对填充图像中大的丢失有很好的效果。大多数的图像修复技术仅仅被用来处理静态的图像[1-3]，很少有人将这种方法运用到实时的场景中，因为遮挡问题，破损的区域无法事先估计，没有统一的模型来描述这些破损，这就增加了实时处理的难度。

国内外有大量学者对DIBR进行了深入的研究，骆凯等人提出了使用虚拟视点两侧的多幅图像作参考，从不同图像中获取遮挡信息来填充虚拟视点中的空洞，但是这样会在遮挡边界处出现较多伪影[4]，较大地影响了虚拟视点的质量，Mori等人提出了采用边界膨胀算法来消除边界上伪影，并使用周围像素填充非遮挡空洞，达到了较好的修复效果，成为了DIBR的标准参考方法[5]。Zhang等人采用非对称的高斯滤波[6]、Wang等采用分段内插[7]来平滑整个深度图。采用联合双边滤波[8]虽然比一般滤波算法处理效果好得多，但是速率太慢不适合实时处理。Chen，Daribo等采用边缘滤波来平滑深度突变区域[9-11]，虽然该方法可以减小空洞，甚至消除目标视点内部的空洞，但是会模糊图像的边缘，导致绘制的新视点图像质量不高。采用多幅图像与逆映射的方法[12-17]来填充生成的新视点的空洞的效果还不错，但是基于kinect的深度图像绘制只能采用单路纹理和深度信息来绘制虚拟视点，采用两次三维变换和图像融合[13]的方法得到的新视点图像出现明显的伪像，特别是在视点变化较大时伪影会严重影响视觉效果。

2深度图像预处理

本文利用kinect传感器来实时获取场景中的深度图像，由于用kinect初步获取到的深度图像中存在大量的空洞区域(这些空洞区域往往是由于kinect的探测盲区和场景中的低纹理区域而形成的)，本文采用纹理图+距离函数+前背景图的权值函数来处理带有空洞的深度图像，然后经过平滑滤波来处理剩余的小空洞。

首先采用高斯混合模型[19]把深度图像的前景和背景分离，判断空洞点所在的区域，如果空洞点在背景区，直接用第一帧的背景深度值填充，如果空洞点属于前景部分，则用纹理图+距离函数+背景图的权值函数来确定空洞处的深度值，公式如下

(1)

3虚拟视点绘制

3.1三维映射

三维映射是指把已知的像素点通过某种对应关系，映射到其他位置的视点上，目前生成立体视频两个视点的方式有两种；一种是以参考视点为中心视点产生左右两个视点，一种是以参考视点为左视点(右视点)来生成右视点(左视点)，本论文采用第二种方式来生成新的视点图像。左右两个视点的对应关系如下

(2)

式中：Sx是两个视点之间的距离；f是摄像机的焦距；Z是像素点的深度值。

3.2虚拟视点中的空洞问题

深度图像绘制(DIBR)空洞产生的主要原因是前景物体的遮挡，随着前景物体的移动，一些背景区域就逐渐显露出来，由于这些显露出来的背景部分的信息值是未知的，所以就产生了空洞，空洞出现的主要位置是前景与背景的交界处，这部分空洞主要在背景区域，所以这些空洞本文选择用背景值来填充。

4虚拟视点绘制方法

4.1三维映射

传统的图像修复技术主要是用来处理一些静止的图像，比如说去掉图像中的背景文字，修复带有划痕的图像等等，本文将这种方法应用到了实时的深度图像处理中，在前景空洞的填充主要采用AlexandruTelea[18]提出的基于几何模型的空洞填充，其公式可以表示如下

Iq(p)=I(q)+ΔI(q)(p-q)

(3)

式中：I(q)，ΔI(q)是已知点的像素值和梯度值；Iq(p)是空洞点的一阶估计值。

假设Ω是待修复的区域，δΩ是其边界，q是边界上的待修复点，B(ε)是q周围已知点的一个邻域(如图1所示)，本文把B( ε)设置为5×5，那么p点的像素值可以由下式得到

(4)

式中：ω(p,q)是权重分布函数，公式如下

ω(p,q)=dir(p,q)×dst(p,q)×lev(p,q)

(5)

(6)

(7)

(8)

式中：dir(p,q)表示方向函数，确保像素点的主要贡献在法线方向；dst(p,q)表示几何距离函数；lev(p,q)是权重函数，使的接近通过像素点p的轮廓的点赋予较大的权重；d0，T0的值通常设为1。因为深度图像的空洞区域主要在前景和背景的交界处，主要是由于前景物体的左右移动导致之前被遮挡的背景显露出来，从而形成了空洞，所以在图像修复的处理中处于和空洞点在同一水平线的像素值就占有较大的权重值，因此

本文考虑引进另一权重因子，水平权重因子hdt(p,q)，即当待搜索像素点具有相同的距离函数值时，处于同一水平线上的点具有较大的权值。

ω(p,q)=dir(p,q)×dst(p,q)×lev(p,q)×hdt(p,q)

(9)

经过多次迭代后空点就会原来越小，直到完全消失。

4.2新视点生成

首先是通过传感器采集图像，并对纹理图和对应的深度图进行预处理，图2是经过预处理后的彩色图和对应的深度图。然后对彩色纹理图和深度图像经过三维变换得到新视点图像，如图3所示。保存新视点图像的第一帧，对新视点图像的纹理图和深度图采用inpainting方法进行修复，接下来采用高斯混合模型把新视点纹理图进行前背景分离，提取出前景轮廓，如图4所示。背景空洞采用第一帧的背景填充，前景空洞采用改进的inpainting算法填充。图5a是参考文献[18]中的算法的实验结果图像，图5b是本算法的实验结果图像，从结果可以看出本文方法获取的虚拟视点图像没有重影、魇像等问题，可以很好满足观看需求，图6是图5中框图的放大部分，从圈中的部分可以看出，文献[18]算法的实验图像存在明显的的一个模糊带状区域，本算法处理的图像边缘效果较好，可见水平方向的权值hdt(p,q)在新视点图像修复中起到很大作用。

图2　图像预处理后的纹理图和深度图

5实验结果

本研究所提出的算法用C++语言编程实验，在普通PC机(inteli5 双核CPU4Gbyte内存)，进行了效果和试验测试，图7给出了两组场景实验的结果，其中，图7a上、下两幅图是场景的纹理图，图7b的上、下两幅图其对应的深度图，图7c上下两幅是绘制后的新视点图像，图7d上、下两幅图则是用本文方法得到最终的效果图，可以看出这两个场景空洞出现的主要区域是人和背景的交叠处，空洞出现的主要原因是随着前景物体的移动原来被遮挡的背景区域逐渐显露出来，由于这部分区域的深度值之前是未知的从而形成了空洞。实验结果证明本文算法可以在不模糊物体边界的前提下快速地、优质地填充空洞。

图3　新视点的纹理与深度图

图4　提取出的前景图

图5　算法对比图

图6　细节展示图

6小结

本研究提出了基于几何模型的高质量虚拟视点绘制算法，该算法主要运用高斯混合模型提取出前景图像，准确判断空洞所在的区域，背景空洞采用背景第一帧填充，前景空洞采用改进的inpainting算法填充，实验证明该算法有效地填充了深度图中的空洞。在后续的工作中将进一步改善算法提高多视点绘制的质量。

图7　两组场景实验结果图

参考文献：

[1]任澍，唐向宏，康佳伦.利用纹理和边缘特征的Criminisi改进算法[J].中国图象图形学报，2012， 17(9)：1085-1091.

[2]ZHANGQ，BINC，WANGP，etal.Newstereomatchingmethodbasedonimprovedbpalgorithm[J].Internationaljournalonsmartsensingandintelligentsystems，2015，8(1)：464-479.

[3]甘玲，张伟，刘国庆. 基于结构和颜色信息的图像修复算法[J].计算机仿真，2011(2)：329-332.

[4]骆凯，李东晓，冯雅美，等. 基于DIBR和图像修复的任意视点绘制[J].中国图象图形学报，2010，15(3)：443-449.

[5]Referencesoftwareofdepthestimationandviewsynthesis[S].2008.

[6]ZHANGL，TAMWJ.Stereoscopicimagegenerationbasedondepthimagesfor3DTV[J].IEEEtransactionsonbroadcasting，2005，51(2)：191-199.

[7]WANGW，HUOLS，ZENGW，etal.Depthimagesegmentationforimprovedvirtualviewimagequalityin3-DTV[C]//Proc.IntelligentSignalProcessingandCommunicationSystems.Xiamen，China：[s.n.]，2007：300-303.

[8]李知菲，陈源.基于联合双边滤波器的Kinect深度图像滤波算法[J].计算机应用，2014，34(8)：2231-2242.

[9]LEEPJ.Effendiadaptiveedge-orienteddepthimagesmoothingapproachfordepthimagebasedrendering[C]//Proc.IEEEInternationalSymposiumonBroadbandMultimediaSystemsandBroadcasting. [S.l.]：IEEEPress，2010：1-5.

[10]CHENWY，CHANGYL，LINSF，etal.Efficientdepthimagebasedrenderingwithedgedependentdepthfilterandinterpolation[C]//Proc.IEEEInternationalConferenceonMultimediaandExpo(ICME2005).Amsterdam，Netherlands：IEEEPress，2005：1314-1317.

[11]DARIBOI，TILLIERC，PESQUETPB.Distancedependentdepthfilteringin3dwarpingfor3DTV[C]//Proc.MultimediaSignalProcessingChania.Crete，Greece：IEEEPress，2007：312-315.

[12]鞠芹，安平，张倩，等.高质量的虚拟视点图像的绘制方法[J].电视技术，2009，33(9)：9-11.

[13]赵岩，汪敬媛，陈贺新. 基于深度图像和半像素的虚拟视点绘制[J].吉林大学学报(工学版)，2013，43(S1)：256-259.

[14]陈爱华，高诚辉，何炳蔚.立体视觉中的图像立体匹配方法[J].中国工程机械学报，2014，12(3)：194-198.

[15]WANGW，LIUXM，WANGSZ.Localaglorithmsondensetwo-framestereomatching[J].Computeraideddrafting，designandmanufacturing，2012，22(9)：1-7.

[16]向志炎，曹铁勇，潘竟峰.基于自适应阈值的前景提取算法[J]，通信技术，2012，45(3)：82-85.

[17]王亮生，程荫杭.一种改进的基于混合高斯分布模型的自适应背景消除算法[J].北京交通大学学报，2003，27(6)：22-25.

[18]ALEXANDRUT.Animageinpaintingtechniquebasedonthefastmarchingmethod[J].Journalofgraphictools，2004，9(1)：25-36.

张倩(1983— )，女，讲师，主研视频处理与通信；

李少敏(1988— )，女，硕士生，主要研究方向立体视频处理；

郭文凤(1990— )，女，硕士生，主研视频处理；

陈佳佳(1986— )，女，讲师，主研智能信息处理；

王斌(1986— )，女，讲师，主研图像处理；

王沛(1972— )，女，副教授，主研图像信息处理；

黄继风(1961— )，教授，主研视频与图像处理。

责任编辑：时雯

Highqualityvirtualviewsynthesismethodbasedongeometricalmodel

ZHANGQian，LIShaomin，GUOWenfeng，CHENJiajia，WANGBin，WANGPei，HUANGJifeng

(Shanghai Normal University，College of Information Mechanical and Electrical Engineering，Shanghai 200234，China)

Abstract:This research mainly adopts single “texture + depth” image to generate a new virtual image，as to the hole problem caused by depth image based rendering， this paper makes the foreground and background image separation by GMM，fill the background holes using the background image，applying improved inpainting algorithm for the holes in foreground based on geometrical model. Experiments results show that the generated virtual view images have better view effect.

Key words:virtual view point； image based rendering； holes filling； image inpainting

中图分类号:TP391

文献标志码:A

DOI：10.16280/j.videoe.2016.03.005

基金项目：上海市自然科学基金项目(15ZR1431500；15ZR1430400)；上海市教委科研创新项目(14ZZ125)；上海高校青年教师培养资助计划

作者简介：

收稿日期：2015-09-14

文献引用格式：张倩，李少敏，郭文凤，等.基于几何模型的高质量虚拟视点绘制[J].电视技术,2016，40(3)：22-25.

ZHANGQ，LISM，GUOWF，etal.Highqualityvirtualviewsynthesismethodbasedongeometricalmodel[J].Videoengineering,2016,40(3)：22-25.