基于背景提取和分区修复的DIBR空洞填补方法

陈 悦，姚剑敏，郭太良

(福州大学物理与信息研究工程学院，福建福州350000)

基于背景提取和分区修复的DIBR空洞填补方法

陈 悦，姚剑敏，郭太良

(福州大学物理与信息研究工程学院，福建福州350000)

针对基于深度图的视点绘制中空洞填补时产生的图像失真问题，提出一种还原空洞区域可靠纹理的空洞填补方法。通过从临近的帧画面中提取有效信息还原真实的背景图像，用于新视点中背景区域的空洞填补。并通过区分前景和背景图像区域，对不同区域的空洞采取不同的填充方法，从而获得较为可靠和真实的填补效果。从实验结果来看，该方法获得的PSNR数据优于其他算法，并且与真实视点比较的结构相似度达到99.1%，比传统方法提高10%以上。

3DTV;DIBR;虚拟视点;空洞填补;背景提取;分区修复

近年来3D显示技术迅速发展，其基本原理是通过人的双眼接收两幅具有一定视差的图像，大脑将图像进行融合而形成立体感。常见的3D视频的获取方法是采用两个摄像机同时进行拍摄，获得左右两个视点的图像信息［1］。另一个方法是采集一幅视频图像的同时，采集与之对应的深度图，深度图显示了视频中每个像素到摄像机的距离，然后通过基于深度图的绘制技术(DIBR)［2-3］获得其他视点的图像。利用基于深度图的视点绘制方法可以从一个参考视点和一个对应的深度图绘制出新的视点图像。在这个视点绘制的过程中，由于在一个参考视点中无法包含用于绘制新视点的所有像素信息，基于深度图的视点绘制得到的视点中将会出现空洞区域，空洞填补是视点绘制的重要步骤。

目前常见的空洞填补方案可以分为两个类别:一种是如文献［4］采用的方法，先对深度图进行预处理，常见的深度图预处理方法有高斯滤波平滑处理，目的是减小图像深度的不连续性，再通过DIBR绘制新视点，就可以得到空洞较小的视点，最后填补空洞;另外一种是如文献［5］采用的方法，直接使用DIBR进行视点绘制，然后再通过各种图像插值算法恢复空洞区域图像纹理，一般是利用横向区域的像素进行图像插值，或者根据周围区域图像纹理进行填充。

本文提出一种基于背景提取和分区图像修复的空洞填补方法，通过利用视频序列中各帧图像提取背景信息用于空洞填充，并计算前景图像掩膜图，对前景区域直接插值填充，背景区域利用提取的背景进行修复，获得更加可靠的新视点图像。

1 传统空洞填补方法

新视点中出现的空洞主要有两个类型，一种是较小空洞，通常只有一两个像素的大小，这种空洞出现的原因是图像在重新投影映射过程中拉伸造成的。由于这种空洞较小，只要利用周围像素的信息进行填充就可以，不会对图像质量产生太大影响。另外一种空洞较大，这是由于在参考视点中被前景遮挡住的部分图像内容在新的视点中被暴露出来，却没有合适的像素可供填充［6］。第二种空洞出现在物体的边缘，前景和后景的深度差越大，出现的空洞越明显。这种空洞往往面积较大，很难在不造成图像模糊的情况下进行填补。针对这些图像中出现的缺陷，需要一些特殊的空洞填补方法对空洞进行填补。

目前常见的空洞填补方案可以分为两个类别:

1)第一类是对深度图进行预处理的方法［7］，例如先对深度图进行高斯平滑处理，这样绘制得到的新视点中将包含较小的空洞，有利于进一步的填补。由于空洞出现在深度不连续的区域，因此对深度图的平滑处理减轻了深度的不连续程度也就缩小了空洞的尺寸。再利用周围像素信息对空洞进行填补，由于空洞尺寸较小，所以填充也较为容易。然而对深度图的平滑预处理也会带来新的问题，就是改变了图像的几何参数，重新映射的图像将会产生几何变形。前景和背景的深度差越大，需要进行平滑处理的程度也越大，也就带来了更为严重的图像几何变形。为了缓解这个问题，通常采用的是非对称平滑过滤［8］，针对不同的区域进行不同程度的平滑处理，平滑过滤的强度取决深度的不连续程度，这样可以一定程度上避免不必要的平滑处理。还有采用缩小深度变化范围的方法，这样减小了视差，也就减小了所产生的空洞尺寸，存在的缺点是减弱了图像的立体效果。这类方法虽然空洞填补区域较为平滑，但无法避免对原始图像整体效果的破坏。

2)第二类方法是则是先利用DIBR算法进行新视点绘制，再进行空洞填补，可以称之为后处理方法［9］。后处理的常用方法是在空洞区域周围进行搜索获取可用的像素，搜索范围一般是背景区域，利用周围的像素计算出可用于填充空洞的像素颜色。例如为了填充空洞中的一个像素，先选取空洞边缘与该像素同行的左右第一个像素作为参考点，然后用横向插值算法［10］插入像素。有的方法在上述方法基础上进行的改进，从周围区域中提取更多的参考点，或是加入像素的深度值作为参考，以提升填充的可靠性［11］。同样也可以通过搜索空洞周围的线性图像结构，利用周围的小图像块进行空洞填充，使填充区域与周围有相同的结构或者纹理［12-13］。然而插值得到的图像与真实图像存在一定偏差，图像填补的可靠性比较低，填补区域的图像产生了一定的失真。

如图1所示，其中图1a为原始参考视点，图1b为采用高斯平滑处理深度图的结果，接近空洞的区域出现了明显的变形，图1c为采用插值算法的处理结果，空洞填补的正确率比较低。

以上的各种方法都是逐帧进行图像的处理，逐帧进行的空洞填充算法必然存在图像填充区域的不连续和失真的现象，填充像素的正确性比较低。如果能充分利用参考视点中的图像信息进行空洞填补，就可以得到可靠性较高的新视点图像。并且对于分别属于前景和背景区域的空洞，产生的原因不同，有针对性的采取不同的填充方式就能获得更好的效果。

图1 不同空洞填补方法效果比较

2 基于背景提取和分区修复的方法

为了更充分利用原有视频图像的信息，本文采取的方法是先提取背景图像，用于后期空洞的填补，并通过确定图像前景区域，在填充空洞时对前景和背景区域采用不同的方法，获得更可靠的填补效果。这个过程可以分为两个部分，先是利用原始视频和深度图重构背景图像和与之对应的深度图，并且确定图像的前景区域，接着利用原始图像和深度图进行DIBR绘制新视点，通过计算前景掩膜图并结合背景图像和深度图对图像不同区域的空洞进行分别修复，整个绘制过程的流程图如图2所示。

图2 绘制过程流程图

在第一部分利用原始视频和深度图重构背景图像和对应的深度图。

1)背景图像提取

由于通过DIBR绘制的新视点中的空洞区域是被前景遮挡的背景部分，这些部分的信息在当前帧被遮挡，但是可能在视频图像序列的其他帧中出现过。通过图像间互补的办法可以充分利用原始视频，提取出正确的背景信息。在该方法中，需要视频的拍摄相机保持静止，这样背景部分也保持静止，提取出的背景视频就是完整的背景图像。在这种情况下，获取的背景图像可以用于视点绘制时同一场景画面的背景空洞填补。提取背景图像的过程采用了结合深度图的方法，将图像序列中深度值最大时的图像作为背景图像，通过不同帧之间图像的比较还原出背景。实际效果如图3所示。

图3 视频参考帧与处理获得的背景图像

2)背景深度图提取

由于原始深度图也是另外一个视频流，可以采用与上述相同的方法来处理。如果拍摄的摄像机位置不变，只要取深度图序列中深度的最大值作为背景深度，就可以获得背景的深度图。

第二部分就是利用DIBR进行新视点的绘制和空洞填补。通过DIBR绘制得到的新视点有许多空洞区域，根据空洞出现的区域不同分别处理，前景中的空洞通常较小，可以直接采用插值的方式进行填补，背景区域空洞较大，需要利用之前提取的背景信息进行修复。这时需要针对每帧画面确定前景图像区域，通过提取前景掩膜图来进行区分。

先对前景区域图像进行空洞填补，由前景掩膜图可以确定哪些像素属于前景图像。之后再进行背景空洞填补，利用第一部分中提取的背景图像，对新视点中的空洞区域进行填充。本文采用一种能量最小化的方法获取每帧图像的前景掩膜图，并用矩阵Mt表示，对于与第t帧图像，表示该帧图像上的像素点p，当p点属于前景时=0，否则就为1。

前景掩膜图表示前景图像的在原始视频中的位置和形状大小，通过最小化能量E来计算每一帧图像It的前景框图Mt。其中E的表达式为

式中:p为像素点;q为p像素周围的另一个像素，取值范围用Np表示，通常为4～8个像素;S为取像素的坐标范围;E1为Mt跟真实前景的相关度;E2用于减小图像噪声的影响;λ用于调节E1和E2之间的影响因素，λ值越大则E2作用越大，掩膜图就越平滑。

其中

式中:B表示背景图像;T=100;Pf表示It属于前景图像的概率大小。当It属于前景的概率越大，Pf越大，τp也就越大。

3 实验结果

以下利用视频序列“龙”中的一个视点图像，通过采用了几种不同的方法绘制新视点，最后利用另外一个视点的真实图像来衡量绘制的效果。绘制效果如图4所示。

图4 不同处理方法填补效果比较

通过比较图像的峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)以及结构相似度(Structural Similarity Index，SSIM)［14］来衡量图像的绘制质量，比较结果如表1所示。

可以看出本文所采用的空洞填充方法绘制得到的图像有较高的峰值信噪比和结构相似度，具有较高的质量。

表1 比较结果

4 小结

本文提出了一种利用深度图绘制虚拟视点时空洞填充的优化方法。通过将图像分割为前景图像和背景图像两部分，充分利用了视频序列中的背景信息重建背景图像，针对不同区域的空洞采用不同的填充方法。

对于背景不变的同一场景，在新视点中暴露出来的背景区域，只要在其他帧的图像中出现过，都可以获得正确的填充。本文的方法最大限度地还原了真实图像，减少了空洞填充时产生的人工假像，可以绘制出接近真实图像的高质量新视点。

［1］帖志成.基于裸眼3D嵌入式设备智能显示的设计与实现［J］.电视技术，2013，37(8):55-61.

［2］董芳菲，黄心渊.面向裸眼立体电视的体视动画技术综述［J］.电视技术，2011，35(22):32-37.

［3］梁发云，邓善熙，杨永跃.立体图像视频格式及其转换技术研究［J］.仪器仪表学报，2005，26(12):1233-1238.

［4］刘占伟，安平，刘苏醒，等.基于DIBR和图像融合的任意视点绘制［J］.中国图象图形学报，2007，12(10):1696-1700.

［5］赵冰，安平，刘超，等.多视绘制中的空洞填充算法［J］.信号处理，2013，29(8):1019-1026.

［6］CHENGC，LIN S，LAIS.Spatio-temporally consistentnovel view synthesisalgorithm from video-plus-depth sequences for autostereoscopic displays［J］.IEEE Trans.Broadcast，2011，57(2):523-532.

［7］CHAMMEM A，MITREAM，PRTEUX F.DWT based stereoscopic image watermarking［C］//Proc.SPIE 7863，Stereoscopic Displays and Applications XXII.［S.l.］:SPIE Press，2011:326-786.

［8］LIU R，XIE H，TIAN F，et al.Hole-filling based on disparity map for DIBR［J］.KSIITrans.Internet and Information Systems，2012，6(10): 2663-2678.

［9］TANIMOTOM，TEHRANIM，FUJIIT，etal.FTV for3-D spatial communication［J］.Proceedings of the IEEE，2012(4):905-917.

［10］SCHMEING M，JIANG Y.Depth image based rendering:a faithful approach for the disocclusion problem［C］//Proc.3DTV-Conference: The True Vision-Capture，Transmission and Display of 3D Video (3DTV-CON).Tampere:［s.n.］，2010:1-4.

［11］PO L，ZHANG S，XU X，et al.A new multidirectional extrapolation hole-filling method for depth-image-based rendering［C］// Proc.2011 IEEE International Conference Image Processing.［S.l.］: IEEE Press，201l:2589-2592.

［12］王种，赵力，齐增义，等.基于改进BP算法的中间视合成方法［J］.信号处理，2010，26(3):347-353.

［13］WANG C，ZHAO L，QI Z，et al.Intermediate view synthesismethod based on improved BP algorithm［J］.Signal Processing，2010，26(3): 347-353.

［14］张艳，安平，尤志翔，等.基于边缘差异的虚拟视图像质量评价方法［J］.电子与信息学报，2013，35(8):1894-1900.

M ethod Based on Background Extraction and Partition Repair for Hole-filling in DIBR

CHEN Yue，YAO Jianmin，GUO Tailiang
(College of Physics and Information Engineering，Fuzhou University，Fuzhou 350000，China)

For the disocclusion problem occurred in view synthesis using depthmap rendering，a newmethod is proposed to fill the holeswith faithful texture in this paper.By extract valid information from adjoining frames，the true background is recovered and it can be used to fill the holes in background areas.By distinguish foreground area and background area，different approuches is used to fill the holes in different areas to getmore reliable and ture effect.From the experimental results，PSNR data obtained by this method is superior to other algorithms，and structural similarity reaches 99.1%compare with the real viewpoint，higher than traditionalmethods formore than 10%.

3DTV;DIBR;view synthesis;hole filling;background extraction;partition repair

TN941.1

A

陈 悦(1985—)，硕士生，主要研究方向为信息显示系统;

�� 雯

2014-01-08

【本文献信息】陈悦，姚剑敏，郭太良.基于背景提取和分区修复的DIBR空洞填补方法［J］.电视技术，2014，38(23).

国家“863”重大专项(2012AA03A301;2013AA030601);国家自然科学基金项目(61101169;61106053);福建省自然科学基金项目(2011J01347)

姚剑敏(1978—)，硕士生导师，主要研究方向为视频图像处理、模式识别;

郭太良(1963—)，博士生导师，主要研究方向为场致发射阴极材料及器件研究。