引入零视差缓冲的DIBR改良方法

林坚普，吕昭宏，许胜允，辛 琦，姚剑敏，郭太良

(1.福州大学 场致发射国家地方联合工程实验室，福建 福州 350000；2.冠捷显示科技(厦门)有限公司 厦门创新中心，福建 厦门 361000)

引入零视差缓冲的DIBR改良方法

林坚普1，吕昭宏2，许胜允2，辛 琦1，姚剑敏1，郭太良1

(1.福州大学 场致发射国家地方联合工程实验室，福建 福州 350000；2.冠捷显示科技(厦门)有限公司 厦门创新中心，福建 厦门 361000)

针对图像部分像素深度值失真，导致图像变形后物体边缘失真的问题，提出了一种引入“零视差缓冲”的方法。首先，选取4幅具有不同复杂程度场景的图像，引入零视差缓冲对图像进行变形；其次采用传统图像质量评价体系(结构相似度SSIM和模糊系数K)对得到的图像进行质量评价；最后，对比传统DIBR方法和引入零视差缓冲方法得到的视点图中物体边缘的表现。实验结果表明，该方法对于变形图像的SSIM平均提高了4.66%，K平均下降了1.73%。提高了视点图中物体边缘的质量，提高了3D图像的整体质量。

DIBR；深度图；图像变形

随着平板显示技术的飞跃发展，电视屏幕分辨率由全高清(分辨率1 920×1 080)发展到了如今的超高清(分辨率3 840×2 160)，长期以来困扰着多视点裸眼3D显示的图像分辨率下降的瓶颈问题得以缓解，3D技术迎来了2010年之后的又一次发展热潮。目前3D片源的获取主要为DIBR(Depth-Image-Based Rendering)虚拟视点合成技术[1]，DIBR技术对于图像深度图的准确度的依赖程度过大，但目前还没有一种完善的技术能准确获得影片的对应深度图，这导致了DIBR生成的图片存在着边缘失真的问题[2]。深度图的误差主要集中在两个深度值相差较大的物体的交界处，错误的深度值导致计算出的视差值错误，在图像变形后给填洞过程带来了一定的困扰[3]。目前的解决方法主要为对深度图进行预处理如高斯滤波、非对称滤波、对称滤波等[4-5]，但是预处理后的深度图在一定程度上已经失真，由此得到的变形图像物体边缘将存在很大的失真[6]。

本文针对两个深度值差异较大物体交界处深度信息模糊的问题，提出了一种改良的DIBR方法，在两个物体交界处引入“零视差缓冲”进行图像变形，以减小由于深度图误差导致的图像变形错误，得出质量较佳的变形图像。该方法摒弃了对深度图进行预处理的过程，提高了变形图像的边缘部分的质量。

1 DIBR技术及其存在的问题

1.1 DIBR流程

DIBR是一种基于深度图的图像处理技术，主要应用于3D图像、视频领域。由于其只需要输入1路2D图像、1路对应深度图像即可，因此相比于多目摄像机系统其传输带宽较小，并且能根据使用者的需求绘制出任意视点的视差图像[7]。DIBR流程中主要包含两个步骤：图像变形(warping)和填洞(hole filling)。其主要运行框架如图1所示。

图1 DIBR流程框图

1.2 DIBR存在的问题

DIBR根据深度图将物体从图像坐标系投影到3D坐标系，再投影到新的图像坐标系完成图像物体的移位[8]。因此DIBR对于深度图的准确性具有很强的依赖性，绘制出的视点图像的正确与否主要取决于深度图中每个像素的深度值是否准确。理论上当两个物体的深度值相差较大时，在两物体交界处其深度信息应该是跳变的，通过观察实际的深度图发现，在两个深度值差异较大的物体的交界处存在一个过渡的深度值，如图2所示。

图2 深度信息误差示意图

图2中像素a～g为背景物体，像素h～n为前景物体，前景物体与背景物体深度值相差较大，像素f，g，h，i，j为前景物体与背景物体交界处的像素。由图可以看出，背景物体的深度值为63～65，前景物体的深度值为145～148，两物体的交界处的像素的深度值为介于63～148的值。交界处的像素其深度值的获取容易发生误差，如图中像素i的深度值发生错误，这将导致图像变形时得到的视点图像存在误差。

2 引入零视差缓冲

2.1 图像变形误差

由于深度图中两物体交界处深度信息不准确，图像变形时出现了背景信息覆盖前景信息的错误，如图3所示。

图3 背景覆盖前景示意图

由图3中可以看出，由于深度信息的误差，变形后的图像中前景物体内部出现了背景物体的图像信息，这将导致变形图物体边缘模糊，降低图像质量。其原理如图4所示。

图4 图像变形原理图，无阴影为背景物体，有阴影为前景物体。

图4为图像变形原理，由于深度值的不同，像素点具有不同的位移值和位移方向。图中像素i处于前景物体与背景物体交界处且深度值明显错误。利用深度图将原始图像从图像坐标系投影到3D坐标系时，背景物体往右移动，前景物体往左移动，由于像素i的深度值错误，像素i往右移动，这便导致前景物体中出现了断口，人眼能透过前景物体观看到本应被遮蔽的背景物体。将物体从3D坐标系投影到新的图像坐标系时，生成背景覆盖前景的错误图像。

2.2 引入零视差缓冲原理

基于两深度值差异较大物体交界处深度值容易出错的问题，提出了一种方法，该方法将这一交界处的部分像素的视差值设定为0，通过调整这一区域部分像素的视差值来提升得到的变形图像物体的边缘质量，原理如图5所示。

图5中将像素i的视差值设为0，在图像变形时前景物体的边缘不再发生错误位移，前景物体没出现断口，保持了前景物体的连续性，背景覆盖前景的问题得到了解决。

图5 图像变形原理图

3 实验流程

3.1 利用深度图计算视差值

以障壁光栅式裸眼3D显示器为例，图6所示为8视点裸眼3D显示器视差计算原理。

图6 3D视差计算原理图

图6中：u为人眼双目视距；S为人眼与3D屏的距离；Pz为物体成像景深；dis为像素位移视差；Znear，Zfar分别为成像最近景深和最远景深，它们代表屏幕所能容忍的景深大小，由于不同的人具有不同的视距，因此Znear和Zfar计算的值因人而异，其计算公式为

(1)

(2)

式中：a1，a2分别为屏幕最大入屏视差值和屏幕最大出屏视差值，属于裸眼3D显示屏的内在参数。深度图实际上是一幅255阶的灰度图，将Znear+Zfar的值进行255量化

(3)

式中：p为景深量化后一个灰度值代表的成像景深；g为深度值。根据式(3)，入屏物体景深值Pz为

Pz=Zfar-P

(4)

(5)

根据相似三角形原理，入屏物体视差值dis为

(6)

出屏物体视差值dis′为

(7)

通过以上公式能计算出原始图像中各像素的视差值，利用计算得到的视差值进行图像变形。

3.2 引入零视差缓冲

在实际图像变形中，利用式(6)、式(7)计算得到的视差值并不是一个整数值，因此得到的视差值要进行四舍五入的计算。经过统计分析发现在前景与背景交界处视差值等于1的像素点其深度值往往容易发生错误。经过视差公式计算，当深度值介于139和160，视差值等于1，介于117和96时，视差值等于-1。因此将深度值处于这两个区间的的像素设置为视差值等于0，便达到了引入零视差缓冲的目的，即深度值为96～160的像素其视差值均设为0。

3.3 填洞(holefilling)

图像变形时由于物体发生了移动，容易产生许多洞区，目前存在着多种的填洞技术如：水平镜像填补法、相邻帧背景信息填补法、水平内插法等[9]方法。本文采用较为简单的水平背景信息填充法，即直接拿相邻的背景图像信息对洞区进行填补。首先先对变形图像进行洞区(hole)检测，当检测到当前像素(f(i，j))无值时，将当前像素标记为洞(f(i，j)=hole(i，j))，对洞进行左右的临域搜索，对搜索结果进行深度值比较，选取深度值较小(min_depth{f(i，j+1)， f(i，j-1)})的像素来作为填洞信息进行填洞处理，即

hole(i，j)=min_depth{f(i，j+1)， f(i，j-1)}

(8)

式中：hole(i，j)表示当前坐标为洞；min_depth{f(i，j+1)， f(i，j-1)}表示当前坐标左右相邻像素中深度值较小的像素。

4 实验

由于在复杂程度不同的场景中深度图的误差程度也不同，因此选取4幅不同复杂程度的场景图(分别为场景1、场景2、场景3、场景4，分辨率均为FHD1 920×1 080，如图7所示)进行实验。Znear，Zfar对应视差值设置为+6和-6，设置深度值处于(96，160)的像素视差值为0。对得到的结果进行结构相似度SSIM、模糊系数K测试。

图7 实验场景图

5 实验结果分析

对经过DIBR处理后的视点图像进行结构相似度(SSIM)和模糊系数(K)的测试，SSIM数据如表1所示，模糊系数数据如表2所示。

表2 模糊系数K数据表

SSIM是测试变形后图像与原始图像结构上的相似度的一个函数，理论依据是图像的像素在空间上有一定的关联性，通过测试这些关联性来测试两幅图像在结构上的相似程度[10]，其数值越大表明物体结构保持得越完整。

模糊系数K为对图像物体的边缘进行能量检测，其数值越接近于1表明图像边缘信息越清晰，即K与1的差值越小越好。

从表1中可以看出，引入零视差缓冲后，变形的视点图像整体上SSIM值均得到了提高，表明变形图像结构上保持得较为完整。模糊系数K的下降表明了变形图像的边缘的模糊程度下降，图像变得更为清晰。

对比传统方法和本文方法得到的视点图像的边缘细节，两物体的交界处的图像失真情况得到了明显改善，结果如图8～11所示。

图8 场景1实验结果对比

图9 场景2实验结果对比

图10 场景3实验结果对比

图11 场景4实验结果对比

从图中对比可以看出，当未引入“零视差缓冲”，在局部位置由于深度信息的错误导致了图像的失真，图像边缘处部分像素的图像变形方向错误，导致背景信息覆盖了前景，而引入“零视差缓冲”时，图像质量得到了明显的改善。

6 小结

针对目前DIBR中准确的深度图像的获取较难，并且对深度图进行预处理后深度图将变形，导致图像变形时物体边缘出现失真的问题，提出了引入“零视差缓冲”的概念，通过实验数据和实验图像细节部分的表现发现，经本文方法变形后的图像中物体边缘的质量优于传统方法得到的变形图像中物体边缘的质量。

[1]周真理，卓力，李晓光.一种基于深度图的三维/多视点视频视点合成方法[J].测控技术， 2011，30(5)：18-21.

[2] ZHANG L，TAM W.Stereoscopic image generation basen on depth images for 3D TV[J]．IEEE Trans.Broadcasting，2005，51(2)：191-199.

[3]李哲.基于深度图像绘制的自由视点生成的研究[D].济南：山东大学，2011.

[4]冯雅美.自然三维电视系统中虚拟视点绘制技术研究[D].杭州：浙江大学，2010.

[5]JUNG K H，PARK Y K，KIM J K，et al.2D/3D mixed service in T-DMB system using depth image based rendering[C]//Proc.ICACT2008.New York，USA：IEEE Press，2008：1868-1871.

[6]鞠芹，安平，张倩，等.高质量的虚拟视点图像的绘制方法[J].电视技术，2009，33(9)：9-11.

[7]郁理.基于深度图像绘制的自由视点视频关键技术研究[D].合肥：中国科学技术大学，2010.

[8]骆凯，李东晓，冯雅美，等.基于DIBR和图像修复的任意视点绘制[J].中国图象图形学报，2010，15(3)：443-449.

[9]NILS P，SEBASTIAN K.Adaptive image warping for hole prevention in 3D view synthesis[J].IEEE Trans.Image Processing，2013(9)：3420-3432.

[10]黄文辉，陈仁雷，张家谋.数字视频图像质量客观测量方法的改进与实现[J].北京邮电大学学报，2005，28(4)：87-90.

林坚普(1989— )，硕士生，主研3D图像处理技术；

吕昭宏(1979— )，博士，主任工程师，主要研究方向为裸眼3D显示技术等；

许胜允(1976— )，硕士，正工程师，主研裸眼3D显示技术、新型背光技术等；

辛 琦(1978— )，女，博士，主研有机电致发光、三维立体显示技术等；

姚剑敏(1978— )，博士，硕士生导师、副研究员，主研物理电子学领域光电信息处理、电路与系统、视频图像处理等；

郭太良(1963— )，硕士，博士生导师，研究员，主研新型场致发射显示器件、新型光学器件等。

责任编辑：时 雯

收稿日期：2014-03-08

Improved DIBR Method with Introducing Zero-parallax Buffer

LIN Jianpu1，LÜ Zhaohong2，XU Shengyun2，XIN Qi1, YAO Jianmin1， GUO Tailiang1

(1.FieldEmissionLocalJointEngineeringLaboratoryoftheNational，FuzhouUniversity，Fuzhou350000，China； 2.XiamenInnovationCenter，TPVDisplayTechnology(Xiamen)Co.，Ltd.，FujianXiamen361000，China)

For the problem of fringe distortion after image warping results from the depth-map deviation of some image pixels，a method with introducing zero-parallax buffer is proposed.Firstly，four pictures with different complexities are converted by zero-parallax buffer method.AndSSIMandKimage evaluation systems are used to assess the quality of pictures.Finally，the performance of image which generate from traditional method and zero-parallax method are compared.The results of experiment show thatSSIMvalues are increased with average value of 4.66% andKvalues are decreased with average value of 1.73%.The quality of viewpoint images is improved.

DIBR；depth map；image warping

2014-07-28

国家“863”计划项目(2012AA03A301;2013AA030601);国家自然科学基金项目(61101169;6106053);福建省自然科学基金项目(2011J01347)

TN27

A

10.16280/j.videoe.2015.05.006

【本文献信息】林坚普，吕昭宏，许胜允,等.引入零视差缓冲的DIBR改良方法[J].电视技术,2015，39(5).