一种深度图失真引入的虚拟视失真估计方法

李春华, 安 平, 张兆扬

(1.上海大学通信与信息工程学院,上海 200444; 2.河北科技大学信息科学与工程学院,石家庄 050018; 3.上海大学新型显示技术及应用集成教育部重点实验室,上海 200072)

一种深度图失真引入的虚拟视失真估计方法

李春华1,2, 安 平1,3, 张兆扬1,3

(1.上海大学通信与信息工程学院,上海 200444; 2.河北科技大学信息科学与工程学院,石家庄 050018; 3.上海大学新型显示技术及应用集成教育部重点实验室,上海 200072)

提出了一种深度图失真引入的虚拟视失真估计方法.该方法依据能量一致性假设要求,将深度图宏块划分为平坦宏块和非平坦宏块.平坦宏块使用频域块级方法,非平坦宏块使用时域像素级方法估计由深度图失真造成的绘制视失真.虚拟视失真采用左右绘制视融合计算,并计入虚拟视中空洞修复引入的失真.该方法在宏块分类判据中综合了相机参数,对于不同拍摄条件下的视频序列可以使用相同的判别阈值获得最佳区域划分,通用性较强.实验结果证明,该方法兼顾了估计准确性和复杂度,对于在有限码率预算条件下提高深度视频编码效率、优化三维视频码率分配具有重要的指导意义.

三维视频;自由视点电视;失真估计;虚拟视失真;深度图失真

三维立体电视(3DTV)在传统二维视频的基础上增加了第三维信息——深度,使观众犹如身临其境,感受到强大的3D视觉震撼力.自由视点电视(freeview TV,FTV)采用自由立体显示技术,支持视点随观看位置自适应变化的功能,由此产生的3D视感更加逼真.FTV作为下一代视频技术的发展方向,得到了学术界和工业界越来越广泛的关注[1-2].

FTV应用多视视频(multiview video,MVV)实现自由视点功能.它支持的视点数目越多,视点间的切换就越平滑,视觉舒适度就越好.但随着视点数目的增加,多视视频数据量急剧上升,对现有的传输和存储设施构成了巨大压力.MVV通常采用“多视+深度(multiview video plus depth,MVD)”格式表示,以减小传输和存储数据量.这样只需传输或存储2～3个用作参考视的彩色视频及其对应的深度视频,在接收端使用基于深度的图像绘制技术(depth image based rendering,DIBR)[3]就可合成出其他所需要的虚拟视视频.尽管这样,MVD的数据量依然十分可观,还需要使用有损压缩技术进一步减少数据量.目前,国际标准化组织ISO-MPEG和ITU-VCEG正在协作开展基于MVD的3DV编码标准化研究工作,并推出了基于H.264 AVC 3D扩展的ATM参考软件和基于HEVC3D[4]扩展的HTM[5]参考软件.

在MVD压缩过程中,彩色视频和深度视频中的失真共同作用会导致虚拟视失真的产生.研究表明,彩色视频压缩与深度视频压缩引起的虚拟视失真之间的相关性很弱,可以独立分析处理[6].彩色视频产生虚拟视失真的机理与2D彩色视频失真相同,已经非常明确,而深度视频失真对虚拟视质量下降的影响尚不清楚.因此,为了减轻观看3DV的不舒适,提高3DV视觉体验质量(quality of experience,QoE),准确估计深度失真对绘制失真的影响已成为实现3DV高效编码、合理进行码率分配的关键.

不同于彩色视频的用途,深度视频只用于合成虚拟视视频,自身并不需要显示出来.深度失真不为人眼视见,只是间接引起合成视失真.因此,提高解码深度视频合成的虚拟视质量,比单纯改善深度视频重建质量更有意义.文献[7]提出用深度失真产生的绘制失真替代传统的率失真准则中的解码失真,构建了视合成优化(view synthesized optimization,VSO)准则进行编码模式决策,面向虚拟视质量提高深度视频编码效率.文献[8]通过实验展示了深度图失真引起的虚拟视失真随基线距离的变化.文献[9]推导出了深度图失真与虚拟视中视差误差之间的关系.文献[6,10]在能量一致性假设要求下,借鉴运动预测失真估计方法[15],分别建立了深度图失真-虚拟视失真频域帧级和块级模型.所谓能量一致性假设就是假定各像素视差及视差误差相同,在3D变换中,参考图像整体平移到虚拟视图像.文献[11-12]则从时域角度入手,假设彩色图像与其在虚拟视中的映射图像相似,提出了时域深度图失真-绘制视失真估计方法.这些深度失真-虚拟视失真估计模型[6,8-12]都忽略了3D变换中的遮挡和显露现象,整体估计深度失真引起的虚拟视失真,虽然计算速度快,但是在遮挡区域,尤其是深度图边缘区域,遮挡和显露导致的估计误差明显增大,容易造成编码模式选择错误,使编码效率和码率分配性能下降.Oh等[13-14]在像素级上建立了两个深度图失真-虚拟视失真模型,其中第2种方法考虑了3D变换中出现的遮挡现象,在3DV编码和码率分配中取得了较好的效果.但是,该方法没有考虑深度图包含大片平坦区域的特性,需要对所有像素判断遮挡是否发生,计算负担过重.

针对深度失真-虚拟视失真估计模型中所存在的估计准确性和计算复杂性这对矛盾,本研究提出了一种由深度图失真引入虚拟视失真的估计方法,在分析深度图统计特性的基础上,依据是否满足能量一致性假设要求,将深度图宏块分为平坦宏块和非平坦宏块.平坦宏块采用频域块级估计方法整块处理,快速准确地估计深度失真引起的虚拟视失真;非平坦宏块以复杂度换取估计准确性,逐像素点检测遮挡关系估计虚拟视失真.本方法综合了频域块级估计方法和像素级分析方法的优势,利用深度图统计特性,平衡了虚拟视失真估计的准确性和算法实现的复杂度.实验结果显示,本方法的估计准确性和算法复杂度都优于文献[10]方法;估计准确性与文献[13]方法接近,并且算法复杂度有所降低.

1 深度失真-虚拟视失真机理分析

1.1 深度与视差

图1给出了深度与视差关系示意图,其中x为横向坐标轴,z为纵向坐标轴,表示摄像机与物点P(x,y,z)的距离(图中未画出垂直坐标轴y);Cl,Cr分别为左、右摄像机的光学中心,其连线为基线B;f为摄像机的焦距;Ll和Lr分别表示左、右成像平面;Ol和Or分别为左、右视图像中心;Pl和Pr分别为物点P(x,y,z)在左、右平面的成像点.空间像素点在不同视图像中投影的像素点位置不同,其差值称为视差.

图1 深度与视差Fig.1 Relationship of depth and disparity

在平行摄像机阵列经过校正处理的多视视频中,消除了垂直视差,只存在均匀分布的水平视差.水平视差可表示[1]为

假定zn和zf分别为摄像场景中最近和最远的深度值,3D空间深度值z量化后得到的深度图中的像素值L为

1.2 深度图失真与视差误差

图2给出了深度失真与视差误差的关系示意图.在深度无失真的情况下,参考视中的像素点mA在深度z的控制下,先反投影到世界坐标系中的物点P,再投影到虚拟视图像中的点mB.若几个像素映射到虚拟视相同的像素位置,则最靠近摄像机的像素会遮挡住其他像素.当深度图失真为ΔL时,mA反投影到世界坐标系中的物点,致使3D空间的对应物点产生几何失真δz,重投影到虚拟视中的点,引起视差误差δd.深度图失真与视差误差之间的关系[9]为

可见,深度量化值失真ΔL与其在虚拟视中引入的水平视差误差δd呈线性关系,比例因子a依赖于摄像机参数和场景深度范围.相同的深度图失真在不同拍摄条件下可能会产生不同的绘制失真.例如,宽基线、大焦距、近景拍摄产生的绘制失真较大,而窄基线、小焦距、远景拍摄产生的绘制失真较小.由此可见,视差误差不仅与深度图失真有关,还受到拍摄条件的影响.

图2 深度失真与视差误差Fig.2 Virtual view distortion caused by depth distortion

深度图失真引起的虚拟视图像失真还依赖于参考视纹理图像局部特性.如果局部区域纹理复杂,邻近像素值差异较大,即使是很小的视差误差,也会导致严重的虚拟视失真.如果局部区域纹理简单或平滑(均匀)、邻近像素值相同或相似,则对视差误差具有一定的掩蔽性[11].因此,需要结合纹理图像的局部特性来估计深度图失真引发的虚拟视失真.

1.3 深度图失真引起的虚拟视失真

假定IV为用无失真参考视纹理图像和失真深度图合成的虚拟视图像,为用失真参考视纹理图像和无失真深度图合成的虚拟视图像,为用无失真参考视纹理图像和无失真深度图合成的虚拟视图像,则虚拟视图像失真[9]为

通过DIBR将参考视的纹理视频与对应深度图视频合成虚拟视视频,其中包括3D变换和空洞填充两个步骤.在3D变换过程中,一些在参考视图像中被遮挡的像素点,在绘制视图像中显露出来,形成空洞.为了填补显露区域中的空洞,虚拟视图像IV(u,v)通常由左右两路参考视图像绘制生成的图像Il(u,v)和Ir(u,v)融合而成,其融合方式为

式中,

其中Tl,Tr,TV分别为左、右参考视及虚拟视摄像机平移参数.

由于深度图的不连续性,融合生成的虚拟视图像中仍存在少量的小空洞像素点.在空洞填充过程中,使用图像修复技术来填补这些小空洞,同时也会在虚拟视中引入失真.

综上,虚拟视失真为非显露区域失真D1和显露区域失真D0之和,即

式中,

其中Dl和Dr分别为深度失真在左右绘制视中产生的失真.

2 深度图失真-虚拟视失真估计方法

由于不满足能量一致性假设要求,频域块级方法虽然计算速度快,但是在遮挡区域的估计准确性明显下降.像素级估计方法充分考虑了深度图中每个像素点的深度值及其遮挡关系,提高了估计准确性,但是加大了计算负担.为了综合利用频域块级方法低复杂度和像素级估计方法高准确度的优点,本研究提出了一种深度图失真-虚拟视失真估计方法,其框架如图3所示.

为了便于深度图编码和3DV码率分配使用,本方法首先将深度图划分为与编码宏块大小一致的图像块,然后根据是否满足能量一致性假设要求,将深度图像块分为平坦宏块和非平坦宏块.平坦宏块使用频域方法能既快又准地估计深度失真引起的绘制视失真;非平坦宏块使用像素级估计方法,以计算复杂度换取估计准确性.绘制视失真为各宏块失真的总和.在计算左右绘制视失真的基础上,利用式(9)计算合成的虚拟视失真.综合修复虚拟视失真残留小空洞引入的失真,可得到由深度图失真引起的虚拟视失真.

2.1 深度图宏块分类

如图4所示,深度图由锐边缘组成的大片匀质区域组成.匀质区域深度值相似,在3D变换中将参考图像平移到虚拟视中,能够很好地满足能量一致性假设要求.边缘区域深度值差异明显,在3D映射中形成遮挡和显露,与能量一致性假设要求相背离.由此可见,有大量匀质区域的深度图宏块适合使用频域方法估计绘制视失真,而有少量边缘区域的深度图宏块不适合使用频域方法.因此,需要以是否满足能量一致性假设要求为条件对深度图宏块进行分类,根据各自特点使用不同方法估计深度失真造成的绘制视失真.

图3 本方法框架Fig.3 Frame of the proposed algorithm

图4 纹理图与深度图Fig.4 Textimage and the depth map

根据前述的深度与视差的关系和深度失真通过视差误差引起虚拟视失真的机理可以看出,视差除了与深度有关,还与比例因子a有关.a由摄像机参数与场景布局决定.a值较小的序列,其深度阈值相对较大,否则将导致区域过度划分,增加算法复杂度.相反,a值较大的序列,其深度阈值较小,否则会产生区域欠划分问题,影响估计准确性.因此,本研究从视差角度提出了辨识是否满足能量一致性假设要求的判据,综合考虑了拍摄场景和深度对区域划分的影响.对于不同的摄像机参数和场景布局,阈值保持不变;而深度阈值与比例因子a成反比,隐含进行了自适应调节,有效避免了过度划分和欠划分的问题.

为了满足能量一致性假设要求,确保虚拟视图像中不出现遮挡和显露,图像块的视差应该具有一致性.在3D变换过程中,因此,视差值可能会是小数,而虚拟视像素坐标为整数,视差值通常采取四舍五入的方法归并到整数栅格上.为保证平坦宏块中大部分像素视差具有一致性,本方法要求其视差方差小于0.5,即

值得注意的是,能量一致性假设还意味着深度图失真在3D映射中不会引起新的遮挡.由式(3)可知,任意像素点的深度图失真ΔL(u,v)在绘制视中形成的视差误差δd(u,v)与摄像机参数和拍摄场景布局密切相关.由于3DV拍摄条件各不相同,相同的深度图失真在窄基线情形下不会引起遮挡,但在宽基线情形下就可能形成遮挡,因此,平坦宏块还要求深度图失真引起的视差误差满足如下的一致性条件:

只有同时满足式(10)和(11)这两个条件,才能保证应用能量谱方法估计深度图失真引起的虚拟视失真的估计性能.否则,随着能量不一致程度的增加,估计误差将越来越大.

2.2 平坦宏块的深度图失真-绘制视失真估计

平坦宏块满足能量一致性假设要求,采用图像能量谱的方法能够既快又准地估计深度图失真经视差误差引入的绘制视失真.假设第k个深度图宏块为平坦宏块,其平均视差误差为则其引起的虚拟视失真为

式中,ψk为对应纹理图像宏块的能量密度参数,计算方法为

其中Sx(ω1,ω2)为对应纹理图像宏块的能量谱密度函数.

2.3 非平坦宏块的深度图失真-绘制视失真估计

非平坦宏块在绘制过程中会出现遮挡和显露问题.为了准确估计深度图失真引入的虚拟视失真,本方法逐像素判别遮挡关系,估计深度图失真引起的虚拟视失真[13].左视绘制中间视时,当前像素会被右侧像素遮挡,而右视绘制中间视时会被左侧像素遮挡.因此,对于左视和右视而言,判别遮挡关系时需要按不同方向进行.本研究以右视为例进行说明,左视与之相似.

图5 遮挡示意图Fig.5 Occlusion phenomenon in DIBR

如图5所示,当前像素点在虚拟视中的绘制像素可能被其左侧像素对应的绘制像素遮挡.为叙述方便,将其分别简称为当前绘制像素和左侧绘制像素.如果某一左侧绘制像素的水平位置落到当前绘制像素的右侧,则当前像素被遮挡,否则未被遮挡.因为遮挡像素不在绘制视中出现,在估计绘制视失真时不予考虑.

图6 像素级深度图失真估计绘制失真的简化计算Fig.6 Simplied pixel-wise virtual view distortion calculation

2.4 显露区域虚拟视失真估计

虚拟视中的显露区域在采用融合方法填补大空洞后,还会残留一些小的空洞.采用图像修复技术填补小空洞时将会产生失真D0,其可采用概率统计的方法计算[17]:

式中,I(ui,vi)为空洞像素的真实值,为空洞像素的估计值,其概率分布为因此,虚拟视中显露区域的失真为

综上,本方法中深度图失真引起的虚拟视失真为

3 实验结果与分析

为了验证本研究所提出的深度图失真-虚拟视失真估计方法的有效性,以MPEG 3DV标准测试序列Street,Hall2,Newspaper和Balloons为测试对象,进行了仿真实验验证.测试序列的相关参数如表1所示.

表1 测试序列参数Table 1 Parameters of the test sequences

本研究在6个不同的量化参数(quantization parameter,QP),即22,27,32,37,42,47下,用H.264参考软件压缩了测试序列的参考视深度视频,之后再用MPEG组织提供的视合成参考软件VSRS3.5将无失真的参考视纹理视频和解压缩的深度视频合成虚拟视视频.考虑到无法保证能够采集到所有虚拟视的真实视频,本研究以无失真彩色视频和深度视频合成的虚拟视视频作为原始视频,将无失真参考视纹理视频和解压缩深度视频合成的虚拟视视频与其对照,计算均方误差(mena squared error,MSE),并作为实测值来衡量深度视频失真对虚拟视视频失真的影响.估计方法得到的MSE与其越接近,表明估计方法的准确性越高.

在已知的块级深度图失真-虚拟视失真估计方法中,文献[10]提出的方法性能最好.该方法对深度方差小于门限阈值1的区域进行四叉树迭代划分,直至最小划分区域(4×4子块)为止.在已知的像素级深度图失真-虚拟视失真估计方法中,文献[13]提出的考虑遮挡的方法的估计准确性最好(下述的文献[13]方法均指考虑遮挡的估计方法).本研究将本方法的估计准确性与文献[10]和文献[13]方法进行了对比.为了对比方便,本研究设置文献[10]方法的最大划分块为16×16,结果如图7所示.为了进一步表明算法的有效性,本研究还给出了4个测试序列在各QP下的估计误差ΔMSE(估计MSE与实测MSE的差值)和平均估计误差avg(|ΔMSE|)(见表2).

从图7和表2可以看出,本方法与实测值接近,说明本方法的性能较好.和文献[10]方法相比,本方法的准确性有了明显提高;与文献[13]方法相比,本方法的准确性与其接近.文献[10]的迭代划分方法虽然提高了满足能量一致性假设要求的区域数目,但是仍然存在最小划分区域深度不一致和遮挡等问题,算法准确度不能令人满意.本方法对非平坦宏块使用考虑遮挡的像素级估计方法,克服了文献[10]方法的缺陷,提高了的估计准确性.文献[10]方法对所有QP采用相同的区域划分,而实际上,随着QP的增加,深度失真会导致不满足能量一致性假设要求的深度图宏块数目逐渐增加,且在QP较大处,估计误差迅速增加.本方法根据深度图宏块分类的第二条判据,将由于深度失真加大而不再满足能量一致性假设要求的宏块自适应划分为非均匀宏块,在大QP压缩时,有效降低了估计误差.因此,本方法的估计误差明显小于文献[10]方法.由于本方法在平坦宏块中使用的频域估计方法不如像素级估计方法准确,使其估计准确性略低于文献[13]方法.

图7 MSE实验结果对比Fig.7 Contrast of MSE experimental results

表2 估计误差对比Table 2 Contrast of estimated virtual view distortion

虽然文献[13]方法的估计准确性高于本方法,但它需要逐像素搜索其左右绘制邻近像素,在大量没有发生遮挡的平坦区域浪费了计算资源,增加了计算复杂度.文献[10]中使用的频域估计方法本身的计算复杂度并不高,但是迭代划分会导致计算复杂度加大.此外,文献[10]方法只能从深度图失真角度设定的迭代划分判决条件,不能根据摄像机参数和拍摄条件自动调节,容易出现过度划分现象,导致计算复杂度无意义的增加.

表3为本研究提出的估计方法与文献[10]和文献[13]方法的运行时间对比,其中A1和A2分别为本方法与文献[10]和文献[13]方法相比节约的运行时间.实验运行环境为双核CPU,主频3.2GHz,内存2G.可以看出和文献[10]方法相比,本方法的计算复杂度明显降低,4个序列的平均运行时间节约了38.6%.和文献[13]方法相比,本方法的计算复杂度也有所减小,4个序列的运行时间平均降低了27.4%.可见,本方法在估计准确性和算法复杂度之间取得了较好的平衡.

表3 运行时间对比Table 3 Contrast of runtime

在4个测试序列中,Street与Hall2的拍摄条件完全相同,但是Street序列的纹理更为复杂,因而各种方法的估计误差都较大.Street,Newspaper,Balloons序列的比例因子a依次减小,各种方法的估计误差也随之减小.这是由于小的比例因子a对于深度图失真有一定的掩蔽效应.当深度图误差相同时,比例因子a小的形成的视差误差也较小.本方法使用相同的视差阈值判别深度图宏块类型,较小的比例因子a对应的深度阈值较大.深度阈值大意味着更多在文献[10]方法中需要迭代划分的深度图宏块在本方法中被划分为平坦宏块.随着平坦宏块比例的增加,本方法较文献[10]方法提高了节省的运行时间比例,3个序列依次为41.8%, 46.5%和49.8%,但是准确性的改善量有所下降,分别为2.79,1.02和0.57.

Hall2序列的比例因子a虽然比Newspaper序列大,但是其平坦宏块所占比例较大(例如当QP为42时,这两个序列的平坦宏块比例分别为66%和58%),因此与文献[13]方法相比, Hall2序列比Newspaper序列多节省了2.8%的运行时间.对于Hall2序列的比例因子a而言,本方法的深度图类型划分判据与文献[10]方法的迭代划分判据实质上并无多大差别.由于文献[10]方法对Hall2序列的过度划分非常有限,且Hall2序列中平坦宏块所占比例较大,因此本方法较文献[10]方法节省的运行时间非常有限,仅为8.9%.

Street序列的比例因子a取值虽然和Hall2序列相同,但是在大QP压缩时,其深度图中的绝大多数不平坦宏块产生了遮挡关系改变(例如当QP为42时,93.6%的不平坦宏块改变了遮挡关系),而像素级估计方法无法准确估计遮挡关系改变所引起的虚拟视失真,因此限制了估计准确性的提高.与文献[10]方法相比,Street序列的平均估计误差降低了2.79,不如Hall2序列效果明显.

4 结束语

本研究提出了一种有效的深度失真引起虚拟视失真的估计方法.首先,将深度图划分为与编码单元尺寸相同的宏块,依据视差及视差误差一致性条件判别宏块是否满足能量一致性假设要求,并将其分为平坦宏块和非平坦宏块.然后,平坦宏块用频域分析方法整体估计深度图宏块失真引入的虚拟视失真,非平坦宏块采用像素级分析方法,判断遮挡关系,逐像素估算深度图失真在绘制视中引入的失真.最后,与显露区域的虚拟视失真综合,得到虚拟视图像总体失真估计值.本方法兼顾了估计准确性和计算复杂度,综合性能较好,且深度宏块的分类判据综合考虑了多视视频拍摄条件,可以用统一的阈值对各种摄像机设置参数和场景布局的视频序列进行深度图宏块的准确分类,应用非常方便.

[1]张兆扬,安平,张之江,等.二维和三维视频处理及立体显示技术[M].北京:科学出版社,2010: 1-100.

[2]MPEG.Applications and requirements on 3D video coding[C]//ISO/IEC JTC1/SC29/WG11. 2009:13-29.

[3]FEHN C.Depth-image-based rendering(DIBR),compression and transmission for a new approach on 3D-TV[C]//Proceedings of SPIE Stereoscopic Displays and Virtual Reality SystemsⅪ.2004:93-104.

[4]RUSANOVSKYY D,ZHANG L,CHEN F C,et al.3D-AVC test model 8[C]//Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 JCT3V-F1003.2013:1-62.

[5]ZHANG L,TECH G,WEGNER K,et al.Test model 7 of 3D-HEVC and MV-HEVC[C]//Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 JCT3V-G1005.2014:3-40.

[6]LIU Y W,HUANG Q M,MA S W,et al.Joint video/depth rate allocation for 3D video coding based on view synthesis distortion model[J].Signal Proc Image Comm,2009,24(8):666-681.

[7]TECH G,SCHWERZ H,MULLER K,et al.3D video coding using the synthesized view distortion change[C]//PCS.2012:25-28.

[8]MERKLE P,MORVAN Y,SMOLIC A,et al.The e ff ects of multiview depth video compression on multiview rendering[J].Singal Proc Image Comm,2009,24(1/2):73-88.

[9]LAI P,ORTEGA A,DORE A,et al.Improving view rendering quality and coding efficiency by suppressing compression artifacts in depth-image coding[C]//Proc of Visual Communic and Image.2009:894-897.

[10]WANG Q F,JI X Y,DAI Q H,et al.Free viewpoint video coding with rate-distortion analysis[J].IEEE Transactions on Circuits and Systems for Video Technology,2012,22(6): 875-889.

[11]KIM W S,ORTEGA A,LAI P,et al.Depth map distortion analysis for view rendering and depth coding[C]//ICIP.2009:721-724.

[12]KIM W S,ORTEGA A,LAI P,et al.Depth map coding with distortion estimation of rendered view[C]//Proc of SPIE Visual Information Processing and Communication.2010:3534-3545.

[13]OH B T,LEE J,PARK D.Depth map coding based on synthesized view distortion function[J]. IEEE Journal of Selected Topics in Signal Processing,2011,5(7):1344-1352.

[14]OH B T,LEE J,DUSIK P.Fast joint bit-allocation between texture and depth maps for 3D video coding[C].ICCE.2013:193-194.

本文彩色版可登陆本刊网站查询:http://www.journal.shu.edu.cn

Estimation of view synthesis distortion caused by depth map distortion

LI Chun-hua1,2,AN Ping1,3,ZHANG Zhao-yang1,3
(1.School of Communication and Information Engineering,Shanghai University, Shanghai 200444,China; 2.College of Information Science and Engineering,Hebei University of Science and Technology, Shijiazhuang 050018,China; 3.Key Laboratory of Advanced Display and System Applications,Shanghai University, Shanghai 200072,China)

A method for estimating the virtual view image distortion caused by the depth map coding distortion is proposed.The depth map is divided into macro blocks according to the coding unit.These macroblocks are then classi fi ed into uniform macroblocks and nonuniform macroblocks according to the energy density consistency constraint.The rendered view distortion in the uniform macroblocks is estimated by a block-level frequency domain method,while that in the non-uniform macroblocks by a pixel-level time domain method. Finally,the virtual view distortion is combined with both rendered view distortions.The distortion introduced by inpainting is also computed.With a shooting parameter,it can correctly classify the macroblocks of depth map sequences acquired from di ff erent shootingconditions.Simulation results show that the proposed method can accurately estimate virtual view distortion caused by depth map distortion.It achieves e ff ective balance between accuracy and algorithm complexity,which is important to guide 3D video(3DV)coding and rate allocation under the limited bit rate budget.

3D video(3DV);freeview TV(FTV);distortion estimation;virtual view image distortion;depth map distortion

TN 941.1

A

1007-2861(2015)04-0402-12

10.3969/j.issn.1007-2861.2014.03.016

2014-02-19

国家自然科学基金资助项目(61172096)

安 平(1968—),女,教授,博士生导师,博士,研究方向为3D视频处理.E-mail:anping@shu.edu.cn