基于边缘复杂度的深度图帧内模式选择方法

项璐露，张 桦，戴国骏

(杭州电子科技大学计算机应用技术研究所，浙江 杭州 310018)



基于边缘复杂度的深度图帧内模式选择方法

项璐露，张 桦，戴国骏

(杭州电子科技大学计算机应用技术研究所，浙江 杭州 310018)

3D-HEVC在深度图中的内部模式众多导致了编码时间大量增加.为此，提出了一种基于边缘复杂度的深度图帧内模式选择方法.由于DMMs中的深度图帧内模式适用于不同特征的边缘，其中的Intra_Wedge模式针对简单边缘而Intra_Contour模式适用复杂边缘.因此提出了依据边缘复杂度情况分别选择不同深度图帧内模式到候选列表中.实验结果表明，该算法在保证视频质量的条件下，节省了29.24%的编码时间.

3D-HEVC；深度图内部编码；边缘复杂度

0 引 言

近年来3D技术的应用得到了广泛的关注，由3D视频编码扩展开发联合协作组(JCT-3V)开发的3D-HEVC(3D High Efficiency Video Coding)应运而生.其中深度建模模型(Depth modeling modes，DMMs)是3D-HEVC深度图内部编码中为了保护深度图尖锐边缘而设计的编码模式.然而深度图中存在大片的平坦区域，DMMs模式不适用于这些区域.因此每次将DMMs模式放入模式候选列表中增加了计算复杂度和编码时间.为了解决以上问题，众多国内外学者着手研究3D-HEVC编码技术并提出改进[1-4].文献[1]提出，当深度图内部模式候选列表第一个模式为Planar模式且该PU梯度值小于一定阈值时，跳过DMMs模式.文献[2]采用Hardmard变换域进行边缘分类，选择性地忽略DMMs模式.文献[3]通过获取深度图特征取得了理想的效果.文献[4]提出了一种深度图编码提早终止算法减少编码时间耗费.上述方法都获得了理想的效果，然而目前提出的大部分方法是针对所有DMMs模式的提前终止或选择性加入候选列表，在加入候选列表后仍要从DMMs模式中选出合适的模式对编码预测块进行编码，而DMMs中不同的模式适用于不同特征的深度图.因此本文提出了基于边缘复杂度的深度图内部模式快速选择方法，本算法根据DMMs模式不同特点选择不同模式，避免了计算冗余模式、减少计算量，对减少编码时间具有长远意义.

1 3D-HEVC深度图内部模式编码

除了HEVC提供的35种内部预测模式，3D-HEVC增加了DMMs模式.跳跃模式Intra-picture skip和3种新的预测模式(Intra_Single, Intra_Wedge和Intra_Contour)用于深度图层的帧内编码[5].深度图主要由尖锐边缘和大量近乎常数或者缓慢变化的样本值组成.HEVC原有的内部预测和变换编码在深度图近乎常数区域应用得很好，然而在尖锐边缘区域会产生振铃效应，从而导致中间视图合成(Intermediate view synthesis)达不到预期的视频质量.DMMs模式的产生正是为了解决这个问题.DMMs中使用了2种划分类型，即Wedgelets和Contours划分，分别对应Intra_Wedge和Intra_Contour模式[6].

1.1 Intra_Wedge模式

Intra_Wedge模式适用于简单边缘，在编码时首先查找最匹配的Wedgelets划分，然后以比特串形式传输划分信息.

在Wedgelets划分中，深度块由一条直线划分，Wedgelets划分如图1所示.划分后的2个区域分别由不同颜色表示.划分线由分别在块中不同边界的起点和终点决定.在连续信号空间，划分线可以由直线表达式表示，如图1(a)所示.在离散样本空间，块由一系列样本组成，块的划分结果有所不同，如图1(b)所示.虽然划分线也可以用直线表达式表示，但划分后的区域只能以完整样本分配到划分后的不同部分中.

图1(a)中，Wedgelets划分对应的边缘SE是一条直线且所有边缘点的梯度方向θ都是相同的，说明Intra_Wedge模式更适合解决边缘梯度方向比较集中的深度图边缘编码问题.

图1 Wedgelet划分

1.2 Intra_Contour模式

Intra_Contour模式主要针对复杂边缘，通过组件预测得到对应纹理图参考块，从而预测一个Contour划分.

复杂边缘用几何公式描述很难做到.Contour划分如图2所示，一个块中的复杂边缘可能是任何形状的，也可能具有多部分，因此在Contour划分中不能像Wedge划分一样描述划分线.每个预测块根据其对应的参考块信号得到划分模式，如图2(b)所示.图2(a)中，Contour划分适用的边缘，其方向θ指向各个方向，具有边缘方向分散且数量众多的特点，故Intra_Contour模式适合编码方向数量多的边缘.

图2 Contour划分

2 基于边缘复杂度的内部预测模式方法

2.1 边缘复杂度

本文的边缘复杂度主要从两个方面描述，即边缘强度以及边缘的方向.一般情况下，边缘梯度值的大小意味边缘强弱；边缘方向越多说明边缘线种类越多，边缘具有不规则性.本文采用Sobel算法检测预测块边缘.Sobel是常用的边缘检测方法，其计算复杂度低，对边缘检测有较好的效果.本文中的边缘检测对算法效率要求高，因此Sobel更为适合本算法.

2.1.1 边缘强度

在本算法中，Sobel水平和垂直空间滤波器如下：

(1)

对当前PU的图像矩阵进行卷积计算得到水平梯度值Gx以及垂直梯度值Gy，并由计算得到边缘强度：

|G|=|Gx|+|Gy|.

(2)

G是像素点的边缘强度，为了减少计算复杂度，取G的绝对值等于水平梯度Gx绝对值与垂直梯度Gy绝对值的和.边缘强度大于一定阈值的像素点被称为边缘像素点.

2.1.2 边缘方向

由Sobel滤波与图形矩阵卷积后得到的水平梯度值Gx以及垂直梯度值Gy进行计算得到该边缘像素点的边缘方向：

(3)

其中，θ为边缘方向.只有当样本值为边缘像素点时才会计算其边缘方向.

2.2 边缘方向量化

将边缘方向-90°～90°量化为9个方向，分别为-90°～-70°,-70°～-50°,-50°～-30°,-30°～-10°,-10°～10°,10°～30°,30°～50°,50°～70°,70°～90°，如图3所示.根据该块所得边缘像素点的边缘方向判断属于哪个区间，依次判断每个像素点的边缘方向，并统计该PU内所有边缘点的边缘方向量化方向数量.由于深度图帧内模式中的Intra_Wedg模式适用于少且简单边缘，而Intra_Contour模式适用于多而复杂边缘，因此，当边缘方向数量较少时，很可能该块中边缘方向比较集中，边缘点方向相同，可以用一条直线表示这些边缘，将Intra_Wedg模式加入模式候选列表；而当边缘方向数量较多时，很可能表示边缘方向分散，边缘点方向各不相同，形成的边缘多而复杂，很难用直线描述，将Intra_Contour模式加入模式候选列表.

本算法步骤如图4所示，其中编码块的方差的计算方法参考文献[1]，取阈值STh=max(Q≫3-1,3)2-8，其中STh表示求得阈值，Q为配置文件中深度图的qp值，≫表示右移.SvarCU表示编码块的方差.

图3 量化方向

图4 本文算法流程图

3 实验结果及分析

为了验证本文提出的基于边缘复杂度的深度图内部模式选择算法结果，将本文算法、文献[1]算法、文献[8]HTM8.1ver算法分别进行实验并将实验结果进行比较.其中文献[8]算法是HTM未加入文献[1]算法的最后一个版本，即DMMs模式全部加入候选列表的原始算法.文献[1]算法在2013年提出，是对文献[8]算法的改进并已经被采用加入到HTM(3D-HEVC官方开发平台)中，为目前收录在HTM平台中关于深度图内部模式选择方向最新的算法.

实验在3D-HEVC标准参考软件HTM13.0平台上进行，主要依据标准测试条件(CTC)[7]配置.选取3D-HEVC给出的标准序列进行测试，每个序列纹理图与深度图QP分别为(25,34),(30,39)，(35,42)，(40,45)，在Intra-only配置下输入3视点加深度图序列.在配置为Interl(R)Core(TM)i5-4590 CPU @3.30 GHz,8 G RAM,64位操作系统的PC机上运行.

将实验结果进行整理得到表1中结果，表1将文献[1]与本文算法分别与文献[8]算法结果比较，通过比较可以看到文献[1]算法与本算法相对于文献[8]算法的改进.BD-Rate与BD-PSNR表示视图合成质量以及总比特率的率失真情况.texture与depth分别表示输入视点的纹理视频与深度视频，每个序列共有3个视点、6个输入视频，例如balloons中，有3个视点且每个视点对应1个纹理图与1个深度图.

表1 本文算法及文献[1]算法分别与文献[8]算法实验结果比较

从表1中分别整理并提取本文算法与文献[1]算法结果，得到本文算法与文献[1]算法实验比较结果如表2所示，本算法与文献[8]算法比较结果如表3所示.

表2 本文算法与文献[1]算法实验结果比较

表3 本文算法与文献[8]算法实验结果比较

通过比较表2中本文算法与文献[1]算法可以发现，△BD-Rate的表现上，本文算法下降了0.05%，平均BD-PSNR上，本文算法有0.09的增加，编码平均时间上，本文算法节省了12.55%；通过比较表3种本文算法与文献[8]算法的可以发现，△BD-Rate的表现上，本文算法下降了0.09%，平均BD-PSNR上，本文算法有0.09的增加，编码平均时间上，本文算法节省了29.24%.

根据以上结果比较发现，本算法在同样的客观质量下，码率有微小的节省，且码率一定的情况下具有更高的PSNR-Y，另在编码平均时间上本文算法具有不错的表现.即本方法在不影响编码视频质量的情况下，实现了比文献[1]算法更有效的深度图内部模式快速选择算法.

从每个测试序列结果对比中得到，各序列结果会有一些不同，从表1中可以看出在BD-Rate，BD-PSNR与编码平均时间表现上各序列结果有所不同，即本算法对不同的序列适用情况会有差别，因每个序列深度图边缘分布以及边缘特征不同，目前还不能做到全都处理的很理想，但基本维持在较小的偏差上.

4 结束语

本文提出一种基于边缘复杂度的深度图内部模式选择算法.针对深度图内部选择模式众多、计算过程耗时的情况，本文根据深度图内部编码模式特征对模式进行选择从而摒弃了不必要的计算，节省了运算时间.另外，实际情况中，视频的特征与边缘特性是多种多样的，本文算法对边缘点空间位置的考虑不够，有待进一步改进.因此，继续研究一种更通用、准确的方法来进行模式选择具有深刻的意义.

[1]GU Z Y, ZHENG J H, LING N, et al. Fast Intra Prediction Mode Selection for Intra Depth Map Coding[C/OL].[2015-12-01].http://phenix.int-evry.fr/jct2/index.php.

[2]PARK C S. Edge-based intramode selection for depth-map coding in 3D-HEVC[J]. IEEE Transactions on Image Processing, 2015, 24(1): 155-162.

[3]LUCAS L F R, WEGNER K, RODRIGUES N M M, et al. Intra Predictive Depth Map Coding Using Flexible Block Partitioning[J]. Image Processing, IEEE Transactions on, 2015, 24(11): 4055-4068.

[4]ZHANG Q, LI N, HUANG L, et al. Effective early termination algorithm for depth map intra coding in 3D-HEVC[J]. Electronics Letters, 2014, 50(14): 994-996.

[5]TECH G, CHEN Y, MÜLLER K, et al. Overview of the multiview and 3D extensions of High Efficiency Video Coding[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2016, 26(1): 35-49.

[6]CHEN Y,TECH G,WEGNER K,et al.Test Model 11 of 3D-HEVC and MV-HEVC[C/OL].[2015-12-01].http://phenix.int-evry.fr/jct2/index.php.

[7]MÜLLER K. Vetro A Common Test Conditions of 3DV Core Experiments[C/OL].[2015-12-01]. http://phenix.int-evry.fr/jct2/index.php.

[8]JCT-3V 3D-HEVC.3D High Efficiency Video Coding Test Model software HTMver.8.1. [CP/OL].[2015-12-01].https://hevc.hhi.fraunhofer.de/trac/3d-hevc/browser/3DVCSoftware/tags/HTM-8.1.

Edge Complexity Based Intra Mode Selection for Depth-map Coding in 3D-HEVC

XIANG Lulu, ZHANG Hua, DAI Guojun

(InstituteofComputerApplicationTechnology,HangzhouDianziUniversity,HangzhouZhejiang310018,China)

In 3D-HEVC, a large quantity of depth map intra models results in unexpected increase of time consuming. In this paper, a new intra mode decision algorithm by detecting edge complexity is proposed. Depth intra prediction modes in DMMs are applicable for edges of different features, among which Intra Wedge mode is mainly for simple edges and Intral Contour mode is aimed at complex edges. Then based on edge complexity, we add Intra Wedge or Intra Contour to mode candidates instead of all DMMs modes. The experiment results show that our algorithm is capable to save 29.24% of the depth maps coding time without any loss of the quality.

3D-HEVC; depth intra coding; edge complexity

10.13954/j.cnki.hdu.2016.06.006

2016-05-04

国家自然科学基金资助项目(61471150)；国家国际科技合作专项资助项目(2014DFA12040)；浙江省“3D产业关键技术创新团队”资助项目(2011R50009)

项璐露(1992-)，女，浙江金华人，硕士研究生，计算机应用技术.通信作者：张桦副教授，E-mail：zhangh@hdu.edu.cn.

TN919.81

A

1001-9146(2016)06-0025-05