TCM模型的自适应硬判决量化算法

李瑞阳,殷海兵

(中国计量大学 信息工程学院,浙江 杭州 310018)

TCM模型的自适应硬判决量化算法

李瑞阳,殷海兵

(中国计量大学 信息工程学院,浙江 杭州 310018)

在视频编码中,DCT系数分布模型是率失真理论模型的基础,视频量化一般可分别为硬判决量化(HDQ)以及软判决量化(SDQ),SDQ算法能实现最优编码性能,但其中维特比算法会导致严重的系数间串行处理依赖.比较而言,基于死区(deadzone)的HDQ算法率失真性能略有损失,但是不考虑系数间的相关性.提出了一种基于分段逼近TCM模型(Transparent Composite Model)的自适应硬判决量化算法,采用更精确的DCT分布估计模型,估算不同频率分量DCT系数的分布参数.根据模型参数及DCT系数分布参数,优化构造自适应的死区偏移量模型.实验表明，相对于固定偏移量HDQ算法,其编码性能非常接近于SDQ算法.

视频编码;率失真优化;TCM模型;硬判决量化

在H.26x和MPEG-x等混合框架视频编码器中,量化算法很大程度上直接决定编码器的率失真性能.DCT系数分布模型是率失真理论模型的基础,目前,主流的DCT系数分布模型有基于拉普拉斯的模型、基于柯西分布的模型和基于广义高斯分布的模型等.实验结果表明,没有一种模型能够准确吻合所有图像的DCT系数分布.针对这个问题,本文采用TCM分布模型,把DCT系数分为两个部分,分别采用不同的模型进行估计,以提高DCT系数分布模型的准确度.

本文研究DCT系数在TCM分布模型下,模拟SDQ算法,在离线模式下,构建自适应死区偏移模型，提高硬判决量化算法的RD性能.一方面,独立估算不同频率分量DCT系数的统计分布参数,在率失真优化理论指导下,将参数应用于偏移量建模.另一方面,将偏移量构建为量化参数、TCM模型参数以及DCT系数分布参数的函数,基于最大正判和最小误判原则,模拟并逼近软判决量化结果,构造自适应的死区偏移量模型,以提高改进硬判决量化算法的率失真性能.

1 背景及问题

1.1 DCT系数分布

高性能编码需充分考虑信源特征,预测残差DCT系数概率分布模型是设计最优量化器和构建率失真模型的基础.学术界先后提出了高斯、拉普拉斯、广义高斯、柯西等概率模型;YANG E H等针对实际样本较重拖尾现象,提出分段逼近TCM模型[1].

在TCM模型里,根据样本绝对值分布,将样本y分为两个部分,分割点样本绝对值为yc.TCM模型的概率密度函数可以描述为:P(y|yc,b,θ)=

(1)

其中,参数a为实际样本的最大绝对值.不同分布模型有各自参数,假设θ为模型参数,f为|y|

1.2 HDQ和SDQ量化判决

在早期视频压缩算法中,DCT系数的分布近似认为服从拉普拉斯模型分布,基于此分布特点,Gary提出了失真最小的Deadzone +UTQ(UniformThreshold Quantization)量化方案[3].基于死区的HDQ算法如下:

HDQ(z)=floor([|z|+δ×q]/q).

(2)

其中,z为DCT系数,q表示量化步长,δ表示deadzone偏移量,||表示求绝对值操作,floor为向下取整操作,HDQ(z)为硬判决量化幅值.在USQ中,偏移量δ的取值为1/2.Gray在基于熵编码的统计特性的研究中,提出帧内、帧间预测模式分别采用固定死区量化偏移量1/3和1/6[3].H.264和H.265标准参考代码JM和HM中都采用该算法[4],但是没有考虑块内相邻系数的相关影响[5].维特比网格搜索[6]是实现SDQ的一种典型方法.SDQ算法可获得优越的编码性能,能实现6%～8%的码率节省[6-7],但这种性能提升是以维特比算法及CABAC编码导致高度串行依赖为代价的.在H.264/AVC及HEVC等标准中先后采用率失真优化量化(RDOQ)算法,该算法可理解为SDQ算法的简化版[8].相比于SDQ全网格维特比搜索,RDOQ只搜索网格图中部分路径[9].

因此,在深入分析SDQ算法的内在特性和作用机理后,本文提出了基于TCM分布模型的自适应死区HDQ偏移量模型.其目标是在保留系数独立HDQ算法并发处理优越性前提下,最大限度接近SDQ算法的率失真性能.在这个过程中,需要充分考虑TCM模型中DCT系数的分布特性参量以及系数之间的相互影响.

1.3 软硬判决分析

Gary在研究DCT系数分布特性的基础上,提出了采用固定死区的HDQ算法,有效地提升了编码器的率失真性能.当DCT系数采用拉普拉斯分布时,其概率密度函数如下:

其中

(3)

Λ为DCT系数分布模型参数,б为系数的标准差.u为DCT系数.在基于拉普拉斯DCT分布模型中,采用率失真优化确定HDQ算法中的死区偏移量δ公式如下:

(4)

其中,λ为拉格朗日乘子,经归一化的死区偏移量δ′可表示如下:

(5)

图1 偏移量δ′分布图Figure 1 Offset distribution

其中,λ为拉格朗日乘子.但是,此处存在一个“蛋鸡悖论”的问题,参数λ和δ是相互依赖的.而且,解决该悖论问题相对比较困难.根据公式我们可以看到λ越大,死区偏移量δ越大,q越大,死区偏移量δ也应该越大.但是实际测试的过程中发现,随着Qp的增大,归一化量化偏移量δ′如图1.图1(a)可见有些Qp和λ组合情况下,偏移量出现小于0现象;如果将小于0的偏移量置为0,得到图1(b)所示曲面.实验结果发现,基于图1所示偏移量HDQ算法性能距离SDQ算法有较大差距.

Gary等在不考虑系数分布参数差异前提下,为HDQ算法确定了固定死区偏移量[10],死区偏移量帧内和帧间模式分别取1/3和1/6.这种简化导致了一定程度编码率失真性能损失.λ参数的准确性对偏移量至关重要.事实上,不同位置的DCT系数有不同的拉普拉斯参数λ[11],类似于SDQ算法,HDQ算法中系数级量化调节对于性能提升有着重要影响.

2 基于TCM模型自适应偏移量的HDQ算法

2.1 基于TCM模型的系数分布参数

本文中使用TCM分段DCT分布模型,通过观察TCM与拉普拉斯DCT分布模型的分布模型参数λ,对比发现,通过改变模型参量b的大小,可以调节TCM模型里分布模型的参数值的大小,用不同分辨率的测试序列进行实验,横坐标表示图像16个位置,纵坐标表示两种DCT系数分布参数λ′/λ=λTCM模型/λLaplace模型的比值如图2,模型参数b和分布参数比值的关系如图3所示.

图2 DCT系数位置和分布参数比值关系图Figure 2 DCT coefficient position and distribution parameter ratio diagram

图3 分布模型参数比值与模型参数b的分布图Figure 3 The ratio of the model parameters and model parameters b Distribution

2.2 基于TCM模型的自适应偏移模型建模

本文构建基于TCM模型的DCT分布参数以及参数b的自适应死区偏移模型.模拟SDQ算法的数据特征和作用机理,基于统计分析方法在最大正判概率约束下,探索最优死区量化偏移量,离线构建参数自适应模型.

如图4,本文采用启发式模型推导方法.首先,收集图中的DCT系数样本,即两种量化算法(HDQ和SDQ)的量化幅值不一致情况下的DCT系数.在DCT系数分布参数以及模型参数b的不同组合下,收集这些样本数据,在保证样本两种量化算法结果一致的前提下,得到所有DCT系数样本偏移量的取值范围(δmin,δmax).

然后,在DCT系数分布参数以及TCM模型参数b的所有组合下,统计各组合下样本偏移量取值范围,在最大正判概率约束下,从中抉择出最佳偏移量.最终离线构建自适应偏移量模型(图5).

图4 自适应偏移量模型建模示意图Figure 4 Adaptive offset schematic modeling

图5 偏移量δ模型图Figure 5 Model diagram of offset δ

3 实验结果

本文将提出的自适应偏移量模型可应用与H.264和H.265标准编码器,进行HDQ算法验证,与固定偏移量HDQ算法及SDQ算法进行了率失真性能比较.所有量化算法都同时应用于最终模式编码以及率失真优化模式选择回路中.仿真采用D1、720p和1080p格式视频序列;关闭码率控制,量化参数选择22,27,32,37,覆盖低、中和高比特率应用.GOP结构采用IPBBPBB.采用主流的BD-PSNR及BD-RATE参数进行率失真性能比较[12].

表1 固定偏移量HDQ、基于本文自适应偏移量模型HDQ与最佳SDQ算法性能对比

图6给出了D1格式Silent-D1 flowergarden序列的率失真曲线图,图中对比了SDQ算法、固定偏移量HDQ算法以及本文自适应偏移量HDQ算法.此外,表1给出不同测试序列的BD-PSNR及BD-RATE参数[12].根据表1结果,在高分辨率视频序列情况下,本文算法有相对较高的率失真性能提升.本文提出的算法率失真性能上明显优于固定偏移量HDQ算法,十分接近最佳SDQ算法性能.计算复杂度方面,相比于固定偏移量HDQ算法,本文算法的额外计算是DCT系数分布参数,总体上而言,额外增加的计算复杂度基本可以忽略,且本文算法可保持HDQ算法系数级并发处理优势.

图6 典型测试序列率失真曲线示Figure 6 A typical test sequence in shows the rate-distortion curve

4 结 论

算法内在的串行依赖阻碍了SDQ算法硬件并发流水有效实现.HDQ算法相较于SDQ算法,编码率失真性能有显著的损失.基于统计分析及启发式建模,本文根据DCT系数分布参数以及TCM模型参数,构建自适应死区偏移量模型,提出一种内容自适应偏移量死区量化算法,可减少传统死区HDQ算法和SDQ算法之间性能的差异.实验仿真结果表明,相比于固定偏移量HDQ算法,本文算法峰值信噪比有0.080 17 dB性能提升,平均节省2.941 9%码率.和SDQ算法相比,本文算法PSNR性能仅有0.047 4 dB损失,相当于1.665 3%码率增加.此外,本文算法额外的复杂度适中,保持了HDQ算法系数级并发处理优势.

[1] YANG E H, YU X, MENG J, et al. Transparent composite model for DCT coefficients: Design and analysis[J].IEEE Transactions on Image Processing,2014,23(3):1303-1316.

[2] LIU L, YOURAPIS A M, et al. Rate distortion optimized quantization in the JM reference software[C]//Joint Video Team of ISO/IEC Conference. Geneva: IEEE, 2008:1124-1135.

[3] SULLIVAN G J. Efficient scalar quantization of exponential and Laplacian random variables[J].IEEE Transactions on Information Theory,1996,42(5):1365-1374.

[4] BJONTEGAARD G. Calculation of average PSNR differences between RD-Curves[C]//13th video coding experts group(VCEG) meeting. TX, USA:IEEE,2001:1022-1034.

[5] WEN J, LUTTRELL M, VILLASENOR J. Trellis-based RD optimal quantization in H. 263+[J].IEEE Transactions on Image Processing,2000,9(8):1431-1434.

[6] YANG E H, YU X. Rate distortion optimization of H. 264 with main profile compatibility[C]//2006 IEEE International Symposium on Information Theory. Seattle, Washington: IEEE,2006:282-286.

[7] YIN H B, YANG E H, YU X, et al. Fast soft decision quantization with adaptive preselection and dynamic trellis graph[J].IEEE Transactions on Circuits & Systems for Video Technology,2015,25(8):1362-1375.

[8] KARCZEWICZ M, YE Y, CHONG I. Rate distortion optimized quantization[J].IEEE Transactions on Circuits and Systems for Video Technology,2008,6(2):182-190.

[9] SUN J, DUAN Y, Li J, et al. Rate-Distortion analysis of Dead-Zone plus uniform threshold scalar quantization[J].IEEE Transactions on Image Processing,2013,22(1):215-228.

[10] LEE H, YANG S, PARK Y, et al. Fast quantization method with simplified rate-distortion optimized quantization for HEVC Encoder[J].IEEE Transactions on Circuits & Systems for Video Technology,2016,26(1):107-116.

[11] HUANG T Y, CHEN H H. Efficient quantization based on rate-distortion optimization for video coding[J].IEEE Transactions on Circuits and Systems for Video Technology,2016,26(6):1099-1106.

An adaptive hard-decision quantization algorithm based on TCM model

LI Ruiyang, YIN Haibing
(College of Information Engineering, China Jiliang University, Hangzhou 31018, China)

In video coding, the DCT coefficient distribution model is the basis of the rate-distortion theory model. Video quantization includes hard-decision quantization(HDQ) and soft decision quantization(SDQ). The SDQ algorithm can achieve optimal coding performance, but the Viterbi algorithm can cause severe serial processing dependencies between coefficients. In comparison, the dead-zone-based HDQ algorithm has some loss of rate-distortion performance, while it does not consider the correlation between coefficients. In this paper, an adaptive hard-decision quantization algorithm based on the Transparent Composite Model(TCM)is proposed to estimate the distribution parameters of DCT coefficients of different frequency components using a more accurate DCT estimation model. Based on the quantization parameters and DCT coefficient distribution parameters, an adaptive dead-zone offset model was established and optimized. Experimental results show that the HDQ algorithm is close to the SDQ algorithm with respect to the fixed offset HDQ algorithm.

video coding; rate-distortion optimization; TCM model; hard-decision quantization

2096-2835(2017)01-0103-05

10.3969/j.issn.2096-2835.2017.01.018

2016-11-08 《中国计量大学学报》网址：zgjl.cbpt.cnki.net

李瑞阳(1994- ),男,河南省商丘人,硕士研究生,主要研究方向为数字视音频处理.E-mail:997813298@qq.com 通信联系人：殷海兵,男,教授.E-mail:yinhb@cjlu.edu.cn

TP919.81

A