基于提升方案小波的帧差图像质量可分级编码研究

刘丹，宋传鸣



基于提升方案小波的帧差图像质量可分级编码研究

刘丹，宋传鸣

摘要：随着数字电视和网上会议的出现，越来越多的视频信息需要在网上进行传输，而视频压缩效率的提高在很大程度上取决于如何减少用于传输运动补偿预测误差的信息量，即如何使视频帧差图像满足渐进传输、多质量服务以及图像数据库浏览等一系列的要求。首先，结合视频帧差图像的统计特性，提出了一种帧差图像小波系数的双重量化方法，在此基础上提出了一种基于位平面的帧差图像质量可分级编码方案，在解码时能够根据给定解码的数率对位平面进行重构，并实现帧差图像的质量可分级解码。实验结果证明，提出的方法编码效果优于传统的SPIHT编码算法，特别在低比特率下具有很好的编码效果。

关键词：帧差图像；统计特性；可分级编码；提升方案小波

0　引言

随着网络和多媒体技术的不断发展，人们对视频编码技术的要求越来越高，不仅要求其具有较好的压缩效果，而且还要满足视频图像渐进传输、多质量服务以及图像数据库浏览等多分辨率环境下的多媒体应用需求，因此，近年来，视频的可分级编码技术便成为视频编码领域的一个研究热点[1-4]。目前的视频可分级编码方案大都采用变换编码来消除帧内的空间冗余，同时采用运动估计技术来减少帧间冗余，因而编码效率的提高在很大程度上取决于对帧内预测帧和帧差图像的编码技术。目前，大多数的视频可分级编码器对帧差图像的编码一般都采用传统的图像编码方法，比如采用基于分块的DCT变换或者基于小波变换的零树结构算法等，然而由于帧差图像的统计特性与一般的自然图像存在着很大的相同，尽管这些算法对于一般的自然图像具有很好的编码效果[5]，但对于帧差图像效率却不是很高，特别对于低码率的情况，这种帧差图像编码的低效性通常会带来误差的“漂移”[6]，将直接影响到整个GOP的编码效率。

本文首先对帧差图像的统计特性进行了分析，在此基础上，提出一种基于提升方案小波变换的帧差图像双重量化方案，进一步给出了基于所提出量化方案和位平面技术的的帧差图像质量可分级编码方案，通过大量的仿真试验对所提出方案与SPIHT编码效率进行了对比，实验结果表明，在相同的解码率下，所提出方案的编码效率高于SPIHT的编码效率，特别是低码率情况，并且解码图像的视觉效果也得到了明显的改进。

1　帧差图像的统计特性

帧差图像和自然图像的统计特性和能量分布存在着很大的不同，帧差图像通常只在运动边界和运动比较剧烈等区域才会出现较大的幅值，而相同或没有运动的区域相对平滑或者接近于零，而且帧差图像的能量主要集中在运动物体的边缘上，这样从能量角度上看，帧差图像直方图的几何图形分布在0值两侧非常小的区域，而且在0值处有一个高且窄的峰值。Foreman视频流的第27帧原始图像和以第26帧为预测帧，经过空域全局运动估计、补偿后得到的第27帧的帧差图像以及二者的直方图，如图1所示：

图1　Foreman视频流的帧内原始图像、帧差图像及直方图

帧差图像直方图分布的形状取决于帧内运动内容的多少。如果运动较为平缓则会在0值处有一个又高又窄的顶峰，并且像素值在0值周围的聚集度较高，而运动激烈的视频流在0值周围的聚集度较低。图1（a）、（b）为Akiyo视频流和Football视频流的帧差图像直方图。从二者直方图形状可见Akiyo视频流的运动较为平缓，Football视频流的运动较为激烈。

图1中两个图像进行5/3小波三级变换后各子带的方差值比较，如表1所示：

从表1中可以发现二者在小波变换后的能量分布特点：帧内原始图像的能量主要集中在小波变换后的低频部分，而帧差图像因为主要反映前后两帧运动边界的信息，所以该图像具有较多的边缘信息，这样其小波变换系数的高频子带具有较多的能量。

表1　图1（a）、（b）经过三级小波变换后的各子带方差

2　提升方案小波变换及小波块概念

2.1提升方案小波变换

提升方案小波由W.Sweldens等于1995年提出的，其特点是所有的运算都在空间域进行并且速度快。提升方案小波的正向提升过程包含3个基本步骤：切分、预测和更新。切分是指把原始信号X切分成不相交的两个子集，实际应用中通常将原始信号切分成偶数样本和奇数样本；预测是指采用预测算子，根据预测，其误差称为小波系数；更新是指对小波系数施加更新算子，然后加上得到相应的尺度系数，从而得出在较低分辨率上对原始信号的一种逼近。类似于传统小波变换，对反复进行正向提升过程即可得到离散小波变换尺度系数和小波系数的完备集合。正向提升算法和逆向提升算法过程图，如图2、图3所示：

图2　正向提升算法过程

图3　逆向提升算法过程

更详细的讨论参见文献[7]。

2.2小波树与小波块

对输入图像进行小波分解后，把图像分解成具有水平、竖直、对角方向的3类小波树。树根在低频带，对应于同一空间位置的相同方向、不同尺度的小波系数成为它的孩子。把所有具有相同树根的3个不同方向的4叉小波树组织在一起形成具有固定大小的块，即为小波块。小波块把空间域同一位置不同尺度、不同方向的小波系数组织在一起，从而把小波系数和它所代表的空间域联系在一起。这样的组织形式可以提供基于内容的量化，便于码率分配。小波树和小波块的对应关系如图4所示：

图4　小波树与小波块的对应关系

判断一个小波块是否重要，依据如下两个准则，如公式（1）：

即同时满足（1）、（2）两个条件的小波块为重要小波块，其中表示帧差场，表示对集合内元素个数的统计，、和为3个阈值，在下面所提出的编码算法中，将小波树转换成小波块之后，对每个8×8的小波块进行了重要性判断，并用一个标志位来标识，该标志位称为“传送标志”，编码时，仅当所处理的小波块是“重要的”时候才传送其编码。

3　帧差图像小波子带的双重量化方案

根据帧差图像的统计特性，本文提出了一种帧差图像的各层子带量化和高频子带细量化的双层量化方案，具体过程如下。

3.1各层子带量化

3.1.1采用曲线逼近方式模拟真实率失真情况

Kasner通过使用不同的量化器步长分别量化100000个Laplacian信源和高斯信源的数据，推导给出了适合标量量化器的率失真函数与码率以及量化步长的对应关系曲线[8]，如图5所示：

图5　率失真函数与码率以及量化步长的关系图

图6　模拟率失真曲线示意图

（1）在高码率情况下，采用简单的线性模式模拟率失真曲线。在真实率失真函数曲线上个采样点，分别为，，……，。定义逼近的线性函数方程为，其中，、分别为直线的斜率和截距，直线与纵坐标轴相交于点，点坐标为（0，）。根据最小二乘法的要求，将上述采样点代入线性逼近方程中可计算得到关于和的方程组如公式（2）：

（2）在低位率情况下，利用单支双曲线模拟率失真曲线。在真实率失真曲线的低码率部分取m个采样点，分别为，，……，。定义双曲线的表达式为：。将双曲线的中心点移至，并取双曲线的右上支。其中，、分别是该子带双曲线逼近函数的标准方程系数。同样根据最小二乘法可以计算出参数、、和的值,代入双曲线表达式可得到低位率下的逼近曲线。

3.1.2分层量化方案

分层量化方案的具体过程如下：

Step1. 计算各个子带所对应的广义高斯密度函数的形状参数，其中为子带序号（下同）。

由于广义高斯分布能很好的拟合小波子带的概率密度函数[9]，所以利用广义高斯概率密度函数中的形状参数可以来确定不同子带小波系数的概率密度分布。形状参数通过计算样本的峰度值（Kurtosis）来求解，第个子带的与其峰度值的关系如公式（3）：

Step3.通过下式计算高码率下第个子带率失真函数的线性逼近函数：

Step4. 通过下式计算低码率下第个子带率失真函数的双曲线逼近函数如公式（4）：

给出Akiyo视频流中第2帧帧差图像经过三级5/3小波分解后，使用上述量化方法确定的各子带量化步长如表2所示：

表2　Akiyo视频流中第2帧帧差图像的各子带量化步长值

3.2高频子带细量化

根据帧差图像小波变换高频子带的统计特性，对高频子带进行分类，并根据其类型采用不同的量化因子，势必会得到更好的编码效果。为此，我们针对不同分辨率的各高频子带提出了如下的量化方案：

图7　小波块在不同分辨率下的子块

实验中我们选择Football和Akiyo两个视频流的从第2帧开始的前50幅帧差图像作为激烈运动图像和平缓运动图像的代表统计了图像中方差值的大小，如表3所示：

表3　两类图像根据统计得到的方差阈值、

表3　两类图像根据统计得到的方差阈值、

由此确定划分边缘块、平滑块和纹理块的阈值。

（3）确定激烈运动图像和平缓运动图像这两种图像内不同类子块的视觉权值Weight 。Football和Akiyo两个不同类型视频流的不同分辨率下高频子带中边缘块、平滑块和纹理块内小波系数的不同视觉权值如表4所示：

表4　各尺度下高频子带内小波系数的不同视觉权值Weight

最后，综合3.1节和3.2节所述方法对小波变换后的各个子带进行量化，量化因子为。

4　帧差图像质量可分级编码方案

本文所提出的帧差图像质量可分级编、解码方案的总体结构如图8、图9所示：

图8　提出方案的编码总体结构

图9　提出方案的解码总体结构

4.1位平面的分解与重构

4.1.1位平面的分解

假设编码图像共需要N个位平面，对于某个小波系数，若当前已经编码到第n个位平面，则将该系数右移n位，并与1相与，即分解出第n个位平面的值。对上述两种位平面编码方案中的每个系数都重复上面的操作，即可实现位平面的分解。具体位平面分解的伪代码如下：

For（n=N-1;n>0;n--）//记录编码到第几个位平面

For（i=0;i

For（j=0;j

plane[(N-n)*Width*Height+i*Width+j]=(Origin[i ][j]>>n) & 1;

其中Origin[][]表示量化后的小波系数，plane存储各位平面中的信息，Height和Width表示图像的高和宽。

4.1.2位平面重构

将位平面数据按位依次读入，对于某个小波系数，若当前已经解码到第n个位平面，则将读入的0或者1左移n位，即得到该系数第n个位平面的值。然后，再将这个值与该系数已经解码出的值相或，进而重构出系数前（N-n）个位平面的值。按照位平面递减的顺序重复以上操作，即可渐进而精确地重构出位平面分解前的系数。具体实现的伪代码如下：

for(int n= N-1;n>0;n--)

for(i=0;i

for(j=0;j

Origin[i][j]|=(tempbyte << n);

其中tempbyte表示读入码流的缓冲区。

4.2 质量可分级编、解码的实现

4.2.1编码算法

step1. 对帧差图像进行提升方案小波分解；

step2. 将变换后的小波树转换为小波块；

step3. 对小波块进行重要性判断，即对小波块按照（1）、（2）准则进行重要性判断。对于重要小波块，按照第4节的量化方案，首先对块内各层子带的系数进行量化，之后对高频子带系数进行细量化；对不重要的小波块将其系数置为零；

step4. 对所有小波系数进行位平面分解；

step5. 对分解后的位平面信息进行算术编码，并生成编码码流。

Step6. 算法结束。

4.2.2解码算法

step1. 根据给定的码率R，确定解码图像所需要的比特数B，二者的关系为：B=R×H×W,其中H、W分别为视频帧的高和宽；

step2. 利用算术解码器，按照由高至低的顺序，解码出一个位平面；

step3. 计算当前已经解码出的比特位数，并计算已解码比特数与目标位数B的差D；

step4. 将D与某一阈值T进行比较，若D大于T，则转入step 2；否则执行step 5。在实际解码过程中，有时根据所给定的码率所计算出的目标比特位数B不会恰好等于位平面的整数倍，这样在解码过程中就需要根据阈值T来决定是否有必要多解出一部分数据，或者丢弃一些数据，以使得解出的比特数为位平面的整数倍，当然前一种情况的解码数率可能会较给定的数率R有一些超出，但会相对提高一些解码图像质量，而后一种情况不会超出给定的码率R,但可能会牺牲一些解码质量。阈值T可以根据实际应用中对解码质量和网络传输带宽的需求来进行折衷选取。

step5. 对解码系数进行逆量化；

step6. 将逆量化后的小波块转换成小波树；step7. 对图像进行逆提升方案小波变换；step8. 算法结束。

5　实验结果与分析

为了对所提出算法的有效性进行验证，我们对Akiyo和Football两个标准测试视频流的帧差图像进行了大量的实验，对所提方案在低码率下的解码质量进行了测试，采用了峰值信噪比作以评价。

Akiyo和Football两个视频流的从第2帧开始的50幅帧差图像在码率为0.05bpp时采用SPIHT算法和本文算法压缩的对比，如图10所示：

图10　SPIHT算法和本文算法编码效果对比

可见，在相同的压缩比下本文算法的压缩性能要优于SPIHT算法。

Akiyo视频流的第2帧帧差图像和Football视频流的第8帧帧差图像在码率为0.05bpp和0.1bpp时采用本文算法和SPIHT算法的解码图像，如图11所示：

图11　SPIHT算法和本文算法解码图像

由于本文对高频部分的小波系数进行了不同类型的细量化，所以解码图像的主观效果要优于SPIHT算法。

6　总结

本文在对帧差图像的统计特性进行分析的基础上提出了一种帧差图像提升方案小波变换的双重量化方案——各层子带量化和高频子带细量化，该方案在总体考虑小波各子带重要性的同时，根据帧差图像高频信息丰富的特点对高频部分的小波系数进行了不同类型的细量化，从而保证了帧差图像高频信息的解码质量，在此基础上提出了一种基于位平面技术的帧差图像质量可分级编码方案。大量的仿真实验对所提出方案与SPIHT对帧差图像的编码效率进行了对比，实验结果表明，在相同的解码率下，所提出方案解码图像的PSNR和视觉效果均好于SPIHT算法，特别是低码率情况。所提出的编码方案在一定程度上可以满足可分级视频编码方案中对帧差图像编码的需求。

参考文献

[1] W.Li. Overview of fine granularity scalability in MPEG-4 video standard.[J] IEEE Transactions on Circuits and Systems for Video Technology. 2001,11(3):301-317.

[2] 王相海.基于小波的图像和视频可分级编码研究[D].南京:南京大学,2001,6.

[3] 孙晓艳,高文,吴枫,等.基于宏块的具有时域和SNR精细可伸缩的视频编码[J].计算机学报,2003.26 (3):345-352.

[4] Reichel, J. Schwarz H,Wien(eds.) M, Scalable Video Coding – Working Draft 1, ,Joint Video Team(JVT), Doc. JVT-N020[M], Hong Kong,CN,Jan.2005.

[5] 王相海.图像可分级编码研究进展[J].中国图象图形学报,2006,11(8):1051-1061.

[6] 宋传鸣,王相海.小波域视频运动估计研究进展[J].计算机学报, 2005, 28(10): 1716-1727.

[7] Sweldens W. The lifting Scheme: A Construction of Second Generation Wavelets. Technical Report. Industrial Mathematics Initiative [M]. Department of mathematics, University of South Carolina, 1995.

[8] Mallat S.G., theory A for multiresolution signal decompos -ition: The wavelet representation [J]. IEEE Trans. Pattern Analysis and Machine Intell, 1989,11(7):674-693

[9] Kasner J.H.,.Marcellin M.W.Universal trellis coded quantization [J].IEEE Trans. Image Pro., 1999,8(12):1677 -1678.

[10] Stephane G.Mallat, A Theory for Multiresolution Signal Decomposition:The Wavelet Representation[J]. IEEE Transactions on Pattern Analysis And Machine Intelligence,1989,7(2):674-693.

收稿日期：（2015.03.17）

作者简介：刘丹（1981-），女，辽宁师范大学，计算机与信息技术学院，讲师，博士研究生，研究方向：图像编码、多媒体信息处理，大连，116029宋传鸣（1980-），男，辽宁师范大学计算机与信息技术学院，南京大学计算机软件新技术国家重点实验室，副教授，博士，研究方向：多媒体信息处理，南京，210093

基金项目：辽宁省教育厅科学研究一般项目（L2011192）；大连市科学技术基金计划项目（2013J21DW027）

文章编号：1007-757X(2015)12-0005-06

中图分类号：TP391

文献标志码：A