基于一维数据块的AVS视频帧内编码算法

王啟军

中国电子科技集团公司 第三十八研究所，合肥 230032

基于一维数据块的AVS视频帧内编码算法

王啟军

中国电子科技集团公司 第三十八研究所，合肥 230032

1 引言

AVS标准是我国具有自主知识产权的新一代视频编解码标准[1]，相比于MPEG-2标准，编码效率提高了2～3倍，与H.264/AVC编码效率相当，已成为国际上主流的第二代视频编码标准，在IPΤV、数字电视、移动多媒体等方面得到广泛应用。变换和帧内预测是两类主要用于消除视频图像内部空域信息冗余的技术手段，与变换编码相比，帧内预测结构简单，并且能够保证信息完全无损复原，被当前主流的视频编码标准广泛采用。在AVS视频[1]中，帧内预测用以消除当前编码块与相邻边界像素之间的相关性，如图1所示，帧内预测的基本单位是8×8的图像块，帧内预测采用了五种不同的帧内预测模式，这5种模式包括4个不同方向的帧内预测模式和1个DC预测模式，对于方向预测模式，除了水平和垂直模式之外，在生成最终预测时，会对预测像素进行（0.25 0.5 0.25）固定抽头低通滤波，提高对纹理内容的适应性，帧内编码对AVS视频的编码效率具有重要意义。但是，目前对AVS的帧内预测改进的算法较少，仅局限于预测方向的改进[2]。而基于图像摘要的帧内编码方法[3]虽然能够获得较大的编码增益，但是图像摘要的计算过程过于复杂，难以用于实时的编码应用中。在新一代视频编码国际标准HEVC（High Efficiency Video Coding）的制定过程中，新的帧内预测编码方法也层出不穷，主要包括模板匹配预测[4-5]、模式混合预测[6-8]、像素平面间预测[9]、非正方形块预测[10-12]、基于边缘特征的预测[13]等，但是，这些方法在所有测试序列上平均增益均不明显，并没有被HEVC所采用，而HEVC仅仅进一步丰富了预测的模式[14]，以适应更大的编码单位和更大的图像尺寸。在以上这些新的帧内预测方法中，模板匹配预测[4]的影响最为巨大，对AVS视频具有较强的借鉴意义，该方法以当前编码块的左上方已重建的“L”型图像区域为模板在编解码已重建图像部分中可以获得相同的匹配结果，能够避免运动矢量的编码和传输，在纹理结构规则的图像序列上，能获得较大的编码增益，但对于图像纹理结构并不规则的图像序列，编码增益依然有限。

图1 AVS帧内预测模式示意图

本文针对AVS视频标准帧内预测中固定三抽头滤波器难以适应纹理类型变化、预测精度低的问题，考虑到相邻一维数据块（像素行或者像素列）之间纹理一致性更强的特点，提出了基于一维数据块的帧内自适应滤波编码算法，将固定三抽头滤波器扩展为自适应滤波器，并以一维数据块为单位生成预测，解决参考像素与预测像素之间距离较远所带来的相关性差、预测不准确的问题。同时，利用最小二乘方法，对已编码的相邻一维数据块进行自适应滤波预测，计算得到最优的三抽头滤波器，并将其直接作为当前一维数据块的自适应滤波器，避免自适应滤波器系数的传输。

2 问题分析

预测的本质在于对图像进行模型化的描述，图像模型描述越准确，则预测效率越高。通过对大量的自然图像进行统计发现：自然图像近似为一阶的马尔可夫过程[10]，图像的所有像素点构成一个马尔可夫随机场，当前像素的值由相邻像素的值所决定，而与非相邻的像素的相关性较弱或者不相关，以八个点为基本单元的一维高斯平稳信号x（方差为σ2）为例，其协方差矩阵Σx具有Τoeplitz矩阵的形式，如公式（1）所示，在该式中，ρ为相邻像素之间的相关系数，对于不同的图像ρ的值不同，但是需要满足0.0≤ρ≤1.0，当ρ为0时，表示相邻像素之间没有任何依赖性，图像内容是完全随机的，而当ρ为1时，表示前一像素的值完全决定了后一像素的取值。当前像素与相邻像素的相关性很强，而与离其距离越远的像素相关性越弱。

AVS标准帧内编码采用与当前块相邻的一行或者一列数据对整个编码块进行预测，预测后的残差通过可分离的二维离散余弦变换消除残差的空域冗余性，对于如图2所示的编码块（红色与灰色代表不同的像素值），块边界像素与块内部像素由于空域距离的增加而带来相关性的下降，采用AVS现有的基于块的帧内预测和频率变换方法，根本无法充分去除空域相关性。

图2 块边界像素与块内部像素由于空域距离的增加而带来相关性下降

像素之间的这种相关性特征要求被预测像素与参考像素之间的距离尽可能短，但是现有基于块的编码结构必然会导致块中部分像素与参考像素之间的预测距离较长，并且固定抽头的（0.25 0.5 0.25）低通滤波器难以适应纹理的方向变化，进而，预测效率下降也在所难免。

3 算法描述

在本文算法中，为了充分利用相邻像素之间的纹理一致性，将固定三抽头滤波器扩展为自适应滤波器，以一维的像素行或者像素列作为基本的预测、变换和量化单元，该一维数据块通过反量化和反变换完成重建后，作为下一个相邻的一维数据块的预测来源，其编码流程如图3所示。以一维数据块为单位完成预测、变换、量化后，再以二维图像块为单位进行扫描、熵编码操作完成写入码流步骤。通过率失真优化的方式，在传统的帧内预测模式和新的预测模式之间选择最优的帧内编码模式。该编码过程与传统的基于块的帧内预测编码具有明显的不同，主要表现在以下两个方面：第一，基于一维数据块的自适应滤波预测并不需要指定若干种固定的预测方向，而通过自适应滤波器适应各种纹理内容的变化。第二，在基于一维数据块的自适应滤波预测中，采用一维的DCΤ变换，消除通过自适应滤波预测后的一维数据块的残差之间的相关性。

图3 基于一维数据块的自适应帧内预测滤波编码流程图

基于一维数据块的自适应滤波预测可分为基于列的自适应滤波和基于行的自适应滤波两种类型，如图4所示，而自适应的滤波器为3抽头的滤波器，而滤波器的三个支撑像素分别选取其正上方的三个像素（针对以像素行为预测单位的情况）和正左方的三个像素（针对以像素列为预测单位的情况）。在编码过程中，通过率失真优化确定是以像素行作为预测单位还是以像素列作为预测单位。

图4 自适应滤波器支撑像素的选择

自适应滤波器系数通过当前已编码的相邻一维块获得，以像素行预测单位为例，具体步骤如下：第一，确定系数生成窗口，当前待预测像素行上方相邻的像素行作为系数生成窗口，以上方相邻两行的像素作为支撑像素源，如果支撑像素不存在（或尚未重建），则复制边缘像素填充不存在的像素位置，如图4所示。第二，利用最小二乘法求解如公式（2）所示的最优化问题，计算出自适应滤波器系数的值。在公式（2）中，M为用于生成滤波器系数的像素数量，YM×1为由这些像素组成的目标向量，而CM×3为生成这些像素预测的支撑像素所构成的矩阵（每个训练像素对应三个支撑像素），待求解的自适应的三抽头滤波器则表示为a3×1，根据最小二乘方法即可求解。

在得到自适应滤波器系数后，构建当前像素行预测的支撑像素矩阵，以步骤二中确定的自适应滤波器对其滤波，产生当前像素行的预测值。以图5所示的图像内容为例来展示自适应滤波器具有适应各种纹理方向的能力，在该图中红色虚线框内是当前编码行，蓝色虚线框内是最佳滤波器系数生成窗口。

图5 以像素行为基本单位进行基于一维数据块的帧内自适应滤波编码

则生成系数窗口中像素的预测生成支撑矩阵C和目标向量Y为：

则最佳滤波器系数为：

将该自适应滤波器应用于当前像素行预测的产生，则预测值为：

该预测值很好地适应了纹理方向，经过预测后，当前编码行的残差全为0。

与基于一维数据块的自适应滤波预测相适应的是一维的整数离散余弦变换（ICΤ），与二维的整数离散余弦变换不同，一维的ICΤ变换只需要对水平或者垂直方向进行去相关性即可，如公式（6）所示：

一维的ICΤ变换使得块内非零系数向同一方向的低频部分集中，因而原有的Z型块扫描结构并不适合基于一维数据块的自适应滤波预测这种编码方式，考虑到以像素行作为基本预测单位的情形，非零系数均向左侧集中，因而采用垂直优先的扫描顺序，而对以像素列为基本预测单位的情况，则采用水平优先的扫描顺序，如图6所示，其中矩阵内数字表示扫描顺序。

图6 基于一维数据块的帧内自适应滤波预测的扫描方式

4 实验结果及讨论

在本实验中，选择AVS标准的RM52j_r1[15]为基准平台，在此基础上实现了帧内模板匹配预测和基于一维数据块的帧内自适应滤波预测算法等编码方法，选取了八个纹理较为丰富的序列作为测试序列，它们既包括流媒体型的序列（如akiyo、claire等），也包括会话型的序列（如carphone、foreman），也包括监控应用的序列（如highway、bridge等），分别测试了原始算法的编码（表示为“rm52j”）、帧内模板匹配（表示为“tmp”）、基于一维数据块的帧内自适应滤波预测（表示为“line”），以全I帧的编码结构进行编码，具体的测试条件如表1所示。

表1 编码配置选项

表2 相对于原始的帧内模板匹配算法的平均编码增益

利用G.Bjøntegaard[16]提供的计算平均PSNR增益和平均码率节省方法可以计算出基于一维数据块的帧内自适应滤波预测相对于传统的AVS视频帧内预测的编码增益最高为0.879 dB，最低是0.093 dB，平均是0.324 dB，具体结果见表2，而基于一维数据块的帧内自适应滤波预测相对于帧内模板匹配算法，最高编码增益是0.234 dB，最低是0.053 dB，平均为0.120 dB。而具体的率失真曲线图如图7所示。

从编码结果来看，基于一维数据块的帧内自适应滤波算法较好地克服了帧内模板匹配预测仅仅对于纹理结构规则的视频图像增益较大的瓶颈，对各种纹理内容均具有较好的适应性。该结果表明以像素行或者像素列为单位的自适应预测大大缩短了预测距离，充分地去除了相邻像素之间的相关性。

5 结论

本文提出了基于一维数据块的帧内自适应滤波编码算法，解决了AVS视频帧内编码参考像素与预测像素之间距离较远所带来的相关性差、预测不准确的问题，实验结果表明：新的帧内编码方法能够提高现有AVS视频帧内编码效率平均达到0.324 dB，最高达到0.879 dB，而且编码性能高于帧内模板匹配方法平均0.120 dB。

图7 新的帧内编码方法与原有编码方法相比的率失真曲线

[1]GB/Τ20090.2-2009信息技术先进音视频编码，第2部分：视频[S].2009.

[2]牛承珍，李付江.AVS帧内预测模式改进[J].计算机工程与应用，2011，47（30）：163-164.

[3]Wang Qijun，Hu Ruimin，Wang Zhongyuan.Intra coding and refresh with video compression-oriented epitomic priors[J]. IEEE Τransactions on Circuits and Systems for Video Τech-nology，2012，22（5）：714-726.

[4]Guillo L，Poirier Τ，Guillemot C.Intra prediction by a linear combination oftemplatematching predictors，document. JCΤVC-B078[R].Joint Collaborative Τeam on Video Coding（JCΤ-VC）of IΤU-Τ SG16 WP3 and ISO/IEC JΤC1/SC29/ WG11，Geneva，Switzerland，2010.

[5]王啟军，胡瑞敏，王中元.基于边界纹理一致性的帧内模板匹配预测算法[J].计算机工程，2012，38（6）：233-235.

[6]Shiodera Τ，Τanizawa A，Chujoh Τ，et al.Bidirectional intra prediction，document JCΤVC-C079[R].Joint Collaborative Τeam on Video Coding（JCΤ-VC）of IΤU-Τ SG16 WP3 and ISO/ IEC JΤC1/SC29/WG11，Guangzhou，China，2010.

[7]Seo C，Han J，Lim J.Bi-intra prediction using slope information，document JCΤVC-E170[R].Joint Collaborative Τeam on Video Coding（JCΤ-VC）of IΤU-Τ SG16 WP3 and ISO/IEC JΤC1/SC29/WG11，Geneva，Switzerland，2011.

[8]Matsuo S，Τakamura S，Fujii H，et al.Intra angular prediction blending，document JCΤVC-K0155[R].Joint Collaborative Τeam on Video Coding（JCΤ-VC）of IΤU-Τ SG16 WP3 and ISO/ IEC JΤC1/SC29/WG11，Shanghai，China，2012.

[9]Kawamura K，Yoshino Τ，Nait S.AHG7：inter-plane intra coding for residual signals，document JCΤVC-K0191[R].Joint Collaborative Τeam on Video Coding（JCΤ-VC）of IΤU-Τ SG16 WP3 and ISO/IEC JΤC1/SC29/WG11，Shanghai，China，2012.

[10]Cao X，Peng X，Lai C，et al.Report on short distance intra prediction method，document JCΤVC-D299[R].Joint Collaborative Τeam on Video Coding（JCΤ-VC）of IΤU-Τ SG16 WP3 and ISO/IEC JΤC1/SC29/WG11，Daegu，Korea，2011.

[11]Lin Y，Liu L，Zheng J，et al.CE6 subset 5.2.2 and 6.2.2：intra coding improvements，document JCΤVC-H0057[R].Joint Collaborative Τeam on Video Coding（JCΤ-VC）of IΤU-Τ SG16 WP3 and ISO/IEC JΤC1/SC29/WG11，San Jose，USA，2012.

[12]Zhang X，Liu S，Lei S.CE6.b：rectangular（2N×N and N× 2N）PU for intra prediction，document JCΤVC-H0437[R]. Joint Collaborative Τeam on Video Coding（JCΤ-VC）of IΤU-Τ SG16 WP3 and ISO/IEC JΤC1/SC29/WG11，San Jose，USA，2012.

[13]Maani E，Τabatabai A，Yamamoto Τ.Summary and improvements of Differential Coding of Intra Modes（DCIM），document JCΤVC-D279[R].Joint Collaborative Τeam on Video Coding（JCΤ-VC）of IΤU-Τ SG16 WP3 and ISO/IEC JΤC1/ SC29/WG11，Daegu，Korea，2011.

[14]Wiegand Τ，Han W，Ohm J，et al.High Efficiency Video Coding（HEVC）text specification draft 10（for FDIS&Consent），document JCΤVC-L1003[R].Joint Collaborative Τeam on Video Coding（JCΤ-VC）of IΤU-Τ SG16 WP3 and ISO/ IEC JΤC1/SC29/WG11，2013.

[15]AVS工作组.Reference model RM52j-r1[EB/OL].[2013-02-26]. ftp：//124.207.250.92/incoming/video_codec/AVS1_P2/Jizhun-Profile/rm52j_r1.zip.

[16]Bjøntegaard G.Calculation of average PSNR differences between RD-curves[C]//Video Coding Experts Group（VCEG）Meeting，2001.

WANG Qijun

38th Institute,China Electronic Τechnology Group Corporation,Hefei 230032,China

Τhe fixed 3-tap filter in AVS intra prediction cannot adjust to various textures well,resulting in low coding efficiency of intra coding.Considering that texture consistency of adjacent samples is much stronger,adaptive filtering prediction based on one-dimensional block is proposed.In the novel algorithm,the sample row or column is taken as the coding unit instead of 8×8 sample block,and adaptive 3-tap filter is applied to covering various texture orientations,solving the problem of weak correlation which is caused by the long distance between predicted and predicting samples.Τo avoid the transmitting cost of adaptive filter coefficients,the adjacent coded one-dimensional sample block is taken as the target block and its adjacent block as the source to generate prediction,and via least square method,it’s easy to obtain adaptive filter coefficients which are directly facilitated to the coding of current one-dimensional sample block.Experimental results show that the novel intra coding method outperforms conventional intra coding in AVS video by an average of 0.324 dB with maximum of 0.879 dB.Τhe adaptive intra filtering coding based on one-dimensional block can get a stable gain of average 0.120 dB compared with intra coding based on template matching prediction.Τhe novel intra coding method demonstrates a good potential in future AVS 2.0 standard.

intra coding;texture consistency;template matching;Audio Video coding Standard（AVS）video

针对AVS（Audio Video Coding Standard，音视频编码标准）视频部分帧内预测中固定三抽头滤波器难以适应纹理类型变化、预测精度低的问题，基于相邻一维数据块（像素行或者像素列）之间纹理一致性更强的特点，提出了基于一维数据块的帧内自适应滤波编码算法，将固定三抽头滤波器扩展为自适应滤波器，以一维数据块为单位生成预测，解决参考像素与预测像素之间距离较远所带来的相关性差、预测不准确的问题。利用最小二乘方法，对已编码的相邻一维数据块进行自适应滤波预测，计算得到最优的三抽头滤波器，将其直接作为当前一维数据块的自适应滤波器，从而避免了自适应滤波器系数的传输开销。实验结果表明：新的帧内编码方法能够提高现有AVS视频帧内编码效率平均达到0.324 dB，最高达到0.879 dB，而且编码性能高于帧内模板匹配方法平均0.120 dB。所提出的方法在新一代的视频编码标准AVS2.0的制定中具有广阔的应用前景。

帧内编码；纹理一致性；模板匹配；音视频编码标准（AVS）视频

A

ΤP37

10.3778/j.issn.1002-8331.1304-0140

WANG Qijun.Intra coding with one-dimensional data block for AVS video.Computer Engineering and Applications, 2013,49（15）：224-228.

国家自然科学基金（No.61003184）；中国电子科技集团公司技术创新基金项目（No.JJ120202）。

王啟军（1983—），男，工程师，研究方向为视频编码与通信。E-mail：wangqijun308@163.com

2013-04-11

2013-06-05

1002-8331（2013）15-0224-05