H.264帧间预测模式选择的快速算法优化

孟雷

摘 要：在H.264视频编码器帧内预测模式下，为确定一个宏块的帧内预测模式，会带来很大的运算复杂度，基于图像差分的帧间预测模式快速选择算法，采用测定图像序列平坦度的思想，能够实现快速帧间模式选择。可以有效减少模式搜索次数并能保证视频编码的质量，从而可大幅度降低编码时间和视频压缩的计算量，有效地减少了帧间模式选择算法运算复杂度，有利于实际应用。

关键词：H.264；图像差分；模式选择；边缘信息；帧间预测

中图分类号：TP391.41 文献标识码：A

Abstract：With the intra-frame prediction mode of H.264 video encoder，determining an intra-prediction mode of a macro block will bring great computational complexity.The paper proposes an efficient fast intra-prediction mode selection algorithm based on image difference.It adopts the idea of determination image sequence's flatness to achieve fast inter-frame mode selection.This algorithm can reduce the times of search mode effectively and ensure the quality of video encoding，which can greatly decrease the encoding time and the computation of video compression and reduce the computational complexity of the inter-frame mode selection algorithm.It is conducive to real-time application.

Keywords：H.264；image difference；mode selection；edge information；intra-prediction

1 引言（Introduction）

随着移动通信和网络的发展，视频通信成为了移动通信的重要组成部分。视频压缩也制定了诸多标准，H.264/AVC[1]是国际视频编码标准之一，其能有效地提高视频编码效率，并具有良好的网络的适配性，其编码算法可广泛应用视频流媒体服务、数字电视、无线视频通信、IP视频会议和实时视频监控等领域，有着非常广泛的应用前景。

然而H.264/AVC在其良好性能提升的同时，算法的复杂度也大大地增加了，给视频通信带来了困难，不利于实际应用[2]。因此如何在保证帧间预测的编码效率情况下，采用实用有效的算法来提高H.264预测帧的编码速度，成为满足实时视频通信的要求的重要课题。通过分析研究H.264中的帧间模式选择算法，本文提出一种能够进行快速帧间模式预测的基于图像差分的选择算法。通过仿真实验，并与X264的测试结果进行对比，结果表明，图像差分快速算法可以在保证视频编码质量并能有效地减少搜索模式数，从而可大幅度降低编码时间和视频压缩的计算量，可应用于实际的视频通信中。

2 H.264 帧间模式选择算法（Intra-prediction mode

selection algorithm based on H.264）

最新的视频编码标准H.264与以往的编码标准相比具有良好的编码效率，例如，在相同的重建图像质量下，能够比H.263、MPEG4等节约50%左右的码率，这是因为H.264标准引入了如统一的VLC符号编码，高精度、多模式运动估计技术[3]。所谓多模式运动估计[4]，就是将一个16×16宏块划分成16×16、16×8、8×16、8×8、8×4、4×8、4×4或者采用SKIP模式进行运动估计，如图1所示。

编码器遍历所有的模式，以公式计算RDO[5]（率失真）为判决依据来寻求最佳匹配块，也就是在搜索范围内寻找使得公式达到最小值的参考帧中的宏块。

式中，=为运动矢量，是拉格朗日（Lagrange）乘数因子，是个常数[6]，和量化参数QP和待编码块的类型有关，SAD为绝对误差和，s表示原视频信号，c表示解码视频信号，=为预测的运动矢量，R（m-P）为表示运动矢量差值所需的比特数。

多模式运动估计能够极大地提高了编码的效率，但同时在进行帧编码时，所有宏块都要按照每一种模式分别计算一次率失真代价，然后选中率失真代价最小的模式进行编码，这样编码器运算的复杂性极大增加了[7]。由于视频传输需要满足实时性的要求，而H.264的编码计算量又比MPEG-4、H.263等高出很多[8]，成为了视频编码的瓶颈。因此，在尽可能小的质量损失前提下，尽可能的减少宏块做运动估计时的预测模式，成为了问题的关键，也是当前研究的焦点。

3 基于图像差分的快速模式选择算法（Fast mode

selection algorithm based on image difference）

为了快速的确定当前宏块的最佳帧间预测模式，有效降低模式选择时的运算量，在这里提出利用当前图像和参考图像匹配部分的差值分布来选择最佳模式的算法。利用当前视频图像信息和前帧视频图像的信息在时域上进行分析、比较，前期只需要少量的计算便能确定一种预测模式，从而减少了帧间预测的计算量，同时还可以避免分析单个图像无法包含序列运动特点的缺陷[9]。

3.1 算法改进思想

采用测定图像序列平坦度的思想实现快速帧间模式选择。根据当前图像和参考图像匹配部分的差值计算图像的平坦程度，由差值的分布情况确定当前宏块的最佳帧间预测模式。

具体思路如下：

（1）搜索16×16宏块的匹配块，如果小于阈值则无需再分。

（2）否则将宏块分为4×4的子块，并计算差值分布。

（3）根据步骤（2）所得差值分布，来确定新的阈值。

（4）对得到的所有阈值进行比较，选择图像的最佳预测模式。

3.2 算法的具体实现

（1）预设16×16模式的SAD值初始阈值。

（2）以当前宏块上方、右上、左边宏块的运动矢量mv0、mv1、mv2的均值为中心在参考帧中搜索最佳匹配块和运动矢量mvp。

（3）计算绝对误差和SAD，并同阈值进行比较，若大于阈值则跳至（4）；若小于阈值则宏块采用16×16模式，并按如下公式更新阈值。

式中，为当前宏块的绝对误差和SAD；为小于阈值宏块的总的SAD之和；N为更新阈值的次数；为新的阈值，为下一次判断做准备。

（4）计算当前宏块的残差值并将残差取绝对值，可以求得一个16×16的差值矩阵。然后把将差值矩阵划分为16个4×4的子块，并对子块求残差的均值（i=0—15），例如：。从而得到当前宏块的差值矩阵，当前宏块和匹配宏块的差值分布情况便可以用差值矩阵表示。

（5）计算差值S的平均值，并求出图像的分布特征值。搜索周围宏块中mvp的值与当前宏块最接近的块，并计算该块的分布特征值。

（6）计算阈值。考虑到差值分部还与帧间预测模式相关，因此将其按照以下五类进行树状精度划分，用J来表示[10]，若16×16模式，则J=1；若16×8和8×16模式，J=2；若8×8模式，J=4；若8×4和4×8模式，J=8；若4×4模式，J=16；阈值/J。

（7）确定最佳预测模式。以的预测模式8×8为例，其他模式算法类似。

如果C≤，则说明当前宏块比平坦，因此候选模式有8×8、16×8、8×16和16×16模式。如果C>，则说明当前宏块中的图像细节比更多，需要选用更为细小的模式划分，因此候选模式

在基于DM642的硬件平台和ccs仿真环境下，对改进后的算法和X264进项仿真测试。得到表2的实验数据。

通过图像序列的测试数据可以看出本文的算法相对于X264而言在PSNR和比特率几乎不变的情况下，帧间预测的时间大大缩短。实验结果表明，该算法平均节省编码时间达37%，有利于实时应用；同时PSNR平均下降约0.16dB，不会影响主观视觉效果。

4 结论（Conclusion）

研究H.264/AVC的帧间预测编码模式的快速选择算法，在保证编码器视频编码质量的同时对降低编码器的运算量和运算复杂度，就有着非常重要的积极意义。本文提出的基于图像差分的帧间宏块模式快速选择算法，根据当前图像和参考图像匹配部分的差值计算图像的平坦程度，由差值的分布情况确定当前宏块的最佳帧间预测模式。通过对改进算法的仿真实验，对比与X264的编码时间，PSNR值等，表明采用本文算法后，在视频图像质量基本上不变的情况下，运算的复杂度大大降低，编码器的编码时间也大大地减少，有效地提高了视频压缩的编码效率，有利于实际的应用。

参考文献（References）

[1] X-P.Xia，E-H.Liu，J-J.Qin.Improved SAP Based on Adaptive Directional Prediction for HEVC Lossless Intra Prediction[J].Visual Communication and Image Representation，2015，33（C）：78-84.

[2] Jiang Wei，Chen Yaowu，Tian Xiang.Fast Transcoding from H.264 to HEVC Based on Region Feature Analysis[J].Multimedia Tools and Applications，2013，73（3）：2179-2200.

[3] WU J J，et al.K-means-based Consensus Clustering：a Unified View[J].IEEE Transactions on Knowledge and Data Engineering，2015，27（1）：155-169.

[4] 夏定元，周艳芬.复杂度可伸缩的帧间模式选择[J].计算机应用，2010，30（03）：625-627.

[5] 周洪敏，龚建荣.视频压缩编码的新发展——H.264[J].信息技术，2005（09）：91-93.

[6] 杨金，孙宇，孙世新.H.264可伸缩视频编码层间码率控制算法[J].计算机应用，2011，31（09）：2457-2460.

[7] 蒋炜，田翔，陈耀武.H.264到HEVC的低复杂度视频转码算法[J].浙江大学学报（工学版），2014，48（06）：994-1003.

[8] 王启文，黄乐军.H.264中4×4块的快速帧内预测算法[J].计算机工程，2010，36（02）：217-219.

[9] 毕厚杰.新一代视频压缩编码标准[M].北京：人民邮电出版社，2005.

[10] 孙力帆，普杰信.基于H.264的快速帧间模式选择算法[J].计算机工程，2010，2（36）：220-222.

[11] 蒋洁，等.利用平滑区域检测的HEVC帧内编码快速算法[J].西安电子科技大学学报（自然科学版），2013，40（03）：194-200.

[12] 周承涛.HEVC编码快速算法关键技术研究[D].杭州：浙江大学，2014.

作者简介：

孟 雷（1981-），男，硕士，讲师.研究领域：数字图像处理.