基于非规则PU模式的HEVC视频编码方法

于成业，何小海，滕奇志，钟国韵，李 元

(四川大学电子信息学院，四川成都610064)

随着高清、超高清视频的应用，目前主流的H.264/AVC［1］视频编码技术已经逐渐不能满足高压缩率的要求。面向高清视频应用的新一代国际视频标准HEVC(High Efficiency Video Coding)［2］最终草案已经于2013年1月发布，在保持H.264/AVC标准视频质量的基础上，基本完成了使码率降低一半，即压缩率提高了一倍的目标。

HEVC视频编码标准在H.264/AVC视频编码技术的基础上做了很多方面的技术改进。相对于H.264/AVC中划分的宏块和子宏块，HEVC中定义了3种编码单元:编码单元(CU)、预测单元(PU)和变换单元(TU)。一个CU又可以划分为多种PU，HEVC中最多有8种不同的帧间PU预测模式。HEVC中的帧间预测由不同尺寸CU预测模式和不同的PU模式组合而得，PU尺寸包括64×64、32×32、16×16、8×8和4×4，并且其PU 的分割方式包括对称PU模式和非对称PU模式。通过这些更精细的划分，提高了帧间预测的块匹配精度。另外，HEVC还定义了一种称为融合模式的方法，该方法利用时域上或者空域上相邻的块直接复制数据来对当前块进行编码，该方法极大地降低了编码数据量，从而提高了编码压缩率。

HEVC中帧间预测保留了H.264中基于块匹配的运动估计技术，而块匹配运动估计的思想是利用矩形块对运动物体进行运动估计，具体到HEVC中就是利用不同的PU形状和尺寸对视频图像进行匹配估计，然而在实际的视频图像中，运动物体的运动边界是规则的并不多，如果视频中多数帧都是此种情况，运动估计发生偏差的可能性就较大，造成帧间预测的残差较大，最终导致编码码率较高［3］。如果采用非规则分块的方式，运动估计块匹配的精度就会更高，帧间预测的残差也会更小，编码码率就能够得到一定程度的降低。因此，本文提出了非规则PU模式方法，为实现该方法在帧间预测方面做了改进，最后为降低非规则PU模式判决过程的计算复杂度设计了一种快速算法。

1 已有的非规则分块方法

目前的HEVC标准中定义了8种不同的PU预测模式，如图1所示，但这些都是相对规则PU预测模式。基于引言中所述，在HEVC视频编码框架下采用非规则分块方式可以有效地提高帧间预测的块匹配精度，从而相应地可以减小帧间预测残差。部分文献也提出了HEVC视频编码框架下的一些非规则PU模式算法。文献［4-5］提出了加入一定数量的非规则PU模式的方法来降低码率，但是由于加入较多的PU预测模式，导致计算复杂度增加。文献［6］提出了一种自适应分块方式将CU分成两种非规则PU，该方法定义了两个参数r、d来确定PU的分割边界，通过这两个参数来确定非规则PU的划分方式，如图2所示，实验数据显示采用这种方法降低了4%左右的编码码率，但计算复杂度却升高了100%左右。文献［7］提出了如图3所示的6种非规则PU模式，但只是在CU尺寸为8×8时才进行遍历，实验数据显示在计算复杂度升高20%的情况下，编码码率降低了1%左右。

图1 HEVC中8种PU模式

图2 文献［6］中的非规则PU分块方式

图3 文献［7］中的非规则PU分块方式

2 本文提出的算法

2.1 非规则PU模式方式

结合以上文献已有的非规则分块方法，提出如图4所示的两种非规则PU模式;从图中可以看出，采用的非规则PU模式与文献［7］中的两种PU模式相同，如图3中的标号5，6。区别是将这两种PU模式加入到各种CU尺寸的遍历中去，而文献［7］中的非规则PU模式只在CU尺寸为8×8时才会遍历。HEVC的CU采用四叉树划分机制，因此文献［7］中的其他4种模式(图3中标号1，2，3，4)与两种非规则PU模式在四叉树遍历的机制下，会出现较多的重复，所以不再加入文献［7］中的另外4种PU模式。另外，8×8尺寸的CU已经足够精细地表现视频图像中的纹理细节，如果在8×8尺寸的CU中加入非常详细的非等分非规则PU模式，反而只会增加计算复杂度，得不到很好的效果。综合以上分析可知，只需将图4中的PU模式加入到各种CU尺寸的遍历中去，在充分降低HEVC编码码率的情况下，避免计算复杂度不必要的上升。

图4 非规则PU模式

2.2 非规则运动估计方法

国内外的一些学者和研究机构也在致力于非规则运动估计方法研究，普林斯顿大学、台湾国立大学等［8-9］提出了基于内容的自适应运动搜索方法，通过判断前一帧的搜索范围，来确定当前帧的搜索范围。密苏里大学［10］提出了一种在解码端学习的方法，实验结果表明该方法能够得到较好的视频图像质量。美国加州大学［11］提出了通过比较当前帧与参考帧之间的相位相关性确定初始搜索点，减少了帧间预测过程中运动估计所用的时间。以上文献的运动估计方法都是针对运动物体的运动边界是规则的情况，这些方法并不完全适合非规则的运动估计。因此，需要深入研究非规则块运动估计方法，来降低帧间预测运动估计过程的计算复杂度。

基于两种非规则PU模式方法，对MV预测过程也做了相应改进，把一个CU分成两个非规则PU，并分别对这两个PU分块进行运动估计，这样通过运动补偿得到的残差数据就会更小，运动估计也会更准确。HEVC标准中定义了不同的PU模式运动方向，由于把一个CU分成两个非规则PU，并分别进行运动估计，则这两个PU分块的MV运动信息不相同。因此，对当前的PU分块进行运动估计时就不用参考与之在同一个CU里的相邻PU的MV了。

HEVC标准中的运动向量融合技术利用时域上或者空域上相邻的块直接复制数据来对当前块进行编码，并不需要对宏块进行运动估计，直接使用选出的最佳运动估计信息(运动矢量、参考帧序号)对当前PU进行帧间预测。由于加入了非规则PU模式方式，为适应该算法，帧间预测中运动向量融合方式也要做相应改进，对比HEVC中规则PU模式的融合方式，本文使HEVC中空域上原有的融合方式保持不变，增加了如图5所示的融合方式。由于处于同一个CU分块中的两个非规则PU模式具有不同的MV信息，而两个非规则PU的MV信息是基于相邻重建块的MV信息参考而得的，图5a、图5b、图5c中当前PU分块分别与1，3及5相邻块之间了间隔了一个相邻PU分块，而当前PU的相邻PU的MV信息与1，3，5相邻块相近，则当前PU分块的MV信息不会和这些相邻块相同。因此图5中的3种情况下不再进行融合。

图5 增加的非规则PU的融合方式

2.3 针对非规则PU模式的快速算法

由图2可知HEVC的帧间预测PU模式包括4种对称PU模式和4种非对称帧间PU模式，共8种规则的PU模式。如引言中所述HEVC还定义了一种称为融合模式的方法。因此HEVC中每种非对称PU模式对应非对称PU模式预测过程和非对称PU融合模式预测过程。为了去除冗余的预测模式，HEVC也定义了相应的针对对称和非对称PU模式的快速算法［12-14］，在保证编码质量的情况下省去不必要的计算量，同样在每一种尺寸的CU中加入非规则PU模式的遍历，虽然可以增加帧间预测的准确度降低码率，但同时也会增加编码计算复杂度。因此，有必要找到一种可以自适应跳过非规则PU模式的帧间预测快速算法。本文设计了一种针对非规则PU模式的快速算法，分为下面的两种情况，算法如下:

1)非规则PU模式

(1)当CU尺寸为64×64或最佳PU预测模式(遍历当前CU所有的PU模式，取其中率失真代价值最小的一种PU模式)为融合模式时跳过两种非规则PU模式。由于当前CU(64×64)尺寸太大，此时不可能达到CU的最佳划分，使用过多的PU模式只会增加计算复杂度，因此跳过两种非规则PU模式，当最佳PU预测模式为融合模式时，则可知当前CU的预测参考了周边CU运动估计信息，为避免不必要的计算复杂度，同样跳过两种非规则PU模式。

(2)当最佳PU预测模式不为融合模式时，由于非规则PU模式和PU模式三大分割类中的任何一类都不相同，直接遍历两种非规则PU模式。

2)非规则PU融合模式

(1)当最佳PU预测模式为skip模式时，当前CU基本是采用融合模式，但不分割类的融合模式的预测精度不是很理想，采用两种非规则PU融合模式能够有效提高预测精度，因此遍历两种非规则PU融合模式。

(2)当前CU上一层CU的最佳PU预测模式为帧内PU模式且其最佳PU预测模式为非对称分割类的横向分割类或竖向分割类的PU模式时，当前CU基本是采用融合模式，而且可能处在像素纹理详细或运动特性比较复杂的区域，由于非规则PU模式和PU模式三大分割类中的任何一类都不相同;则遍历两种非规则PU融合模式。

(3)其他情况跳过两种非规则PU融合模式。

3 实验及结果

本文将所提方法与HM8.0测试模型进行比较，实验平台为HM8.0标准测试环境，为体现算法的普适性，采用了8种视频序列。测试其中的前100帧，图像组结构(GoP)设为“IPPP”，CU 尺寸为64×64，32×32，16×16和8×8等4种。QP值取22，27，32和37。为了比较本文算法和HM8.0算法之间的性能，将不采用快速算法的非规则PU模式算法和采用快速算法的非规则PU模式算法分别与HM8.0测试模型进行对比，其计算公式为

式中:ΔP，ΔB和ΔT分别表示本文算法与HM8.0测试模型算法在PSNR(峰值信噪比)、编码码率和编码时间三项数值上的差值;PPRO和PREF分别表示所提出的算法和HM8.0测试模型算法的PSNR;BPRO和BREF分别表示所提出的算法和HM8.0测试模型算法的编码码率;TPRO和TREF分别表示所提出的算法和HM8.0测试模型算法的编码时间。算法实验结果如表1所示，从表中可以看出，在不使用快速算法的情况下使用非规则PU模式可以节省2.24%的码率，编码时间上升37.26%，PSNR波动较小。在加入快速算法之后，码率节省虽然下降了1.09%，但编码的时间大幅节省，与HEVC原始算法相比只上升了10.91%，同时PSNR波动较小，由于HEVC视频编码标准中码率的降低相对比较困难，文献［6］在编码时间升高一倍的情况下，码率降低了4%左右;文献［7］在编码时间升高20%的情况下，码率降低了1%左右，故通过比较可知，本文算法实验结果是非常理想的。

表1 非规则PU模式算法与HM8.0测试模型算法比较结果

4 结论

本文从降低HEVC编码码率的角度，提出了两种非规则PU模式，为适应该非规则模式重新设计了部分帧间预测过程，最后为降低非规则PU模式判决过程计算复杂度设计了一种快速算法。实验结果显示，相比已有的HEVC编码方法，基于非规则PU模式的HEVC编码方式在时间上升高37.26%，在PSNR波动很小的情况下，平均节省码率2.24%。在加入快速算法的情况下，计算复杂度大幅降低，平均节省码率1.09%，编码时间只上升了10.91%。

［1］WIEGAND T，SULLIVAN G，BJONTEGAARD G，et al.Overview of the H.264/AVC video coding standard［J］.IEEE Trans.Circuits Syst.Video Technol.，2003，13(7):560-576.

［2］UGUR K，ANDERSSON K，FULDSETH A，et al.High performance，low complexity video coding and the emerging HEVC standard［J］.IEEE Trans.Circuits Syst.Video Technol.，2010，20(12):1688-1697.

［3］何小海，王正勇.数字图像通信及其应用［M］.成都:四川大学出版社，2006.

［4］ZHENG Xiaozhen，YU Haoping.Huawei＆ HiSilicon report on flexible motion partitioning coding［EB/OL］.［2013-10-02］.http://phenix.int-evry.fr/jct/.

［5］ZHENG Xiaozhen，YU Haoping.Huawei＆ HiSilicon report on flexible motion partitioning［EB/OL］.［2013-10-02］.http://phenix.int-evry.fr/jct/.

［6］EDOUARD F，PHILIPPE B，GUO L.Simplified geometry block partitioning［EB/OL］.［2013-10-02］.http://phenix.int-evry.fr/jct/.

［7］ZHENG Xiaozhen，YU Haoping，LI Shao，et al.Non-rectangular motion partitioning［EB/OL］.［2013-10-02］.http://phenix.int-evry.fr/jct/.

［8］SU Yeping，SUN Mingting.Fast multiple reference frame motion estimation for H.264/AVC［J］.IEEE Trans.Circuits Syst.Video Technol.，2006，16(3):447-452.

［9］HUANG Y，HSIEH B，CHIEN S，et al.Analysis and complexity reduction of multiple reference frames motion estimation in H.264/AVC［J］.IEEE Trans.Circuits Syst.Video Technol.，2006，16(3):507-522.

［10］LIU Wei，DONG Lina，ZENG Wenjun.Motion refinement based progressive side-information estimation for wyner-ziv video coding［J］.IEEE Trans.Circuits Syst.Video Technol.，2010，20(12):1863-1875.

［11］PAUL M，LIN W，LAU C，et al.Direct inter mode selection for H.264 video coding using phase correlation［J］.IEEE Trans.Image Processing，2011，20(2):461-473.

［12］CHOI K，PARK S，JANG E.Coding tree pruning based CU early termination［EB/OL］.［2013-10-02］.http://phenix.int-evry.fr/jct/.

［13］ZHONG Guoyun，HE Xiaohai，QING Linbo，et al.Fast inter-mode decision algorithm for high-efficiency video coding based on similarity of coding unit segmentation and partition mode between two temporally adjacent frames［J］.Journal of Electronic Imaging，2013，22(2):1-19.

［14］李元，何小海，钟国韵，等.一种基于时域相关性的高性能视频编码快速帧间预测单元模式判决算法［J］.电子与信息学报，2013，35(10):2365-2370.