基于帧内预测模式多划分的HEVC鲁棒视频水印算法

蔡春亭，冯 桂,王 驰，韩 雪

(华侨大学 信息科学与工程学院，福建 厦门 361021)

基于帧内预测模式多划分的HEVC鲁棒视频水印算法

蔡春亭，冯 桂*,王 驰，韩 雪

(华侨大学 信息科学与工程学院，福建 厦门 361021)

(*通信作者电子邮箱fengg@hqu.edu.cn)

针对现有基于高效视频编码(HEVC)标准的水印算法鲁棒性不足的问题,提出一种基于帧内预测模式多划分的HEVC鲁棒视频水印算法。首先，针对嵌入水印后帧内误差传播的问题，对4×4亮度块进行可嵌区域的选择，并计算4×4亮度块的纹理方向；其次,将33种角度预测模式划分为四种模式集，依次记为：上水平、下水平、上垂直、下垂直；最后，将当前以及下一待嵌入水印的值与模式集建立映射关系,通过判断当前4×4块属于哪个模式集来进行水印的嵌入，并将33种角度模式截断为其中一种模式集。解码端通过纹理方向和预测模式集提取水印。实验结果表明，所提算法的平均峰值信噪比维持不变，且在重编码攻击下的误码率(BER)为14.1%。由此可知，该算法对视频质量影响很小,在鲁棒性上可以抵抗重编码的攻击。

高效视频编码；帧内预测模式；视频水印；纹理方向

0 引言

近年来，非法使用数字化视频的问题日益严重，视频的版权问题变得尤为突出。因此，数字视频水印技术成为研究的热点[1]。随着高清、超高清视频的应用逐渐进入到人们的视野[2]，视频压缩技术受到了巨大的挑战，为了应对这亟待解决的问题，国际电信标准化部门和国际标准化组织的视频编码专家组联合制定了新一代高效视频压缩编码标准(High Efficiency Video Coding, HEVC)。

现阶段,H.264/AVC的视频水印技术比较成熟，Noorkami等[3]提出将水印嵌入到4×4帧内预测模式的I宏块的直流系数上。该算法具有一定的安全性，但根据密钥选择嵌入位置，对水印的不可见性造成影响。Mansouria等[4]提出在纹理复杂的4×4子块嵌入水印，该算法对水印的视频质量影响较小，但是一旦编码模式发生变化，将会导致嵌入水印与提取水印不同步。Kim等[5]提出了基于H.264帧内编码的数字水印存在的若干问题，通过实验验证了重编码会使离散余弦变换(Discrete Cosine Transform, DCT)系数和帧内编码模式发生改变。张维伟等[6]提出将水印嵌入到纹理度复杂的4×4块量化DCT系数中，该算法的鲁棒性较好，但嵌入水印后视频的质量下降较大。随着新一代高效视频编码的出现，基于HEVC的数字水印成为研究热门。王家骥等[7]提出修改帧内预测模式的奇偶性，该算法对视频质量影响较小，一旦含水印视频受到常规攻击后，预测模式容易改变，使得水印不能正常提取，鲁棒性较低。张明辉等[8]提出将水印嵌入到预测模式的水平模式和垂直模式中，通过预测模式进行水印的提取，在解码端用两个纹理方向值的对比还原水印，当水印遭到攻击时，一旦像素点的值改变，会对水印的提取造成误判。鉴于以上分析，本文提出一种基于帧内预测模式多划分的HEVC视频水印。本文算法首先为了消除嵌入水印时的帧内误差传播，对4×4亮度块进行可嵌区域的选择，随后将33种角度模式划分为四个模式集，通过判断当前待嵌入和下一水印的值符合哪个模式集来嵌入水印。在解码端，当水印遭到攻击导致预测模式发生改变时，通过纹理方向准确定位模式集能正常提取水印，使得误码率降低，鲁棒性能提高。

1 水印的嵌入与提取

1.1 帧内误差传播分析与纹理计方向计算

相较与以往的视频编码标准(如H.264/AVC),HEVC引入了全新的编码结构——编码单元(Coding Unit, CU )、预测单元(Prediction Unit, PU )和变换单元(Transform Unit, TU )3个基本单元。CU的尺寸大小可以为8×8到64×64，CU根据预测模式又可划分为一个或多个不重叠的PU，同时一个CU还可以按照四叉树方式划分为一个或多个变换单元(Transform Unit,TU)。这些特性使得一个8×8以上的PU邻近块可能存在着不同尺寸的PU，可能为DCT或离散正弦变换(Discrete Sine Transform, DST)变换，会给消除帧内误差的分析带来不便。而4×4 PU邻近块不存在着更小的尺寸，只存在DST变化，可以简化水印的嵌入，又考虑到HEVC中不同尺寸的PU有着不同的纹理特性，其中越小的块代表着纹理越复杂的区域，因此最终选定4×4 PU。

对于任意尺寸的PU都有35种预测模式，其中模式0为Planar模式，模式1为DC模式，模式2～33为角度模式。所有的预测模式都使用邻近预测块的像素作为参考样本，通过邻近块编码预测得到当前块。模板如图1所示，RX,Y表示相邻块的像素重建值，用作参考样本，PX,Y表示当前块的像素。

图1 H.265/HEVC帧内预测模板

为了考虑消除嵌入水印时的帧内误差传播[9]，根据上述帧内预测模板可推论，当对右上、右边、右下、下面、左下PU进行预测时，会选用邻近块的参考样本进行预测。当选用图2 中4×4块作为参考块时，选用的参考样本区域如表1所示，即右上块作为当前预测块时，会以1、2、3和4像素点作为参考样本，同理，其他块选用像素点的方法类似。由此推论，若水印嵌入到图2 中4×4区域的灰色部分，会对右上、右边、右下、下面、左下像素块的重建造成影响，由此类推，帧内误差传播的累加会对视频的质量产生影响。若不在4×4亮度块中的灰色区域嵌入水印，继而可以消除帧内误差传播。

图2 用于邻近块预测的4×4像素块

4×4PU块选用的像素位置4×4PU块选用的像素位置右上1，2，3，4下面4，5，6，7右边1，2，3，4左下4，5，6，7右下4

接下来，计算出当前4×4亮度块的纹理方向，Tsai等[10]提出了一种简单、准确的纹理算法，描述如下：把4×4像素块分为4个2×2子块和一个2×2的内部子块，如图3所示。利用式(1)分别计算每个子块的平均值P0、P1、P2、P3、P4：

PK={f(xK,yK)+f(xK+1,yK)+f(xK,yK+1)+f(xK+1,yK+1)}

(1)

其中：K=0,1,2,3,4;f(x,y)表示在坐标(x,y)处的像素值，且(xK,yK)表示第K个2×2块的起始位置，如图4所示。

图3 4×4亮度块划分为5个2×2子块

图4 PK块的像素值

PK值表示两个对角方向，一个水平方向和一个垂直方向，依次记为方向d45°、方向d135°、方向d0°、方向d90°。利用这4个角度可以进一步计算出方向d22.5°、方向d67.5°、方向d167.5°、方向d112.5°，计算式如下：

d0°=|P1-P0|+|P3-P2|

(2)

d90°=|P2-P0|+|P3-P1|

(3)

d45°=|P4-P1|+|P2-P4|

(4)

d135°=|P4-P0|+|P3-P4|

(5)

d22.5°=(d0°+d45°)/2

(6)

d67.5°=(d45°+d90°)/2

(7)

d112.5°=(d90°+d135°)/2

(8)

d157.5°=(d0°+d135°)/2

(9)

选取d22.5°、d157.5°、d112.5°、d67.5°中最小的值作为当前4×4亮度块的纹理方向。

根据前文论述可知，纹理方向与角度预测模式存在着很强的联系，如图5所示，d22.5°、d157.5°、d112.5°、d67.5°分别落在预测模式2～10、11～18、19～26、27～34，依次记为上水平模式、下水平模式、上垂直模式和下垂直模式，且分别对应于角度模式6、14、22和30。

图5 纹理方向与预测模式之间的关系

1.2 嵌入水印

令二值待嵌入水印序列为Wpri,利用密钥k1产生的双极性随机序列为randpri，进行如下加密：

W=randpri×Wpri

其中：W={Wi|i=1,2,…,M,Wi∈{-1,1}}。水印的嵌入是在HEVC的I帧编码中进行的，现描述如下：

步骤1 在I帧中，第一个编码树单元开始，找出其中尺寸为8×8的CU。

步骤2 在进行N×N编码时，选择4×4的PU并计算其纹理方向，若纹理方向的最小值Min为d22.5°时，记为上水平模式；Min为d157.5°时，记为下水平模式；Min为d112.5°时，记为上垂直模式；Min为d67.5°时，记为下垂直模式。

步骤3 假设当水印组合(Wpri,Waft)=(-1，1)时，且纹理方向为上水平模式，则嵌入水印；当(Wpri,Waft)=(-1，-1)时，且纹理方向为下水平模式，则嵌入水印；当(Wpri,Waft)=(1，-1)时，且纹理方向为上垂直模式，则嵌入水印；当(Wpri,Waft)=(1，1)时，且纹理方向为下垂直模式，则嵌入水印。其中：Wpri、Waft分别表示当前和下一待嵌入水印的值。

步骤4 若符合水印嵌入要求，则在模式粗选之前将33种角度预测模式进行截断处理，处理方式为：当纹理方向判断为上水平模式，则预测模式截断为2～10；当纹理方向判断为下水平模式时，则截断为11～18；当纹理方向判断为上垂直方式时，则截断为19～26；当纹理方向判断为下垂直方式时，则截断为27～33。

步骤5 若当前PU总的率失真代价小于2N×2N分割模式，则保留水印，否则对水印位进行相应的调整，不保留嵌入信息，进行下个PU，转到步骤2。

步骤6 记录已嵌入水印中像素的位置,作为密钥k2。

1.3 提取水印

水印的嵌入根据像素块的纹理方向与帧内预测模式的关系进行嵌入，因此解码端在提取水印时只需计算像素块的纹理方向即可。具体过程如下：

步骤1 根据密钥k2，先获取对应位置4×4亮度块预测模式的值Mode，再计算亮度块的4个纹理方向d22.5°、d157.5°、d112.5°和d67.5°，最后求最小值Min。

步骤2 在视频遭到攻击时，预测模式有可能发生改变。为了解决这个问题，提出以下两种方法：

1)当预测模式为2～34时，利用式(10)进行水印的提取：

(10)

2)当预测模式为0、1时，利用式(11)进行水印的提取：

(11)

步骤3 将提取出的水印序列与双极性随机序列randpri相乘，得到最终的二值水印序列。

1.4 整体算法

算法首先进行帧内误差传播的分析，由此选定3×3可嵌区域，并计算4×4PU纹理方向，最后利用纹理方向和预测模式紧密的联系进行水印嵌入，根据预测模式和纹理方向进行水印的提取。

2 实验结果与分析

算法在HEVC参考软件HM14.0进行测试。编码方式为IPPP…，参考软件的主要编码配置参数如下：原始QP(QuantizationParameter)为28，编码24帧，图像组(GroupOfPicture,GOP)为12，率失真优化量化(Rate-DistortionOptimizedQuantization,RDOQ)为1，其余参数采用默认配置。电脑基本配置:CPU为intelCorei5- 6300HQ2.3GHz,内存为8GB。通过在单帧(I帧)进行水印嵌入,而不是在每帧进行水印嵌入。测试了9个具有3种分辨率的序列，分别为3个416×240的BlowingBubles、RaceHorses和BaketballPass，3个832×480的BQMall、PartyScene和RaceHorse，以及3个1 280×720的FourPeople、SlideEditing和Slideshow。

2.1 视频质量和鲁棒性分析

表2列出了不同的测试序列嵌入水印前后的峰值信噪比(PeakSignal-to-NoiseRatio,PSNR)和码率的变化(用码率增长率表示)以及单帧水印的嵌入容量(Capacity,C)。PSNR的变化用ΔP=Pemb-Pori表示，码率增长率用ΔBIR=(Remb-Rori)/Rori表示。其中:Pori表示原始测试序列的PSNR;Pemb表示嵌入水印后测试序列的PSNR;Rori表示原始测试序列的码率;Remb表示嵌入水印后测试序列的码率;C表示水印嵌入的总比特数。从表2中可知，PSNR下降最多的为-0.01 dB,部分序列的PSNR还增加了，总体PSNR的平均变化为0，这是由于本文通过纹理方向与预测模式紧密的联系把33种角度模式划分为4个模式集，用4个角度来表示。随后根据角度来定位当前纹理方向属于哪个模式集，模式的精确划分减小了纹理方向的误判率，所以嵌入水印后对视频质量的影响不大。

除了表2的客观验证外，本文还给出了主观验证效果。图6为832×480的BQMall序列在嵌入水印前后第一帧视频质量的对比。由图6可知，虽然嵌入水印后，PSNR有一定的下降，但是对视频质量几乎是没有影响的。

表2 嵌入水印前后PSNR、码率的变化和容量大小

图6 嵌入水印前后的图

本文的鲁棒性用误码率(BitErrorRate,BER)来评价，计算式为：

BER=biterror/bittotal

其中:biterror表示提取错误的比特数；bittotal表示总的嵌入水印的比特数；BER越小，说明该算法的鲁棒性能更好。在视频遭到重编码的攻击时， 4×4亮度块的帧内预测模式可能为0或1。为了能够准确提取出水印信息，在解码端计算4×4块的4个纹理角度：d22.5°、d157.5°、d112.5°和d67.5°，并求其最小值Min。若Min为d22.5°或d157.5°，则提取的水印信息为-1，反之，水印信息为1。本文算法的优势在于，若当前4×4块的像素值发生变化，有可能导致d22.5°、d157.5°、d112.5°和d67.5°值的微小变化，但最小值Min变化的概率很小，因此不会造成水印信息恢复的较大失真。鲁棒性测试结果如表3所示。

表3 鲁棒性测试结果(重编码攻击)

由表3可知，无攻击时，BER为0；在5个不同QP重编码攻击下，BER最小值为QP=28时的FourPeople序列，为0.012，BER最大值为QP=34时的BasketballPass序列，为0.361，都在可接受的范围内。所有测试序列的BER平均值为0.141，因此具有良好的鲁棒性。

2.2 对比测试

为验证本文算法的性能，将本文算法与文献[7-8]算法进行对比测试，采用文献[7]的编码参数配置，参数设置如下：QP为26，GOP为8，RDOQ为1，周期为16，帧率为每秒30帧，编码96帧，剩余参数均为默认参数。对416×240的BlowingBubbles序列分别用本文算法与文献[7-8]算法进行测试，结果如表4所示。本文算法与文献[7-8]的算法在PSNR上变化都很小，但本文算法的码率增长率比文献[7-8]算法小，且在QP为26的重编码攻击时，本文算法的BER为0.049，而文献[7]算法与文献[8]算法的BER分别为0.400和0.072，说明本文算法的鲁棒性能比文献[7-8]算法更优。这主要是由于文献[7]算法只根据修改帧内预测模式奇偶性来嵌入水印，而奇偶性的鲁棒性能并不好，文献[8]算法直接用两个角度值的对比来恢复水印信息，一旦某个角度值发生变化，会造成结果误判。虽然文献[7] 算法的水印容量较高，但是文献[7] 算法的BER高达0.400，而本文算法的BER平均值为0.141。因此本文在重编码攻击下的鲁棒性更好。

表4 本文算法与文献[7-8]算法性能对比

3 结语

针对现有基于HEVC的水印算法鲁棒性不足的问题，本文提出一种基于帧内预测模式多划分的HEVC鲁棒视频水印算法。首先，该算法进行帧内误差传播的分析，并对4×4块的纹理方向进行计算，随后将33种角度模式划分为4种模式集，用4个纹理方向来准确定位该模式集，通过判定当前待嵌入水印和下一水印的值符合哪种模式集来嵌入水印。由实验结果可知，与文献[7-8]算法相比，本文算法码率增加得更少，因此本文算法对视频质量影响更小，且抗重编码攻击的性能更好。但是本文算法的水印容量存在不足，因此下一步将从提高水印容量这方向进行研究。

)

[1]COXIJ,MILLERML,BLOOMJA.DigitalWatermarking[M].SanFrancisco,CA:MorganKaufmann, 2002: 11-15.

[2]SULLIVANGJ,OHMJR,HANWJ,etal.OverviewoftheHighEfficiencyVideoCoding(HEVC)standard[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology, 2012, 22(12): 1649-1668.

[3]NOORKAMIM,MERSEREAURM.AframeworkforrobustwatermarkingofH.264-encodedvideowithcontrollabledetectionperformance[J].IEEETransactionsonInformationForensicsandSecurity, 2007, 2(1): 14- 23.

[4]MANSOURIAA,AZNAVEHAM,TORKAMANI-AZARF,etal.AlowcomplexityvideowatermarkinginH.264compresseddomain[J].IEEETransactionsonInformationForensicsandSecurity, 2010, 5(4): 649-657.

[5]KIMDW,CHOIYG,KIMHS,etal.Theproblemsindigitalwatermarkingintointra-framesofH.264/AVC[J].ImageandVisionComputing, 2010, 28(8): 1220-1228.

[6] 张维纬,张茹,刘建毅,等.基于纹理特征的H.264/AVC顽健视频水印算法[J].通信学报,2012,33(3):82-89.(ZHANGWW,ZHANGR,LIUJY,etal.RobustvideowatermarkingalgorithmforH.264/AVCbasedontexturefeature[J].JournalonCommunications, 2012, 33(3): 82-89.)

[7] 王家骥,王让定,李伟,等.一种基于帧内预测模式的HEVC视频信息隐藏算法[J].光电子·激光,2014,25(8):1578-1590.(WANGJJ,WANGRD,LIW,etal.AninformationhidingalgorithmforHEVCbasedonintraprediction[J].JournalofOptoelectronics·Laser, 2014, 25(8): 1578-1585.)

[8] 张明辉,冯桂.基于纹理方向的高效视频编码鲁棒视频水印[J].计算机应用,2015,35(9):2531-2534.(ZHANGMH,FENGG.Robustvideowatermarkingalgorithmforhighefficiencyvideocodingbasedontexturedirection[J].JournalofComputerApplications, 2015, 35(9): 2531-2534.)

[9]LIUYX,JULM,HUMS,etal.ArobustreversibledatahidingschemeforH.264withoutdistortiondrift[J].Neurocomputing, 2015, 151(3): 1053-1062.

[10]TSAIAC,WANGJF,LINWG,etal.AsimpleandrobustdirectiondetectionalgorithmforfastH.264intraprediction[C]//Proceedingsofthe2007IEEEInternationalConferenceonMultimediaandExpo.Piscataway,NJ:IEEE, 2007: 1587-1590.

[11]QINC,CHANGCC,CHENPY.Self-embeddingfragilewatermarkingwithrestorationcapabilitybasedonadaptivebitallocationmechanism[J].SignalProcessing, 2012, 92(4): 1137-1150.

[12]XUDW,WANGRD.WatermarkinginH.264/AVCcompresseddomainusingExp-Golombcodewordsmaping[J].OpticalEngineering, 2011, 50(9): 097402.

[13]HOHENBERGERS,WATERSB.Online/offlineattribute-basedencryption[C] //PKC2014:Proceedingsofthe17thInternationalConferenceonPracticeandTheoryinPublic-KeyCryptography,LNCS8383.Berlin:Springer, 2014: 293-310.

[14]LAINEMAJ,BOSSENF,HANW,etal.IntracodingoftheHEVCstandard[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology, 2012, 22(12): 1792-1801.

[15]CHANGPC,CHUNGKL,CHENJJ,etal.ADCT/DST-basederrorpropagation-freedatahidingalgorithmforHEVCintra-codedframes[J].JournalofVisualCommunicationandImageRepresentation, 2014, 25(2): 239-253.

[16]ZHAOJ,LIZT,FENGB.Anoveltwo-dimensionalhistogrammodificationforreversibledataembeddingintostereoH.264video[J].MultimediaTools&Applications, 2016, 75(10): 5959-5980.

[17] 张明辉,冯桂.消除帧内误差传播的HEVC可逆水印算法[J].信号处理,2016,32(2):220-226.(ZHANGMH,FENGG.AreversiblewatermarkingalgorithmforHEVCintra-codedframeswithouterrorpropagation[J].JournalofSignalProcessing, 2016, 32(2): 220-226.)

ThisworkispartiallysupportedbytheNaturalScienceFoundationofFujianProvince(2016J01306),theResearchandInnovationProjectforCollegeGraduatesofHuaqiaoUniversity(1511301038).

CAI Chunting, born in 1991, M. S. candidate. His research interests include digital video watermarking based on high efficiency video coding.

FENG Gui, born in 1960, Ph. D., professor. Her research interests include signal and information processing, information security theory of communication system, multimedia communication.

WANG Chi, born in 1991, M. S. candidate. His research interests include algorithm optimization in 3D video coding.

HAN Xue, born in 1993, M. S. candidate. Her research interests include algorithm optimization in 3D video coding.

Robust video watermarking algorithm for HEVC based on intra-frame prediction modes of muli-partitioning

CAI Chunting, FENG Gui*, WANG Chi, HAN Xue

(DepartmentofInformationScienceandEngineering,HuaqiaoUniversity,XiamenFujian361021,China)

Considering the low robustness of existing watermarking algorithms based on High Efficiency Video Coding (HEVC) standard, a robust video watermarking algorithm for HEVC based on intra-frame prediction modes of multi-partitioning was proposed. Firstly, in order to eliminate the intra-frame error propagation after embedding the watermark, embeddable regions were selected and the texture direction was calculated for 4×4 luminance blocks. Secondly, a scheme was proposed that the 33 angular prediction modes were divided into four pattern sets, which were recorded as follows: upper horizontal, lower horizontal, upper vertical, lower vertical. Finally, the four pattern sets were mapped to the values of the current and next to be embedded watermarks. Once the current 4×4 luminance blocks met the pattern sets, the current 33 angular prediction modes were truncated into the current pattern sets and the watermark was embedded. The watermark was extracted by the texture direction and four prediction pattern sets at decoding side. The experimental results show that, the average Peak Signal to Noise Ratio (PSNR) of the proposed algorithm is almost unchanged. In addition, the proposed algorithm achieves the Bit Error Rate (BER) of 14.1% under re-encoded attacks. Therefore, the proposed algorithm has low video distortion and can well resist the re-encoded attacks in robustness.

High Efficiency Video Coding (HEVC); intra-frame prediction mode; video watermarking; texture direction

2016- 11- 28;

2017- 01- 22。

福建省自然科学基金资助项目(2016J01306)；华侨大学研究生科研创新能力培育计划资助项目(1511301038)。

蔡春亭(1991—)，男，福建三明人，硕士研究生，主要研究方向：基于高效视频编码的数字视频水印； 冯桂(1960—)，女，浙江绍兴人，教授，博士，主要研究方向：信号与信息处理、通信系统信息安全理论、多媒体通信; 王驰(1991—)，男，湖北天门人，硕士研究生，主要研究方向：3D视频编码中的算法优化； 韩雪(1993—)，女，河南南阳人，硕士研究生，主要研究方向：3D视频编码中的算法优化。

1001- 9081(2017)06- 1772- 05

10.11772/j.issn.1001- 9081.2017.06.1772

TP309.2

A