基于H.266/通用视频编码的帧内双模式的视频水印算法

罗志伟，刘持标

（1.三明学院信息工程学院，福建三明 365004；2.福建省农业物联网应用重点实验室（三明学院信息工程学院），福建三明 365004）

（*通信作者电子邮箱798916526@qq.com）

0 引言

近年来，非法使用数字视频的现象愈发严重，数字视频的版权保护成为视频消费A 市场亟需解决的问题［1］。4K 和8K超高清视频的应用逐渐走进人们的视野，要使海量视频在网络上传输，国际电信联盟制定了目前最新的视频编码标准H.266/通用视频编码（Versatile Video Coding，VVC）［2］。与高效视频编码（High Efficiency Video Coding，HEVC）相比，它的目标是在不降低视频质量的前提下，将编码效率提高一倍［3］。

目前较为流行的视频水印方案有H.264 视频水印、HEVC 视频水印技术和立体视频水印技术。文献［4］在H.264 技术上复制4 × 4 块量化后的离散余弦变换（Quantified Discrete Cosine Transform，QDCT）系数为A、B 两份，根据宏块的不同纹理，对A 份和B 份进行不同的能量提升，使用A、B两份宏块的能量差嵌入水印；该算法将水印嵌入中频系数，且不论何种纹理的宏块，嵌入强度都相同，这就导致在平坦区域的中频系数上嵌入水印会降低视频质量。

同样利用纹理特性的还有文献［5-6］，这两个算法在HEVC 技术上，先判断4 × 4 块的纹理方向，将角度预测模式的范围设置为与纹理方向一致，将水印嵌入到角度模式中。解码端计算重构图像的纹理方向，根据计算出的方向提取出水印。如果这类算法的各个纹理方向值接近，十分容易误判预测的角度，将水印嵌入至误判的模式中，会造成一定程度的率失真损失。同时，若块的纹理方向使得水印不匹配该块的模式范围，满足嵌入条件的4 × 4 块出现的概率降低，导致水印的嵌入容量较低。

文献［7］中提出了一种修改量化后的离散正弦变换（Quantified Discrete Sine Transform，QDST）系数奇偶性的可逆水印方法，可避免误差传播，且率失真性能较好，嵌入容量较大。文献［8］以立体编码技术为平台，对4 × 4块的QDST的直流（Direct Current，DC）系数构造一个可逆矩阵，并对该矩阵进行正交三角分解，将水印嵌入至正交矩阵，具有较强的不可见性，即使嵌入至直流系数，也几乎不影响视频质量；但该算法在深度图的纹理复杂区域嵌入水印，而深度图大部分区域是平坦的，只有少部分区域的纹理是复杂的，因此满足嵌入条件的块较少，水印容量较低。文献［9］在HEVC 平台上使用局部二值模式（Local Binary Pattern，LBP）判断8× 8 块的纹理，在纹理复杂的块上修改预测模式的奇偶性嵌入水印；该算法嵌入水印的容量较大，但是率失真性能的损失也较大，因为选择平面（Planar）模式和DC 模式概率较大，强行修改Planar 模式和DC模式为其他模式容易造成较大的率失真损失。

目前基于H.266视频编码平台的水印算法极少。本文提出了修改帧内双模式的奇偶性的视频水印算法。该算法利用H.266/VVC 编码器帧内预测新增的技术点，根据二值水印状态，修改角度预测模式、最可能模式（Most Probable Mode，MPM）候选列表、矩阵加权帧内预测（Matrix weighted Intra Prediction，MIP）模式的奇偶性。该算法对编码器的率失真性能影响极小，且具有适中的嵌入容量。

1 H.266/VVC标准的帧内预测

1.1 角度预测

H.266/VVC 角度预测的思想是利用编码单元（Coding Unit，CU）的空间邻近像素预测当前CU的像素值，该思想继承前两代编码标准，充分利用了图像信息的空间冗余性。VVC为了捕获视频中的任意边缘方向，角度预测模式的数量从HEVC的35种增加至67种［10］，其角度预测模式如图1所示。图1的黑色（实线）角度模式是原HEVC 的角度，总共35 个模式；红色（虚线）角度模式是VVC在HEVC标准的基础上新增加的模式，总共32 个模式。同时从相邻CU 构建的MPM 候选列表从HEVC的3个候选模式扩展至VVC的6个候选模式。

1.2 矩阵加权帧内预测

MIP 模式的最初思想是利用多层神经网络基于相邻已重建像素预测当前CU 像素值［11］，但是这种预测方式复杂度太高，最后发展出矩阵加权帧内预测。

图1 H.266/VVC角度预测模式Fig.1 Angle prediction mode of H.266/VVC

MIP对4 × 4的CU预测方法如图2所示。

图2 4×4块的MIP预测示例Fig.2 Example of MIP prediction for 4×4 block

1）边界平均：对上参考行bdrytop和左参考行bdryleft进行下采样，获得4个采样点。

2）矩阵加权预测：对下采样后的参考像素bdryred乘以所选模式k所对应的矩阵Ak，再加上一个偏移bk。

4 × 4 块的MIP 首先对参考像素进行平均，再对平均后的像素进行矩阵向量乘法，再加上一个偏移。VVC对4 × 4块的矩阵加权规定了35种模式，即平均后的像素要分别乘以35个矩阵，再加上相应矩阵对应的偏移，获得预测后的4 × 4块，选择最小的绝对变换误差和（Sum of Absolute Transformed Difference，SATD）作为最优的预测4 × 4块。

1.3 H.266/VVC帧内预测编码过程

1）首先进行第一轮粗选，构建粗选列表，计算属于HEVC的原35 种角度预测模式的SATD，即从模式｛0，1，2，4，6，…，66｝中选择出6个最小的SATD值的模式加入粗选列表。

2）接着进行第二轮粗选，选择性地计算VVC 新增的模式。第二轮粗选是分别计算步骤1）得出的6个粗选模式的前后两个模式的SATD 值，即若粗选列表中含有模式8，第二轮粗选需计算模式7 和模式9 的SATD。如果步骤1）选出了DC模式和Planar 模式，不计算这两个模式的前后模式。但是若粗选列表中含有模式2或模式66，第二轮粗选只需计算模式3或模式65的SATD。第二轮粗选最多需计算12个模式。从第二轮粗选的模式中选择SATD 值较小的模式替换粗选列表中SATD值较大的模式。

3）计算当前CU的MPM模式，从中选择SATD值较小的模式替换粗选列表中SATD值较大的模式。

4）将粗选列表长度扩至为7，计算35 种MIP 模式，从中选择SATD值较小的模式替换粗选列表中SATD值较大的模式。

5）重新整理粗选列表，分别从粗选列表中选出3 个SATD值最小的角度模式和3个SATD值最小的MIP模式。

6）根据式（1）计算上述6 个模式的率失真代价［12］，选择最小的代价作为最优模式。

其中：Jmode表示率失真代价，D表示绝对误差和，λ表示拉格朗日因子，R表示编码需要的比特数。

2 水印嵌入

2.1 水印嵌入分析

根据编码器的编码特性，对于纹理复杂的CU，编码器会偏向于选择更小尺寸的CU 编码［13］。并且对于小尺寸CU，因为其纹理复杂，不选择Planar 模式和DC 模式的概率较高，因为这两种模式较常用于平坦区域，若在这两种模式下嵌入水印容易出现视频质量的损失。本文选择官方推荐的6 个视频序列［14］分析编码器的特性以嵌入水印。其中，序列BasketballDrill 和BQMall 纹理复杂，视频中的运动剧烈；序列BQSquare 和BlowingBubbles 纹理较为平坦，视频中的运动较为平缓；序列Johnny 和Vidyo3 具有复杂的前景和单调的背景，视频中的运动缓慢。

表1 给出了4 × 4 的CU 分别选择MIP 模式和角度模式的概率，其中角度模式不包括DC 模式和Planar 模式。表1 说明了4 × 4 的CU 选择非DC 模式和非Planar 模式的概率较高，可以将水印嵌入至非DC模式和非Planar模式中；并且CU通常在纹理较复杂的区域才会选择非DC 模式和非Planar模式，人眼对纹理复杂的区域较不敏感［15］，即使造成了一定的视频质量损失，人眼也难以察觉。从表1可以得出，本文将水印嵌入至4 ×4的CU的角度模式和MIP模式中具有较高的水印容量。

表1 4 × 4的CU选择角度模式和MIP模式的概率 单位：%Tab.1 Probability of 4 × 4 CU to choose angle mode and MIP mode unit：%

为了利用编码器的特性，表2 统计了4 × 4 的CU 的粗选列表奇偶模式的分布状况（未统计模式0 和模式1）。由于编码器是计算粗选列表中所有模式的率失真代价，从中选择最小的代价作为最优模式，所以粗选列表中的模式都有较高可能性作为最优模式。从表2 中可以看出粗选列表同时出现奇数模式和偶数模式的概率较高。可以根据出现的水印值，将其嵌入到候选粗选列表的奇数模式或者偶数模式中。

表2 4 × 4的CU的粗选列表中角度模式和MIP模式同时存在奇数模式和偶数模式的概率 单位：%Tab.2 Probability of angle mode and MIP mode in rough selection list of 4 × 4 CU having both odd-numbered modes and even-numbered modes unit：%

虽然MIP模式同时出现奇数模式和偶数模式的概率相较角度模式偏低，但表1 显示MIP 模式作为最优模式的概率也较低，若最优预测模式为MIP模式和角度模式，修改最优预测模式的奇偶性，造成的率失真损失也可接受。

2.2 水印嵌入

本文算法（图3）的思想是以角度模式和MIP 模式的奇偶性代表水印信息：偶数角度模式｛2，4，…，66｝和偶数MIP模式｛0，2，…，34｝代表水印“-1”；奇数角度模式｛3，5，…，67｝和奇数MIP 模式｛1，3，…，35｝代表水印“1”；DC 模式和Planar 模式不嵌入水印，嵌入至这两种模式容易造成较大的率失真损失。

图3 本文算法流程Fig.3 Flowchart of the proposed algorithm

步骤1 利用logistic 混沌映射产生双极性伪随机序列作为密钥K1，用此伪随机序列对原始水印W={w1，w2，…，wi，…} 做加密处理，取得加密水印W'=

步骤2 当I 帧的多叉树递归至4 × 4 的CU 时，进行第一轮粗选。计算属于HEVC 的原35 种角度预测模式，此时所计算的角度预测模式均是偶数模式，即模式｛0，1，2，4，6，…，66｝。从计算出的模式中按SATD 值从小到大的顺序选择出6个模式。

步骤3 利用1.3 节介绍的第二轮粗选均是计算奇数模式，根据二值水印状态决定是否进行第二轮粗选。若待嵌入的水印w'=-1，跳过第二轮粗选的奇数模式的计算；若待嵌入的水印w'=1，计算第二轮粗选的奇数模式的SATD，将第二轮粗选计算出的模式按SATD 值从小到大的顺序选择出奇数模式代替第一轮粗选出的偶数模式，此时不能代替DC模式和Planar 模式，若代替DC 模式和Planar 模式，会造成较大的率失真性能的损失。

步骤4 根据2.1 节分析的修改粗选列表里模式的奇偶性所导致的率失真损失较小。本文算法在计算6 个MPM 模式和35 种MIP 模式时：若待嵌入的水印w'=-1，只进行偶数模式的计算；若待嵌入的水印w'=1，只进行奇数模式的计算。此时不能跳过DC模式和Planar模式的计算。

2.3 水印提取

步骤1 解码端收到码流信息，依次解码各个CU。若解码后CU 大小为4 × 4，且该CU 的模式不为DC 模式和Planar模式，判断该模式的奇偶性：若为奇数，提取出的水印为“1”；若为偶数，提取出的水印为“-1”。

步骤2 将提取出的加密水印W'跟密钥K1进行解密，得到解密后的水印W。

3 实验结果与分析

在H.266/VVC 的测试模型VTM7.0上验证本文算法的性能，利用三种不同分辨率的视频序列进行测试。本文只在I帧上嵌入水印，P 帧不嵌入水印，并观察是否引起误差传播。编码器的基本参数配置如表3 所示，其余参数均使用默认参数。

3.1 水印嵌入对视频质量的影响

表4 列出了官方提供的9 个测试序列的平均码率以及在亮度分量嵌入信息前后峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）的变化情况。Pori和Pemb分别表示嵌入水印前后视频序列的PSNR 值，ΔP=Pemb-Pori表示PSNR 值的变化情况；Rori和Remb分别表示嵌入水印前后视频的序列码率，ΔR=(Remb-Rori)/Rori表示平均码率的变化情况；C表示嵌入容量；ΔT=(Temb-Tori)/Tori表示编码时间的变化情况。相较于HEVC，VVC 编码器的复杂度增加了数倍，本文用ΔT来反映水印嵌入算法对编码器增加的复杂度。

表3 编码器参数配置Tab.3 Encoder parameter configuration

表4 嵌入水印前后编码器性能的变化情况Tab.4 Changes of encoder performance before and after embedding watermark

表4 显示PSNR 平均下降0.005 4 dB，最多下降了0.013 3 dB，有的序列PSNR 不降反增，说明本文算法对视频质量的影响可以忽略不计。9 个序列的平均码率变化率为0.07%，最多增加了0.26%，有的序列的平均码率不增反降，说明本文算法对压缩率的影响可以忽略不计。同时还可以看出嵌入水印后，编码器的编码时间平均降低了12.3%，说明本文算法不仅不会引入多余的复杂度，还能在保证率失真性能的前提下，适当降低编码器的复杂度。客观指标表明：本文算法对编码器性能影响极小。这是由于VVC在最小尺寸的预测时增加了一倍的角度模式，又增加了35种MIP 模式，接近100种模式，最优预测模式与其相邻的模式的率失真性能十分接近，将最优模式替换为率失真代价最接近并且奇偶性相反的预测模式，可提高嵌入容量，同时不影响编码器的性能。

图4 是BQSquare 序列第1 帧嵌入水印前后的对比，可以看出水印嵌入后视频的视觉质量几乎跟嵌入前一样，从主观上也反映了本文算法对编码器性能影响极小，且保证了水印的不可见性。从表4 中还可以看出，本文算法嵌入至运动较为剧烈的视频的容量较大，嵌入运动平缓的视频的容量较小，原因是运动平缓的视频选择4 × 4尺寸的概率也较小，满足水印嵌入条件的概率更低。

由图5 可以看出每一帧在嵌入水印前后的PSNR 值都十分接近，每一帧的视频质量的区别都可以忽略不计。因为P帧选择帧内模式的概率极低，本文算法以帧内预测模式为基础，只在I 帧嵌入水印，同时还可以验证含水印的I 帧不会对后续的P 帧造成误差传播。这是由于最优模式和次优模式的率失真十分接近，修改最优预测模式造成的失真差异很小。

图4 BQSquare序列第1帧嵌入水印前后的对比Fig.4 Comparison of the first frame of BQSquare sequence before and after embedding watermark

图5 BlowingBubbles序列嵌入水印前后的PSNR对比Fig.5 PSNR comparison of BlowingBubbles sequence before and after embedding watermark

3.2 对比测试

因为在VVC 平台上的水印算法极少，本文选择文献［9］的算法进行对比，该算法在HEVC 平台上通过预测模式的奇偶性来嵌入水印。对比测试采用文献［9］的配置参数：QP 取值为26，GOP 设为8，I 帧周期为16，开启RDOQ，编码96 帧。对BQSquare、BQMall、BlowingBubbles 和BasketballPass 四个序列进行对比测试，结果如表5 所示。其中，ΔP表示PSNR 平均变化情况，C表示平均水印容量，ΔR表示码率的平均变化率。由表5可以看出，文献［9］算法的平均PSNR 下降了0.035 dB，本文算法的平均PSNR 下降了0.005 dB。文献［9］算法的平均码率的增加也比本文算法增加得更多，文献［9］算法的平均码率升高了1%，而本文算法的平均码率仅升高了0.06%。文献［9］算法损失的率失真性能多于本文算法，这是因为文献［9］算法将Planar 模式和DC 模式强行修改为其他模式，造成了较大的率失真损失，而本文算法则不修改这两种模式。但本文算法的嵌入容量小于文献［9］算法，主要是因为H.266相比HEVC 增加了二叉树和三叉树的分割方式，且块的尺寸最大为128× 128，H.266 选择4 × 4 块的概率相比HEVC 更低，降低了水印嵌入的容量上限。文献［9］算法使用LBP 分析宏块纹理的复杂度，并利用LBP的标准差值确定待嵌入的块，而本文只有在最优模式不为Planar模式和DC 模式时，才确定待嵌入的4 × 4 块，使得本文算法满足条件的4 × 4 块的数量少于文献［9］算法。但本文算法利用了编码器的特性，使得嵌入水印后率失真性能与原始编码器十分接近，而文献［9］算法以提升嵌入容量为主，使得嵌入水印后率失真性能有一定程度上的损失。

表5 本文算法与文献［9］算法的客观指标对比Tab.5 Comparison of objective indicators between the algorithm in this paper and the algorithm in literature［9］

4 结语

本文提出了一种基于帧内双模式奇偶性的H.266/VVC视频水印算法，该算法利用4 × 4 块拥有的近100 种预测模式，统计了4 × 4的CU 不选择DC 模式和Planar 模式拥有较高的概率，并且4 × 4 的CU 的粗选列表中同时含有奇数模式和偶数模式的概率较高，结合这两个较高的概率，根据二值水印状态，将最优模式修改为粗选列表中相应的奇偶模式。本文算法相对于VTM7.0算法，PSNR 平均下降了0.005 4 dB，平均码率增加了0.07%，每帧可嵌入的水印容量平均为625 b；但是本文算法的平均嵌入容量较小，如何提高嵌入容量是下一步的研究方向。