基于帧内预测模式调制的HEVC信息隐藏方法

杨洁，李松斌，邓浩江

（中国科学院声学研究所国家网络新媒体工程技术研究中心，北京 100190）

基于帧内预测模式调制的HEVC信息隐藏方法

杨洁，李松斌，邓浩江

（中国科学院声学研究所国家网络新媒体工程技术研究中心，北京 100190）

为了进一步提高HEVC信息隐藏过程中的嵌入效率，提出了一种HEVC帧内预测模式调制的信息隐藏方法。该方法根据密钥生成每个CTU的空间点阵维数N（N=2，3，4），利用帧内预测模式选取规则选出N个顶角处的帧内预测模式，通过空间点阵映射算法计算出映射值F；然后从秘密信息比特文件中读取N个比特，转换成十进制数D。实现了在N个帧内预测模式中最多改变一个模式即可嵌入N个比特秘密信息。实验验证该方法具有高嵌入效率、小码率增加以及视频质量几乎没有下降的特性，通过抗隐写实验证实所提方法有高隐蔽性。

HEVC；信息隐藏；帧内预测模式；空间点阵

视频信息隐藏方法根据秘密信息嵌入位置的不同，可大致分为两类：一是在原始图像或视频中嵌入秘密信息；二是在图像或视频编码过程中嵌入秘密信息。第一类方法一般对视频帧像素进行操作，按照一定嵌入强度把秘密信息隐藏在像素中。视频为运动图像，该类方法的实质是图像信息隐藏。该方法直观、易于理解，但不能很好地抵抗压缩编码，即压缩编码后嵌入的信息可能丢失，而且，由于在像素上直接操作嵌入秘密信息，会造成视频较大失真。第二类方法将信息嵌入到图像视频编码处理过程中，即在编码的过程中结合编码标准某方面的特性进行信息的嵌入。

HEVC（high efficiency video coding）是目前最新、最高效的视频压缩编码标准［1］，基于HEVC信息隐藏的相关研究还处在起步阶段。现有的HEVC信息隐藏方法都是在编码过程中进行的。Wang等［2～5］针对帧内预测模式进行了信息隐藏，文献［2］利用最优预测模式和次优预测模式的统计概率分布，构建预测模式与秘密信息映射关系实现信息隐藏；文献［3］利用分组码实现平均修改1.25个预测模式，在4个连续的4×4亮度块中嵌入3 bit秘密信息；文献［4］建立预测模式角度差和秘密信息之间的映射关系，实现在4×4亮度块中的信息隐藏；随后，在文献［3］的基础上，文献［5］利用Hamming+1减小码率增量和视频质量下降。Van等［6］通过调制DCT系数和运动矢量残差值实现信息隐藏，文献［7～9］在HEVC编码过程中通过DCT或DST系数调制隐藏秘密信息。针对HEVC熵编码过程，Jiang等［10］提出了CBIB概念，并结合运动矢量残差中的CBIB，基于CABAC进行信息隐藏，同时不会引起码率增加。

针对HEVC帧内预测模式，本文提出一种嵌入效率更高的信息隐藏算法，实现在N个预测模式中最多修改一个预测模式即可嵌入N bit秘密信息。本文以一个编码树单元作为信息隐藏算法的处理对象，在编码树单元中选取N（N是通过密钥生成的随机数）个预测模式作为待嵌入载体，然后根据本文提出的空间点阵方法将待嵌入载体N个一组映射成2N进制数，通过比对映射值与待嵌入秘密信息的关系来确定是否调制预测模式，实现秘密信息的嵌入。嵌入和提取的过程简单、快速，并且具有很好的透明性、隐蔽性和安全性。在获得较高嵌入率的同时，码流的比特率仅有少量增加，对视频的主客观质量没有造成必然影响。

2 HEVC帧内预测

2.1 HEVC划分技术

空间域上的方向性帧内预测是H.264首次引入且独有的高效编码技术，可以较好地预测像素在空间域的相关性并捕获图像的空间纹理结构特性，使H.264的帧内编码比之前的编码标准更高效。HEVC也采用了空间域上的基于方向预测的帧内编码方法。但是，为了更加灵活和高效地捕获图像的局部纹理特征，HEVC采用了更加精细的方向划分和更加精确的预测值生成算法，在更大程度上降低了帧内预测残差的能量，从而获得更高的编码效率。

图1 CTU的PU树结构

2.2 亮度帧内预测模式取值

亮度帧内预测模式由2种提案中的帧内预测模式简化构成：任意方向帧内预测方法（ADI，arbitrary direction intra）和角度帧内预测方法（AIP，angular intra prediction），HEVC称其为简化的统一化帧内预测（simplified unified intra prediction），每种大小的PU都对应35种预测模式，所有预测模式的参考像素都是使用当前预测单元上面和左边相邻的像素经线性插值得到的亚像素。图2给出了PU块大小为32×32时的33种方向预测分布情况（不包含DC模式和Planar模式）。

1 32

图2 帧内预测模式

3 预测模式空间的构造与候选预测模式集生成

设预测模式列表为PML=｛P1, P2,…,Pm｝，从列表中取出N（ N≤m）个预测模式构成一个N元组：τ=（x1， x2，…，xN），其中，xi（ i≤N）表示从PML取出的某个预测模式。

以τ为坐标集，xi为第i维坐标，可以构造出一个N维立体空间，称为预测模式空间，用Γ表示。显然，对于任意给定的N元组τ，它对应Γ中的一个点，该点的值用函数f（ x1, x2,…,xN）表示。所有Γ空间中的点构成一个N维空间点阵。

图3 预测模式空间构造结果部分示例（N=3）

下面给出对Γ中每个点进行赋值的方法。

Step 1 对Γ空间中第一维数轴上的点进行赋值：f（ x1）=x1mod2N。

Step 2 将第一维数轴上点的值扩散到二维平面f（ x1， x2）=（f（ x1）+x2）mod2N。

Step 3 将二维平面上点的值扩散到三维空间f（ x1， x2， x3）=（f（ x1， x2）+x3）mod2N。

……

Step N 将N-1维空间上点的值扩散到N维空间f（ x1, x2,…,xN）=（f（ x1, x2,…,xN-1）+xN）mod2N。

图3给出了当N=3时按上述方法所构造的预测模式空间部分示例。

根据上述方法得到的空间点阵如图3所示，称该赋值方法为预测模式空间点阵循环编码。下面证明Γ具有如下重要性质。

定理1 采用预测模式空间点阵循环编码得到的N维空间点阵中每个点的值可简化表示为

证明 根据上文空间点阵中点的循环赋值方法，可得

下面证明（x1mod2N+x2）mod2N=（x1+x）2mod2N。

令（x1mod 2N+ x2）mo d 2N=J 可得x1mod 2N+ x2=J+M 2N，M为非负整数，即x1mod 2N=J+ M2N-x2，得x1=J +M 2N-x2+K 2N，K为非负整数，将x1代入到（x1+ x2）mo d 2N得

即得

以此类推式，式（1）可进行如下变换

即得

定理2 任意给定一个正整数D∈｛0，1，2,…, 2N-1｝以及τ=（x1， x2，…，xN），对任意选定的空间点阵的第i个维度，当该维度的坐标xi可调时，可至少找到一个点，使f（ x1， x2，…，xN）=D。

证明 由定理1可得

下面首先证明对于第一个维度上述定理成立。

因此有x1′=D+2NK-（x2+x3+…+xN），K为非负整数，下面证明这样的x1′存在。

用同样的方法可证明，其他维度上述定理仍然成立，对第i个维度可计算得到候选模式集Si。所有维度的候选模式集构成嵌入正整数D时的可选预测模式集，用Ω表示。

4 信息的嵌入与提取过程

本文所提信息隐藏算法利用预测模式N元组τ在点阵空间中的映射值与二值化后待嵌入秘密信息比特块之间的预测关系，将信息嵌入到I帧（关键帧）中亮度分量的某些预测单元中。本文所提信息隐藏算法如图4所示。本文以CTU为基本单位进行信息嵌入，嵌入前首先对视频序列进行预编码，确定最优的编码树结构及每个PU的最优预测模式；然后根据密钥选取符合给定规则的PU形成PML，作为信息隐藏载体；将要嵌入的秘密信息进行加密并二值化；根据上文定义的方法，每次从PML中取N个预测模式形成N元组τ，从二值化秘密信息中取出N个比特并将其转化为正整数D，使用上文介绍的候选模式集生成规则确定嵌入D时的可选预测模式集Ω；根据已经确定的编码树结构和Ω，基于率失真优化技术，在Ω中选择一个与最低率失真值夹角最小的预测模式作为最终预测模式并输出到码流中，这样就得到了隐藏信息后的HEVC视频流。下面对算法进行详细介绍。

图4 本文信息隐藏算法流程

4.1 嵌入条件与预测单元选取

本文的预测单元选取与预测单元所在图像区域的纹理有关。在视频帧的平坦区域进行信息嵌入对视频的影响较大，这是因为平坦区域最优预测方向对应的率失真往往远低于其他预测方向，修改该预测模式引入附加失真也将较大；相反，在纹理复杂区域，各个预测模式的率失真值相差较小，进行修改影响不大。本文引入一个简单的规则来判定某个PU是否属于纹理复杂区域，图像平坦区域一般CTU包含的PU较少，因此，本文将CTU包含的PU数量作为判断该CTU是否进行信息隐藏的一个条件，只有PU数量超过预先设定的阈值时，该CTU才可进行信息隐藏。

根据信息安全的一般法则，假设本文的信息隐藏算法是公开的，算法的安全性主要依靠用户的密钥来保障。因此，本文假设进行信息隐藏的用户拥有一个密钥E，它由多位数字组成。为了使用户可以灵活地控制信息嵌入的规模，本文还引入了嵌入强度，用e表示，它是一个小数，值域为［0，1］，表示当前CTU进行信息隐藏的概率。在每个CTU进行信息隐藏之前，由随机小数生成器G生成一个小数r，其中0≤r≤1；若r≤e，则当前CTU将进行信息隐藏；反之，当前CTU不进行信息隐藏。因此，本文对预测单元的选取包含2个层次：确定CTU层和PU层。具体过程可参看下文嵌入过程。

基于上述方法得到的视频测试序列可嵌入PU，示例如图5所示（黑色加粗矩形框表示一个CTU，白色块表示载体PU），其中每个CTU最多嵌入4 bit信息，且在CTU的4个子块的左上顶角PU上。由于修改预测模式后，CTU结构会发生变化，如果结构变化很大，会导致秘密信息提取很复杂或不能正确提取，因此本文选择在子块的左上顶角PU作为载体，如果4个子块的PU经过调制后的预测模式相同，认为此次嵌入失败，该CTU不进行信息嵌入。

图5 选中的PU示例

4.2 信息的嵌入

信息嵌入算法如下。

Step 1 以密钥E作为种子，初始化随机数小数生成器G，设定初始化嵌入失败标志W为0。

Step 2 编码端取一个CTU，由G生成一个随机小数r，如果r≤e，则转入下一步，否则，跳到Step9。

Step 3 若W为0，计算当前CTU的空间维度数N=［int100r ］mod3+2，否则，N值继续使用上一个CTU的值。

Step 4 若W为0，从私密信息比特流中取N个比特，计算出它们对应的十进制数D，否则，D继续使用上一个CTU的值。

Step 6 若F≠D，则固定p1， p2，…，pN中的N-1个，对剩下的一个在其候选预测模式中选择进行修改，使新的F′=D，从所有修改中找出修改角度最小的一个作为最终修改方案。若F=D，则执行Step 8。

Step 7 进行二次编码，二次编码中根据新的顶角预测模式修正帧内预测结果。

Step 8 判断整个CTU的预测模式是否都等于第一个帧内预测模式的值，若等于，则设置失败标志W为1，否则，设置为0。

Step 9 判断是否所有CTU都已执行完毕，若没有则返回Step 2，否则，结束。

4.3 信息的提取

在本文算法中，对隐藏信息的提取操作简单、快速，仅解码码流中的帧内预测模式信息即可实现信息提取，而不必完整的视频解码，也不必提供原始媒体信息。具体过程如下。

Step 1 以密钥E作为种子，初始化随机数小数生成器G，设定初始化嵌入失败标志W为0。

Step 2 解码端取一个CTU，由G生成一个随机小数r，如果r≤e，则转入下一步，否则，跳到Step 6。

Step 3 若W为0，计算当前CTU的空间维度数N=［int100r ］mod3+2，否则，N值继续使用上一个CTU的值。

Step 5 将F转换为二进制比特，写进私密信息文件。

Step 6 判断是否所有CTU都已执行完毕，若没有则返回Step 2，否则结束。

5 实验

为了充分评论本文方法的性能，本文从隐写算法对视频质量的影响、码率增量、嵌入效率以及抗隐写分析4个方面进行实验。在评估的过程中，引入方法Hamming+1中的嵌入规则作为在本文选取的预测模式上进行秘密信息的嵌入对比。

5.1 实验说明

本文方法在HEVC的参考软件HM14.0上进行了实现，选取了6个常用的测试序列：BasketballDrive、 BQTerrace、Cactus、 Kimono1、ParkScene、Tennis，采用全I帧编码方式。为了更全面地评价本文算法，本文测试了本文算法嵌入强度为0.2、0.5和1.0时对各指标的影响。为了便于叙述，本文以CLEAN、ME0.2、ME0.5、ME1.0分别表示未嵌入和3种不同嵌入强度的本文算法。

5.2 视频质量分析

图6是Cactus_1920x1080_5序列在不同嵌入率下依据本文算法嵌入前后部分图像截取，其中，纯黑色块是选取的PU块，白色块是修改了帧内预测模式的PU块。由图6可知，随着嵌入率的提升，图像块中被选取作为载体的PU预测模式增多，而载体实际修改量很小，因此本文算法对视频质量影响极小，下面从视频质量主观评价和客观评价2个方面进行说明。

图6 不同嵌入率隐写前后，部分图像预测模式的变化情况

图7 视频图像隐写前后对照

首先从视频质量主观评价进行分析，图7为各个序列嵌入秘密信息前后的对比图像。从图7可以发现本文算法在嵌入强度为1.0时对视频的主观视觉感官并没有产生明显影响，与隐写算法Hamming+1相比，主观感受没有明显差别。下面从嵌入前后PSNR变化来分析本文算法对视频的客观影响，其结果如图8所示。

从图8（a）和图8（b）可以看出，随着嵌入强度的增加，PSNR略有下降。在实验的过程中，本文在嵌入相同数量的秘密信息时，对比ME1.0和Hamming+1这2种方法，其PSNR变化如图8（c）和图8（d）所示，PSNR下降都很小，并且ME1.0和Hamming+1对PSNR的影响很接近。此外，由图8可知，PU数量阈值对PSNR的影响也很小，因此可以通过减小PU数量阈值来增大嵌入载体数量。总的来说，采用本文方法嵌入秘密信息后，视频的客观质量并没有明显下降。

5.3 码率分析

信息隐藏的过程中调制了PU的帧内预测模式，这种情况通常会引起压缩码率的增加。图9列出了6个HEVC序列在采用3种不同嵌入强度进行秘密信息嵌入和采用Hamming+1规则嵌入秘密信息后的视频压缩码率情况，其中，在嵌入相同数量的秘密信息时对比了ME1.0和Hamming+1这2种方法的码率变化情况。

由图9可以得到与PSNR变化情况相似的结论，即随着嵌入强度的增加，码率增量逐渐变大，ME1.0和Hamming+1这2种方法的码率增量相当且均较小。

5.4 嵌入效率分析

本节从隐写嵌入率（HR）、修改率（CR）和嵌入效率（EE）对本文方法进行分析。设载体数量为N，嵌入秘密信息长度为M，对载体修改的个数为K，则HR、CR、EE为

图8 不同隐写方法及不同PU数量阈值下的PSNR变化

图9 不同隐写方法及不同PU数量阈值下的码率变化

表1 本文算法在不同嵌入强度下的嵌入效率

表1列出了PU数量阈值为24的情况下，使用3种嵌入强度对6个HEVC视频序列进行信息隐藏的分析。从表1可以看出，随着嵌入强度的增加，嵌入比特数随之增加，对HR、CR、EE影响很小。本文实验了在PU数量阈值为16的情况，其结果相比PU数量阈值为24时，嵌入比特数有所增加，这是因为随着PU数量阈值的下降，秘密信息载体数量会增加，嵌入比特数随之增加。另外，本文实验了Hamming+1方法，由于该方法是在4个载体中嵌入3 bit秘密信息，因此，对比实验在CTU的4个子块顶角PU均作为载体的情况下进行，6个视频的平均结果如表2所示。

表2 不同方法的嵌入效率对比结果

由表2可知，本文方法具有更高的隐写嵌入率和嵌入效率以及更低的修改率，从理论的角度也可以得到相应的结论。Hamming+1隐写嵌入率为，即在4个载体中嵌入3个比特秘密信息，同时调制一个载体；本文方法隐写嵌入率为，即在4个载体中可以嵌入4个比特秘密信息，同时最多调制一个载体。

表3 不同嵌入强度下信息隐藏检测结果

5.5 抗隐写分析

本节对本文嵌入方法的抗隐写性能进行评估。一个优秀的信息隐藏算法被隐写分析算法成功检测的概率比较低。因此，抵抗隐写检测性能是信息隐藏算法评估的重要指标，本文采用文献［12］的隐写检测算法对本文方法进行抗攻击性能评估。

对每一个序列，首先编码后再解码得到原始载体的样本数据；然后在编码过程中运用本文嵌入算法，修改嵌入率、PU数阈值，接着解码得到不同对照组隐写后的样本数据。完成以上步骤之后，使用文献［12］的方法对样本数据进行隐写检测，判断样本数据是否被嵌入秘密信息。实验结果如表3所示。

从表3可以发现本文算法隐写检测成功概率均小于60%，说明本文信息隐藏算法具有很高的隐蔽性。这是因为本文放大对帧内预测模式的修改非常少，即便修改也是在保证预测方向最小的角度修改，因此运用本文信息隐藏方法进行秘密信息嵌入解码后得到的图像序列，与未隐写直接解码的图像序列差别不是很大，所以本文信息隐藏算法是一个高隐蔽性的安全信息隐藏算法。

6 结束语

本文提出了一种HEVC帧内预测模式调制的信息隐藏方法，实现了在N个帧内预测模式中最多改变一个模式即可嵌入N bit秘密信息。本文具有灵活的嵌入方式，根据情况设置N的大小和PU数量阈值大小来控制嵌入容量和嵌入效率。实验验证该方法具有高嵌入效率、小码率增加以及视频质量几乎没有下降的特性，同时本文方法具有高隐蔽性。由于本文方法需要重编码且只选择了部分预测模式作为信息隐藏载体，时间开销高且嵌入容易有限，在接下来的研究中，将重点从这2个方面进行更深入的研究。

［1］ SULLIVAN G J， OHM J R， HAN W J， et al. Overview of the high efficiency video coding （HEVC） standard［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2012， 22（12）：1649-1668.

［2］ WANG J J， WANG R D， LI W， et al. A large-capacity information hiding method for HEVC video［C］//The 3rd International Conference on Computer Science and Service System. 2014： 934-937.

［3］ WANG J J， WANG R D， LI W， et al. An information hiding algorithm for HEVC based on intra-prediction mode and block code［J］. Sensors & Transducers， 2014，117（8）： 230-237.

［4］ WANG J J， WANG R D， XU D W， et al. An information hiding algorithm for HEVC based on angle differences of intra prediction mode［J］. Journal of Software， 2015，10（2）：213-221.

［5］ XU J， WANG R D， HUANG ML. An information hiding algorithm for HEVC based on intra-prediction modes and Hamming+1［J］. Journal of Computational Information Systems， 2015，11（15）： 5587-5598.

［6］ VAN L P， PRAETER J D， WALLENDAEL G V， et al. Out-of-the-loop information hiding for HEVC video［C］//2015 IEEE International Conference on Image Processing （ICIP）. 2015：3610-3614.

［7］ TEW Y Q， WONG K. Information hiding in HEVC standard using adaptive coding block size decision［C］//2014 IEEE International Conference on Image Processing （ICIP）. 2014：5502-5506.

［8］ CHANG P C， CHUNG K L， CHEN J J， et al. A DCT/DST-based error propagation-free data hiding algorithm for HEVC intra-coded frames［J］. Journal of Visual Communication and Image Representation， 2014， 25（2）： 239-253.

［9］ ZHANG X Y， AU O C， PANG C， et al. Additional sign bit hiding of transform coefficients in HEVC［C］//2013 IEEE International Conference on Multimedia and Expo Workshops （ICMEW）. 2013： 1-4.

［10］ JIANG B， YANG G B， CHEN W B. A CABAC based HEVC video steganography algorithm without bitrate increase［J］Journal of Computational Information Systems， 2015， 11（6）：2121-2130.

［11］ KIM I K， MIN J， LEE T， et al. Block partitioning structure in the HEVC standard［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2012，22（12）：1697-1706.

［12］ PEVNÝ T， BAS P， FRIDRICH J. Steganalysis by subtractive pixel adjacency matrix［J］. IEEE Transactions on Information Forensics and Security， 2010，5（2）：215-224.

杨洁（1989-），男，重庆开县人，中国科学院声学研究所博士生，主要研究方向为多媒体信号处理和信息隐藏。

李松斌（1989-），男，福建漳州人，中国科学院声学研究所副研究员、硕士生导师，主要研究方向为多媒体信号处理与取证。

邓浩江（1971-），男，北京人，中国科学院声学研究所研究员、博士生导师，主要研究方向为数字音视频处理、宽带多媒体通信、模式识别。

HEVC information hiding approach based on intra prediction modes modulation

YANG Jie， LI Song-bin， DENG Hao-jiang
（National Network New Media Engineering Research Center， Institute of Acoustics， Chinese Academy of Sciences， Beijing 100190， China）

For further improving the embedding efficiency in the processing of HEVC information hiding， a method for HEVC information hiding based on intra prediction models modulation was proposed. The space lattice dimension N （N = 2， 3， 4） of each CTU was generated according to the key. The selection rule of intra prediction mode was utilized to select N modes which were located at vertex angle. The N modes were mapped to the value F through the space lattice mapping algorithm. Then N bits secret information were read from the bit file and converted to a decimal number D. In this way， N secret information bits were embedded in N intra prediction modes by modifying at most one mode. The experimental results approve that the proposed method has high embedding efficiency， small rate increase and minimal influence on the video quality and the anti-steganalysis experiment confirms that the proposed method has high concealment.

HEVC， information hiding， intra prediction modes， space lattice

1 引言

随着网络技术和数字多媒体技术的日益成熟，特别是网络流媒体的迅速发展，图像、音频、视频等多媒体的传输和交换变得非常快捷方便。视频信息因其直观性、确定性和高效性等特点，逐渐取代音频和图像成为多媒体通信的主流。信息隐藏是把特定的信息隐藏在另一个称为载体（cover）的信息中，以得到隐蔽载体（stego cover）的过程，信息隐藏以其独特的安全特性、不可见性、顽健性等，已广泛应用于版权保护和隐蔽通信。信息隐藏在各种不同的载体中，视频是最为广泛使用的载体。

s： The National Natural Science Foundation of China （No.61303249）， The Application Technology and Development Project of Hainan Province （No.ZDXM2015103）， The Scientific Research Foundation Project of Haikou Laboratory，Institute of Acoustics， Chinese Academy of Sciences （No.IOAHN201601）

TP309.2

A

10.11959/j.issn.2096-109x.2016.00098

2016-07-02；

2016-08-26。通信作者：李松斌，lisongbin_work@126.com

国家自然科学基金资助项目（No.61303249）；海南省应用技术开发基金资助项目（No.ZDXM2015103）；中科院声学所南海站科研基金资助项目（No.IOAHN201601）