基于边缘异常与压缩跟踪的视频抠像篡改检测

袁秀娟a，黄添强a,b，苏立超a，陈智文a，吴铁浩a

(福建师范大学 a.数学与计算机科学学院；b.网络安全与密码技术福建省高校重点实验室，福州 350007)

1 概述

在网络和多媒体技术迅速发展的今天，图片、音视频等多媒体文件的传播变得更加快捷。数字时代高品质成像设备和先进多媒体编辑软件的出现，也使得对这类数据的编辑篡改更加容易。技术的进步给人们带来方便的同时，也带来了某些方面不利的影响。被恶意篡改的视频通过网络的传播混淆视听，传播虚假信息，也有不法分子通过对视频的篡改毁灭证据，这些无疑在一定程度上影响了社会的稳定。因此，在信息安全领域，对视频的篡改检测技术已经成为一个研究的热点。本文引入目标跟踪的思想，对第一帧或者前几帧进行边缘异常判断检测出可疑对象之后，利用目标跟踪进行自动化处理，提高检测效率。

2 相关背景

视频的篡改方式主要分为时域篡改和空域篡改，时域篡改包括对帧的插入、删除、复制，空域篡改指的是对视频帧区域内容的篡改，如帧内对象的复制粘贴、Logo的去除、抠像合成等。抠像合成篡改是当今应用比较普遍的篡改方式，常用抠像方法有亮度抠像和度抠像，亮度抠像一般应用于画面明暗度反差较大的前景与背景的素材处理，如果前景与背景的色度差异较大则使用色度抠像。在影视节目以及艺术照片的拍摄中都广泛使用色度抠像技术。

针对多种多样的视频篡改方式，国内外也相继取得了一系列研究成果。美国Dartmouth大学的Farid研究小组先后提出了MPEG格式视频二次压缩检测[1]、隔行扫描视频和非隔行扫描视频篡改检测[2]、基于灰度级向量协方差的视频帧复制和区域复制检测[3]、视频双重MPEG压缩过程中双重量化存在的特征判断篡改[4]等检测方法。国外Hsu基于视频图像的噪音残差相关性分布模型，提出一种视频伪造区域查找算法[5]。国内关于视频被动认证的研究也相继展开，文献[6]利用篡改前后运动误差的周期性变化检测帧的插入或删除，文献[7]利用运动矢量检测视频运动对象在时间轴上的篡改，文献[8]基于统计相关性原理，通过计算模式噪声与待检测帧的噪声相关性确定篡改位置。数字视频盲取证技术在不断发展中，各种检测算法不断出现。

文献[9]针对视频的蓝屏抠像合成篡改，提出一种检测算法。对于拼接合成的对象，边缘像素点的邻域相关性遭到破坏。它通过计算边缘点的可疑因子判断是否篡改。通过大量实验观察边缘像素点的特征，正常的边缘点其实并不是绝对地位于左右点的中间位置，只是偏离得不是那么明显。而篡改对象的边缘点与背景之间没有经过CFA插值，破坏了像素点的邻域相关性，会过度地偏向一方。对边缘点的邻域相关性进行描述量化，将插值和未插值的边缘点像素邻域一致性进行比较，判断是否被篡改。文献[9]只计算了2个方向的可疑因子，且检测过程是针对所有帧一帧一帧进行人工判断。

3 CFA插值

在数码相机成像过程中，自然景物反射的自然光通过镜头进入相机，被感光器件电荷藕合器件或者互补金属氧化物半导体接收感知，将光学信号转化为电流信号，通过A/D转换器将模拟信号转换为数字信号，再经过一些后续处理，继而存储为数字图像。为了节约数码相机制造成本，人们研究了新的解决方案，在感光器件前端放置一个颜色滤波阵列(CFA)，对于每一个像素点，仅采集三基色RGB的一个分量，用一个感光器件阵列接收滤波阵列过滤出的颜色分量，通过颜色插值(CFA插值)计算得到其余2个颜色分量。然后经过白平衡、伽马校正等后续处理最后形成数字图像。如今多数数码相机以及摄像机都是采用图1所示的模型。

图1 相机成像模型

颜色滤波阵列有多种排列方式，最经典、使用最广泛的是拜尔滤波阵列，即Bayer CFA。如图2所示，在一个2×2的基本单元中，绿色像素占总像素数的1/2，红色和蓝色各占1/4。因为人眼视觉系统对绿色更为敏感，能分辨更多细节。

图2 Bayer CFA

由于滤波阵列在每个像素点只采集了一个颜色分量，为了获得R,G,B这3个色彩信息，就要对其进行插值，即CFA插值过程。不同型号的数码相机会根据其采用的CFA模式的不同以及相机内部硬件的差异选择合适的CFA插值方法。CFA插值算法主要分为2类：(1)单个颜色通道独立插值算法，不考虑图像特性，采用同一种方法插值，是非自适应的；(2)利用多通道之间的相关性进行插值，是自适应的插值算法，结合了对图像细节的分析以及颜色通道间的相关性。

4 篡改检测算法

正常情况下因为CFA插值的存在，像素具有邻域相关性，在垂直于边缘的方向上，边缘点像素值与两侧的像素值的偏差不会相差太大，而如果是经过篡改拼接的边缘点，会带来像素值偏向异常，即过度偏向于一方。已有的算法计算了边缘像素点水平和竖直方向上的邻域相关性，为了全方位考虑，另外再计算2个对角方向上的相关性，通过检测这种异常来定位拼接点。

检测流程如图3所示，实验检测的是视频中某个目标的存在是否真实。步骤如下：

(1)将视频转换为图像序列，输入目标出现的第一帧，进行Sobel边缘检测，获取图像的边缘点。

(2)通过对边缘点邻域相关特征的描述量化，挖掘正常边缘与异常边缘的特征差异，计算边缘点4个方向上的偏差，找出篡改点，定位篡改区域。

(3)学习检测到的篡改区域，输入整个视频序列，用目标跟踪算法查找时域上帧的篡改范围。当所跟踪的目标消失，跟踪结束，此目标出现的帧均为篡改帧。

(4)目标消失跟踪结束之后，在目标出现的最后一帧再次进行异常边缘的检测，与最初检测到的异常区域对比，看检测结果是否一致。

(5)在结束跟踪后面的帧，若有新的可疑目标出现，再次进行步骤(1)～步骤(4)的检测。

图3 视频目标检测流程

4.1 边缘检测

图像的连续像素点如果出现不连续的灰度值，就意味着局部的不连续，这个不连续的局部成为边缘元。如果能够将相邻的边缘元沿其切线方向连接成为一条线段，则称这条线段为边界。边界反映了图像中物体或区域所占的物理限度，是一个有用的重要特征。

拼接篡改引入了新的对象，也相应地引入了新的边缘。目的是检测拼接合成的边缘，首先对其进行边缘检测。边缘检测的方法很多，主流的算子有Canny算子、Log算子、Sobel算子、Prewitt算子等。图4是4种算子的检测效果。

图4 不同边缘检测算子效果

Canny算子和Log算子边缘检测的效果较为细致，物体内部的细小边缘都被检测。但本文的目的只需检测物体外部的边缘。Sobel算子和Prewitt算子类似，都能检测到物体的大致轮廓，两者只是权值有所变化，但两者实现起来功能还是有差距的，Sobel算子引入了类似局部平均的运算，对噪声具有平滑作用，能很好地消除噪声的影响。参考实验效果以及相关文献得知，Sobel要比Prewitt更能准确地检测图像边缘。因此，对比各种算子的优缺点、计算复杂度，最后选用Sobel算子进行检测忽略没用的细节。

4.2 边缘特征异常检测

假设I(i,j)为边缘点，用下式描述该边缘点像素值与邻域点像素值之间的偏差：

对正常的边缘点，两侧偏差相差不明显，边缘点两侧的差值比值较小，那么计算的因子的值相应较小，而对于篡改的边缘点，边缘点两侧偏向异常，边缘点过于偏向一侧，相应计算得到的因子的值会较大，如图5所示。计算边缘点4个方向上的因子，如有一个因子的值大于阈值T，则认为是可疑边缘点。阈值T是通过大量实验得到的经验值。

图5 像素点坐标示意图

4.3 目标跟踪检测

已有的视频篡改检测方法基本上都是对视频的每一帧进行检测，使得检测效率不高，引入目标跟踪的思想提高检测效率。因为一般情况下篡改的对象目标较大，对于目标跟踪算法的鲁棒性要求不是很高，为了更精确地检测，采用目标跟踪领域优秀的Real-time Compressive Tracking算法实现对篡改对象的跟踪[10]。这是一种简单高效的基于压缩感知的跟踪算法。算法的主要思想是利用符合压缩感知RIP条件的随机矩阵对多尺度图像特征进行降维，然后在降维后的特征上采用简单的朴素贝叶斯分类器进行分类。和一般的模式分类模型一样：先提取图像的特征，再通过分类器对其分类，不同在于这里特征提取采用压缩感知，分类器采用朴素贝叶斯。然后每帧通过在线学习更新分类器。

4.3.1 压缩感知算法应用

压缩感知理论[11]是近年来信号处理领域诞生的一种全新的信号处理理论。压缩感知以信号稀疏性为前提，如果信号在某一个正交空间具有稀疏性(即可压缩性)，就能以较低的频率(远低于奈奎斯特采样频率)采样该信号，得到信号的稀疏表示，并且能够很大程度上精确重建该信号。主要步骤包括信号的稀疏表示、设计测量矩阵和信号的重构。

信号的稀疏性是压缩感知的重要前提，设X为长度为N的一维信号，存在一个N×N的正交基Ψ和一个N维向量S满足X=ΨS。当X在某个基Ψ上仅有k<

其中，Y是M维向量；Φ为M×N的矩阵，X到Y的转换使得信号从N维降到M维。当测量矩阵与稀疏基矩阵的乘积满足RIP性质，即有限等距性质时，压缩感知理论通过对上式的逆问题先求解稀疏系数S，然后将稀疏度为k的信号X从M维的测量投影值Y中正确地恢复出来。

RIP性质：

RIP性质保证了k个系数从M个测量值准确重构。

求解的最直接方法是通过l0范数求解最优化问题：s.t.Y=ΦΨ α ，得到稀疏系数S的估计 S'，原信号 X'=ΨS'。l0范数的求解是个NP问题，由于l1最小范数在一定条件下和l0最小范数具有等价性，因此转化为l1范数求解，从而实现重构。

4.3.2 实时压缩跟踪

通过压缩感知理论可知，找到一个满足RIP准则的稀疏观测矩阵，利用其对原图像特征空间进行降维，而且降维后的压缩特征仍然可以很好地保留原图像特征空间的信息。所以这里利用稀疏观测矩阵分别提取前景(所要跟踪的目标)和背景的特征，作为在线学习更新分类器的正样本和负样本，然后用更新后的朴素贝叶斯分类器分类下一帧待测图像，如图6所示。

图6 目标跟踪流程

目标跟踪步骤如下：

(1)第t帧，通过采样得到若干张前景(正样本)和背景(负样本)的图像块，对图像块进行多尺度变换，提取图像块的特征，通过一个稀疏观测矩阵对多尺度图像特征进行降维，利用降维后的特征二分类去训练朴素贝叶斯分类器。

(2)第t+1帧，在前一帧所跟踪到的目标位置周围进行采样，采样得到n个图像块(避免去扫描整幅图像)，利用同样的稀疏观测矩阵对这n个图像块特征进行降维，得到压缩后的图像特征，用上一帧训练好的朴素贝叶斯分类器进行分类，分类分数最大的窗口就认为是所要跟踪的目标窗口。这样就实现了从t帧到t+1帧的目标跟踪。

5 实验分析

实验所用视频animal1.mpg、animal2.mpg、woman.mpg是在bestgreenscreen网站下载的原始高清绿色背景视频，分辨率为1280×720，拍摄视频分别采用型号Canon IXUS 120IS和CanonA60，分辨率为640×480和320×240这 2种。

视频编辑篡改使用软件为Adobe Premiere Pro CS4，将animal.mp4分别与自己拍摄的5个不同视频进行合成。实验所用计算机配置Intel Pentium CPU G640@2.80 GHz、4 GB内存、Win7系统，利用MatlabR2011a实现算法，个别地方用到VS2010及OpenCV。实验所用视频如图7、图8所示。

图7 原始绿色背景视频

图8 帧篡改前后及检测结果示意图

确定篡改对象之后，对这一帧的篡改区域进行学习，此后的所有帧利用上文所述的目标追踪算法，目标消失时结束追踪，输出帧序列号，忽略视频时域上的篡改，可以判定从目标出现的第一帧到结束的帧均为合成篡改得到。然后对结束的帧再次进行异常边缘的检测，看得到的异常区域是否与之前的检测一致。但不能说明后面的视频就是原始的，如果后面又有新的目标出现，那么对新目标出现的第一帧重新利用边缘异常检测判断，若为篡改，再进行追踪。利用目标追踪的优点在于避免了每一帧都进行边缘异常判断的繁琐，实时压缩跟踪利用了压缩感知，大大缩减了运行的时间复杂度，对于630帧分辨率为640×480的视频序列时间为45 s，追踪效果如图9所示。

图9 目标追踪示例

6 结束语

本文通过计算边缘点4个方向的偏差检测边缘点的可疑，判断是否为篡改对象的边缘，然后结合目标追踪算法大大提高了检测效率，实验检测效果比较理想。但如果视频同时进行了时域上的篡改，一个运动的对象前一段为抠像合成，后一段为原始视频，通过时域上更加精细的篡改使之衔接，这种情况下目标追踪的算法不适用。不过这种篡改太过复杂，一般较少出现。本文算法适用于单目标的篡改检测与追踪，对于多目标的追踪还要进一步深入研究。另外可以借鉴多特征融合的图像检测方法[12]，融合多种视频特征、综合多种篡改检测方法进行研究。

[1]Wang Weihong,Farid H.Exposing Digital Forgeries in Video by Detecting Double MPEG Compression[C]//Proc.of the 8th Workshop on Multimedia and Security.New York,USA:ACM Press,2006:37-47.

[2]Wang Weihong,Farid H.Exposing Digital Forgeries in Interlaced and De-interlaced Video[J].IEEE Transactions on Information Forensics and Security,2007,2(3):438-449.

[3]Wang Weihong,Farid H.Exposing Digital Forgeries in Video by Detecting Duplication[C]//Proc.of the 9th Workshop on Multimedia and Security.New York,USA:ACM Press,2007:35-42.

[4]Wang Weihong,Farid H.Exposing Digital Forgeries in Video by Detecting Double Quantization[C]//Proc.of the 11th ACM Workshop on Multimedia and Security.Princeton,USA:ACM Press,2009:39-48.

[5]Hsu C C,Hung T Y,Lin C W,et al.Video Forgery Detection Using Correlation of Noise Residue[C]//Proc.of the l0th Workshop on Multimedia Signal Processing.Cairns,Australia:IEEE Computer Society,2008:170-174.

[6]熊 潇,黄 征,徐 彻,等.基于预测残差检测的数字视频篡改鉴定[J].信息安全与通信保密,2008,(12):128-130.

[7]秦运龙,孙广玲,张新鹏.利用运动矢量进行视频篡改检测[J].计算机研究与发展,2009,46(z1):227-233.

[8]王俊文,刘光杰,张 湛,等.基于模式噪声的数字视频篡改取证[J].东南大学学报:自然科学版,2008,38(z2):13-17.

[9]Su Yuting,Han Yu,Zhang Chengqian.Detection of Blue Screen Based on Edge Features[C]//Proc.of the 6th IEEE Joint International Conference on Information Technology and Artificial Intelligence.[S.l.]:IEEE Press,2011:469-472.

[10]Zhang Kaihua,Zhang Lei,Yang M H.Real-time Compressive Tracking[C]//Proc.of the 12th European Conference on Computer Vision.[S.l.]:IEEE Press,2012:864-877.

[11]Donoho D L.Compressed Sensing[J].IEEE Transactions on Information Theory,2006,52(4):1289-1306.

[12]Chetty G,Singh M,White M.Blind Image Tamper Detection Based on Multimodal Fusion[C]//Proc. of the 17th International Conference on Neural Information Processing:Models and Applications.Sydney,Australia:Springer-Verlag,2010:557-564.