视频目标移除篡改的被动取证

姚晔，胡伟通，任一支

（杭州电子科技大学网络空间安全学院，浙江 杭州 310018）

视频目标移除篡改的被动取证

姚晔，胡伟通，任一支

（杭州电子科技大学网络空间安全学院，浙江 杭州 310018）

首先，对数字视频目标移除篡改的被动取证概念及重要性进行了介绍；然后，选择了几种具有代表性的视频目标移除篡改被动取证算法，并将这些算法按照未来发展趋势分为基于相关性分析的被动取证和基于机器学习的被动取证这两大类，详细介绍了这几种算法的主要步骤和过程；最后，对本领域未来的研究趋势进行了展望。

数字视频取证；视频目标移除篡改；篡改检测；被动取证

1 引言

随着数字媒体编辑、修补技术的快速发展，“眼见为实”“有图有真相”的观点如今受到了严重冲击[1,2]。特别是Premiere等视频编辑软件功能日益强大并具有简单的操作性，使对图像和视频内部特定目标的篡改变得可行。篡改后的图像或视频经过网络传播对公众产生误导，不仅会扰乱人们的日常生活，而且会严重威胁社会的和谐稳定[3,4]。

视频取证（video forensics）作为多媒体信息安全领域的一个新兴研究方向，是指通过对数字视频中固有特征的分析，获取数字视频的来源及后期处理的历史，以确定数字视频的可信度。通常，数字视频取证技术可以分为两类：主动取证和被动取证[3,5]，如图1所示。主动取证包括数字水印及数字签名技术，但都需要提前在数字媒体内容生成过程中嵌入验证信息或者生成散列值，甚至需要第三方认证，在很多实际应用中难以满足。被动取证则不需要依赖于数字水印等辅助数据，而是仅凭数字视频本身判别其是否经过篡改、合成、润饰等伪造操作。

目前，数字图像被动取证研究领域已经有较多公开发表的研究成果，而数字视频被动取证研究仍然处于起步阶段，尚有较大的探索和完善的空间。与数字图像相比，数字视频由于具有时域连续性，承载着更丰富的信息量，在人们心目中更具有公信力，因此，针对数字视频的篡改也就更具冲击力和破坏力。

数字视频的视频目标（object）移除篡改是指某个关键视频目标从原始视频序列中被抹去，经过视频修补（inpainting）后，该视频目标在被篡改的每一帧中都不可见。借助专业的视频编辑工具和软件，被篡改视频的真实性和完整性很难通过肉眼来分辨。

对数字视频而言，视频目标的删除或修改属于严重的恶意篡改与伪造操作。视频序列所包含的视频目标，特别是承载关键语义信息的视频运动目标的改变，往往直接影响人们对视频内容的理解和认识。相对于双重压缩（压缩域）、帧插入、帧删除和帧复制（时域）等视频篡改行为，面向视频目标移除篡改的视频被动取证研究更具紧迫性和重要性。

本文选择了几种最新的视频目标移除篡改被动取证算法进行介绍，并将这些代表性的最新算法按照未来发展趋势分为基于相关性分析的被动取证和基于机器学习的被动取证这两大类；然后，详细介绍了这几种算法的主要步骤和过程；最后，对本领域未来的研究趋势进行展望。

2 基于相关性分析的被动取证

对视频图像中的目标进行移除篡改操作会影响篡改目标区域的像素值或预测残差值，从而导致篡改区域和非篡改区域的统计特征差异。基于相关性分析的视频目标移除篡改被动取证，研究这些统计特征的异常，尝试从运动矢量、光流、像素预测残差等方面进行相关性分析，提出若干种基于相关性分析的视频被动取证算法。

2.1 基于前景运动相关性分析的篡改检测

对视频序列中包含的运动目标进行删除等篡改操作，一般都会影响运动目标所在区域的运动信息，导致区域附近运动矢量大小和方向的不一致，或者运动目标附近的光流信息出现异常。

Li等[6]提出一种基于运动矢量相关性分析的静止背景视频运动目标删除检测方法。该方法通过分析静止背景视频，特别是监控场景视频中运动区域的异常运动特征，揭示运动目标移除篡改的痕迹。监控摄像头拍摄的视频背景通常是静止不动的，而其中的运动目标即前景是运动的。因此，监控视频中前景和背景的运动特征是不同的，前景的运动矢量具有明显的一致性。如果作为前景的运动目标被移除，则篡改区域的运动向量的一致性将被破坏，运动矢量大小和方向的相关性降低。该方法主要步骤如下。

1) 检测运动目标。①将待处理视频帧分块，计算每个小块的运动矢量Vi,j；将Vi,j用大小Mi,j和方向Ai,j表示，其中i,j分别为分块的行和列编号。②计算该视频帧的运动矢量大小的均值记为Mmean，运动矢量方向的均值记为Amean。③遍历该视频帧的每个分块的运动矢量，若存在Mi,j≥Mmean或Ai,j≥Amean，则标记该分块为前景运动目标块。④完成运动目标检测及前景和背景的分割。

2) 基于运动矢量的不一致性检测篡改。被检测出的运动目标区域包括正常的运动目标区域和篡改后的区域。正常运动目标区域的运动矢量方向分布整齐，具有明显的一致性；被篡改区域的运动矢量方向不规则，无明显规律。基于此原理，该算法计算该视频帧每个分块的运动矢量方向Ai,j的方差σi,j；设置阈值Th，当方差σi,j大于该阈值Th时，认为该区域为篡改区域。

3) 算法后处理。使用形态学操作消除孤立的小区域，得到最终的篡改区域。

李倩等[7]提出基于视频修复痕迹检测运动目标删除篡改的算法。运动目标删除后需采用视频修复技术填补由于移除操作产生的空洞，修复后的篡改视频会遗留修复痕迹。通过深入分析篡改视频中遗留的修复痕迹，对篡改后未压缩视频采用对称帧差法检测运动目标删除区域；对篡改后二次压缩的视频从运动光流场的角度，由视频帧光流方向的不一致性进行检测。其中，针对压缩视频的篡改检测算法步骤如下。

1) 空域检测及定位。光流在整个图像范围内平滑变化，篡改操作会影响光流的平滑性。篡改区域的光流方向差异较大，则该区域标准差也较大。

将一副M×N的图像划分为互不重叠的k个小块Ωi(i=1,2,…,k)，计算每一小块内光流方向的标准差σi。设置阈值T，当标准差大于该阈值T时就认为该区域为篡改区域。阈值T可根据k个分块标准差的最大值m和均值σ自适应确定。

2) 时域定位。时域定位的目的是在时间轴上确定运动目标移除篡改操作的区间。将运动目标从连续的视频帧中抹除，篡改帧也会保持连续不间断。为了避免逐帧检测带来的时间开销，该算法采用二分查找法确定篡改区间。

2.2 基于时空域联合相关性分析的篡改检测

Lin等[8]提出一种基于时空域联合相关性分析的视频目标篡改被动检测及篡改区域定位算法。该算法能够检测和定位基于TCP（temporal copy-and-paste）方法[9]和ETS（exemplar-based texture synthesis）方法[10]修复（inpainting）的视频目标移除篡改区域，并且可以应用于运动背景视频。文献[8]所提出的算法包括3个主要步骤。

1) 视频帧分组与对齐。视频帧分组的目的是为了将视频序列划分为若干个片段，使每个片段内摄像头的运动量在一定范围内，从而不影响后续的分析和检测。视频帧分组通过计算帧偏移（frame motion）实现，当帧偏移累计超过设定的阈值则重新划分一个分组。分组后得到的若干个视频帧分组还需要分别进行分组内的视频帧对齐。视频帧对齐操作基于计算得到的帧偏移值做像素点坐标的整体偏移。

2) 时空域相关性分析。时空域相关性分析在单个视频帧分组内部进行。如图2所示，记视频帧所在平面为X-Y，时间轴为T。相关性分析针对X轴和T轴构成XT平面，以实现时空域联合分析的目的。相关性分析对每一个XT平面应用Sobel算子卷积获取像素点相对于邻近时空域像素点的相关性变化矩阵，经过累加、分割等运算后，最终为该视频帧所在分组计算得出GCAP（group coherence abnormality pattern）值。具体计算过程见文献[8]的正文及附录中的伪代码和参考代码。

图2 时空域平面XTi示意

3) 篡改区域检测及定位。对视频帧分组内的每一个XT平面，将其相关性系数依次与视频帧分组的GCAP值做相似性比较，若满足一定的阈值，则标记为被篡改平面。所有被标记为篡改的二维平面组成了三维的序列，经过坐标变换和区域关联运算，指示出在时空域上连续的篡改区域，完成了篡改区域的检测及精确定位。

2.3 基于像素残差相关性分析的篡改检测

Bestagini等[11]将视频图像的目标篡改划分为如图3所示的两类：基于图像的篡改和基于视频的篡改；并分别提出相应的篡改检测和篡改区域定位算法。

图3 视频序列篡改操作分类

基于图像的篡改操作如图3(a)所示。这种篡改操作是用同一副小图像X替换视频序列中连续的区域V，得到最终的篡改视频序列。其中图像X可以来自于被篡改视频帧内，也可以来自外部图像。文献[11]用帧差法检测此类篡改。利用帧差法依次计算相邻两帧相同位置点的像素差值Rt；若像素残差值Rt等于零，则该像素点可能

i,j i,j为被篡改，标记为1，否则标记为0；得到掩码图像Mt；对掩码图像Mt进行形态学操作去除离散的干扰点，并取空间上和时间上连续性最大（相关性最强）的集合，作为检测出的篡改区域。

基于视频的篡改操作如图3(b)所示。这种篡改操作是用被篡改视频序列内部的一小段视频片段X替换待篡改区域V。针对此类篡改检测，文献[11]提出首先利用帧差法依次计算相邻两帧相同位置点的像素差值Rti,j，得到残差图像R；然后将R划分为互不重叠的子块B；记从时间点n开始的第m个时间上连续的子块序列为Bmn；篡改检测基于如下的相关性计算公式得出

其中，F表示傅里叶变换，∗表示复共轭（complex conjugate）。该公式计算结果的意义为子块序列Bnm与残差序列图像R的相关性，相关性越强表示复制篡改的可能性越大。最后，取三维空间上相关性最大的子块序列Bmn作为检测出的篡改区域。

Mathai等[12]提出基于矩特征（moment feature）的归一化互相关系数的视频篡改检测及定位算法，解决图3(b)的视频片段复制篡改检测问题。该算法首先计算预测误差二维数组，然后提取矩特征，计算各个子块的矩特征的归一化互相关性，检测视频图像的复制篡改。算法的主要步骤如下。

1) 计算预测误差二维数组。对当前像素点x，其预测误差表示为Δx=x−x=x−sign(x){|a|+ |b|−|c|}，其中a、b、c分别为当前像素点x相邻的右方、下方和右下方像素点的像素值。当前帧所有的像素点（即二维平面图像）的预测误差构成了预测误差二维数组。

2) 计算矩特征。

①对预测误差二维数组应用一级Haar小波变换得到包括测试图像在内的共计5个子带。

②对每个子带求直方图，并对直方图做DFT变换，得到一阶特征函数（characteristic function）。

③用式(2)计算矩特征lM其中，l=(1,2,3)表示3个最底层的矩编号，H(xi)表示xi的特征分量，K表示当前子带中不同系数的个数。

④依次对5个子带分别执行前2个步骤，共计得到预测误差二维数组的15个矩特征。

3) 帧分区及区域分块。假设待检测的视频总帧数为M，将每一帧图像划分为4个不重叠的区域（regions），记为R1,R2,R3,R4；N个连续视频帧的区域组成区域块（blocks），记为B(t,Ri)，其中，t为区域起始视频帧编号，i={1,2,3,4}；则M帧视频共计可以组成4×(M−N)个区域块，每个区域块的矩特征大小为N×15。

4) 矩特征的归一化相关性。对某一时刻t的区域块B(t,Ri)，计算该区域块与其他所有区域块的矩特征的归一化相关性γ，取δ=max(γ)；依次计算其他所有时刻的区域块相关性，绘制δ−t分布图，求出图中δ的5个峰值点。

5) 区域块复制篡改的检测及定位。最后，通过式(3)确定复制的区域块，标记为篡改区域，完成检测及定位。

其中，λ为给定的阈值，MSE为均方误差，t′为δ−t分布图中δ所在的5个峰值点，代表复制篡改的可能匹配点。如果遍历完所有时刻t，都没有满足式(3)的区域块，则可以认为被检测视频为原始未篡改视频。

3 基于机器学习的被动取证

机器学习已经被广泛应用于视频图像处理、视频智能分析等领域，并且取得了较好的效果。当前，已经有不少学者开始在多媒体安全领域，利用基于机器学习的方法解决隐写分析、多媒体被动取证等问题。基于机器学习的视频运动目标移除篡改的被动取证，研究篡改操作相关的特征提取及表征方法，以机器学习的方式训练分类器，然后用训练好的分类器实现篡改视频（帧）和非篡改视频（帧）的分类，完成视频运动目标移除篡改的被动取证。

3.1 基于目标轮廓统计特征分类的篡改检测

Chen等[13]提出一种基于视频对象目标轮廓统计特征分类的篡改伪造被动取证方法。通过分析视频对象目标本身及其可变宽度的边界区域的统计特性，提取小波细节系数矩特征及各通道梯度强度等6种统计特征构成特征向量，再通过支持向量机（SVM）训练分类器，实现自然视频目标（natural objects）和篡改伪造视频目标(forged objects)的分类和检测。其中，6种统计特征分别为：一阶绝对矩（均值）、二阶矩（方差）、三阶中心矩（非对称性）、四阶中心矩（峰度系数）、RGB各通道平均梯度、RGB各通道边缘强度。

3.2 基于隐写分析的视频目标操作篡改检测

Tan等[14,15]根据图像隐写分析算法的机器学习检测思想，提出一种可应用于高级视频编码标准的视频目标移除篡改检测方法，并且能够定位到发生篡改操作的视频序列的起始帧和结束帧。

视频目标篡改和图像隐写都需要对图像的残差值进行修改。对视频目标篡改操作的被动取证，可以采用隐写分析算法提取隐写分析特征集、进行机器学习训练和异常分析的方法。文献[14]选择了548维的CC-PEV频域图像隐写分析特征集，取得较好的视频目标篡改检测效果。算法的主要过程如下。

1) 用V表示长度为N的视频序列

其中，F(k)=(F(k)i,j)∈′{0,1,…,255}n1×n2表示第k个视频帧的大小为n1×n2的8 bit灰度图像。

2) 定义共谋操作（collusion operator），公式为

其中，ψ运算是时域上相邻像素点的聚合函数(aggregate function)，如像素值的加权平均；共谋操作在大小为L=2Lh+1的滑动窗口内对所有视频帧进行ψ运算，输出共谋操作的结果C(k)。

3) 用来提取CC-PEV特征集的运动残差定义为

其中，|·|表示绝对值运算，R(k)表示运动残差值，可以看做是一幅8 bit深度的灰度图像。

4) 特征集提取及篡改检测。文献[14]为了提高检测效率，提出选择部分P帧来提取CC-PEV特征集的方法。特征提取及篡改检测的流程如图4所示。

图4 特征集提取及篡改检测流程

5) 视频篡改帧的定位。步骤4)的篡改检测流程将输入视频划分为3类：原始视频（pristine）、篡改视频（forged）和双重压缩视频（innocent double compressed）。为了进一步定位出篡改视频中篡改操作的视频起始帧和结束帧，文献[15]提出加权学习的判决策略，并给出详细的篡改帧精确定位算法。

4 未来展望

根据国内外多媒体安全领域的被动取证研究热点和趋势分析，预计未来几年视频目标移除篡改的被动取证研究可能的发展方向包括以下几个方面。

1) 算法的顽健性有待提高，经重编码有损压缩视频的篡改检测率需进一步提升。视频目标的篡改操作一般要经历视频解码、篡改、重编码压缩等步骤。视频的被动取证需分析篡改操作引起的篡改区域的统计特征或相关性的变化，从而找出视频图像篡改操作的痕迹。重编码压缩，特别是高压缩比的二次编码压缩，将使这些统计特征或相关性消失，导致现有的视频目标篡改检测算法的检测率明显下降或检测算法失效。因此，未来的视频被动取证研究中，算法的顽健性是一项必须考虑的评价指标。

2) 与机器学习理论相结合，提出通用的视频目标篡改检测理论模型和算法值得期待。机器学习，特别是深度学习已经在图像和视频信息处理领域取得广泛应用；机器学习在视频被动取证中的应用才刚开始，相关的研究成果不多。主要问题包括：用来训练的篡改样本库不足，导致现有算法的实用性不高；现有的篡改特征提取方法来自于图像处理、隐写分析领域，视频取证领域的机器学习还缺乏专门的理论模型支持。因此，与机器学习理论相结合，有利于发展多特征联合的取证技术，也有利于提高视频目标篡改算法的通用性，是未来的研究趋势。

3) 取证与反取证技术互相促进、协同发展。随着多媒体内容特效处理的需求，用于视频编辑的视频修复技术[16]一直以来被研究和不断完善。同时，视频修复技术除了被用来实现视频篡改外，也被用于视频反取证，提高了视频取证的难度。随着高级视频修复技术的提出，视频取证的算法也会迎来新的挑战，这将促进视频取证研究的发展。

5 结束语

本文对数字视频目标移除篡改的被动取证概念及重要性进行了介绍，然后将现有的目标移除篡改被动取证算法分为两类，详细介绍了几种基于相关性分析和基于机器学习的被动取证算法，并提出了本领域未来的可能研究趋势。

视频被动取证中视频目标移除篡改的检测与定位研究具有挑战性和紧迫性。视频目标移除篡改的检测对维护正常的法律秩序、确保新闻媒体的真实性、维护社会稳定具有非常重要的意义，研究成果将为司法取证、刑侦取证、视频信息安全等领域提供新思路和新方法，具有重要的研究价值和广阔的应用前景。

未来几年，随着数字视频更广泛的应用和普及，特别是高清视频监控的普及，以及完整性、可信性的紧迫需求，数字视频的被动取证技术将迎来更多的关注。在图像和视频的被动安全领域，相关的系统理论、关键技术和评价标准等研究成果将逐步完善，成熟的技术也有望从实验室走向工业应用，为社会公共安全提供服务。

[1] 徐正全, 徐彦彦. 可视媒体信息安全[M]. 北京: 高等教育出版社, 2012. XU Z Q, XU Y Y. Visual media information security[M]. Beijing: Higher Education Press, 2012.

[2] 杨锐, 骆伟祺, 黄继武. 多媒体取证[J]. 中国科学:信息科学, 2013(12): 1654-1672. YANG R, LUO W Q, HUANG J W. Multimedia forensics[J]. Scientia Sinica: Informationis, 2013(12): 1654-1672.

[3] 陈威兵, 杨高波, 陈日超, 等. 数字视频真实性和来源的被动取证[J]. 通信学报, 2011(6): 177-183. CHEN W B, YANG G B, CHEN R C, et al. Digital video passive forensics for its authenticity and source[J]. Journal on Communications, 2011(6): 177-183.

[4] 冯春晖, 徐正全, 郑兴辉, 等. 数字可视媒体取证[J]. 通信学报, 2014(4): 155-165. FENG C H, XU Z Q, ZHENG X H, et al. Digital visual media forensics[J]. Journal on Communications, 2014(4): 155-165.

[5] 曹刚, 赵耀, 倪蓉蓉. 多媒体内容认证[J]. 中国计算机学会通信, 2011, 7(2) : 38-44. CAO G, ZHAO Y, NI R R. Multimedia content authentication[J]. China Computer Federation Communications, 2011, 7(2): 38-44.

[6] LI L D, WANG X W, ZHANG W, et al. Detecting removed object from video with stationary background[C]//IWDW. 2013: 242-252.

[7] 李倩, 王让定, 徐达文. 基于视频修复的运动目标删除篡改行为的检测算法[J]. 光电子·激光, 2016(2): 182-190.LI Q, WANG R D, XU D W. Detection to video moving object deletion based on video inpainting[J]. Journal of Optoelectronics·Laser, 2016(2): 182-190.

[8] LIN C S, TSAY-JYH J. A passive approach for effective detection and localization of region-level video forgery with spatio- temporal coherence analysis[J]. Digital Investigation, 2014, 11(2): 120-140.

[9] PATWARDHAN K A, GUILLERMO S, MARCELO B. Video inpainting under constrained camera motion[J]. IEEE Transactions on Image Processing, 2007, 16(16): 545-553.

[10] ANTONIO C, PATRICK P, KENTARO T. Region filling and object removal by exemplar-based image inpainting[J]. IEEE Transactions on Image Processing, 2004, 13(9): 1200-1212.

[11] BESTAGINI P, MILANI S, TAGLIASACCHI M. Local tampering detection in video sequences[C]//MMSP. 2013:488-493.

[12] MATHAI M, RAJAN D, EMMANUEL S. Video forgery detection and localization using normalized cross-correlation of moment features[C]//SSIAI. 2016:149-152.

[13] CHEN R C, YANG G B, ZHU N B. Detection of object-based manipulation by the statistical features of object contour[J]. Forensic Science International, 2014, 236(3): 164-169.

[14] TAN S Q, CHEN S D, LI B. GOP based automatic detection of object-based forgery in advanced video[C]//2015 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA). 2015: 719-722.

[15] CHEN S D, TAN S Q, LI B, et al. Automatic detection of object-based forgery in advanced video[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2015:1.

[16] EBDELLI M, LE M O, GUILLEMOT C. Video inpainting with short-term windows: application to object removal and error concealment[J]. IEEE Transactions on Image Processing. 2015, 24(10): 3034-3047.

姚晔（1978-），男，湖北随州人，博士，杭州电子科技大学讲师，主要研究方向为多媒体安全、视频智能分析。

胡伟通（1986-），男，浙江乐清人，博士，杭州电子科技大学讲师，主要研究方向为多媒体安全、移动终端安全。

任一支（1981-），男，安徽安庆人，博士，杭州电子科技大学副教授，主要研究方向为社会计算、网络安全。

Passive forensics for video object removal tampering

YAO Ye, HU Wei-tong, REN Yi-zhi

(School of CyberSpace Security, Hangzhou Dianzi University, Hangzhou 310018, China)

Firstly, the concept and importance of digital video object removal tampering forensics were introduced. Then, several current passive forensics algorithms for object removal tampering were selected and divided into two categories that based on correlation analysis and based on machine learning algorithm according to development trends. The selected passive forensics algorithms were introduced in detail. Finally, some possible research trends in video object removal tampering detections in the future were looked forward to.

digital video forensics, video object tampering, tampering detection, passive forensics

TP309

A

10.11959/j.issn.2096-109x.2017.00123

2016-09-25；

2016-11-15。通信作者：姚晔，yaoye@hdu.edu.cn

上海市信息安全综合管理技术研究重点实验室开放基金资助项目（No.AGK2015004）；测绘遥感信息工程国家重点实验室开放基金资助项目（No.14S01）

Foundation Items: The Open Research Fund of Shanghai Key Laboratory of Integrated Administration Technologies for Information Security (No.AGK2015004), The Open Research Fund of State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing (No.14S01)