针对对象移除视频的空时域联合检测算法

王 斌,王让定

(宁波大学 信息科学与工程学院,浙江 宁波 315211)

0 概述

随着数字多媒体技术和网络的发展,越来越多的视频及图像编辑软件被广泛使用,这在给人们带来乐趣与便捷的同时,也意味着真实的视频文件容易被篡改,以至于给多媒体内容的权威性[1]带来极大的挑战性。如果将篡改后的视频进行肆意传播,那么会给社会带来巨大的负面影响。同时,图像篡改检测[2]方法相对成熟,与之对应视频伪造检测的研究亦得到了业界的广泛重视。

对象移除篡改是视频伪造中较常见的一种恶意操作。因其相对于双重压缩[3-5]、帧操作[6-7]、合成篡改[8-9]等行为,对象移除篡改更能直接影响对视频内容的理解和认知。对象移除篡改的研究主要分为块匹配法[10-12]和提取运动残留法。块匹配方法主要通过分析篡改软件的运行原理,得出篡改区域与相邻背景区域之间存在复制粘贴的关系,文献[10]即利用此原理寻找匹配块,以达到检测目的,但是此种方法对于量化噪声的鲁棒性较低,文献[11]针对这一缺点引入了量化噪声影响因子来修正时间域匹配准则以消除视频压缩带来的噪声干扰,但效果并不太理想,文献[12]通过引入了统计矩特征和归一化互相关因子取得了一定效果。提取运动残留法又可分为时域残留法[13-15]和空域残留法[16-17]。文献[13]以删除运动对象会造成运动矢量方向混乱为依据,通过计算运动矢量方向的方差并设定阈值来判断该位置是否发生篡改;文献[14]在文献[13]的基础上,通过检测篡改区域的光流不一致性来确定是否发生篡改;文献[16]利用篡改区域边缘异常,通过检测边缘点,来达到定位篡改区域的目的;文献[17]依据对象移除使篡改帧高频分量比重降低的思想提出了检测算法,但该方法以帧为最小单位,对于小目标篡改基本无效。

本文分别从时域、空域2个角度挖掘篡改残留互补特征,提出针对对象移除视频的空时域联合检测算法。在提取时域残留信息时,从视频剖面图的角度分析篡改区域,更好地凸显了伪造痕迹,将三维视频的研究转化到二维图像上,使得研究方法更加丰富。

1 视频对象移除引发的残留痕迹

视频的固有统计特性可分为2类:帧内特性和帧间特性,前者描述空间特征,后者描述时间特征。当篡改发生时,视频的2种固有特性必然会随之改变。

1.1 篡改操作引发的时域遗留痕迹

视频中的每帧都包括两部分:运动部分和静态部分。静态部分在局部时间窗口内基本保持不变,而运动部分则是在局部时间窗口内发生变化。运动部分包含了视频的时间特征,虽然篡改时会将运动物体抹除,但依旧会留下少量残留运动信息,因此,它们成为本文主要寻找和分析的对象。

设待检测视频V表示为:

V≜{F(1),F(2),…,F(T)},T∈Z

(1)

其中,V为X×Y分辨率并已灰度化的视频,T为视频的总帧数。依次提取所有视频帧第k列元素,如图1所示,得到矩阵P,用P(k)表示由每帧视频的第k列组成的矩阵。用F(i,k)(t)表示视频的第t帧中坐标为(i,k)的像素值。

P(k)= [(F(1,k)(1),F(2,k)(1),…,F(i,k)(1),…,F(X,k)(1));

⋮

(F(1,k)(t),F(2,k)(t),…,F(i,k)(t),…,F(X,k)(t));

(F(1,k)(T),F(2,k)(T),…,F(i,k)(T),…,F(X,k)(T))],

i∈(1,2,…,X),k∈(1,2,…,Y)

(2)

图1 视频切割方向示意图

篡改视频前后的对比示意图如图2所示。P(k)是一个T×X的图像,如图2(c)、如图2(d)所示。可以从图2中观察出,该剖面图在背景区域具有横向纹理一致的特征,这是由于该视频为监控视频,背景区域在时间轴上波动性较小。但图2(d)存在轻微混乱现象,对比图2(c)可知,此区域正是被抹除的运动对象所在的区域,因此,可将此现象认定为篡改遗留的时域痕迹。此时,对视频的检测便转移到了对剖面图的检测,视频的时域信息被映射到了二维图像上,从而达到了降维的目的。

图2 篡改视频前后的对比示意图

灰度共生矩阵是一种常用的描述纹理方法,它是像素距离和角度的矩阵函数,通过计算图像中一定距离和一定方向的两点灰度之间的相关性,来反映图像在方向、间隔、变化幅度及快慢上的综合信息。因其在表征纹理时可设定方向,本文采用此方法来检测在横向纹理背景下图像中的纹理不一致性问题。

1.2 篡改操作引发的空域遗留痕迹

由于视频具有比较强的连贯性,因此当运动对象被移除时,篡改软件会对篡改区域做模糊处理,从而使得该区域的高频分量损失。选取视频集内一帧篡改图像,将其分为100个互不重叠的小块。然后进行小波变换,提取HH分量,将每个位置块内HH高频系数求和,各位置处高频分量和如图3所示。篡改对象所在位置正是高频分量值下降区域,因此,可将此现象认定为篡改遗留的空域痕迹。

图3 篡改后该帧高频分量分布

2 视频篡改检测算法

在对篡改图像进行检测时,通常将其分为多个互不重叠的图像块,此种方法能够较好地避免噪声点的干扰。同理,在对篡改视频进行检测时,由于操作对象由二维转化为三维,因此将视频分为多个互不重叠的小立方块。每个小立方块都可通过图4所示的方式,在q所在剖面图获得时域篡改残留信息,在p所在剖面图获得空域篡改残留信息。检测流程如图5所示。

图4 空时域关系示意图

图5 检测流程

2.1 时域运动残留检测器

在剖面图中,对象移除的区域,纹理会出现混乱。空域运动残留检测器主要是将残留痕迹定量分析,即为每个立方块求得一个表征篡改的数值。步骤如下:

1)将分辨率为X×Y,帧数为T的视频V分为20×10×(T/5)个互不重叠的小立方块如图6所示,每个立方块包括(X/20)×(Y/10)×5个像素值,每个小立方块的空间位置用(x,y,t)表示,x∈(1,2,…,20),y∈(1,2,…,10),t∈(1,2,…,T/5)。过任一空间位置为(x,y,t)的小立方块的中心点作视频V沿时间轴的切面,即沿第(Y/10)×y-Y/20列元素对视频进行切割,得到剖面图P((Y/10)×y-Y/20)。

图6 视频分割示意图

2)剖面图P((Y/10)×y-Y/20)分为了20×(T/5)个互不重叠的图像块。如图7所示,该剖面图横轴为帧数。以每个图像块的纹理特征近似表征其所在小立方体的篡改时域遗留信息。由于此剖面图具有横向纹理一致,纵向沟壑分明的特性,因此每一块分别经过0°扫描和90°扫描生成k阶灰度共生矩阵G0、G90[18-19],其中,k为剖面图的灰度级数。0°扫描所得k阶灰度共生矩阵G0的熵ENT和90°扫描所得k阶灰度共生矩阵G90(i,j)的对比度CON分别为:

(3)

(4)

图7 视频剖面

当共生矩阵G0中元素值接近时,熵较小;反之,熵较大。因剖面图具有横向一致性,在0°扫描所得的灰度共生矩阵中值分布较集中,固具有较小的熵。而在篡改区域出现混乱,熵则较大。对比度反映了图像的清晰度和纹理沟壑深浅的程度。纹理沟壑越深,其对比度越大,视觉效果越清晰;反之,对比度小,则沟壑浅、效果模糊。所以,相比篡改区域,非篡改区域具有较大的纵向对比度。综上,篡改可疑度与熵成正比关系,与对比度成反比关系。因此,可以定义篡改可疑度AD为:

AD=ENT/CON

(5)

相较篡改块,运动物体所在块的AD值更大,需先将其去除。通过实验设定阈值K:

(6)

如果AD(x,y,t)>K(x,y),那么该块为运动物体块,标记为运动物体,其AD值改为所在行的AD均值;反之保留。然后定义时域可疑度TAD为式(7),其值表征篡改遗留的时域信息,值越大,篡改可能性越大。

(7)

2.2 空域运动残留检测器

在对象移除的区域,高频分量会出现缺失。空域运动残留检测器主要是将空域残留痕迹定量分析。过任一空间位置为(x,y,t)的小立方块的中心点作视频V沿时间轴的垂直方向的切面,得到第(5×t- 2)帧视频,即F(5×t-2)。每一帧图像都被分为了20×10个互不重叠的图像块,以每个图像块的高频系数和近似表征其所在小立方体的篡改空域遗留信息。用s表示所在图像块内高频系数和,篡改区域处s值较小,非篡改处s值较大。为避免个别噪声点对s值的影响,空域篡改遗留信息可由周围(2×c+1)×(2×c+1)大小的块窗口表征,如图8所示。因此,定义空域可疑度SAD为式(8),其值表征篡改遗留的空域信息,值越大,篡改可能性越小。

(8)

图8 空域位置示意图

c值决定了计算SAD时窗口的大小。如果c值太小,窗口小于运动物体,那么有可能出现窗口完全在物体内,此时,计算得到的SAD值偏大,易造成误检;如果c太大,会引入过多干扰。所以,c的选取将依据待检测视频内容而定,通过比较本文所用实验样本内运动物体大小,得出c为2。此时,既能做到窗口大于运动物体,又能减少引入过多干扰。

2.3 空时域联合检测方法

每个小立方块都可分别求得TAD值、SAD值,TAD越大,SAD越小,该立方体的篡改可能性越大。又因为时域运动残留提取器对篡改对象边缘检测较弱,而空域提取器恰好相反,越是边缘部分周围部分块的高频分量值越大,其SAD值也就越小,篡改可能性越大,两者在区域判定上具有差异性从而起到了互补的作用。所以,定义联合可疑度UAD如式(9)所示,不同系数会对检测结果产生影响。通过实验得出a=1.2,阈值为0.02。如果UAD大于阈值时,该小立方体被认定为发生篡改;反之为未篡改。每个小立方体都被标记为篡改或非篡改,也即达到了对整个视频的检测的目的。

UAD=TAD-a×SAD

(9)

3 实验结果与分析

本文算法在Matlab R2012a平台上进行实验,视频篡改软件Mokey V4.0,视频拍摄设备Samsung WB200F和Panasonic Lumix DMC—GM1k。视频测试样本为20个,其中,5个来源于SULFA数据库,分辨率为240像素×320像素,15个为自拍摄视频,分辨率480像素×640像素。20段视频共计5 324帧,帧率统一为30 frame/s,并且所有视频经过篡改后,都在H.264编码标准下进行了压缩。因为本文算法是将视频分为小立方块,以每个小立方块为最小检测单位,与先前算法不在同一检测体系,所以较难做对比实验。

本文为了确定其中系数a,进行了如下实验:将每段视频分为20×10×(T/5)个立方体,从中分别选取1 000个篡改区域立方块,1 000个非篡改区域立方块。a取不同值时的可疑度值如图9所示,其中,灰色点为篡改块,黑色点为非篡改块,可疑度为比值。

图9 篡改块与非篡改块分布

TT为类别为非篡改的样本被系统判为非篡改的数量,FT为类别为非篡改的样本被系统判为篡改的数量。

准确率=(TT+FF)/(T+F)

漏警率=FT/(TT+FT)

虚警率=TF/(TT+TF)

(10)

由表1可知,在a=1.2时,准确率达到最大。所以,空时域联合可疑度UAD=TAD-1.2×SAD,此时,阈值T=0.02。除此之外,块的大小同样是影响检测效果的重要因素,所以,又进行了如下实验:将20段视频分别分为5×10×(T/5)、10×10×(T/5)、15×10×(T/5)、20×10×(T/5)、30×10×(T/5)个互不重叠立方块,从中分别选取500、1 000、1 500、2 000、3 000个篡改与非篡改等量的样本。

表1 不同系数下的准确率 %

如表2所示,随着块的减小,检测效果有明显的提高。这是因为块越小对于边缘区域的检测精确度越高。但是并不是块越小越好,块太小不仅使得算法复杂度大幅提高,还使得虚警率增加较多。因为当块较小时,某些块内的噪声占比将会较大,从而影响检测效果。

表2 不同分块数量下的检测效果 %

4 结束语

本文提出一种针对视频对象删除的空时域联合检测算法。该算法提供了全新的观察角度,通过对视频剖面的分析来实现对视频篡改遗留痕迹的提取。实验结果表明,该算法取得了较好的检测效果。但是,当前该算法仅限于对视频垂直切割,下一步将尝试从不同方向和角度切割视频,来提高算法针对不同环境下的适应能力。

[1] FARID H.Seeing is not believing[J].IEEE Spectrum,2009,46(8):44-51.

[2] LI Jian,LI Xiaolong,YANG Bin,et al.Segmentation-based image copy-move forgery detection scheme[J].IEEE Transactions on Information Forensics & Security,2015,10(3):507-518.

[3] JIANG Xinghao,WANG Wan,SUN Tanfeng,et al.Detection of double compression in MPEG-4 videos based on markov statistics[J].IEEE Signal Processing Letters,2013,20(5):447-450.

[4] HE Peisong,JIANG Xinghao,SUN Tanfeng,et al.Double compression detection based on local motion vector field analysis in static-background videos[J].Journal of Visual Communication & Image Representation,2016,35:55-66.

[5] 黄美玲,王让定,徐 健,等.基于DCT系数统计特性的HEVC视频双压缩检测算法[J].光电子·激光,2015(4):733-739.

[6] SHANABLEH T.Detection of frame deletion for digital video forensics[J].Digital Investigation,2013,10(4):350-360.

[7] ZHANG Zhenzhen,HOU Jianjun,MA Qinglong,et al.Efficient video frame insertion and deletion detection based on inconsistency of correlations between local binary pattern coded frames[J].Security & Communication Networks,2015,8(2):311-320.

[8] 李晓梅.基于残留噪声相关性的视频篡改检测算法[J].信息技术,2013(10):103-105.

[9] 苗立刚.视频监控中的图像拼接与合成算法研究[J].仪器仪表学报,2009,30(4):857-861.

[10] 杨 婧,任延珍,汪肇翔,等.基于差异能量的监控视频篡改检测算法[J].信息网络安全,2013(9):55-59.

[11] 宋 怡.基于空时域联合匹配的视频篡改检测算法[D].天津:天津大学,2012.

[12] MATHAI M,RAJAN D,EMMANUEL S.Video forgery detection and localization using normalized cross-correlation of moment features[C]//Proceedings of Image Analysis and Interpretation.Washington D.C.,USA:IEEE Press,2016:149-152.

[13] LI L,WANG X,ZHANG W,et al.Detecting removed object from video with stationary background[C]//Proceedings of International Conference on Digital Forensics and Watermaking.Berlin,Germany:Spinger-Verlay,2012:242-252.

[14] 李 倩,王让定,徐达文.基于视频修复的运动目标删除篡改行为的检测算法[J].光电子·激光,2016(2):182-190.

[15] 王嘉萱,苏育挺.基于时序特征聚类的对象删除篡改检测[Z].2012.

[16] 袁秀娟,黄添强,苏立超,等.基于边缘异常与压缩跟踪的视频抠像篡改检测[J].计算机工程,2014,40(7):267-271.

[17] 刘雨青,黄添强.基于时空域能量可疑度的视频篡改检测与篡改区域定位[J].南京大学学报(自然科学),2014(1):61-71.

[18] 郑 红,李 钊,李 俊.灰度共生矩阵的快速实现和优化方法研究[J].仪器仪表学报,2012,33(11):2509-2515.

[19] 薄 华,马缚龙,焦李成.图像纹理的灰度共生矩阵计算问题的分析[J].电子学报,2006,34(1):155-158.