基于改进的三向流Faster R-CNN的篡改图像识别

徐 代，岳 璋，杨文霞*，任 潇

（1.武汉理工大学理学院，武汉430070； 2.武汉理工大学自动化学院，武汉430070）

（∗通信作者电子邮箱wenxiayang@163.com）

0 引言

图像篡改识别技术是指针对数字图像伪造过程和痕迹，综合运用图像处理与识别方法，结合图像特征，发现并定位被篡改区域的一类技术，在经济发展、政治建设、法制完善等方面具有重要的物证价值。国内外相关学者在篡改识别技术种类与普适性方面进行了大量研究。Wang等［1］对近年来篡改图像被动取证技术进行了概述与分析，从语义的低、中、高三个层次对这些方法的主要思想进行了详细介绍，并提出了一些建议；Zhang等［2］提出的基于勒让德不变矩的方法，通过构造模糊不变量对篡改区域进行评价与判断，具有更强的抗噪声性和识别能力；刘一等［3］提出的再采样算法，在重采样的基础上加入了缩放因子和信号二阶导数，实验结果表明所提算法具有很好的抗JPEG压缩能力；王春华等［4］提出了一种基于区域直方图和特征相关匹配规则算法，针对图像复制-粘贴篡改，通过积分图像，提高了Hessian矩阵行列式对图像特征点的检测效率；及莹等［5］针对尺度不变特征转换(Scale-Invariant Feature Transform，SIFT）算法对镜像篡改识别精度不高的缺陷，通过重组极坐标等方法将识别准确率提升了30个百分点，进一步完善了经典识别体系；郑继明等［6］结合离散小波变换（Discrete Wavelet Transform，DWT）和（Oriented Fast and Rotated BRIEF，ORB）特征提取算法，基于汉明距离匹配相似关键点，实现对篡改图像的检测，同时可以对平移、旋转、加噪声等篡改手段具备一定的鲁棒性。这些成果的出现推动了图像防伪研究工作的进步，也为后续的研究积累了最初的理论基础。

2006年，随着深度学习理论的完善，尤其是逐层学习和参数微调技术的出现，卷积神经网络（Convolutional Neural Network，CNN）快速发展，推动了篡改图像识别技术进入更高层次的研究。Bayar等［7］开发了一种新的卷积层形式，用以抑制医学图像的内容并自适应地学习操作检测特性，实验证明其具有良好的识别效果；常亮等［8］对卷积神经网络在图像识别方面的研究进展与应用进行了深入分析，直观地给出了卷积神经网络的应用对图像理解效果的提升；刘万军等［9］提出了基于双重优化的卷积神经网络图像识别算法，对卷积神经网络的识别性能进行了优化，为后续多种结构的卷积神经网络发展提供了一种新的思路。

在利用卷积神经网络（CNN）研究图像识别方面，很多成熟的研究方法启发了一些值得继续研究的方向：张文达等［10］提出的一种多通路结构的神经网络虽然有效降低了下采样对特征提取的影响，但是缺少权值共享，参数设计稍显复杂；曲长文等［11］提出多通道卷积神经网络识别方法，随机融合4个不同梯度方向的特征，有效降低了识别错误率，但是此模型网络结构比较复杂，与单通道卷积神经网络相比，训练时间增加了接近一倍，且误差反向传播的时间有待于进一步缩短。

结合现有文献可知，利用改进的R-CNN（Region-Convolutional Neural Network）方法识别篡改图像仍处于发展阶段，针对其中尚未被很好解决的两个难点：一是对特征的提取，需要在有针对性的基础上尽可能多地包含待检测区域的信息，以便更精确地区分伪造区域与原图的差异［12］；二是由于梯度优化能力直接影响到网络层级和结果的收敛范围，梯度算法的合理性设计是难点。受以上文献的启发，本文在文献［13］提出的双向流网络的基础上，提出并融合一些有针对性的改进方法，包括加入信号特征提取检验重采样痕迹，以及提出改进的分段AdaGrad自适应学习率梯度算法，实现一个三向流篡改图像识别系统。

1 基于Faster R-CNN算法的篡改图像识别

卷积神经网络是一种带有卷积结构的深度神经网络，卷积结构可以减少深层网络占用的内存量，其3个关键的操作：局部感受野、权值共享和pooling池化层，有效减少了网络的参数个数，缓解了模型的过拟合问题。

2016年提出的Faster R-CNN算法［12］，本质上相当于“基础特征网络+区域生成网络（Region Proposal Network，RPN）+Fast R-CNN”的组合系统。它将Fast R-CNN中的检测算法替换成为RPN，利用RPN对region进行选取，通过添加额外的RPN分支网络，将候选框提取合并到深度网络中，并创新地提出了“Anchor”的思路用以解决多尺寸图像目标的输入问题。RPN提取目标区域后，将图片数据送入检测网络，通过全连接层（Fully Connected layer，FC）进行分类和回归任务。在训练阶段，通过对R-CNN进行训练，在其与RPN共享卷积层参数不变的前提下，微调不共享层（即R-CNN层）的参数，交替训练RPN和检测网络，使两个网络共享卷积层。这一算法在后续的应用检验中，被证明具有优越的识别性能，一度成为目标识别领域的主流框架之一，也对相继产生的R-FCN（Region based on Fully Convolutional Network）、SSD（Single Shot multibox Detector）等产生了直接影响。

算法结构示意图如图1。

图1 Faster R-CNN算法流程结构Fig.1 Flow structure of Faster R-CNNalgorithm-process

用Faster R-CNN算法识别篡改图像的具体实现步骤可以概括为：特征提取、区域候选网络选定、目标区池化、目标分类。其中：Softmax分支用于anchors获得前景（目标）和背景，Regressor分支用于计算anchors的边界框回归偏移量。使用RPN直接生成检测框，遍历卷积网络计算获得的特征图，为每一个点都配备多种anchors作为初始的检测框。通过后面2次边框回归，修正检测框位置，最终可以实现目标检测和篡改区域定位。

尽管Faster R-CNN在针对篡改图像识别方面具有以上种种优越的性能，但是其识别精度仍可以得到进一步提高。如果考虑在池化之前从不同的卷积层提取特征，实现对多尺度特征的融合，将有效提高对细节部分的检测精度，从而在一定程度上进一步降低篡改区域的漏警率。

文献［13］使用的双流特征网络结构（RGB、噪声），经实验表明，对经历了几何变换后（缩放、旋转等）的篡改图像识别精度不及对复制粘贴和拼接篡改的检测，存在一定的提升空间；且原文中从SRM（Steganalysis Rich Model）的过滤层中提取噪声，但是有些图片恰恰是通过隐写加入了篡改信息，因此原文方法在去噪过程中会丢失掉一部分数据特征，针对某些情况下的篡改图片识别效果未必理想。

2 基于Faster R-CNN三向流特征提取网络

针对因主要特征提取不全、特征采集方式单一导致的识别精度不理想，以及梯度算法易出现收敛振荡等问题，本文提出一个基于Faster R-CNN的三向流特征提取篡改识别网络，针对图像复制粘贴、剪切拼接、几何变换这三大篡改方式进行定位与识别，从RGB特征、背景噪声对比差异、傅里叶变换频谱标准差三个方面，给出相应的判断依据，将从RGB流、噪声流和信号流中提取的特征用一个多线性池化层整合，进一步改进这三种模式的空间共线性。

深度学习网络本身也具有特征提取的功能，但是在处理篡改图像识别问题时，需要更加关注篡改痕迹，而非仅仅关注图像本身的内容，因此这就要求我们提取并分析更多的特征。如果只利用传统的深度神经网络提取特征，想要达到较高的准确度，网络复杂度会很高；如果仅采用简单网络，如本文中所用的VGG网络，识别效果并不理想［10］。本文提出三向流结构，可以充分利用现有的预训练网络和相关研究成果，综合考虑三种不同类型的特征，即使不使用复杂网络也能达到理想的识别效果。本文在三向流特征网络中，加入Faster R-CNN并进行端到端的训练，这样的深度学习检测模型已经被证明了在一系列尺度上检测对象的良好性能［11-12］，其中，RPN负责提取可能包含感兴趣对象的图像区域，它可以适应图像处理检测。为了区分篡改区域和真实区域，利用来自RGB通道的特征捕获线索，即篡改边界处的视觉不一致以及篡改区域和真实区域之间的对比效果。同时，第二个特征流用来分析图像中的局部噪声特征，最后再检验重采样痕迹，将Faster RCNN框架以三向流方式适应图像操作检测。我们研究了三种模式，通过多线性整合来识别篡改区域。经实验表明，这三个流对于检测不同的篡改技术是互补的，识别精度令人满意。

本系统的基本处理步骤如下。首先，对待检测图像进行建模，将边界框（bounding boxes）回归为真实值（ground-truth）；然后，分析图像中的局部噪声特征和重采样痕迹，将RGB图像通过小波去噪和傅里叶频谱，提取噪声特征图和信号特征图，并利用噪声特征和信号特征，提供图像处理分类的附加依据；接着，通过卷积层提取局部特征，三向流共用RPN生成候选区域（region proposals），通过池化、选取空间特征、对特征降维，将目标区域调整到固定尺寸，输出大小固定的矩形框映射，得到目标区域在三个流向的特征集合，进行多线性池化；最后，将所得结果输入到一个全连接层和一个Softmax层，网络生成预测标签，表示为cls_pred。

由于VGG-16网络具有更快的训练速度和更小的内存占用量，更适用于本项目组的初期研究，因此本文采取VGG-16基础网络架构，提出的三向流算法网络结构示意图如图2。

图2 基于Faster R-CNN的三向流网络结构Fig.2 Structureof three-stream network based on Faster R-CNN

2.1 针对复制粘贴篡改的RGB特征提取

针对将数字图像中某一区域进行复制并粘贴到同一幅该图像另一区域的篡改方式，对于同幅图像的复制粘贴篡改，被复制区域的噪声、色彩和纹理等属性与目标区域相似，因此可以采取基于局部色彩不变量的检测方法，通过计算特征相似度，对图像块像素特征进行比对，发现相似度高或者完全相同的可疑区域，进而实现图像检测。

首先针对图像的RGB特征，提取R、G、B分量，然后分别对其作小波变换。小波变换［14］可以将二维图像在不同尺度下逐层分解为3个高频子带和1个低频子带，其中低频子带集中了原图像的大部分能量，可以作为最大尺度分解下原图像的最佳逼近。用小波变换后的低频子带代替原图像，变换后的图像尺寸为原图的1 4i（i为小波变换的次数），从而降低了待检测图像的尺寸，减少了计算机的运行工作量。

用大小为a×a的滑窗对图像进行分块，本文取a=8。每一子块的位置用左上角的像素位置表示。为了进一步减少图像色彩的损失，结合CMYK模式下的色彩通道转换，根据灰度值转换公式：Y=0.299R+0.587G+0.114B，求出Y通道的块数。然后根据R、G、B、Y四个通道求出图像块的特征值，包括R、G、B三个分量各自的均值α(1)、α(2)、α(3)，以及按照四种不同方式等分Y通道时，标号1区域色彩分量占整体的百分比，记为α(4)、α(5)、α(6)、α(7)，则一共可以提取 7个特征值。划分方式如图3所示。

图3 对Y通道的四种等分方式Fig.3 Four halvingmethods for Y channel

其中：p1、p2为阈值，本文暂设为0.3。根据经验，对于相似度的判断，阈值设置较大会导致容忍度提高，误判的几率变大；设置较小，漏判的几率则会变大。本项目组经过多次尝试，通过分析检测结果中篡改区域的边界连续性程度，综合考量识别效果，最终选取0.3为最优的阈值。M(1)、M(2)、M(3)分别代表R、G、B特征相似度值，M(4)、M(5)、M(6)、M(7)分别代表Y通道四种划分方式对应的相似度值。文献［15］中作者又加了一条限制：|i-j|≥α，|j-k|≥α，即事先认定两个子块不能是相邻的。作者给出的解释是当篡改者复制粘贴时，往往会将图像子块进行一定的位移，即大于一个子块的长度，而不是紧挨着或重叠一部分，但是这样设定并不严谨，这主要与所选取子块的大小有关。因此本文去掉了这一限制，以提高准确度与合理性。

当式（1）的两个条件均满足时，可以判定原图和对比图相似度较高，即经历了复制粘贴篡改。

2.2 针对拼接篡改的噪声特征提取

针对拼接篡改图像的背景噪声具有不一致性的特征，本文使用基于图像背景噪声相关性的篡改检测方法。首先利用小波去噪，得到去噪后的图像，然后根据拼接篡改图和去噪图像获得背景噪声图像，最后根据背景噪声图像中子块与周围邻域子块的相关系数大小对篡改图像进行鉴别定位。

具体算法流程如下：

步骤1 对待检测图像作去噪处理。

步骤2 根据待检测图像和去噪后的图像，得到背景噪声分布图像。

步骤3 对背景噪声图像作分块处理。子块大小均为a×a，本文取a=8。

步骤4 相关性检测：分别对以图像子块Zk(i，j)为中心的8邻域子块进行相关系数计算，遍历背景噪声中每个子块。按照式（2）计算相关性。

其中Zˉk为Zk(i，j)的均值。

由于图像未篡改和篡改区域边缘临界处的相关系数小于未篡改区域内部的相关系数［16］，因此可以根据背景噪声图像相邻子块的相关系数大小来判定图像篡改并定位。

步骤5 对子块进行分类，并输出二值化图像。

2.3 针对旋转缩放等几何篡改的信号特征提取

在图像篡改的过程中，通常会使用旋转、缩放等几何变化，这些操作需要运用插值等方法对图像进行重采样，对重采样的检测可以判断一幅图像是否被以某种几何方式篡改。考虑到重采样会导致离散傅里叶变换频谱发生明显变化［17-18］，因此本文使用基于傅里叶变换的图像重采样检测，并计算其标准偏差，根据不同采样因子导致的标准偏差的差异，分别对图像上采样和下采样操作进行检测，以此判断图像是否经历过重采样操作。

首先对图像数据集进行预处理，将彩色图像转化为灰色图像，对灰色图像分别进行上、下采样。上采样因子从1开始，间隔为0.1；下采样因子从0开始，间隔为0.1。

对灰色图像I（x，y）进行傅里叶变换：

并按式（3）分别计算行向量和列向量的标准偏差：

其中m Y表示行向量Y的像素平均值。原始图像和重采样图像经过傅里叶变换后，如果傅里叶变换频谱图的标准偏差存在比较明显的差异（本文暂设大于阈值0.7），则可以认定原图像经历了几何篡改。

2.4 多线性池化及损失函数设置

RGB流、噪声流与信号流主干卷积网络结构相同，并且共享一个池化层。在不降低性能的前提下，进行多线性池化，这样的优点是保留了待检测图像数据集的空间信息，节省了内存，加快了训练速度。此后，对L2标准化，然后转入全连接层。

本文沿用文献［13］中对RPN的损失函数：

其中：pi表示预测结果落在目标区域内的概率表示目标与非目标的对数损失，表示回归损失，R为smooth L1函数。

由于参数的更新涉及到损失函数对参数的偏导，当偏导很小时，参数更新速度会变得很慢。均方差损失对参数的偏导要用到sigmoid激活函数的导数，但是sigmoid函数在其变量值很大或很小时，曲线趋于平稳，导数接近于0；而交叉熵对参数的偏导无需sigmoid函数，有效避免了参数更新停滞的问题，这就是交叉熵损失较均方差损失的优势所在。

本文基于三向特征流，使用交叉熵损失进行分类，使用光滑L1损失进行bounding box回归。定义总损失函数：

其中：Ltamper代表最终的交叉熵分类损失，它基于来自RGB流、噪声流和信号流的多线性池化特征；f1、f2、f3分别对应来自于RGB流、噪声流、信号流的ROI特征。

3 梯度下降算法的选择与改进

为了得到最优的权值，往往需要选择相应的优化算法以得到最小的函数损失值。而求解最小的函数损失值，需要先计算出损失函数的梯度，然后按照梯度的方向使函数损失值逐渐减少，再通过对权值的不断更新调整，使得函数损失值达到最小，从而获得最优解。SGD随机梯度下降的算法思想是每次随机选择一个样本进行迭代更新，根据不同的迭代次数周期性地将学习率进行更新。其参数更新方程为：

其中θ代表学习率。每次迭代按照一定的学习率θ沿梯度的反方向更新参数，直至收敛。

由于各个参数的重要性往往是不一样的，对于不同的参数动态地采取不同的学习率效果会更好，也会让目标函数更快收敛。AdaGrad算法就是将每一个参数的每一次迭代梯度取平方累加后再开方，用全局学习率除以这个数，作为学习率的动态更新。更新方程如式（8）：

其中：ε为全局学习率；δ为较小的常数，本文设置其为10-7，以便数值计算的稳定；r为梯度累计平方变量；g为梯度。这里的r满足rt=rt-1+，即给梯度逐元素加一个平方和项，因此学习率大的会变小，而小的会变大，实现了对损失值的下降速度及收敛稳定性的控制。

但是，AdaGrad算法更新公式里的梯度累计平方变量r是建立在历史数据的基础上的，而其中一部分历史梯度数据对当前学习率的影响并不明显，重复计算会导致不必要的计算量变大；另外，当收敛曲线出现震荡变化时，缺少进一步的优化。考虑到在损失函数收敛到一定范围内时，下降趋势会明显变慢，过拟合的可能性会变大，此时如果将学习率调整到一个较小的值，则可以有效减少损失函数在这一范围内的波动震荡，保证其继续下降的趋势。因此，本文尝试一种基于AdaGrad算法的改进的学习策略，保留对不同参数差异化学习率的算法特点，然后加入分段处理，使得当收敛震荡时，学习率加快下降。更新公式如式（9）：

其中：θ'为上一次更新时的学习率；δ为一个较小的常数，这里沿用AdaGrad算法的常数设置，设置其为10-7。改进的更新公式首先去掉了梯度累计平方变量r，从而减少了对历史数据的重复计算。其次是充分考虑到损失值的增量变化，当损失函数的增量小于0时，属于前期正常变化阶段，分母采用平方根形式，控制收敛速度；当损失函数的增量大于0时，此时下降曲线出现波动，采用分母为平方形式的更新公式，使得学习率迅速变小，加快损失函数的下降，跳过震荡区域。通过有监督地分段控制收敛速度，可以有效减少收敛曲线在训练终止前的频繁震荡，提高收敛精度，同时可以减少对历史梯度数据不必要的计算，加快训练速度。

另外，为检验收敛效果，引入对照组，使用Momentum动量梯度算法［20］与改进的梯度算法作对比：动量梯度算法的原理是当本次梯度下降的方向与上次更新量v的方向相同时，上次的更新量能够对本次的搜索起到一个正向加速的作用；当本次梯度下降的方向与上次更新量v的方向相反时，上次的更新量能够对本次的搜索起到一个减速的作用。这样可以使梯度下降时的折返情况减轻，从而加快训练速度。

参数更新公式为：

其中dw表示对w求偏导。

经实验表明，在学习率较小时，适当的动量能够起到一个加速收敛速度的作用；在学习率较大时，适当的动量能够起到一个减小收敛时震荡幅度的作用。

本文将AdaGrad算法、改进的AdaGrad算法与Momentnum算法作对比，实验表明改进的AdaGrad算法具有最优性能。

4 数值实验

为测试本文模型的效果，选取VOC2007和CIFAR-10两个图片数据集，利用代码和PS软件进行批量合成篡改，其中这两个数据集中用于训练的图像数量分别为3 000张和5 000张，测试集图片数量分别为499张和1000张。

4.1 漏检率、误检率、及其他相关参数的确定

确定漏检率（False Negative Rate，FNR）和误检率（False Positive Rate，FPR）：

其中：FN（False Negative）表示重采样图像被检测为真实图像的图像个数，TP（True Positive）表示重采样图像被检测为重采样图像的图像个数，FP（False Positive）表示真实图像被检测为重采样图像的图像个数，TN（True Negative）表示真实图像被检测为真实图像的图像个数。

根据文献［11-12］的建议，本文设定漏检率和误检率均为0.02。在这一范围内，可以认定识别结果是比较准确的。

设定初始学习率为0.001；用到的四种anchor尺寸分别为82、162、322、642，纵横比为 1∶1、1∶2、2∶1；池化后的特征尺寸为7×7×1 024；用于RPN训练的小批量数目为100，测试数目为300。

4.2 实验流程

实验流程如图4所示。

图4 本实验算法流程Fig.4 Flowchart of theproposed algorithm in theexperiments

具体流程详解如下：

1）在自建的数据集上分类标注篡改图像类型，分别代入各自的检测任务中训练。

2）基于RGB、噪声、信号三大特征训练网络，分类池化。

3）在VGG 16网络上进行预训练，并作出分层调整，将分类层输出调整为3。

4）训练参数。采用基于改进的分段AdaGrad梯度算法更新权重参数，迭代次数86000次。

5）分别代入两个数据集测试结果。

6）框出篡改区域，并计算出识别准确率，与文献［13］方法的识别准确率相比较。

7）输出识别图像。

4.3 结果分析

4.3.1 不同梯度下降算法的性能分析

为分析本文模型性能，对三种不同梯度下降法的准确率和收敛耗时进行了比较分析，结果如表1所示。

实验结果表明，本文改进的AdaGrad算法较Momentum算法和AdaGrad算法收敛更快，平均识别准确率更高，整体效果更好。另外，给出了动量梯度算法和改进的AdaGrad梯度算法的收敛曲线对比图，如图5所示。可见，在训练结束前的后半段，改进的AdaGrad梯度算法收敛曲线震荡明显更少，整体收敛性能更优。

表1 三种梯度算法性能对比Tab.1 Performance comparison of three gradient algorithms

图5 两种梯度算法收敛曲线对比Fig.5 Convergence curve comparison of two gradient algorithms

4.3.2 篡改识别结果比较分析

表2是使用本文模型得到的三种图像篡改手段的识别结果，其中，准确率与耗时情况是在两个数据集上实验结果的平均值。实验表明，三向流网络结构对于三种主要的图像篡改手段均有比较高的识别准确率，其中对于拼接篡改的识别准确率高达96.2%，且对缩放篡改的检测高于文献［13］方法，实现了预期目标，整体性能良好，具有实际应用及推广价值。

表2 针对三种篡改手段的识别结果Tab.2 Recognition resultsfor threetamperingmethods

为衡量不同特征流的重要性与识别效果，在两个数据集上应用不同的识别方法进行测试，包括单独的RGB流、单独的噪声流和本文所用的三向流，三种不同特征流的识别准确率对比结果如表3所示。可见，单独的RGB流和噪声流不能代表三种篡改行为的全部特征，本文所用的三向流网络结构对篡改图像的识别准确率在两个数据集上均高于单独的特征流网络结构。

表3 不同特征提取网络结构识别准确率对比Tab.3 Accuracy comparison of different featureextraction network structures

最后，为比较本文的三向流算法的改进效果，在数据集VOC2007和CIFAR-10上，利用本文所用模型与文献［13］采用的基于RGB和噪声特征的双向流算法，针对三种不同篡改方式，识别精度的结果比较如表4所示。经过对比，本文方法较对照文献所用方法，在拼接、缩放和复制-粘贴三种篡改识别上均获得改进，平均识别准确率提高了1.998个百分点。

表4 与目标文献所用算法的准确率对比Tab.4 Accuracy comparisonswith thealgorithms used in thetarget literatures

4.3.3 部分篡改识别结果可视化展示

图6～8分别展示了针对三种篡改方式的三组不同图像的实验结果。本文把拼接篡改集中放在图像边缘，把复制粘贴篡改放在图像内部，输出对比结果。

图6 拼接图像识别Fig.6 Recognition of stitchingimages

图7 复制粘贴图像识别Fig.7 Recognition of copying and pasting images

图8 伸缩图像识别Fig.8 Recognition of scaling images

5 结语

本文提出了一种基于三向流特征提取的改进的Faster RCNN算法，将图像的RGB相似量、背景噪声对比差异及傅里叶变换频谱标准差融入卷积神经网络特征提取层，经实验表明，针对拼接、复制粘贴、缩放三种类型的图像篡改，均取得了比目标文献更好的识别效果，也证实了本算法对于篡改图像的识别具有较好的泛化能力。同时，改进了AdaGrad梯度算法，通过建立关于参数学习率更新的分段函数，有效降低训练终止前的收敛震荡，实现了对收敛速度的控制，可以将其拓展到其他相关深度学习算法。下一步，鉴于RPN训练速度较慢的特点，考虑使用YOLO网络结构，将检测问题转化为回归问题，避开区域生成网络对每个候选框的精修，从而简化网络结构，提高速度，同时在三向流特征提取的基础上，又可以保证识别精度，这将是后续研究的主要方向。