融合注意力与FCN 的图像修复取证

沈万里，张玉金，王永琦，胡 万，孙 冉，郭 静

（上海工程技术大学 电子电气工程学院，上海 201620）

0 引言

图像修复可以用来填充图像内容、修复受损区域。基于区域填充的方法主要分为2 类：基于扩散的修复方法和基于样本块的修复方法。其中，基于扩散的方法主要集中在小区域修复，例如旧照片的划痕等，不会留下易察觉的伪影，但该方法在修复大面积区域时效果不佳；基于样本块的修复方法类似于图像篡改中的复制粘贴操作，是从图像未受损区域复制图像块补丁，填充在受损区域，达到修复的效果。

随着图像修复技术的发展，修复后的图像留下的可感知伪影越来越少，无形中也增加了图像修复取证工作的难度。Wu 等人提出了一种基于零连通特征和模糊隶属度的盲检测方法，但该方法需要人工选择可疑区域，极大地增加了人工成本。Chang等人提出了一种可以加速搜索像素块的二阶搜索算法，克服了上述缺点。在前文论述基础上，本文提出了一种融合注意力机制与FCN 的图像修复取证网络，使用中心像素映射进行块搜索，并结合通道注意力模块（Squeeze and Excitation Block，SE）对最终提取的特征图进行像素权重判定，筛选出最有效的预测图。

1 融合SE 与FCN 的图像修复取证网络

基于样本块的图像修复主要依赖于图像的内容，而卷积神经网络针对图像内容具有较好的学习能力和特征提取能力，因此，本文设计了一种融合SE模块与FCN 的图像修复取证网络。为避免网络受图像内容影响导致的检测精度降低的情况发生，该全卷积神经网络的输出结果与输入图像具有相同尺寸，同时为输出图像中的每一个像素指定一个类别标签（0或者1，0 代表未修复区域，1 代表修复区域）。

1.1 SE 模块

Hu 等人提出一种通道注意力结构SE-net（Squeeze-and-Excitation Net），通过神经网络来自适应地学习每个特征通道的重要程度，并为每个通道赋予不同的权重系数，从而强化重要的特征，抑制非重要的特征。通过权值重分配的方式来自适应地调整通道间的特征重要性，让计算资源分配给信息中最有用的部分，又因为其额外所占用的计算成本小，很容易嵌入其他深层网络，SE 模块结构如图1 所示。

图1 SE 模块结构图Fig.1 SE block structure diagram

为不同的特征通道求得对应权重是关键点，首先是操作，将一个通道中整个空间特征编码为一个全局特征，通过全局池化将特征图在的空间维度上收缩，对此可表示为：

其中，F(·) 表示全局平均池化，x表示特征图的第个通道。

得到了全局描述特征后，进行操作来抓取特征通道之间的关系，对此可表示为：

其中，(·) 表示函数，确保值位于0～1，(·) 表示函数。

依前处理后，下面就是操作，即将操作得到的权重看作是重要信息的依据，数学定义式可写为：

其中，作为比例因子与原通道相乘，利用一维的稀疏卷积操作来优化SE 模块中涉及到的全连接层操作，达到大幅降低参数量并保持相当性能的目的。为了压缩参数量和提高计算效率，SE 模块采用“先降维-再升维”的策略，利用2 个多层感知机来学习不同通道间的相关性，即当前的每一个特征图都与其它特征图进行交互，是一种密集型的连接。

1.2 网络结构设计

为实现对取证区域的定位，本文采用基于全卷积神经网络（FCN）的图像修复取证网络架构，总体网络结构如图2 所示。该架构的特征提取模块由14 个卷积层和5 个最大池化层组成，每一个卷积层后都添加了整流线性单位（）作为激活函数。在特征提取模块的第一层，本文采用了64 个3×3 的卷积核，将第一层的输出再次经过一个相同结构的卷积模块，输出224×224×64 的特征图；使用窗口大小为2×2 和步长为2 的最大池化层对第二层卷积输出特征图进行处理，得到112×112×128 的特征图。经过5 次不同核数的卷积层及5 次相同窗口大小和步长的最大池化层，输出大小为7×7 的4 096个特征图。本文将第四个区块的特征图通过1×1 的卷积进行降维操作，同时对第五和第六个区块的特征图进行反卷积操作，分别获得28×28×2 的特征图，再通过拼接融合方式，得到28×28×6 的特征图。对这6 个通道的特征图，使用SE 模块进行权重分配，得出权重占比最大的两张特征图，分别代表修复和未修复样本的特征图。

图2 总体网络结构图Fig.2 Overall network structure diagram

2 实验

2.1 实验数据库的建立

本文创建了包含2 000 个大小为256×256 彩色图像的修复图像数据库。该数据库中的修复区域为不规则形状，修复区域占比为2%～40%。实验随机选择1 600 张用于训练，400 张用于测试。本文提出的模型输入图像大小为224×224，因此先将数据库图像大小裁剪为224×224 作为本文使用的修复图像数据库。考虑到在训练样本中，修复区域相对于未修复区域较小，研究中采用加权交叉熵作为损失函数，用随机梯度法来迭代更新超参数。学习率设置为e，动量值设置为0.9，重量衰减值设置为5，设置为8。

2.2 实验结果与分析

本文针对彩色修复图像进行了修复检测和定位，具体可视化结果如图3 所示。由图3 可以看出，即使不规则的修复区域面积较大，本文算法仍然能够较为准确地定位修复区域。

图3 修复图像的可视化结果Fig.3 Visualized results of inpainting images

通过精度、召回率、得分和交并比（）等数据定量分析本文提出的修复图像取证网络，这些参数可由真阳样本（Ture Positive，TP）、假阳样本（False Positive，FP）和假阴样本（False Negative，FN）计算得到。对此拟展开研究分述如下。

（1）精度（）：定义为个数与和个数之和的比值，该值可由下式计算得出：

（2）召回率（）：定义为数量与和数量之和的比值，该值可由下式计算得出：

（3）：定义为考虑和的调和平均值。该值可由下式计算得出：

（4）交并比（）：是一个度量，用于计算预测输出和目标掩码之间的重叠百分比。计算方法为预测掩模和目标掩模像素数与2 个掩模像素数并集的交集。

本文采用2 个标签作为模型的输出；第一个标签表示被修复区域，第二个标签表示未被修复区域。由于有2 个不同的输出标签，因此本文计算了测试结果的平均精度（）、平均召回率（）、平均分数（）和平均。本文方法在修复图像数据库上运行后的性能分析结果如图4 所示。由图4 可见，测试结果、、、分别为78.9、71.15、74.83和70.3，表明本文提出的图像修复取证模型具有较好的检测性能。

图4 基于精度、召回率、F1 得分和交并比四个度量数据的性能分析Fig.4 Performance analysis based on average precision（AP），average recall（AR），average F1 Score（AF1 Score）and mean intersection over union（MIoU）

3 结束语

本文提出了一种融合注意力机制与FCN 的图像修复取证网络，为了对本文模型进行训练和验证，创建了彩色图像的修复数据库，并对本文模型进行了训练和测试。从各种指标定量分析和图像检测效果来看，本文模型在检测基于样本块修复的图像时具有较好的性能。未来可以在本模型的基础上加以改进，检测其它图像篡改操作，如复制、移动和拼接等。