用于图像分类的空间特征重校准DenseNet

张 磊，卢 婷，郭文静，刘国华，黄秋波

(东华大学 计算机科学与技术学院，上海 201600)

0 引言

借助卷积神经网络的发展，图像处理技术已经在很多领域取得巨大突破。很多研究已经从各个方面来提升卷积神经网络的分类性能。一些网络通过加深网络层数来获得网络收益，例如VGGNets[1]和Inception[2]。此外，一些网络通过增加网络宽度将网络训练得更深，例如googLeNet[3]。ResNet[4]证明了跳跃连接的有效性，并将网络深度扩展到了数百层。受到 ResNet残差思想的启发，一些网络在许多具有挑战性的视觉任务上取得了良好的表现，例如 RiR[5]，ResNeXt[6]和 RoR[7]。DenseNets[8]被设计来实现密集的跳跃连接，其中密集连接块的每个卷积层都将其前面所有卷积层的特征图作为输入，执行卷积操作之后再将其自己的特征图传递给所有后续卷积层。Dual Path Network（DPN）[9]结合了 ResNets和 DenseNet，在许多计算机视觉任务中均获得了竞争性的成绩。最近一些研究表明，注意力机制可以通过重新校准对特征图最有用的部分的特征响应来有效地提高网络性能，例如对图像定位、语义分析[10]及图像分类[11]。基于注意力机制，一些研究通过学习特征通道与空间之间的相关性来获得网络利益。胡等人[12]提出了一个称为“Squeeze-and-Excitation（SE）”的模块用来执行特征通道级特征重新校准，以自适应地进行图像分类。王等人[13]提出了Non-local Neural神经网络通“non-local”操作来捕获特征图的依赖关系。

随着卷积神经网络层数越来越深，有几个问题值得考虑。首先，图像特征包含全局信息、边缘信息和纹理信息等，它们对图像分类准确性有不同的贡献。但是，现有的卷积神经网络会平等地处理这些信息。其次，考虑到 DenseNet[8]缺乏对不同类型信息的描述能力，通过设计轻量级辅助模块来提高DenseNet的表征能力。首先，在文献[14]的启发下，构建空间特征重新校准模块（SFRM），该模块可以通过学习特征图的空间相关性来执行特征图重新校准，从而加强那些重要的信息。其次，将SFRM嵌入到DenseNet的每个密集块中，以提高网络的表征能力。基于新的密集连接块，提出了一种新颖的网络架构，称为SFRM-DenseNet。通过在 CIFAR-10（C10）和CIFAR-100（C100）数据集上进行充分实验，证明了该网络的有效性。

1 空间特征重校准模块（SFRM）

在这一部分的目标是为卷积神经网络设计一个轻量级的辅助模块，以提高其表征能力。此外，该模块要能提高卷积神经网络对不同信息的感知能力并学习到更多重要的信息。使用注意力机制来学习每张特征图上特征（像素）相关性，以此来捕获对分类精度作用大的信息并在网络中加强它们。如图1所示，这是一个空间特征重校准模块（Spatial Feature Recalibration Module，SFRM），图2是一个空间注意力（Spatial Attention，SA）单元，假设X=[x1,x2, …,xC]是空间注意力单元的输入特征图，SA单元使用两层神经网络，并分别在后面跟一个ReLU和一个Sigmoid激励函数产生一个空间注意掩码β∈R1×H×W。SA单元的计算方法为：

图1 空间特征重校准模块（SFRM）Fig.1 Spatial Feature Recalibration Module

图2 空间注意力单元Fig.2 Spatial Attention unit

式（1）中，δ(·)代表 ReLU 激励函数、σ(·)代表 Sigmoid激励函数、*代表卷积操作，分别是第一层卷积和第二层卷积的参数，它们后面分别跟着ReLU函数和Sigmoid函数。在SFRM中将SA单元输出的空间掩码β对输入特征图进行特征重校准以增强那些重要的特征，特征重校准过程定义为：

式（2）中Y= [y1,y2,…,yc]代表经过特征重校准之后的输出，f表示空间特征重校准操作，即将特征图的每个空间位置特征值与其对应的空间权重逐元素乘法。

2 SFRM-DenseNet

DenseNet网络结构主要由几个密集连接块和两个相邻连接块块之间的过渡层（Transition Layer）组成。每个密集连接块包含若干个卷积层，每个卷积层都将所有先前层的特征图作为输入并将自己输出的特征图输出到其后所有层。过渡层负责控制传输到下一个密集连接块的特征图的大小和通道。尽管DenseNet加强了特征重用，但卷积核仅关注局部区域而并未考虑输入特征图空间上特征间的相互依赖关系。

结合SFRM的优势，将SFRM嵌入到DenseNet的每个密集连接块中提高网络的图像分类性能，探索不同 Dense Block结构的分类结果及对应的参数。首先，在每个密集块的最后一个卷积层之后嵌入两个串联的 SFRM。其次，分别在密集连接块的第二个和第四个卷积层之后嵌入一个SFRM。通过比较实验结果和参数，发现使用第一个密集连接块结构的网络带来了大量参数。相比之下，使用第二个密集连接块结构的网络引入了较少的参数，但是这两种新的密集连接块实现了相似的分类精度。我们还尝试将SFRM分别嵌入到每个密集块的每一个卷积层后面，但是发现在参数量急剧增加的时候网络性能却没有得到显着改善。最后，基于图3所示的新型密集连接块，提出了SFRM-DenseNet。

图3 SFRM-DenseNet中使用的新的密集连接块Fig.3 A novel Dense Block in SFRM-DenseNet

3 实验

本次实验使用的是CIFAR数据集，该数据集由 CIFAR-10(C10)和 CIFAR-100(C100)两个数据集组成，这两个数据集包含的是32×32大小的彩色自然图像。C10数据集包含 10个类别，C100则包含100个类别的。两个数据集的训练集均包含50 000张图像，测试集均包含10 000张图像，在训练集中分别随机选择了5 000张图像作为各自的验证集。

所有的实验都是在Ubuntu 20.04上完成的。基于python3.8，使用Tensorflow作为框架构建网络模型。如上所述，训练集用于模型训练，而验证集用于验证模型的分类准确性。该模型在CIFAR数据集上使用随机梯度下降（SGD）进行了300个epoch的训练，批量大小为64。我们将初始学习率设置为 0.1，然后在训练过程的 50%和75%处均除以10，即此时的学习率为0.01。最后，报告CIFAR-10和CIFAR-100两个数据集中测试集上的分类错误率，并与原DenseNet网络及一些著名的网络进行比较，例如 FractalNet、ResNet等。

如表1、图4、图5所示，在 CIFAR-10和CIFAR-100数据集上，SFRM-DenseNet比DenseNet有更高的分类精度。因为 DenseNet本身实现的图像分类精度很高，使用错误率下降比来评估模型的性能提升幅度。通过实验对比，发现所提出的 SFRM-DenseNet模型在 CIFAR-100上的性能提升更明显，所以图4和图5均是基于CIFAR-100验证集上平滑的错误率曲线。在CIFAR-10测试集上，40层的DenseNet错误率为6.67%，而 SFRM-DenseNet的错误率为 6.63%。100层SFRM-DenseNet在CIFAR-10测试集上的错误率为5.53%，这个错误率低于100层DenseNet实现的5.61%。40层深的SFRM-DenseNet网络和100层深的SFRM-DenseNet网络在CIFAR-100测试集的错误率分别为27.20%和23.80%，并且与它们分别对应的40层DenseNet和100层DenseNet的分类错误率为 27.44%和 24.25%。通过实验，发现所提出的模型在CIFAR-100上的分类表现优于 CIFAR-10，结合网络结构和 CIFAR数据集的特点，我们认为这是因为CIFAR-100中的类别较多且信息更复杂，此外40层的网络层数可能还没达到DenseNet网络的性能瓶颈。实验结果表明，SFRM 通过对输入特征图的空间相互依赖性进行建模，可以提高DenseNet的网络性能。

表1 不同网络在CIFAR-10和CIFAR-100上的错误率Tab.1 Error rates of different networks on CIFAR-10 and CIFAR-100 (%)

图4 40层的DenseNet及SFRM-DenseNet在CIFAR-10验证集上的错误率Fig.4 Test errors on CIFAR-10 validation by 40-layer DenseNet and SFRM-DenseNet

图5 100 层的 DenseNet和SFRM-DenseNet在CIFAR-100验证集上的错误率Fig.5 Test errors on CIFAR-100 validation by 100-layer DenseNet and SFRM-DenseNet

4 结论

本文使用空间注意力机制来构建一个轻量级的空间特征重校准模块（SFRM），该模块可以显示地建模特征图空间上特征的相关性并利用该相关性对输入特征图进行特征重新校准，以此来捕获特征图中重要的信息。为了提高DenseNet的表征能力，我们重新设计了DenseNet中密集卷积块(Dense Block)的结构并评估了多种密集连接块的分类精度和参数量。在不引入大量参数的情况下，我们确定使用一种分类效果较好的密集连接块，根据这个新型的密集连接快，我们提出了一种新颖的网络模型并将它命名为SFRM-DenseNet。实验结果表明，与DenseNet和ResNet等著名的网络相比，在引入极少量参数的时候，我们的SFRM-DenseNet网络在 CIFAR-10和 CIFAR-100数据集上实现了更低的图像分类错误率。