面向人脸识别的Small-FRNet模型研究*

黄跃俊， 白 创

(长沙理工大学 物理与电子科学学院,湖南 长沙 410114)

0 引 言

人脸识别技术作为一门重要的生物特征识别技术，已被广泛应用于身份验证领域。传统人脸识别方法多是基于人工特征加分类器的思路，而人工特征属于浅层表示，不足以表达高维的非线性人脸特征，导致人脸识别精度偏低[1]。由于卷积神经网络(convolutional neural network,CNN)能通过训练学习到深层次的隐性人脸特征，极大地提高了人脸识别准确率，因此,在人脸识别领域得到了广泛的研究和应用[2]。

近年来，Taigman Y等人[3]提出的DeepFace采用尺寸较大的卷积核，引入多个权重不共享的局部卷积层，增加了特征的多样性。文献[4,5]提出的DeepID系列网络，通过扩大卷积层的通道数、采用连续卷积层等来增加网络的宽度和深度，同时扩充训练集，使得网络性能有了较大的提升。Schroff F等人[6]提出的FaceNet采用三元组损失函数，提高了特征的判别性，但三元组的选择容易受坏数据的影响，导致模型陷入局部最优乃至崩溃。

这些卷积网络结构虽然通过增加网络的层数能提高人脸识别精度，但网络参数量和计算量也会成倍增加，需要耗费更多的硬件资源和推理时间。针对卷积神经网络参数多、计算开销大及推理时间长的问题，采用了深度可分离卷积(depth separable convolution)和全局平均池化技术对卷积神经网络结构进行设计，同时通过加入中心损失优化目标函数，提出一种小型、识别精度更高的Small-FRNet(small face recognition network)模型。

1 Small-FRNet模型

1.1 传统卷积神经网络

图1为LeNet—5卷积神经网络。如图1所示，传统卷积神经网络由输入层、隐含层和输出层三个部分组成。其中,输入层为32×32的单通道图像；隐含层负责对输入图像进行特征提取；输出层则预测出其所属类别。

图1 LeNet—5卷积神经网络

传统卷积神经网络的隐含层通常由卷积层、池化层和全连接层组成。当卷积步长为1、零填充时，卷积层计算公式为

式中W为k×k的卷积核，b为偏置值，X为M×N的输入特征图，H为(M-k+1)×(N-k+1)的输出特征图。由式(1)可知，卷积运算包含了繁杂的乘法操作，且当输入特征图X和卷积核W越大，更加增加了计算开销。

同时卷积神经网络中包含的全连接层虽然能有效地预测出特征表示的所属类别，但是其计算量也十分庞大。

综上所述，传统卷积神经网络存在着运算量大、参数量多等问题。因此本文采用深度可分离卷积和全局平均池化技术从网络结构上进行改进，并联合中心损失(center-loss)作为监督信号，提出了一种小型的、识别精度更高的Small-FRNet网络。

1.2 改进的Small-FRNet模型

图2为Small-FRNet网络。该网络主要由深度可分离卷积层和全局平均池化层组成。相比传统卷积神经网络，该网络采用堆叠的深度可分离卷积层对输入图像实现高级特征提取，并以全局池化层作为特征表示层，减少网络参数量和计算量。考虑局部信息会存在丢失，全局平均池化层还增加了与第五层的深度可分离卷积层的连接。此外在训练过程中联合了SoftMax损失和中心损失(center-loss)作为监督信号，提高网络的人脸识别精度。

图2 Small-FRNet网络

表1为Small-FRNet网络参数配置。由表可知，Small-FRNet网络的输入为68×68的RGB三通道人脸图像，每个卷积层采用了3×3或1×1的小卷积核，且均使用了ReLU激活函数。同时除DS Conv6卷积层保持不变外，每组卷积层的输出特征图大小成倍减少，输出通道数则成倍递增。此外整个网络的参数量约为3.6×106个，计算量约为72.3×106次。

表1 Small-FRNet网络的参数配置

2 关键部件实现

2.1 深度可分离卷积

深度可分离卷积是标准卷积的一种分解形式[7,8]，它将标准卷积分解成两部分：Depthwise卷积和Pointwise卷积。图3展示了将标准卷积分解成Depthwise卷积和Pointwise卷积的过程。Depthwise卷积负责对每个输入通道采用单个滤波器进行运算(即Filter操作)；Pointwise卷积采用1×1卷积组合Depthwise卷积的输出(即Combine操作)。而标准卷积的Filter和Combine操作是在一个步骤内同时完成的。

图3 标准卷积分解成Depthwise卷积和Pointwise卷积的过程

假设标准卷积的输入特征图F大小为DF×DF，输入通道数为M；输出特征图G大小也为DF×DF，输出通道数为N。且卷积核K大小为DK×DK，步长为1，有填充。则不考虑偏置时，深度可分离卷积层与标准卷积层的计算量之比为

而第一项中N取值往往相对较大，可以忽略。因此,当DK取值为3时，相比于标准卷积层，深度可分离卷积层的计算量能降低9倍。

2.2 全局平均池化层

全局平均池化层是指通过对每个输入特征图的整个区域求均值，以作为对应特征图的输出[9]。图4为全连接层与全局平均池化层的对比。假设输入特征图个数为n，则全局平均池化层输出特征维度也为n，通过先对输入特征图分别进行累加求均值，再送入SoftMax层计算出属于各个类别的概率值，概率最大的即为所预测的类别。相比全连接层，全局平均池化层没有额外参数和复杂的乘法，有效地降低了计算开销；同时全局平均池化层对网络结构直接进行了正则化，缓解了过拟合现象。

图4 全连接层与全局平均池化层的对比

2.3 联合监督信号

传统卷积神经网络使用SoftMax损失函数作为监督信号来进行训练。而对于人脸识别任务而言，SoftMax损失仅能促进特征的可分离性，并不能提取出具有判别性的特征。因此,本文在SoftMax损失的基础上，加入中心损失[10]，构建联合监督信号作为损失函数。

假设训练样本为xi(i=1,2,...,m)，m为迭代时样本个数，yi为样本xi所属类别，cyi为第yi类的类别中心，则中心损失Lossc和联合监督信号Loss分别为

式中Losss为SoftMax损失;W,b分别为SoftMax层的权重和偏置;λ为比例系数，用于平衡SoftMax损失和中心损失之间的比例。在训练过程中，SoftMax损失迫使不同类别的特征保持分离；同时中心损失最小化特征与其类别中心之间的距离。因此，在联合监督信号的作用下，既扩大了类间差异，又减少了类内差异，从而提高特征的判别性。

3 结果与分析

本文基于TensorFlow框架实现Small-FRNet模型，采用CASIA-WebFace人脸库(包含10 575个人，共494 414张人脸图片)作为训练数据集，按4∶1的比例分成训练集和验证集，训练过程中将图片水平翻转、区域裁剪及尺寸缩放进行数据扩增，并在LFW人脸库(包含5 749个人，共13 233张人脸图片)上进行测试。实验中,分别对比分析了深度可分离卷积与标准卷积、全局平均池化层与全连接层及联合监督信号与SoftMax损失，最后将Small-FRNet模型与其他的人脸模型进行性能比较。

1)深度可分离卷积层与标准卷积层的对比

表2为深度可分离卷积与标准卷积在近似性能下的参数量和计算量对比。由表可知，在相同网络深度和卷积核尺寸下，采用深度可分离卷积层时网络识别准确率为89.78 %，相比标准卷积层，仅有略微下降，但其参数量和计算量分别减少8.5 %和22.3 %。因此，在获得近似识别精度下可以采用深度可分离卷积替代标准卷积来构建卷积神经网络，以减少网络的参数量和计算量。

表2 深度可分离卷积与标准卷积在近似性能下的参数量和计算量对比

2)全局平均池化层与全连接层的对比

表3为全局平均池化层与全连接层在近似性能下的计算量和参数量对比。由表可知，相比全连接层，以全局平均池化层作为特征表示层时，全局平均池化层的参数量和计算量可忽略不计，同时网络的识别精度为95.58 %，能获得近似的识别性能。因此，能采用全局平均池化层作为特征表示层来降低网络的参数和计算量。

表3 全局平均池化层与全连接层在近似性能下的计算量和参数量对比

3)联合监督信号与SoftMax损失的对比

联合监督信号与SoftMax损失在LFW数据集上的准确率对比,二者准确率分别为99.25 %和95.68 %。相比单一的SoftMax损失，联合SoftMax损失和中心损失作为监督信号，提高了网络识别精度近4 %。因此，通过在SoftMax Loss基础上加入中心损失对目标函数进行优化，能有效地提高特征的判别性，改善网络的识别精度。

4)Small-FRNet模型与其他模型的性能对比

表4为Small-FRNet模型与其他模型在LFW数据集上的准确率对比。由表可知，相比其他模型，Small-FRNet的人脸识别准确率最高，达到了99.38 %，同时该模型的参数量和计算量最少，相比DeepFace网络分别降低了97 %和86 %。因此，通过采用深度可分离卷积、全局平均池化技术和中心损失等来构建卷积神经网络模型，能有效地减少网络的参数和计算量，提高人脸识别准确率。

表4 Small-FRNet模型与其他模型在LFW数据集上的准确率对比

4 结束语

本文提出了一种Small-FRNet模型，采用深度可分离卷积对标准卷积进行分解，减少了网络的参数量和计算量，再以全局平均池化层替代全连接层作为特征表示层，进一步简化了网络结构，最后通过联合SoftMax损失与中心损失作为监督信号对损失函数进行优化，即在SoftMax-loss的基础上，加入中心损失函数，迫使特征向所属类别中心聚拢，从而扩大类间差异，缩小类内差异，提高了特征的判别性，有利于识别精度的提升。