一种基于对抗MSE度量的自编码网络优化方法

柳 伟，孟凡阳，谭 旭

（1.深圳信息职业技术学院 广东省智能视觉工程技术研究中心，广东 深圳 518172；2.鹏城实验室，广东 深圳 518055）

1 概述

自编码网络是一种常用的无监督图像特征提取网络，其目的是尽可能重现输入图像的神经网络，假定输入和输出是相同的，通过训练神经网络参数得到每一层的权重，隐含层就是原始信号的近似表达[1]。由于自编码网络能够以无监督的方式提取图像特征和重构图像，因此在数据压缩、聚类和降噪等方面得到了广泛的应用。

自编码网络中常用的损失度量是计算输入图像与重构图像之间的MSE。然而，由于自然图像区域分布具有类别不平衡性，例如，图像中大部分为没有区分性的平滑区域，有区分性特征的非平滑区域相对较少，影响了基于MSE度量的自编码优化方法的性能，不仅导致重构的图像比较模糊，而且提取的特征区分性较差。因此，如何引入图像的分布特性，设计一个有效的损失函数，使其既能够有效提升图像的重构质量，又能够学习到有区分性的特征表达，成为自编码网络损失函数优化的难点。

目前解决类别不平衡问题的方法可以分为两类：一种方法是根据数据集分布的不均衡性调整数据的比例，例如过采样和欠采样方法[2，3]，但是过采样会引入噪声，欠采样会导致多数类原始信息消失；另一种方法是代价敏感（Cost Sensitive）学习[4]，通过引入类别权重改变算法的性能，对少数类样本分配较高的权重，对多数类样本分配较低的权重，使网络在学习样本时对高代价的少数类更加敏感。其中，第二类方法在实际应用中更为广泛。

引入加权均方误差（Weightel Mea Sqare Erron ，WMSE）可以改进自编码网络的损失函数，提升自编码网络的性能。如何根据图像中不平衡的区域类别学习权重，成为构造加权MSE损失函数的核心问题。一种权值计算方法通过分析图像特征（例如边缘、纹理等）得到相应的权重[5]。文献[6]将图像元素映射为不同尺度的特征表达，无需建立清晰的结构预测机制即可抽取图像在统计意义上的结构信息。针对图像中区域重叠、类别不平衡等问题，文献[7]提出一种联合校正方法，通过优化多分类损失函数替换简单区域分类。另一种权值计算方法采用贪婪启发式算法，文献[8]在反向传播过程中，限定需要更新的像素数量。文献[9]介绍了一种截断算法，先将每个像素的损失排序，然后只有前K个损失的位置更新。第三种研究思路是直接优化目标度量，例如曲线下面积[10]，重叠区域[11，12]和平均分类

[13]。这些方法通过不同的方式计算权值，构造的加权损失函数能够在一定程度上提升自编码网络的性能。但是，这些方法存在两个缺陷：一是权重计算过程与自编码网络无关，无法进行端到端训练；二是权重计算过程与数据集无关，不能有效地处理由于图像类别不均衡导致的问题，如重构质量和特征区分度不高等。

2 基于对抗网络的WMSE

2.1 生成对抗网络

生成对抗网络（Generative Adversarial Nets， GAN）提供了一种新的无监督学习方法[14]。近年来，一些工作逐渐将对抗思想引入到自编码网络中[15-16]。GAN由两个竞争的神经网络模型组成，即生成器和判别器，如图1所示。

图1 生成对抗模型

生成器G不断捕捉训练库里样本的概率分布，将输入的随机噪声转变为新的样本。判别器D观察真实和假造的数据，判断数据的真伪。这两个网络进行连续的博弈，生成器学习如何产生越来越接近真实数据的样本，判别器学习越来越好地区分生成数据和真实数据，训练的目标是使生成器生成的样本与真实数据不可区分。

2.2 对抗网络应用于WMSE的原理分析

一般情况下，图像中的平滑区域远多于非平滑区域，但其特征区分性低于非平滑区域。一方面，为了提高收敛性，自编码网络偏向学习平滑区域的特征，会造成特征区分性较差；另一方面，为了提高提取特征的区分性，自编码网络偏向学习非平滑区域的特征，会造成收敛性较差，这两个对抗目标和GAN模型的原理是一致的。受到GAN模型中生成对抗思想的启发，以WMSE度量为损失函数，提出一种基于对抗网络的自编码网络损失函数优化方法。如图2所示，在原有的自编码网络基础上，增加权重生成网络组成对抗网络，通过对抗训练生成WMSE的权重。对于给定的图像，首先利用自编码网络得到对应的重构图像；然后将送入权重生成网络，得到图像中各个像素点对应的权重；最后，采用反向传播的方式训练自编码网络和权重生成网络。具体训练过程为：先固定权重生成网络输出的权重，用WMSE计算得到的重构误差训练自编码网络，随即固定自编码网络输出的重构误差，用WMSE计算得到的重构误差训练权重生成网络。

图2 权重网络和自编码网络组成的对抗网络

通过对抗训练得到权重，既解决了端到端训练的问题，又可以使权重反映输入图像的分布特性，达到优化损失函数的目的。实验表明，采用优化损失函数的自编码网络在图像重构和聚类任务中获得显著的性能提升。

3 自编码网络损失函数优化算法

3.1 基于Densenet的权重生成网络

随着网络层数的增加，自编码网络会出现梯度消失问题，导致网络在训练过程中难以收敛。在计算权重过程中，不仅要考虑到图像的低层细节特征，还要考虑到图像的高层语义特征。因此，权重生成网络采用Densenet网络结构[17]。Densenet将网络中的所有层两两连接，使网络中每一层都接受它前面所有层的特征作为输入，实现了网络中所有层之间的信息流最大化，如图3所示。以图像大小为128×128为例，权重生成网络对应的卷积核和激活函数如表1所示。

图3基于Densenet的权重生成网络

表1 权重生成网络具体设置参数

3.2 基于对抗网络的WMSE算法过程

以图像重构应用为例，加权均方误差（WMSE）的定义如下：

如前所述，自编码网络的损失函数采用基于对抗网络的WMSE，核心问题是合理定义两个对抗的目标函数和对抗损失，通过对抗训练生成权重。对于图像和对应的自编码重构图像，对抗损失定义为：其中，为权重生成网络得到的权重。和为原始图像和重构图像在位置的像素值，和为图像的行数和列数。由公式（6）和公式（7）可以看出，对抗网络共包含两个基于WMSE的损失函数。第一项为自编码网络在更新过程中的损失函数，其目标是优化自编码网络，最小化在给定权重网络下的重构损失。在使用训练自编码网络的过程中，从权重生成网络得到的权重不变化。从公式（6）可以看出，权重越大的位置对应的损失在中所占的比重越大，为了最小化，在权重越大的位置要尽可能减少。反之，第二项为权重生成网络在更新过程中的损失函数，其目标是优化权重网络，最大化在给定自编码网络下的重构损失。在使用训练权重生成网络过程中，从自编码网络得到的重构误差不变化。同样，由公式（7）可以看出，重构误差越大，对应的损失在中所占的比重越大。为了最大化，在重构误差越大的位置要尽可能增大权重。综合以上分析， 的目标是减少重构误差，而的目标是增大权重，两者构成对抗的两个目标函数。由于权重生成网络和自编码网络联合训练，解决了权重计算与自编码网络无关的问题。一般情况下，图像的非平滑区域重构误差较大，随着对抗网络的训练，非平滑区域的权重会逐渐增大，按照图像分布特性为平滑区域和非平滑区域分配权重，解决了图像平滑区域与非平滑区域不均衡导致的特征区分度不高问题。

在实际应用中，由于噪声等因素的影响，图像重构过程中会出现噪声区域的重构误差较大的情况。在这种情况下，权重生成网络得到的权重值在该区域较大，这不仅造成生成的权重会受到噪声的干扰而出现较大的随机性，而且会导致自编码网络无法收敛。另一方面，尽管平滑区域的权重相对较少，但是仍然包含图像中的有用信息，对重构结果具有一定的影响。为了避免上述两种情况，本文在对抗网络的损失函数基础上增加了一个权重约束参数，将原来的权重替换为可以理解为图2中权重生成网络对自编码网络的影响因子，即不考虑权重生成网络，只使用自编码网络。令，新的对抗损失定义为：

图4和的关系

4 实验及结果分析

为了验证提出的基于对抗网络的WMSE的性能，在不同的测试数据集上应用不同的评测指标进行实验分析。为了保证实验结果的公平性，所有算法将在相同或者相似的条件下进行，用PSNR和SSIM评价基于自编码网络的图像重构效果；用均一性（Homogeneity score， Homo），完整性（Completeness score， Compl），调整兰德系数（Adjusted Rand Index， ARI）和调整互信息（Adjusted Mutual Information， AMI）等四个聚类指标评价自编码网络所提取特征的聚类性能。其中，Homo表示同类样本被归类到同一类的概率，Compl表示无监督聚类后每类只包含一类样本的概率，ARI表示与真实类别的相似度，AMI类似于ARI，从信息熵的角度度量相似度。

实验环境如下：CPU为主频2.66G的Intel Xeon X5550，内存256G，GPU为2块NVIDIA Tesla K80计算卡。在网络训练过程中，batchsize设置为32，迭代次数设置为100，采用Adam优化器对网络进行优化，学习速率在前80代设置为0.001，后20代设置为0.0001。

4.1 权重约束参数分析

在基于对抗网络计算加权MSE的权重过程中，优化结果与权重约束参数有关。选择coil-20数据集，分析在不同权重约束参数下自编码网络的性能变化，表2给出了相应的实验结果。由表2可以看出：

（1）对于图像重构应用，PSNR和SSIM没有随着权重约束参数的增加而提升，主要原因是随着权重约束参数的增加，非平滑区域对于图像重构质量的影响逐渐加大，训练样本越来越反映图像的真实分布特性，从而提高了自编码网络的重构性能。当平滑区域与非平滑区域权重相同时，意味着训练样本达到均衡，自编码网络的重构性能达到最大。当平滑区域权重小于非平滑区域权重时，随着权重约束参数的增大，训练样本又远离均衡，自编码网络的重构性能随着权重约束参数的增大而降低。

表2 权重网络在不同权重约束下性能

（2）对于图像聚类应用，自编码网络学习到的特征越具有区分性，聚类效果越好。一般情况下，图像非平滑区域对应的重构误差比较大，对应的特征具有较强的区分性。从图2和公式（9）可以看出，在对抗网络中，自编码网络的损失函数为，为了最小化，在重构误差大的位置放置较小的权重，由于和是反相关关系，增大权重约束参数有利于自编码网络更加关注图像中的非平滑区域，更容易学习到有区分性的特征，所以聚类指标随着权重约束参数的增加而提升。

4.2 权重生成网络结构分析

为了验证不同的权重生成网络结构对算法的影响，分别采用卷积网络（CNN）、残差CNN网络[18]（Resnet）和稠密连接网络CNN（Densenet）作为权重生成网络，权重约束参数设置为。实验结果如表3所示：随着权重网络结构的改进，基于对抗网络优化的自编码网络无论是在特征提取还是在图像重构上，都能取得明显的改进。采用Densenet网络作为对抗网络中的权重网络，能够综合不同层级特征的权重，更好地反映训练样本中不同层级数据的不均衡性。

表3 权重网络采用不同结构的性能比较

为了进一步分析基于对抗网络的WMSE的自编码网络性能，图5给出了权重生成网络得到的权重图。可以看出，权重图不仅能够表征图像中平滑区域和非平滑区域的分布情况，而且能够在一定程度上反映重构结果。例如，Baboon图像对应的权重图中的大部分区域权重较大，对应加权以后的图像重构误差就相应增大，因此整体重构结果较差，而Lena图像则与之相反。

图5 基于Densenet的权重网络生成的权重图

4.3 在不同图像数据库上的对比实验

为了验证基于对抗网络的WMSE作为自编码网络损失函数的有效性，在不同的测试数据集上进行实验分析，并与MSE和基于梯度加权的MSE等常用度量方法对比。针对自编码网络能够提取不同层级特征的特性，采用了两种对比方式：一是像素级重构误差，即在自编码网络输出的图像上选择三种指标作为损失函数，用表示以MSE为损失函数，表示基于梯度的WMSE作为损失函数，表示以基于对抗网络的WMSE作为损失函数，表示与MSE相比性能提升的百分比；二是特征级重构误差，采用文献[19]中的方法，先用VGG网络提取输入图像和重构图像在相同层级的特征图，然后分别以MSE和基于对抗网络的WMSE作为损失函数。由于基于梯度的WMSE用于度量像素级重构误差，所以不使用它度量特征级重构误差。和表示用VGG网络提取特征图，用MSE和A_MSE计算特征图之间的误差作为损失函数，表示与MSE相比性能提升的百分比。实验结果如表4-表6所示，由表4-表6可以看出：

（1）无论是在图像重构还是无监督聚类等任务上，基于对抗网络的加权均方误差A_MSE优于MSE和基于梯度的加权均方误差G_MSE。在PSNR指标上，A_MSE比MSE平均提升9.8%；在SSIM指标上平均提升10.3%；在Homo指标上平均提升6.2%。说明根据图像内容对不同位置的重构误差进行加权，能够有效提高自编码网络的性能。

（2）从重构和聚类的结果来看，特征级损失度量比像素级损失度量更具鲁棒性。无论采用哪种损失度量，A_MSE整体性能都优于MSE，说明以A_MSE作为损失度量不会受到自编码器不同级别的重构误差影响。

图6对比了采用不同损失函数的自编码网络在不同图像上的重构性能，从主观评价方面进一步验证了A_MSE度量的有效性。

图6 采用不同损失函数的自编码网络的重构性能对比

表4 coil-20数据库上的实验结果

表5 在coil-100数据库上的实验结果

表6 在OBJ101数据库上的实验结果

5 结语

自编码网络采用MSE作为损失函数，容易受到训练样本中平滑区域与非平滑区域不均衡的影响，影响了重构质量并导致不能有效提取具有区分性的特征。针对这个问题，提出了一种基于对抗网络的WMSE作为损失函数，借鉴生成对抗网络的思想，学习图像不同区域的权重。实验表明，与MSE相比，基于对抗MSE度量的自编码网络图像重构峰值信噪比（Peak Signal to Noise Ratio， PSNR）平均提升9.8%，结构相似度（Structural Similarity Index，SSIM）平均提升10.3%，聚类准确性平均提升6.2%。提出的优化算法不仅能够提升自编码网络在图像重构和聚类上的性能，而且在不同的测试数据集上都具有良好的鲁棒性。研究成果为解决样本类别不平衡问题和难例挖掘问题提供了新的思路。