基于云模型的变分自编码器数据压缩方法*

郭秋燕，胡磊，2，代劲

（1.重庆医科大学附属第一医院 信息中心，重庆 400016；2.重庆医科大学医学数据研究院，重庆 400016；3.重庆邮电大学 计算智能重庆市重点实验室，重庆 400065）

0 引言

随着图像数据分辨率的提高，数据也越来越大，因此找到一种高效的数据压缩方法对于网络传输来说至关重要。随着研究的不断深入，有了各种场景下的压缩方法。文献[1]-[3]通过字典学习和压缩感知的方法来实现数据压缩，如刘迎娜[2]采用K 奇异值分解(KSingular Value Decomposition,K-SVD)字典学习方法构建出压缩字典，实现数据的压缩；文献[4]-[6]通过特征编码的方式来完成数据特征的学习，并通过重构的方式来完成数据解压。如王迎港[4]对特征进行差分编码实现数据压缩传输；还有通过降低数据之间的耦合度来实现数据压缩，如夏信等[7]通过卷积神经网络来降低数据间的耦合度从而降低数据的传输量。另外，文献[8]通过MVC 模型来实现数据压缩，袁子越[9]等人通过知识图谱和模糊度分析的方法对数据分类，并使用空间重构方法实现数据的压缩。

随着深度学习的发展，其在数据特征学习的能力突出，擅长处理海量的数据，数据量越多模型的表征能力越强，因此海量的数据促进了深度学习的进步与发展。近年来深度学习也渐渐被用于数据解压缩任务。变分自编码器[10]作为一类重要的数据生成模型，可以完成数据的特征表征，在数据生成方面已经有较多的研究。

图像数据的特征空间是具有连续性的，各特征之间也是有差异性的，变分自编码器通过特征表征得到数据特征，将数据特征作为数据传输的对象，因此降低了数据在传输过程中的复杂度；在数据接收端再通过数据特征对数据进行生成，完成数据的传输，并且整个模型的网络结构较简单，因此数据的压缩和解压耗时短，提高了数据的压缩速率及传输速率。

本文的主要贡献为：（1）提出一种基于云模型[11]的变分自编码器先验变体模型，提高模型的表征能力；（1）提出一种新的基于生成模型的解压缩方法，降低特征耦合度，提升模型的压缩能力。

1 变分自编码和云模型概述

1.1 变分自编码器

变分自编码器（VAEs）[10]借助隐变量空间与真实数据的映射关系，构建特征空间，并在该空间中通过采样生成数据生成的样本点，样本点通过重构生成数据，通过将隐变量空间与先验分布的近似完成数据隐变量空间的构建，其次通过增加重构数据与原数据的近似完成数据维度的近似，因此使得生成数据与原数据的近似。

在图1 VAEs 的图型中，x表模示输入数据，z表示经过VAEs 编码后得到的隐变量，该过程为编码过程，可表示为识别模型qϕ(z|x)；x生成z的过程为解码过程，可表示为生成模型pθ(x|z) 。

图1 VAEs 图模型

VAEs 通过对真实样本x映射到特征空间生成隐变量z，再将隐变量z通过解码器生成重构样本x'，其中需要计算样本特征pθ(z|x')来生成重构样本，但pθ(z|x')=pθ(x'|z)pθ(z)/pθ(x')涉及复杂的边际似然概率计算，VAEs通过引入变分下界来避开难以计算的边际似然概率计算。具体地做法是：首先假设qϕ(z|x) 服从多元高斯分布，引入qϕ(z|x)来近似pθ(z|x')，通过最小化两个分布的KL 散度，来减少两者的差距。

VAEs 的最终目标为:

通过不断地减少该目标来实现数据的表征与重构数据的生成，本文利用VAEs 的该特征，通过引入高斯云模型作为近似，更高效地完成数据压缩。

1.2 云模型

云模型[11]用来刻画某个概念中的模糊性、随机性及其关联性。高斯云是众多云模型的一种，由于正态分布和高斯隶属函数的普适性，使得高斯云得到了广泛的研究与应用。高斯云的云滴分布不同于高斯分布。高斯分布生成数据时每次的方差为一个具体的固定值，而高斯云的每一个云滴生成时方差都是随机的，并且方差符合另一个高斯分布，因此可以将高斯云理解为二次连续高斯分布[12]。

2 基于VAEs 的数据压缩算法

VAEs 作为生成式模型，在完成数据特征表征的基础上实现数据的生成。但VAEs 在面对流型复杂的数据时，隐变量空间仅使用高斯分布作为唯一度量会造成VAEs 的编码器学习到的特征与真实分布存在偏差，数据表征不精准会造成模型无法精准重建，因此让正态分布作为VAEs 的先验分布有局限性。由于本文的主要目标是完成数据的解压缩，因此解压的目标是生成与原数据相同的数据。为完成VAEs 对数据的精准解压，需要寻找一种更全面、完备的衡量潜在空间的先验分布，增强VAEs 的特征表征能力。

本文为完善VAEs 在隐变量空间表征上出现的局限性，结合数据的特征并基于云模型相关理论，提出一种基于云模型的变分自编码器CMVAE 优化模型，能够满足不同数据分布的样本特征表征；另一方面增加面向重构样本的表征学习，VAEs 只对原图的隐变量特征进行学习，加入重构图的特征表征学习，并让其隐变量空间与原数据的看齐，旨在进一步减少其与原样本特征的差异。在此基础上本文提出了基于云模型的变分自编码器，其整体模型图如图2 所示。

图2 基于云模型的变分自编码器训练模型

本文使用基于高斯云模型的变分自编码器优化模型作为数据解压缩的工具，该模型的编码器Encoder 作为数据压缩的部分，数据x经过Encoder 后得到数据的表征特征Ex、En、He，由此表征特征构成数据的隐变量空间，在此空间内经过采样得到数据的样本点，隐变量作为数据的传输对象，将进入数据传输阶段。该隐变量经过CMVAE 模型的解码器Decoder 得到解码后的数据x'，此时的数据在该实验中要求与源数据差别尽量小，因此在该实验中训练整个模型时加入了重构数据的特征表征，即将数据x'经过Encoder得到Ex'、En'、He'，并且计算其与源数据的特征空间的差距，通过不断地训练网络，减少两者的差距。训练好的模型在数据解压缩的真实应用中将不再对解压后的数据进行特征表征。

本文通过控制隐变量空间中云模型的个数，来降低各特征之间的耦合度，提升存储效率，从而完成数据的压缩。同时在压缩后的特征空间内采样，将样本点通过Decoder 完成数据的重构，从而实现数据的解压。

2.1 损失函数

本文的损失函数由两项组成，其中第一项表示解压后的样本与原数据的差异，通过计算两者的均方误差来衡量两者的距离；第二项表示样本隐变量空间之间差距，即两个云模型的相似性度量。本文通过计算对称KL 散度来对两者进行逼近，该项包括两部分：一部分为原数据的分布差异，另一部分为重构数据的分布差异。

为计算两个云模型的相似性，本文利用对称KL 散度Lp[13]来完成。原样本经Encoder 后生成特征高斯云分布，此处使用C1(Ex1,En1,He1)表示，先验高斯云分布表示为C2(Ex2,En2,He2)，如果要计算两者的对称KL 散度就需要计算Lp=DJ[C1((Ex1,En1,He1)‖C2(Ex2,En2,He2)]。

C1与C2表示的云模型云滴分布之间的Lp定义如公式(2)所示：

其中，σ1=En1+3He1，σ2=En2+3He2。

同理，重构样本与原样本隐变量空间之间的差距也使用同样的方法来计算。

损失函数仅用于模型训练效果的评估，重构数据与原数据的均方误差LR（Mean Square Error，MSE）[14]计算方式如式(3)所示，其中N表述参与本次训练的图像的数量，所以本文的损失指整张图像的损失。

其中，μϕ(z)表示z的期望。

2.2 隐变量空间采样方法

经过Encoder 特征表征之后生成隐变量空间的特征向量：期望向量Ex、熵向量En 和超熵向量He。本文利用两次重参数化技巧得到最终的隐变量，第一次重参数化得到熵变量Enn=En +ε1× He，这里ε1～N(0,1)，第二次再通过重参数化技巧得到隐变量z=Ex +ε2× Enn，这里ε2～N(0,1)，经过隐变量空间采样后得到的隐变量作为传输对象进行数据传输。

3 实验分析与验证

变分自编码器通过将高斯分布作为数据的先验分布，完成数据的特征表征，即编码过程；另一方面变分自编码器的解码器将数据特征进行还原，即解码过程；该模型首先进行模型的训练，训练的误差在一定的范围，再将其用于数据的数据解压缩应用。

3.1 数据来源与实验环境

为验证本文提出的改进模型对于数据解压缩能力的有效性，在名人人脸属性数据集(CelebA)[15]上进行验证。该数据集广泛应用于训练以人脸识别相关、图像生成等为任务构建的深度神经网络。该数据集图像存在光线不均、人脸表情丰富、拍摄角度多样、人脸遮挡等情况，因此对于模型的表征能力要求高。本实验选取7 000 张大小相等的图像，其中女性与男性的图像数量相等。

本实验使用的深度学习框架为TensorFlow。由于不同的网络结构与特征维度都会影响最终的解压缩效果，本文使用卷积神经网络作为编码器的组成，反卷积神经网络作为解码器的组成，根据压缩率的不同，卷积神经网络的层数不同。

3.2 评价指标

由于该实验的主要目标为数据解压缩，对于数据压缩后的解压效果要求高，因此本文使用MSE 作为解压的评价指标，同时由于在实际应用中数据压缩比对于一个解压缩算法来说至关重要，因此本文将压缩比作为解压缩的另一个评价指标，两个指标分别从解压缩的质量和效率两个维度对该实验算法进行有效性测试。

3.3 实验验证与结果分析

本文将该算法与VAEs 进行对比，两者使用的网络结构与本文中使用的网络模型相同，因此数据压缩率是相同的，在此情况下进行生成数据的清晰度比较，以下为以MSE 为评估指标下的结果。

表1 为不同压缩率的情况下数据的解压效果。从实验所得结果中可以看出，随着特征数量的减少，数据的表征效果会提高，说明特征之间存在的耦合度较高，影响数据的解压效果；但一旦达到一定的维度时，表征效果会变差，说明模型学习到的特征不全面，会使得解压后的数据因为缺少某些特征而影响数据重构。从本文的实验中可以看出当数据压缩率为5.55%时，压缩效果是最好的，数据的特征表征效果较好，并且特征之间的耦合性低。

表1 不同压缩率的情况下数据解压效果

为了更好地展示本模型的解压缩效果，本文从可视化的角度出发，随机抽取压缩率为5.55%时的压缩结果来进行展示，如图3 所示。本文从可视化的结果展示中可以看出，本文提出的模型GCMVAE 的生成效果比较好，人物的特征明显，背景清晰。

4 结论

本文从数据表征出发，利用二阶高斯云模型与变分自编码器进行结合，完成隐空间与真实数据的映射；另一方面通过改变隐空间的维度与个数降低特征的纠缠关系，完成数据特征的高质量表征，从而实现数据的压缩。通过对比实验，得到最适合的特征维度，并通过变分自编码器的生成，完成数据的解压。本文通过实验验证了该压缩方法的正确性和有效性，为数据压缩提供了一种思路。