一种强真实感的图像生成算法设计与仿真

应卫强，张 帆，张玲燕

(1. 浙江大学城市学院，浙江 杭州 310015；2. 浙江大学软件学院，浙江 杭州 310027)

1 引言

图像作为信息获取的主要来源，大力推动着与其相关的识别、分割、检测、追踪等图像处理技术发展[1]，近年来，对图像的研究范围也逐渐拓展至图像生成领域。随着图像生成领域的广泛普及，基于对抗学习理念的生成式对抗网络[2]应时而生，成为人工智能领域中最具深远影响力的关键技术。该模型与传统网络模型大不相同，其生成器与判别器分别借助对方的对抗模式，强化自身的图像特征学习能力。当前，生成式对抗网络已然成为一个新兴课题。

张素素等人[3]与徐强等人[4]分别对生成式对抗网络做出了改进，前者基于注意力机制，利用局部细化生成器，取得细粒度样本，形成清晰的生成图像；后者就图像纹理复杂程度，探索循环一致损失系数对图像的影响，获取高质量的生成图像；张光华等人[5]则将生成式对抗网络应用于生成天文图像，利用神经元抛弃法与韦氏距离，优化网络与损失函数，得到适用于天文图像的生成模型。

随着现代成像技术的进步，图像模态呈多元化发展趋势。为实现跨模态图像生成，本文通过优化生成式对抗网络，构建出半监督学习模式下的跨模态图像生成方法。生成式对抗网络凭借较强的特征学习能力与表达能力，在图像生成领域表现突出，为使其更适用于生成跨模态图像，优化生成式对抗网络。半监督学习作为机器学习领域的关键技术之一，通过多个未标识信息与较少的带标识信息，即可完成学习，不仅降低对信息做标识的成本，减少人力物力，而且有助于取得更精准的目标结果，提升泛化能力；添加批量归一化处理策略，提升初始网络参数质量与模型收敛速率，避免梯度隐没；利用监督训练模式与生成器生成的伪信息训练分类器，弥补半监督学习中标识信息不充足的弊端。

2 基于半监督学习模式的生成式对抗网络

2.1 生成式对抗网络

生成式对抗网络的主要部分是生成器与判别器，前者用于学习实际信息分布，为生成结果提供分布形式；后者用于区分输入信息真伪，为从生成的伪信息中提取出真信息提供参考依据。

把从某概率分布收集到的任意噪点输入生成器，经非线性映射函数得到生成信息，将其与实际信息一同输入判别器获取几率值，该值反映了输入信息为真信息的几率，如果输入的是伪信息，则几率值取0，反之取1。

假设G、D分别表示生成式对抗网络的生成器与判别器，x是实际信息分布Pdata中的一个真信息，z是先验分布Pz中的一个噪点，期望值是E，则采用下列表达式界定生成式对抗网络的目标函数

=Ex～Pdata(x)[logD(x)]+Ez～Pz(z)[log(1-D(G(z)))]

(1)

在保持判别器D不变的情况下，采用下列损失函数表达式改进生成器G

(2)

在保持生成器G不变的情况下，采用下列损失函数表达式改进判别器D

+Ez～Pz(z)[log(1-D(G(z)))]

(3)

综上所述，推导出下列求导V(D，G)时的最佳判别器D′(x)

(4)

合并式(1)与D′(x)，通过形成的生成器目标函数，反映Pg(x)与Pdata(x)的优化目标。

2.2 半监督学习

半监督学习作为监督学习与无监督学习的学习方法之一，仅采用几个带标识信息，结合多个未标识信息，即可完成性能优化，取得更精准的目标结果，提升泛化性。

已知某概率分布形式中带标识与未标识的信息集合分别如下所示

L={(x1，y1)，(x2，y2)，…，(x|L|，y|L|)}

(5)

U={x1，x2，…，x|U|}

(6)

式中，|L|、|U|表示两个信息集合含有的信息个数。通过期望函数f：X→Y能够准确预估出信息x的标识y。

2.3 半监督生成式对抗网络

将上述生成式对抗网络与半监督学习相结合，得到图1所示的半监督学习生成式对抗网络模型框架。如果由该网络生成的图像信息属于K+1类别，则需增加判别网络至K+1维。将监督损失与无监督损失融合，得到半监督训练形式，令其为网络模型的损失函数，让监督学习对象为带标识信息，无监督学习对象为未标识信息，提升半监督的目标准度[6]。

图1 半监督学习生成式对抗网络模型

3 改进半监督学习下生成式对抗网络的跨模态图像生成

3.1 改进半监督生成式对抗网络

以取得更深层次图像特征、加快模型收敛速度为目标，在判别器与生成器中分别添加卷积神经网络[7]与反卷积神经网络[8]，并在整体结构中引入一个分类器，改进半监督学习生成式对抗网络模型，使模型更具稳定性。该模型的优化部分具体描述如下：

1)用反卷积替换生成器池化层，用全卷积替换判别器池化层；

2)用全局平均池化替换全连接层；

3)批量归一化处理对象不包含生成器输出层与判别器输入层，提升初始网络参数质量与模型收敛速率，避免梯度隐没；

4)生成器输出层为双曲正切函数，剩余各层为线性整流函数[9]，而判别器除输出层是归一化指数函数外，各网络层都采用带泄露修正线性单元函数；

5)分类器添加：该分类器在已知真信息时将生成伪标识，而生成器则在已知真标识时生成伪信息。

根据以上改进部分，利用三个网络的联合分布形式，构建出图2所示的半监督学习生成式对抗网络改进模型。该模型中的判别器具备通过分类器访问未标识信息标识预估的能力，对生成器下达强制生成命令后，即可生成有效的图像标识。

图2 半监督学习生成式对抗网络改进模型

通过下列表达式完成该网络模型的对抗目标函数界定

=E(x，y)～P(x，y)[logD(x，y)]

+αE(x，y)～Pc(x，y)[log(1-D(x，y))]

+(1-α)E(x，y)～Pg(x，y)[log(1-D(G(y，z)，y))]

(7)

式中，控制生成的常数项为α，取值范围是0～1。

基于改进半监督学习生成式对抗网络模型，以分类器与生成器的最佳平衡状态为基础，利用全变差正则化项[10]，建立如下所示的伪判别损失函数，通过监督训练模式与生成器G生成的伪信息来完成分类器D训练，以弥补半监督学习中标识信息不够充足的弊端

(8)

1)用θc、θd以及θg分别指代分类器C、判别器D以及生成器G三个网络的可训练参数，并进行合理设置；

2)采集信息(xg，yg)～Pg(x，y)、(xc，yc)～Pc(x，y)以及(xd，yd)～Pd(x，y)，信息数量各是mg、mc以及md；

3)假设梯度上升方向是Td，表达式如下所示，则以此作为判别器D的更新依据：

(9)

4)利用式(8)计算伪判别损失函数RP，交叉熵损失函数RL由下式解得

RL=E(x，y)～P(x，y)[-logPc(y|x)]

(10)

5)假定梯度下降方向为Tc，结合伪判别损失函数RP与交叉熵损失函数RL，架构出下列分类器C更新依据Tc

(11)

6)同上，架构出下列生成器G更新依据Tg

(12)

7)直到算法开始收敛或满足预设循环周期数量，停止迭代。

3.2 跨模态图像生成

改进半监督学习下生成式对抗网络的跨模态图像生成过程主要分为生成网络、分类网络以及判别网络三个阶段。各阶段的详细操作内容描述如下：

1)利用生成器的反卷积网络，上采样处理输入的任意噪点向量：在全局平均池化层中输入噪点，该噪点是从某指定分布形式中任意选取的，通过转换维度取得三维笛卡尔张量，按序展开反卷积，完成批量归一化处理，输出层的输出张量就是生成的最终图像。

2)通过由卷积神经网络构成的判别器，取得归一化种类几率：将图像样本信息输入卷积层，经卷积操作与批量归一化处理，得到图像特征，逻辑向量由全局平均池化层输出后，利用归一化指数函数获取归一化种类几率。

3)采取分类器划分图像信息标识类别：把实际信息x从P(x)内提取出来得到伪标识，近似描述条件分布形式，将分类器与生成器的伪标识输入判别器后，实现真伪辨别。

4 跨模态图像生成仿真

采用Linux操作系统，Intel core(R)i5@3.6Hz处理器，16GB内存搭建仿真环境。从sketch-celeb A数据集中随机选取多张样本图像，统一裁剪成612*612规格。针对生成式对抗网络，设定分类器等各网络的可训练参数为23、19、13，学习率是0.0004。

4.1 评估指标选取

为有效反映生成图像水平及其与草图的相似度，分别采用弗雷歇距离FID、均方根误差RMSE以及平均绝对误差MSE三个指标，评价本文方法生成的跨模态图像质量。评价指标计算公式分别如下所示

(13)

(14)

(15)

式中，Pr、Pg表示图像特征函数φ的高斯向量，μr、μg表示信息均值，ξr、ξg表示信息协方差；p表示向量u、v的维度。

4.2 跨模态图像生成效果

利用Proteus软件模拟生成跨模态图像，得到图3所示的生成效果。

图3 跨模态图像生成效果示意图

根据所示的跨模态生成效果图可以看出，改进前生成的图像存在多个模糊区域，更严重的是缺失了目标的部分重要信息；从视觉感官出发，发现改进后方法得到的生成图像更具真实感，且保留了大部分的目标特征。这是因为批量归一化处理了各隐藏层，各网络层采用了不同的函数，并通过监督训练模式与生成器生成的伪信息，完成了分类器训练，使构建的伪判别损失函数满足了散度全局最佳均衡点不受影响的假设推论，故改进后方法生成效果更佳。

4.3 跨模态图像生成指标评价结果

表1所示为改进前与改进后，弗雷歇距离、均方根误差以及平均绝对误差三个指标的实验数据。

表1 改进前与改进后各评估指标数据

根据表1中各指标的评估结果可以看出，改进后的指标数据较改进前有大幅下降，结合图像质量与各指标值之间的负相关关系可知，改进后方法由于在整体结构中引入了分类器，可在已知真信息时生成伪标识，并近似描述条件分布形式，分类图像信息标识，同时利用设计的随机梯度下降优化算法，实现了散度似然比的直接优化，基于解得的伪判别损失函数与交叉熵损失函数，将梯度的上升、下降方向作为判别器、生成器以及分类器的更新依据，故生成的图像质量较高，在跨模态图像生成领域中具有明显的突出作用。

5 结论

跨模态图像即经各项技术途径获得的图像信息，该信息呈现出相同目标的各个属性特征，其生成过程类似于图像间的相互转换。生成式对抗网络作为图像生成领域的主流手段，在该领域中取得了突出的成就与表现。为此，本文通过改进生成式对抗网络和半监督学习，构建出跨模态图像生成策略。实验结果证明，本文方法生成的图像质量较高，能够保留大量信息。接下来将与U-Net结构、注意力机制等进行有效结合作为研究重点，以获取更高的图像生成质量；应将本文方法应用于除真实人脸外的其它图像种类，拓展方法适用范围；改进模型中网络数量较多，结构相对复杂，训练用时较长，需就此展开深入研究，加快模型训练速度；在今后的工作中继续探索无监督学习下的跨模态生成效果，根据成本与用时来选取更合适的学习模式；应学习生成式对抗网络理论知识，从其稳定性方面做进一步优化，提升方法的整体性能。