基于生成对抗网络的图像清晰度增强方法

王 洋，陈朝新，张月光，郭 磊，沈 鹏

（1.河南奇测电子科技有限公司，郑州 453000；2.郑州大学，郑州 450001）

0 引言

当前在电力系统故障检测中，基于视觉的检测无人机开始逐渐替代人力，然而在无人机巡检的过程中由于相机云台的运动和周围环境的影响，导致采集的混凝土电杆现场图像质量退化，甚至由于严重模糊而使图像无法进行后续的图像识别。故提高图像质量对后续图像识别很重要。因为无人机相机焦距固定，所以本文基于相机在曝光时间内运动导致图像产生模糊的问题，提出一种对图像清晰度增强处理的方法。

在图像复原中，针对运动散焦造成的图像模糊常用的经典方法包括逆滤波算法，LR 迭代去卷积算法等，该类算法特点在于需要根据点扩散函数的模糊长度和模糊角度，可实际情况中，对这两个参数的不理想估计会造成还原效果不佳。近几年采用深度学习的图像处理方法得到广泛应用，使用深度学习可对运动模糊图像进行盲还原，其效果较为理想。生成对抗式网络（Generative Adversarial Networks，GAN）模型在人工智能领域已经成为热门方向，将GAN用于图像复原与重建方面均取得了不错的效果，利用生成对抗网络方法对由于相机高速运动产生的模糊图像复原有着极大的潜力。

1 图像清晰度增强方法

1.1 图像退化模型

图像在获取、存储及传输的过程中，由于成像设备、存储介质及拍照周围环境的影响，造成图像清晰度下降或内容丢失，图像退化模型可表示为：

式中，*表示卷积，（，）为退化后图像。（，）为散焦点扩散函数，（，）为原始图像，（，）表示噪声。

1.2 图像复原方法

传统的图像清晰度增强方法都是对模糊核进行求解，但这些方法或多或少地对模糊核做了一部分假设，在具体的现实场景中，一幅图像的模糊往往是由目标物体和相机多个因素引起的，而很多方法将运动模糊的产生仅看作由相机运动导致的，忽略掉目标物体的运动特性。故Kim等提出将一张图像进行分割再进行非均匀性去模糊的方法，这种方法适用于动态场景的去模糊。但是，该方法仍存在一些缺点，在图像中目标物体运动不连续和捕捉不到的情况，会出现比较差的结果，产生振铃效应。

近些年来，卷积神经网络已经在图像处理视觉领域大放异彩，其中在去模糊问题中有着良好的效果，但是，采用CNN 模型只适用于几种特定种类的模糊，在空间变化模糊还存在一定的限制，因此，本文将一种多尺度递归网络引入到生成器网络方法，用于动态场景去模糊问题。

1.3 生成器网络

本文生成器网络包含三层结构，分别是由粗到精，为了让每一层的图像特征利用得更加充分，网络采用逐层递进由粗到精的方式，该网络以三个不同尺寸的模糊图像作为输入，在该层网络上，输出的是与输入尺寸大小相同的图像，三个尺寸输入的分辨率分别是64×64，128×128 和256×256，每一层网络生成去模糊之后较为粗糙图像特征都会作为下一层较为精细网络的输入。第一层卷积层将输入图像处理为相应图像大小的特征映射，为了更深层次提取图像特征，整个尺度的网络包括输入块、编码块、解码块和输出块，其中每一个残差块前面都包含一个实例正则化，加速网络模型的收敛，保持图像实例之间的独立，在最后解码块的部分，会通过反卷积的方法将图像上采样到原来图像的两倍，从而作为下一层结构的输入。在每层尺度网络结束时，都会输出一张该尺度对应的清晰图像，然后通过和清晰图像进行反向传播，从而对该尺度网络参数进行优化，网络经过迭代优化，最终输出清晰图像，其结构如图1所示。

图1 生成器网络

1.4 鉴别器网络

鉴别器网络架构如图2所示。该网络一共分为输入层、卷积层和输出层三个部分。输入层主要是将生成图像和清晰图像输入；卷积层一共有9 层，每层后面都连接了Leaky ReLU 函数，使得收敛的速度更快，然后经过全连接层。最后由sigmoid 转化为二分类问题，输出对生成图像的置信度，来辨别其真实性。然后两者之间相互优化，不断更新网络参数，使生成的图像越来越清晰。

图2 鉴别器网络

1.5 损失函数

损失函数的选择对生成对抗网络性能至关重要，生成模型训练过程本质在于对损失函数的不断优化。本文采用生成对抗损失和多尺度内容损失组合的损失函数，由粗到精希望每个相应尺寸为清晰图像，对于多尺度生成对抗网络而言，文献［7］中使用损失函数，表达式为:

其中，L、S表示在k 级模型的生成图像和清晰图像。c表示通道的数量，w表示宽度，h表示高度，对其进行归一化之后用来表示在该尺度上的损失。

生成对抗损失函数定义如式（3）所示：

其中，代表生成的样本，代表对真实的样本进行判别，在训练时，生成器网络和鉴别器网络分别对损失函数进行相反的操作，不断对抗优化。通过结合多尺度的内容损失和对抗损失，总的损失函数表示如公式（4）所示:

其中，为权重系数，经过多次的试验，=1×10获得最优解。

2 算例分析

2.1 计算环境

图像增强计算环境如表1所示，在训练过程中涉及到大量的卷积运算，而图像处理单元比中央处理单元具有更大的运算能力，本文将实验放在GPU 上运行能极大地提高运算的速度和效率，缩短训练时间。

表1 实验环境

2.2 数据集及预处理

本次实验采用原始的GoPro 的数据集，它由Nah等于2017年提出。该数据集被广泛应用于图像去模糊实验中，该数据集一共由3214 对模糊-清晰图像对组成。每一对图像均是来自于不同场景1280×720 的高质量的图像，且所有的模糊图像都不知道模糊核，实验过程中生成器网络要求图像的输入大小比数据集中的图像要小，因此需要将原图像作裁剪处理。在模型训练阶段使用数据集中模糊图像作为生成器网络的输入，将生成图像与清晰图像作为图像对放入鉴别器网络判断这两张图像是否匹配。最终将模糊图像放入已经预训练好的生成器网络中输出一张清晰图像，其结果如图3所示。

图3 图像清晰度增强前后对比

2.3 图像清晰度评价结果

图像清晰度的评价目前主要包括主观评价和客观评价两种。主观评价为评价人员按照评价规则和评价尺度对图像模糊进行评分，但依靠人工观测容易受到个人主观因素的影响，且长时间的观测极易造成视觉疲劳，导致后续的评价工作质量下降；客观评价则采用量化指标对图像清晰程度进行评价，具有较高的效率和可靠性。这里使用了结构相似度测量和峰值信噪比两种客观的评价标准以及基于边缘特征的图像清晰度评价方法来比较判断图像增强后的清晰度。

由Wang 等提出的图像质量评价方法图像结构相似度，其定义为:

在图像压缩等领域中，最常使用的重建质量评价是峰值信噪比方法，它通过均方差进行定义:

则峰值信噪比的定义为:

基于边缘特征的图像清晰度评价方法是对图像进行灰度变换后定义一种利用灰度差值寻求边缘的方法。分别逐行和逐列扫描每个像素点的灰度值，当相邻灰度差值大于一定阈值的时候，即选取灰度差值大于灰度阈值附近三点，分别计算三条直线的斜率，最后求平均值，然后对整幅图像所有的灰度边缘坡度值求和sum，用同样的方法在垂直方向上求灰度边缘坡度值的和sum，最后对灰度边缘坡度值在整幅图像上求平均值，用来表征图像的模糊程度，定义为:

用以上三种客观评价方法对生成对抗网络增强前后的图像进行评价，结果如表2所示。

表2 评价结果

从表2可以看出，增强后的图像较之前的清晰度评价值均有所提升，说明生成对抗网络方法对图像的清晰度有明显增强效果。

3 结语

本文提出一种生成对抗网络和多尺度递归网络相结合的图像增强方法。该方法通过使用由粗到精的多尺度递归网络作为生成器网络，同时将损失函数由生成对抗损失和多尺度内容损失相组合，避免了生成图像的棋盘伪影现象，能较好地恢复模糊图像。计算实例结果也进一步验证了本文所采用图像增强方法的有效性。