基于改进的DeblurGAN的指针式仪表图像去模糊方法研究

承永宏 胡旭晓 王永力 丁楠楠 汪威

摘  要：针对指针式仪表图像的聚焦模糊问题，提出使用基于改进的DeblurGAN网络的图像去模糊处理方法。由于原始网络输入输出大小均为256×256，修复的图像分辨率相对较低，本文将网络作出相应调整，使其输入输出大小更改为512×512，并采集制作了模糊数据集，实验结果表明修复的图像质量得到了很大的提升。

关键词：指针式仪表;图像去模糊;改进的DeblurGAN

Abstract： To resolve the issue of blurring image of dashboard pointer of an instrument caused by camera focal length， the paper proposes an image deblurring method based on an improved DeblurGAN algorithm. Because the input and output sizes of original network are only 256×256， the resolution of restored image is low and the repair effect is poor. The study adjusts the network to change the sizes of input and output to 512×512， and generates datasets of pointer instruments. The experimental results show that the quality of the repaired image has been greatly improved.

Keywords： pointer instrument; image deblurring; improved DeblurGAN

1   引言（Introduction）

在电力系统的变电站中，大部分设备都会配备各种指针式仪表，以检测各项数据指标，保障设备稳定安全地运行。在过去，仪表数据检测记录都依靠人工去观察，检测费时费力，且长时间观察仪表读数的精度可靠性都会降低[1]。随着技术的进步，自动巡检方法开始出现在变电站中，基于视觉图像方法进行指针读数自动识别，速度和准确率都有了很大的提升。但是，在巡检机器人拍摄表盘图像时，由于无法实现对表盘的自动聚焦，导致最终获取的图像会有不同程度的模糊问题，这给后续指针智能读数带来许多困难。近年来，随着深度学习的快速发展，出现了许多基于卷积神经网络的图像去模糊处理方法，超分辨率技术[2]可以将图像中低分辨率的部分恢复出高清图像，但是训练时需要的数据集制作相对困难。Nah等人提出使用CNN网络直接修复模糊图像，取得了较好的效果[3]。Orest Kupyn等人在2018年提出的DeblurGAN网络结构简单，修复速度快，而且去模糊能力相比其他去模糊网络更加出色[4]。本文在DeblurGAN的基础上，对其网络结构进行调整，提高了模糊图像修复后的效果。

2  生成式对抗网络（Generative adversarial networks）

生成式对抗网络是由GoodFellow等在2014年提出[5]，该网络由两个相互对抗的生成器模型和鉴别器模型组成。生成模型是指我们可以根据任务、通过模型训练由输入的数据生成文字、图像、视频等数据，鉴别器模型主要用于对生成模型生成的数据与真实数据做判断，其结构图如图1所示。

生成器的目標是尽可能使生成的数据接近真实数据，从而使鉴别器无法分辨生成的数据与真实数据之间的差异;鉴别器的目标则是尽可能将真实数据与生成的数据区别开来。GAN的核心原理可以使用公式（1）表示：

式（1）中，x表示真实图片，z表示输入生成器网络（Generator， G）的噪声，而G（z）表示G网络生成的图片。D（x）表示判别器网络（Discriminator， D）判断真实图片概率，因为x就是真实的，所以对于D来说，这个值越接近1越好。而D（G（z））是D网络判断G生成的图片的是否真实的概率。

3   改进的DeblurGAN（Improved DeblurGAN）

GAN网络由于其生成的图像更加符合人类感知，近年来，研究者们在GAN的基础上提出了许多优秀的网络模型应用于图像修复、图像风格转换等领域，取得了较好的应用效果。本文研究使用的DeblurGAN主要用于解决由于相机运动导致的图像模糊问题。

3.1   DeblurGAN原理

式（2）中，IB和IS分别表示模糊图像和对应的清晰图像，符号*表示卷积运算，N表示噪声。传统去模糊问题在已知模糊核的情况下可以通过一个反卷积操作修复模糊图像。由于大量数据中，每张图像的模糊核不尽相同，加之噪声影响，该方法很难操作。而DeblurGAN网络的目标则是在没有关于模糊核的任何先验信息的情况下，将模糊图像IB作为输入，恢复出对应的清晰图像IS。在训练阶段，以成对的模糊图像和清晰作为输入，生成器网络G和鉴别器网络D以GAN对抗的方式进行训练，待训练完成后，去模糊处理的整个过程由训练后的G网络单独完成。

该网络的损失函数由两部分组成，即对抗损失LGAN和内容损失LX，其表达式如式（3）所示。

3.2   DeblurGAN的网络结构

传统提取特征的卷积层在网络深度达到一定程度之后，会出现梯度弥散等问题，ResNet网络由于存在残差连接（Skip connection），将输出表述为输入和输入的一个非线性变换的线性叠加，使得梯度弥散问题得到解决，所以能够提取到较深层次的特征。生成器网络结构中提取深度特征采用的就是ResNet网络，如图2所示，输入图像为三通道大小为256×256的RGB图像，首先经过一次卷积操作，然后下采样两次，经过九个ResBlock块操作，最后再上采样两次，经过卷积激活函数之后与输入的模糊图像加起来作为输出。

鉴别器网络结构如图3所示，其输入为256×256的三通道图像，经过五层卷积网络后，输出为一个30×30的矩阵， 代表着图像中一个比较大的感受野，相比于输出单个值的鉴别器效果更好。

3.3   网络结构的改进

由于DeblurGAN网络的输入大小为256×256， 原本数据集中图像大小约为800×900，在输入网络训练之前对数据集中图像尺寸缩放后，图像特征相对减少，像素就会相对模糊一些，因此考虑将其网络输入大小更改为512×512。在保持网络整体结构不变的前提下，分别在生成器网络的九个ResBlock结构前后各加入卷积核为3×3的卷积层、归一化层和激活层，即加深一层特征提取，但原本在ResBlock层中的特征图大小不变。在鉴别器网络（图3）的第二层后加入卷积核为4×4的卷积层、归一化层和激活层，使鉴别器的输出大小与更改网络前的大小相同均为32×32。

4   实验分析（ Experimental analysis）

4.1   数据集与训练细节

该去模糊网络需要有成对的模糊图像和清晰图像，本实验所使用的图像是通过变电站巡检机器人所拍摄，通过固定镜头方向，人为调节焦距获取不同程度的模糊图像和与之对应的清晰图像，采集到的图像有872对，在训练之前，对数据集进行增广处理，通过剪切、旋转、翻转等处理手段，使数据集扩展到2438对。并将数据集随机分为训练集和测试集，其中训练集1750对，测试集688对。

此次实验在Ubuntu 16.04操作系统下进行，处理器为Intel i7-9750H，显卡为NVIDIA  GTX1660ti，使用PyTorch框架搭建深度学习平台。训练周期预设为300，初始学习率设置为0.0001，前150个周期学习率均采用初始值，后150个周期内的学习率按线性衰减至0，参数优化选择Adam优化算法。

4.2   实验结果

去模糊效果的评价采用图像峰值信噪比PSNR和结构相似度SSIM，在测试集上的实验数据详见表1，从表中可以看出峰值信噪比在接受范围内，SSIM值较高，表明修复的图像相对较好。改进后的网络部分测试图像如图4所示，从结果图中可以看到较为模糊的表盘经过修复变得清晰了，指针与刻度较为明显，这对于后续的角度法、梯度法等[8，9]读取表盘读数有很大帮助。

5   结论（Conclusion）

图像模糊问题严重影响图像处理的结果，本文针对变电站指针式仪表的图像模糊问题，对DeblurGAN网络进行了改进，在实际采集到的数据集上进行的实验表明，其对仪表特定场景的去模糊效果较好，对于实际工程中的应用有很大的指导意义。

参考文献（References）

[1] 韩绍超，徐遵义，尹中川，等.指针式仪表自动读数识别技术的研究现状与发展[J].计算机科学，2018，45（6A）：54-57.

[2] Zhang Kai， Zuo Wangmeng， Zhang Lei. Deep Plug-and-Play Super-Resolution for Arbitrary Blur Kernels[C]. IEEE Conference on Computer Vision and Pattern Recognition， 2019： 1671-1681.

[3] Nah S， Kim T H， Lee K M. Deep Multi-scale Convolutional Neural Network for Dynamic Scene Deblurring[C]. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2017： 257-265.

[4] Orest Kupyn， Volodymyr Budzan， Mykola Mykhailych， et al. Deblurgan： Blind motion deblurring using conditional adversarial networks[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2018： 8183-8192.

[5] I. Goodfellow. Nips 2016 tutorial： Generative adversarial networks. arXiv preprint arXiv：1701.00160， 2016.

[6] 孫全，曾晓勤.基于生成对抗网络的图像修复[J].计算机科学，2017，45（12）：226-261.

[7] 唐浩漾，孙梓巍，王婧，等.基于VGG-19混合迁移学习模型的服饰图片识别[J].西安邮电大学学报，2018，23（06）：91-97.

[8] 李伟，任青青，胡艳侠，等.一种复杂指针式仪表的读数自动识别算法[J].计算机技术与发展，2017，27（3）：201-204.

[9] 佘世洲，宋凯，刘辉，等.一种电力指针式仪表示数自动识别的鲁棒方法[J].计算机技术与发展，2018，28（4）：192-195.

作者简介：

承永宏（1991-），男，硕士生.研究领域：图像处理.

胡旭晓（1965-），男，博士，教授.研究领域：图像处理，机器视觉.本文通讯作者.

王永力（1995-），男，硕士生.研究领域：图像处理.

丁楠楠（1996-），男，硕士生.研究领域：图像处理.

汪    威（1997-），男，硕士生.研究领域：图像处理.