基于循环卷积神经网络的图像去模糊算法

张嘉晖，沈文忠

运动模糊是图像质量中较为常见的一个问题，一般是由相机抖动和物体运动引起的。在光线较差的条件上，相机会增加曝光时间，同样会引起较大的图像降质。近年来，随着图像处理技术的迅速发展，社会各界对这一经典问题进行了大量的研究。

图像产生运动模糊这一过程在数学上可以看成清晰的图像与模糊核卷积，加上噪声，用数学模型表示为:

其中B为模糊图像，F为复原后的清晰图像，K为模糊核，N为随机噪声，⊗为卷积算子。

图像去模糊研究的重点便在于确定模糊核。去模糊方法便根据模糊核分为两类:非盲去模糊和盲去模糊。非盲去模糊是在模糊核已知的条件上进行图像复原，其算法训练时所用的图片添加了相同的模糊核，这种方法对于实际场景中的应用效果较差；盲去模糊是在模糊核未知的条件上进行图像复原，与实际场景的应用较为贴切。目前绝大多数盲去模糊算法都是根据图像的先验信息估计模糊核。早期，Levin[1]等利用一种超拉普拉斯先验建模图像的梯度来估计模糊核。Pan[2]提出了一种基于图像暗通道先验的模糊核估计方法，然而泛化能力并不理想。近年来，随着深度学习的快速发展，其强大的学习能力能够有效地解决图像修复存在的一些问题。Su[3]首先利用卷积神经网络实现端到端的视频去模糊。Xu[4]通过卷积神经网络中的非线性映射函数将图像的模糊像素映射为清晰的细节纹理信息，实现图像去模糊。但是该网络的层次较浅，在图像复原的过程中会丢失大量的细节信息，降低复原的精度。

综上所述，基于模型的图像去模糊算法精度仍需提升，模型大小也仍需优化，对于细节信息的学习能力仍需提高。因此，本文提出一种基于循环卷积网络的去模糊算法。

1 网络设计

1.1 网络整体框架

网络结构如图1所示，模糊图像输入后经由两层卷积层进行特征提取，随后进入循环模块，经6次循环后得到6个共享参数的卷积层，再经由两层卷积层进行图像修复整合，得到6个复原图像，并将其加权平均得到最终输出的清晰图像。循环模块作为图像细节信息复原的关键所在，借鉴了循环神经网络（RNN）的结构。本文受Resnet[5]启发，在输入层和整合环节之间加入了跳跃连接（skip connection），skip connection将图像特征并行排列，特征大小不变，能够有效地提高网络的非线性映射能力。

图1 网络结构图

1.2 网络参数设置

网络的特征提取模块和循环模块均由卷积层和Re－LU激活函数层构成。由于图像修复问题的特殊性，深度学习领域一般不添加池化层，池化层的添加可能会导致本就缺少细节信息的模糊输入丢失更多重要的信息。特征提取部分采用两个3×3的卷积核堆叠，这样在保证感受野的同时计算量也比较小，且具有较强的非线性映射能力。循环模块所采用的3×3卷积核会在每一次循环中扩大感受野，开始阶段感受野比较小，对于细微的纹理信息比较敏感，随着循环次数的增加，感受野逐渐变大，能够提取到输入图像中更加丰富的结构信息。由于没有池化层的存在，不需要考虑尺寸问题，循环模块所输出的6个逐渐细化的复原图像通过skip connection与输入图像直接融合做加权平均，将其作为整合模块的输入，经由两层卷积核的整合后，输出最终复原后的图像。

1.3 损失函数

图像去模糊的目标在于重建清晰的图像，使网络复原的清晰图像尽可能地与原图接近。

本网络所选取均方误差（MSE）作为损失函数，定义如上:

其中，f1(x，y)为清晰图像在（x，y）处的像素值，f(x，y)为网络输出的复原图像在（x，y）处的像素值，M和N代表图像的宽和高。

2 实验结果与分析

2.1 GOPRO数据集

GOPRO[6]数据集是目前利用深度学习进行去模糊算法研究最常用的数据集，图像数量多。GOPRO数据集由Nah建立，使用GOPRO4相机拍摄240帧/秒的视频，通过平均地合成不同数量的连续潜在帧，生成不同强度的模糊图片，该样能够高度还原真实的运动模糊。并且选取用于生成模糊图像的清晰帧序列中的中心帧作为每一个模糊图像对应的清晰图像。数据集由3214对清晰和模糊的图像组成，分辨率为1280×720。同时，由于网络的输入要求，本文将GOPRO数据集中的图片裁剪为256×256的图像块。

2.2 评价指标

图像修复的效果通常选用结构相似性（Structural Similarity，SSIM）和峰值信噪比（Peak Signal to Noise Ratio，PSNR）两项指标进行评价。

PSNR是使用最为普遍的一种图像客观评价指标，通过计算对应像素点之间的误差来评价图像的质量。

SSIM是一种衡量两幅图片相似度的指标。它分别从亮度、对比度、结构三方面度量图像相似性。

2.3 GOPRO数据集算法比较

在GOPRO数据集上，本文与集中较为常见的模糊算法进行比较，表1为不同去模糊算法在GOPRO数据集上的质量评估结果。

表1 GOPRO数据集不同算法质量评估结果

从表1中可以看出，相较于其他方法，本文的算法在PSNR和SSIM指标上都略有提升。由于网络采用循环模块，其复原能力大大提升，从而更多的细节信息被补全，去模糊效果得到了显著提升。

3 结束语

针对目前去模糊算法的一些普遍问题，本文提出了一种基于循环卷积神经网络的去模糊算法，以端到端的方式实现速度更快、精度更高的模糊图像复原。实验结果表明，本文提出的算法复原图像客观评价指标较高，细节信息抓取准确，可以恢复出较高质量的清晰图像。未来的研究工作将围绕两个方面开展:一是对网络结构进行优化改进，使评价指标得到更大的提升，二是将网络压缩成更加轻型的网络，从而使得本文提出的深度模型能够部署在计算资源有限的嵌入式设备上。