单幅图像去雨算法研究的最新进展

闫碧玉　殷雅茹　于汇欣

摘  要：在雨天所拍摄的图像不仅影响人类视觉输入和判斷，还使许多计算机视觉算法的有效性和稳定性降低，如检测、识别、跟踪等等。国内外对处理视频上的雨滴的干扰已经有了广泛而深入的研究，取得了很好的去除效果。然而在单幅图像去雨雪中，由于不能利用视频上的时域信息，单幅图像去雨研究变得非常的困难，不但在起步晚，而且效果也差。本文针对单幅图像去雨算法展开研究，阐述了去雨算法的研究，重点讲述了三种不同类型的去雨算法，分别为深度学习去雨算法、RESCAN去雨算法、深度细节网络去雨等。

关键词：图像去雨;深度学习;算法研究

1引言

在信息时代，计算机技术的发展越来越智能化。人类信息的主要来源是通过视觉和听觉，其中视觉获取的信息远远大于听觉获取的信息。通过视觉获取的信息占80%以上，而人类通过听觉获取的信息仅占10%左右。计算视觉是一种通过摄像机和计算机模拟人类视觉的计算机智能。计算机视觉广泛应用于智能交通、目标跟踪检测、远程监控、体育报道、公安、军事防御等诸多领域。然而，计算机视觉系统容易受到室外恶劣天气的影响。其主要性能是恶劣天气下采集的图像会产生干扰和降质，降低计算机视觉处理算法的性能，如目标跟踪、目标检测、图像检索等。为了提高人类的视觉效果和计算机视觉系统的性能，本文将对雨天的图像复原进行系统的阐述，特别是针对单个图像的去雨算法研究。

2图像去雨算法

由于在一幅图像中没有可用的时域信息，因此更难去除雨雪。在某些情况下，我们只能使用单个图像（例如，相机拍摄的雨水图像、从网络下载的雨水图像）。此外，在某些情况下，有必要从单个图像中删除雨水。例如，为了提高图像检索的精度，需要对图像进行预处理以去除雨水。此外，单个图像可以消除动态背景和运动对象的影响。由于雨水在空间的随机分布，使得单个图像中没有时间域的信息，这使得国内外单个图像中雨水去除的开始速度太慢，方法也很少，去除效果也比较差。

2.1深度学习去雨算法

Fu等人（2016）基于深度学习技术，提出了图像去雨算法。联合雨条检测和去除的卷积神经网络。文中首先根据雨条堆积形成的雾和不同的雨条形状和方向建模。为了解决难以区分图像的纹理和雨条，导致平滑解的问题，网络设计检测雨条的部分，用于抑制无雨区域的图像纹理被去除的问题。为了增大图像的感受野，获得图像的全局信息，网络设计了一个上下文空洞卷积网络来增大感受野，获取图像的全局信息。由于雨条的堆积，网络设计循环复原的方式，通过多次的复原，从而解决了雨条去除不彻底的问题。

2.2深度细节网络去雨算法

Yang等人（2016）提出了基于深度学习的单幅图像去雨算法，建立卷积神经网络从雨条的退化图像中复原清晰图像。文章在去除雨条时创新点主要体现在两个方面：1）提出Negative Residual Mapping（Neg-mapping），用于刻画清晰图像和退化图像间的区别，使得网络学习的过程更为简单2）将输入图像进行分解为高频成分用于图像复原。

普通的卷积神经网络设计时最小化损失函数

加入Neg-mapping后，修订的损失函数为

文中进而分别对比了普通的卷积神经网络、残差网络、加入Neg-mapping的卷积神经网络、加入Neg-mapping的残差网络和文中最终的方法在图像去雨上的实现结果。文中通过实验结果图1，经验式的给出加入Neg-map 可以有效的降低解空间，实现更好的复原效果。

2.3 RESCAN单图去雨

通过卷积神经网络以及循环神经网络的基础上，提出了一种新的神经网络架构RESCSN来处理单图雨滴。去雨问题的建模也是将问题进行分解，稍有不同的是将雨的影响进行了细分，认为R是由多种雨的纹路组成的。

文章提出了一种称REcurrentSE Context Aggregation Net（RESCAN）的框架，整个过程是多阶段的，逐步得到R。每个阶段使用一种称为SCAN的结构，这个结构主要有以下几个特点：第一是使用空洞卷积快速扩大感知野，因为在去雨中更多的上下文信息是比较关键的。第二个特点是使用SE模块，作者认为特征图的每个频道都可以看为某种Ri的表示（embedding），每个Ri都有一个对应的系数αi，通过引入SE模块，可以显式地为不同Ri赋值不同的系数。这样每个阶段都能得到某些雨的条纹，也就是说每个阶段都能去除某些雨的条纹由于一个阶段不可能将所有的雨的条纹都去除，因此需要多阶段逐步地进行，这个过程通过RNN的结构来建模。

3.结论

通过对三种去雨算法的具体综述，本文对图像去雨算法有了深入的介绍。由于篇幅有限，对于不同算法的效果还需要更进一步的验证。

参考文献

[1]  Fu X，Huang J，Zeng D，et al. Removing Rain from Single Images via a Deep Detail Network[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）. IEEE Computer Society，2017.

[2]  Cai B，Xu X，Jia K，et al. DehazeNet：An End-to-End System for Single Image Haze Removal[J]. IEEE Transactions on Image Processing，2016，25（11）：5187-5198.