基于深度细节加强网络模型的去雨方法研究

焦爽 范亚冰 孙立群 丁小龙

摘要：在有雨的天氣下，摄像机捕获的雨天图像通常成像模糊不清，能见度降低，在很大程度上干扰了计算机自动检测、识别还有目标跟踪的能力。例如，在交通事故中的责任划分和警察对犯罪分子的跟踪定位上，因为雨线对重要地理位置摄像头的干扰，导致摄像头没有办法提供清晰的图像作为证据，就会产生不良的影响。基于残差ResNet能通过改变映射范围加强深度学习、把输入分为高频细节层和基础层、通过输入的直接映射到输出加强图像特征等操作构建网络：通过频域变换来分离图像使得操作目标进一步稀疏化，把图像分成高频部分和低频部分，因为雨线几乎只存在于高频部分，所以在这里笔者只对高频部分做去除雨线的操作。笔者用压缩惩罚Squeeze-and-Excitation（SE）网络层替换掉批量归一化层（BN），把Squeeze-and-Excitation（SE）网络层加入残差网络中，这样一来可以使算法操作的图像目标值域缩小，稀疏性增强。为了验证本文方法的有效性和可行性，本文在数据集上做了大量的实验，实验结果证明了本文实现的模型去除雨线效果良好，解决了雨线残留明显或背景模糊化的不足，在实验运行速度上也超过了很多单幅图像雨线去除的算法。

关键词：干扰;深度学习;压缩惩罚网络;残差网络

中图分类号：TP311      文献标识码：A

文章编号：1009-3044（2021）35-0080-05

Research on Rain Removal Method Based on Strengthening Network Model of Deep Details

JIAO Shuang1，FAN Ya-bing2，SUN Li-qun3，DING Xiao-long4

（1.Changchun Institute of Education，Changchun 130033， China;2.Tongliao Education Enrollment Examination Management Center， Tongliao 028000， China; 3.Vitesco Automotive Changchun Co.， Ltd， Changchun 130033， China; 4.Vitesco Automotive Changchun Co.， Ltd， Changchun 130033， China）

Abstract： In rainy weather， the image captured by the camera on rainy days is usually blurred and less visible， which greatly interferes with the ability of the computer to detect， identify and track objects automatically. For example， in terms of the division of responsibility in traffic accidents and the tracking and location of criminals by the police， the interference of the rain streaks to the cameras in important geographical locations leads to the failure of the cameras to provide clear images as evidence， which will have adverse effects.  Based on the residual ResNet can strengthen the deep learning by changing the mapping range， the input is divided into high frequency detail layer and base layer， through a direct mapping of input to output to strengthen the image features such as network operating building： by frequency domain transformation to separate image makes the operation objectives further thinning， the image is divided into high frequency part and low frequency part， because of the rain streaks almost only exists in the high frequency part， so here we only to the operation of the high frequency part to remove the rain streaks. We use Squeeze-and-Excitation （SE） network layer replace batch normalized （BN）， the Squeeze-and-Excitation （SE） network layer added to the residue in the network， in this way can make the operation of image target range narrowed， sparse sexual enhancement.

Key words： interference;deep learning;squeeze-and-excitation（SE）;residual network

在天气恶劣的条件下所拍摄的视频或者图像被雨线覆盖，导致成像模糊，这不但让人们对图像的观察受到了影响，还损耗了图像信息的使用价值，对图像的研究工作带来了很多麻烦。因此需要对有雨图像进行去雨线处理，降低雨线对图像应用研究所产生的负面影响，这一重大举措提高了在恶劣条件下所拍摄图像的应用价值。

在图像分解的雨线去除方法中，Luo等[1]使用判别性稀疏编码来分离雨图像中的雨线和背景图像，但是这种方法雨线的去除效果并不是很好，而且去除雨线的图像有一定的色彩失真。Yu[2]实现了基于雨线层图像块和背景层图像块先验信息的图像雨线去除方法。该方法中的先验信息通过混合高斯模型来获得，可适应在图像中随机分布的雨线，但是主要使用方差来提取雨线图像块，不具有较高的可靠性，因此导致去除雨线的效果不理想。Kim等[3]依据雨线的方向主要都是垂直方向，而且雨滴呈现椭圆形这些特征来检测雨滴，最后通过改良的非均值滤波算法来去除雨线，但是因为雨线在图像中分布不均没有规律性，所以雨线检测的准确性不是很高，导致去除雨线后的图像依然存留大量的雨痕。QiWu等[4]通过显著视觉特征来对单幅图像中雨线进行检测，检测包括雨滴的形状、颜色和纹理等一些物理特征，再利用高斯混合模型来进一步确定雨滴的位置;然后通过图像修复[5]的方法进行雨线去除。Dereck D.Webster等[6]在此研究的基础上，通过场景隔离和图像的显著视觉特征等方法，使雨滴的位置检测十分精准。

针对有雨图像，本文实现了深度细节加强网络模型进行去雨，在深度细节加强网络模型的基础上，用压缩惩罚网络Squeeze-and-Excitation（SE）层替换掉批量归一化层（BN），把Squeeze-and-Excitation（SE）网络层加入残差网络[7-10]中，这使得在雨滴比较大和背景图像纹理信息比较多时候，去除雨纹的同时依然保留下物体的特征。

1 算法描述

1.1 HSV空间变换

在图像的去噪算法中，从颜色的角度来看，就是对一个图像的颜色，色差，颜色深度进行分析和去噪的过程。在RGB颜色模型中，三基色加色混合成全部的颜色信息。HSV模型是一种颜色模型，H通道代表色彩，S是深浅，V是明暗，图1，图2，图3，图4对比了干净图像、雨图像，在HSV模型和RGB模型中的分布直方图，观察发现，在RGB模型中，R，G，B这3个通道直方图分布规律十分相似，但是在HSV模型中，只要一个V分量就能表现出来，更值得一提的是，与RGB模型相比，HSV能直接区分出两种图像之间的色调差异还有颜色深浅的差异，所以本文直接对输入的有雨图像进行HSV空间转化。

1.2 深度细节加强网络模型的建立

初步的模型如图5所示。雨图作为输入A，干净图作为输出B。直观地可以理解为中间步骤为函数[ha]，则通过以下公式可以算得误差，F是范数的意思。

中间图像显示绝对值，以便更好地可视化：

[L=ihAi-Bi2F]                        （4）

然后发现直接在原雨图上训练的结果并不令人满意。

为了改善网络学习过程，重要的是通过压缩映射范围来减少解决方案空间[11]。我们可以将残差引入网络中来帮助学习映射，把残差当作参数层的输出，如图5所示。这种跳跃连接还可以直接在整个网络中传播无损信息，这对于估计最终的去雨图像是有用的。由于雨水往往以白色条纹的形式出现在图像中，所以[B-A]的大多数值往往为负值，因此，我们将其称为“负残差映射”（简称“负映射”）。一个包含这一思想的修正目标可以被写下来：

[L=ihAi+Ai-Bi2F]                 （5）

图6 （从左到右）直接网络，Neg映射，ResNet，ResNet + Neg映射以及提供最佳性能的最終深层细节网络

通过结合Neg-mapping和ResNet残差网络，可以使得很好地传播输入图像，并且更深的网络有助于模型的建立。我们用压缩惩罚网络Squeeze-and-Excitation（SE）[12-15]层替换掉批量归一化层（BN），把Squeeze-and-Excitation（SE）网络层加入到残差网络中。在CNN中，去雨线网络在不同雨线的方向和形状上对雨线进行去除操作，目的是让雨线在不同的通道上保持不同的分布，但是通过批量归一化层却让每一个特征层归一化且使得它们具有相同的分布，这里并不适合使用批量归一化层，所以替换掉批量归一化层，利用加入压缩惩罚网络层的改进残差网络可以放大背景细节信息，并且能够控制去雨痕迹信息，以此来提高整体的细节信息的功能。但是即使结合了这三个，发现还是有雨纹残留，于是实现了以下模型：

[A=Adetail+Abase]                                  （6）

[Abase]基础层可以通过低通滤波得到。之后细节层[Adetail=A-Abase]，在从图像中减去基础层之后，去除了背景的干扰，并且在细节层中仅存在雨条纹和对象结构。细节层比图像更稀疏，因为细节层中的大多数区域接近于零。根据所得到的结论，实现以下损失函数模型。

[L=Ni=1fAi，detail，M，q+Ai-Ai2F]                （7）

N代表样本的个数，[f]代表残差网络，M和q是需要学习的网络参数。一个基本网络块的操作可表示为：

[A0detail=A-Abase，A1detail=σSEM1∗A0detail+q1，A2ldetail=σSEM2l∗A2l-1detail+q2l，A2l+1detail=σSEM2l+1?A2ldetail+q2l+1+A2l-1detail，Aapprox=SEML∗AL-1detail+qL+A，]           （8）

A的上标代表层数。总共L层。[σ]代表激活函数（RELU），M是权重，q是偏置。

第一层卷积大小：[c∗s1∗s1∗a1]，c是图片通道数，s1是卷积核尺寸，a1是卷积核的个数，也就是生成feature maps的大小，第二层卷积大小：[a1∗s2∗s2∗a2]，a1是上一层的通道数，即深度，a2是生成下一层的深度，最后一层是：[a2∗s3∗s3∗c]，最后一层生成的是图片，所以深度变为c。

2 实验结果及分析

2.1 数据集介绍

本实验环节采用文献[1]中公开数据集进行实验。此数据集中有14000对干净/雨图。并且由14000张生成了三百万张[64∗64]的干净/雨图;剩下的4900张留作评估模型。

2.2 实验平台

为了验证本文提出方法的实时性和可靠性，本文在3.30GHz Intel的处理器、16GB RAM和Nvidia GTX 1080 显卡的PC平台上， 使用 Matlab R2016进行了大量测试。

2.3 合成雨天图像实验结果及分析

图8显示了用于测试的三幅合成雨图像的视觉比较。如第三和第四列所示，方法[1]留下显著的雨痕，方法[2]包含降雨伪影。这是因为方法[1，2]只使用低层次图像特征来去除雨线。当一个物体的方向和大小与雨带的方向和大小相似时，方法[1，2]不能有效地区分物体和雨。笔者使用SSIM、PSNR进行定量评估。如表2所示：

2.4 真实雨天图像实验结果及分析

图8和图9显示了在逼近不同目标物体的真实图像上的三个定性结果。从结果表明，基于深度细节加强网络模型的去雨算法，显示出了特别好的视觉性能。方法[1]仍然包含雨水条纹，而方法[2]则产生过度平滑的结果。因为没有无雨的真实图像作为参考，所以在这里只能展示真实数据的定性结果。

2.5 测试图像上的运行时间

与其他非深度方法相比，我们实现的基于深度细节加强网络模型去雨效果明显，在表2中，展示了在处理不同尺寸测试图像的平均运行时间，每种图像尺寸平均超过100个测试图像。方法[1，2]根据提供的源代码使用CPU实现，而我们的方法在CPU和GPU上都进行测试。由于方法[1]基于字典学习而方法[2]基于高斯混合模型学习，因此仍需要复杂的优化来对测试图像进行去除雨线，这导致了较慢的计算时间。我们的方法显著加快了图像的运行时间，因为它在网络训练后完全前馈。

2.6 网络深度与宽度对去雨效果的影响

通过适当的网络设计，可以利用更深层次的结构来提高网络的建模能力，提高去除雨线的效果。这种增加的容量有两种形式：一种是通过叠加更多的隐藏层来增加网络的深度，另一种是通过在每个隐藏层使用更多的过滤器来增加网络的宽度。在这一部分，我们测试了网络深度和广度对100幅合成雨图像的影响。

具体地说，我们对深度[L∈14，26，50]进行测试，滤波器编号[a1=a2∈16，32，64];我们在表3中显示了这些结果。很明显，与增加每层过滤器数量相比，添加更多隐藏层可获得更好的结果。因此，笔者认为通过适当的网络设计可以避免梯度消失，更深的结构可以改善建模结果。为了在性能和速度之间取得平衡，笔者在上面的实验中选择了深度[L=26]，滤波器编号[a1=a2=16]。

3 结论

本章节针对当前单幅图像去除雨线任务中存在细节严重丢失的问题，实现了一种深度细节加强网络模型进行雨线去除，通过加入Squeeze-and-Excitation（SE）网络层的改进型残差网络来放大有用的背景细节信息并抑制去除雨线的痕迹信息，从而达到加强整体细节信息的效果。最后，在数据集上与其他去除雨线算法进行实验对比，实验证明了所实现方法的有效性。

参考文献：

[1] Luo Y，Xu Y，Ji H.Removing rain from a single image via discriminative sparse coding[C]//2015 IEEE International Conference on Computer Vision （ICCV）.December 7-13，2015，Santiago，Chile.IEEE，2015：3397-3405.

[2] Li Y，Tan R T，Guo X J，et al.Rain streak removal using layer priors[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.June 27-30，2016，Las Vegas，NV，USA.IEEE，2016：2736-2744.

[3] Kim J H，Lee C，Sim J Y，et al.Single-image deraining using an adaptive nonlocal means filter[C]//2013 IEEE International Conference on Image Processing.September 15-18，2013，Melbourne，VIC，Australia.IEEE，2013：914-917.

[4] Wu Q，Zhang W D，Vijaya Kumar B V K.Raindrop detection and removal using salient visual features[C]//2012 19th IEEE International Conference on Image Processing.September 30 - October 3，2012，Orlando，FL，USA.IEEE，2012：941-944.

[5] Bertalmio M，Sapiro G，Caselles V，et al.Image inpainting[C]//Proceedings of the 27th annual conference on Computer graphics and interactive techniques - SIGGRAPH '00.Not Known.New York：ACM Press，2000：417-424.

[6] Webster D D，Breckon T P.Improved raindrop detection using combined shape and saliency descriptors with scene context isolation[C]//2015 IEEE International Conference on Image Processing （ICIP）.September 27-30，2015，Quebec City，QC，Canada.IEEE，2015：4376-4380.

[7] Wu Y H，Fang Y Z，Shang S K，et al.A novel framework for detecting social bots with deep neural networks and active learning[J].Knowledge-Based Systems，2021，211：106525.

[8] 陶施帆，李玉峰，黄煜峰，等.基于深度残差网络和注意力机制的人脸检测算法[J/OL].计算机工程：1-9[2020-12-02].https：//doi.org/10.19678/j.issn.1000-3428.0059379.

[9] 王军，赵凯，程勇.基于遮挡感知卷积神经网络的面部表情识别方法[J/OL].计算机工程：1-11[2020-12-02].https：//doi.org/10.19678/j.issn.1000-3428.0059166.

[10] 董猛，吴戈，曹洪玉，等.基于注意力残差卷积网络的视频超分辨率重构[J].长春理工大学学报（自然科学版），2020，43（1）：82-88.

[11] He K M，Zhang X Y，Ren S Q，et al.Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.June 27-30，2016，Las Vegas，NV，USA.IEEE，2016：770-778.

[12] 赖叶静，郝珊锋，黄定江.深度神经网络模型压缩方法与进展[J].华东师范大学学报（自然科学版），2020（5）：68-82.

[13] 涂云轩，冯玉田.基于多尺度残差网络的全局图像压缩感知重构[J].工业控制计算机，2020，33（7）：118-121.

[14] 冯永，张春平，强保华，等.GP-WIRGAN：梯度惩罚优化的Wasserstein圖像循环生成对抗网络模型[J].计算机学报，2020，43（2）：190-205.

[15] 焦爽.基于机器学习的图像雨线去除方法研究[D].长春：东北师范大学，2020.

【通联编辑：唐一东】