基于方向引导的残差去雨网络

杨爱萍，张腾飞，王朝臣，邵明福，周雅然，丁学文

（1.天津大学电气自动化与信息工程学院，天津 300072；2.天津职业技术师范大学电子工程学院，天津 300222）

在降雨天气采集到的图像质量下降严重，存在纹理遮挡、对比度下降及细节丢失等问题，严重影响视觉效果，不利于图像特征提取及辨识，导致户外计算机视觉系统难以发挥效用.

近年来，卷积神经网络凭其出色的特征提取能力和强大的辨识能力被广泛用于图像去雨.Eigen等[1]首次将卷积神经网络应用于单幅图像去雨，其构造一个 3层卷积神经网络学习有雨和无雨图像间的非线性映射.Fu 等[2]提出一种深度细节网络，使用引导滤波从雨图分离出高频特征，但去雨后的图像易丢失细节信息.Zhang 等[3]提出了一种基于条件生成对抗网络的去雨方法，但去雨后的图像不够自然.Chen等[4]提出了一种基于误差检测和特征补偿的去雨方法，借鉴自动控制领域的闭环反馈思想，用潜在的高质量特征替代低质量特征，但存在雨纹残留现象.

可见，上述方法都是在单阶段或单一尺度下完成.然而，雨天图像包含雨纹形状、方向和密度信息等多样性特征，单阶段或单尺度网络去除雨纹不够彻底.为了解决雨纹残留等问题，很多学者从多尺度或多阶段出发设计网络结构用于图像去雨.Zhang等[5]基于密度感知构建出一种新的雨图成像模型，并结合扩张卷积提出一种联合雨水检测和去除的多流密集网络，该网络对暴雨情况下雨水堆积有较好的去除效果，但部分图像易出现细节模糊.Fu等[6]提出一种拉普拉斯金字塔网络捕捉多尺度下雨纹特征并逐步完成去雨.Li等[7]结合压缩激励(squeeze-andexcitation，SE)模块提出一种循环结构获取雨纹的多尺度信息，并逐步去除雨纹.Ren等[8]基于残差网络设计了一种由简单网络模型组成的多阶段去雨网络.Deng等[9]从细节修复角度设计了一种双路并行网络，分别用于去除雨纹和细节修复.Jiang等[10]对不同尺度的雨纹进行渐进式融合处理，提出一种多尺度渐进式融合网络.Wang等[11]在多尺度编解码结构基础上加入残差编码支路补充细节信息，但该网络以密集连接模块为基础构建，存在参数量大等问题.

为充分利用雨纹所蕴含的方向信息，提升网络的泛化能力，本文提出一种基于方向引导的残差去雨网络(direction-guided residual network，DGR-Net).网络以带有残差校正模块的编码-解码结构作为主干网络，可在有效利用多尺度特征的同时较好地保持图像细节.设计方向引导模块和自适应循环递归模块(adaptive cycle recursion module，ACRM)组成特征提取子网络，实现不同方向、不同感受野的特征提取和融合.为了进一步改善图像视觉效果，基于平滑扩张卷积设计颜色修正模块对复原图像进行优化.所提方法去除雨纹较彻底，色彩及细节保持较好，优于目前主流的去雨方法.

1 本文方法

本文提出基于方向引导的残差去雨网络总体结构如图1所示.网络由带有残差校正模块的编解码主干网络、基于方向引导的特征提取子网络(direction guided feature extraction subnet，DGFESubNet)以及颜色修正模块(color refine module，CRM)组成.主干网络采用具有跳跃连接的编解码框架，可实现不同尺度特征有效复用；主干网络中融入残差校正模块(residual correction module，RCM)可学习低质量特征表示到最优特征表示映射，突出图像的高频细节.特征提取子网络包括方向引导模块(direction guidance module，DGM)和自适应循环递归模块，可实现不同方向、不同感受野的雨纹特征提取和融合.另外，为了进一步改善视觉质量，修复去雨过程中损失的色彩信息，本文结合不同扩张因子的平滑扩张卷积设计颜色修正模块，对色彩进行信息补偿，使复原后的图像更加符合人眼视觉规律.

图1 方向引导的残差去雨网络Fig.1 Direction-guided residual deraining network

1.1 基于残差校正的编解码网络

常规编解码结构用于图像复原往往存在边缘模糊、细节丢失等问题，其原因在于编码器学习到的特征映射质量不高.Wang等[11]提出通过残差学习支路获取低质量表示到潜在最优表示的方法.受此启发，论文在编码-解码结构的基础上融入残差校正模块用于最优特征表示，如图1所示.主干网络由3部分组成，分别是主编码器、残差校正模块以及主解码器.

为了减少信息干扰，主编码器选用了两个卷积核为 3×3的卷积层对输入图像进行预处理，提取输入图像的浅层特征，并将卷积层的输出进行连接.为了保留足够的空间信息进行重构，在编码阶段只进行两次下采样，下采样操作通过步长为 2的残差模块完成.为了增强通道间特征相关性，在上、下采样部分的残差模块中增加SE模块.同时残差校正模块在结构上与主编码器部分保持一致.由于批归一化(batch normalization，BN)层不利于复杂雨纹特征的提取，残差块(residual block，ResBlock)去除了BN层，只包含两个卷积层进行残差连接.

在主解码器部分，网络基于普通卷积和PixelShuffle[12]实现通道间的像素重排从而得到高分辨率的特征图，进而完成上采样操作，减少因上采样造成的特征损失.最后，通过连续的 1×1卷积和 3×3卷积进行特征融合，得到融合特征图.

1.2 基于方向引导的特征提取子网络

为了挖掘不同方向和感受野的雨纹深层特征，本文构建基于方向引导的特征提取子网络，网络结构如图2所示，α为注意力图的权重因子.可将其分为两个支路，分别为方向引导模块和自适应循环递归模块.通过方向引导模块所在支路获取雨纹注意力图，通过自适应循环递归模块所在支路进行雨纹特征的提取，同时方向引导模块通过残差加权的方式对特征提取支路进行引导.

图2 方向引导的特征提取子网络Fig.2 Direction-guided feature extraction subnet

1.2.1 方向引导模块

方向引导模块以循环神经网络(recurrent neural network，RNN)[13]为基础进行设计，在 8个方向提取雨纹特征，具体结构如图3所示.模块分为两个阶段，第1阶段设计两个并行的8方向RNN支路提取不同方向的雨纹特征，同时使用通道注意力和空间注意力机制构建注意力模块获取不同方向上的特征权重，并对两条支路提取到的空间上、下文信息进行加权和通道堆叠得到更加精细的注意力图.第 2阶段对提取到的特征图进行融合处理和信息补偿，充分利用空间上、下文信息引导雨纹特征提取.

图3 方向引导模块Fig.3 Direction-guided module

1.2.2 自适应循环递归模块

自适应循环递归模块整体上采用分阶段渐进式特征提取思想，通过长短时记忆(long short-term memory，LSTM)模块进行递归操作，在不增加网络参数的前提下，挖掘不同阶段之间的深层特征和相关性.同时，该模块融入动态选择性核卷积(selective kernel convolution，SKConv)策略，实现感受野自适应调节，并结合注意力机制实现特征融合，可显著提升模块的特征提取能力，模块结构如图4所示.

图4 自适应循环递归模块Fig.4 Adaptive cycle recursion module

将模块划分为若干阶段进行特征提取，每一阶段均由基本的卷积网络组成，包括卷积层、长短时记忆模块、选择性核卷积及 ReLU激活函数等.各阶段运算过程可分别表示为

式中：t表示当前递归阶段；xt-0.5、st、z、xt分别表示图中各层输出；xt-1表示上一阶段的输出；y表示原始输入图像；st-1表示递归层上一阶段的输出；fin和 fout表示输入层和输出层运算，采用普通卷积层进行处理；frecurrent表示循环递归层，选用长短时记忆模块作循环输入；fmid表示中间处理模块，首尾两个阶段使用了选择性核卷积＋ReLU实现不同感受野的特征选择.除去首尾之外的中间阶段，则是采用了残差模块进行特征提取.最后，将方向引导模块处理得到的注意力图通过加权运算并进行残差连接，这里α设置为 0.05，实验部分针对权重因子进行了消融实验.

1.3 基于信息补偿的颜色修正模块

为了补偿在去雨过程中损失的色彩信息，设计颜色修正模块对去雨后的图像进行优化.网络模块设计采用空间金字塔池化[14](spatial pyramid pooling，SPP)结构，使用多尺度平滑扩张卷积获取形状、颜色及空间特征的多尺度信息，对去雨后的图像进行色彩补偿.平滑扩张卷积可有效解决传统池化和连续卷积造成的全局空间分辨率信息丢失问题，在不降低分辨率的情况下增加感受野.同时，平滑扩张卷积还可增加输入单元或输出单元之间的相互作用，有效消除网格效应.

颜色修正模块结构如图5所示，其包含卷积层、平滑扩张卷积支路和特征融合单元.输入端通过两个卷积层过滤干扰信息，4条设有不同扩张因子(dilating factor，DF)的平滑扩张卷积支路可提取不同尺度的特征信息，扩张因子分别设置为 1、2、4、8；然后使用特征融合单元对提取到的特征进行融合；输出端采用残差连接方式，通过学习与清晰无雨图像之间的残差对复原图像进行深层的细化.

图5 颜色修正模块Fig.5 Color refine module

1.4 损失函数

本文采用平滑L1损失、SSIM 损失和感知损失分别从逐像素重建、结构相似性保持以及伪影去除等对网络训练进行约束，使去雨图像与无雨清晰图像更为逼近.其中，原始L1损失对去雨图像和无雨图像像素值之差进行度量，这里对原始L1损失进行平滑处理，可表示为

SSIM 损失从结构相似性上约束网络训练，使复原图像在结构上逼近原始无雨图像，可以表示为

同时，为了消除图像复原过程中可能引入的伪影现象，还使用感知损失[15]约束网络训练.感知损失可衡量去雨图像和对应的清晰图像之间语义特征差异，采用预训练的 VGG-16网络输出的特征图φj(·)来计算，可表示为

总的损失函数可以表示为

式中Pλ为感知损失权重因子，实验设置为0.005.

2 实验与结果分析

2.1 实验设置及数据集

本文提出的去雨网络基于 Pytorch框架实现，操作系统为Ubuntu，通过NVIDIA GTX 1080Ti GPU加速网络训练过程.参数设置方面，batch size设置为28，每张图像随机截取的块大小 patch size设置为112×112；优化器则是选用了动量衰减指数分别为β1= 0.9、β2= 0.999的 Adam优化器；总迭代次数为800次，初始学习率设置为 0.001，分别在第 250、400、500、600、700次迭代进行学习率的衰减，每次衰减为原来的一半.

合成数据集选取广泛使用的 Rain200L[16]、Rain200H[16]、Rain800[3]以及 Rain1400[2]4 个合成数据集.真实数据集采用 SPANet[17]提供的数据集，该数据集中测试集包含有雨图像和对应的参考图像，便于计算评价指标，且场景丰富，雨纹密度多样，可以充分验证所提方法的性能.

在合成数据集和真实数据集上进行大量实验，并将提出的方法与目前的优势去雨方法在主观和客观两方面的实验效果进行对比.对比方法包括 2个分别基于编码和先验知识的传统方法(DSC[18]，GMM[19])以及 8个基于深度学习的方法(DDN[2]，JORDER[16]，DID-MDN[5]，RESCAN[7]，PReNet[8]，DRD-Net[9]，MSPFN[10]，RLNet[4]).客观评价方面，采用峰值信噪比(peak signal-to-noise ratio，PSNR)和结构相似性(structural similarity，SSIM)作为度量标准.

2.2 在合成数据集上实验

首先，在常用的 4个合成数据集上进行实验，各方法客观评指标结果如表1所示.可以看出，相较于现阶段优势的去雨方法，本文方法在 Rain200L和Rain1400数据集上取得了最优评价指标，在Rain200H数据集上取得了次高 PSNR值和 SSIM值，在Rain800数据集上取得了次高PSNR值和最高SSIM值.

表1 在合成数据集上PSNR和SSIM结果Tab.1 PSNR and SSIM results on the synthetic dataset

Rain200H数据集是 Yang等[16]提出的一个合成数据集，图像中的雨纹较为密集，具有更大的挑战性.实验中，从 Rain200H数据集中选取了 3张人物图和 3张自然景观图进行主观效果评价.为了使主观效果的对比更有说服力，选取雨纹和背景细节重合较多的图片进行实验.所对比的方法有 DDN[2]、RESCAN[7]、PReNet[8]、DRD-Net[9]、MSPFN[10].

由图6可以看出，DDN[2]方法和RESCAN[7]虽然可以去除大部分雨纹，但有明显的雨纹残留现象，且局部细节丢失严重.PReNet[8]结果中没有雨纹残留现象，但仍然有一些伪影存在，并且有背景细节丢失现象.DRD-Net[9]虽然整体视觉效果良好，但部分细节恢复不理想.MSPFN[10]存在过度去雨现象，且对面部细节恢复较差.由图6(g)可以看出，本文方法去雨较为彻底，基本没有出现伪影现象，对细节恢复效果显著，且色彩与原清晰图像最为接近.

图6 在合成数据集Rain200H上的实验结果Fig.6 Experimental results on the synthetic dataset Rain200H

为了进一步验证所提方法的鲁棒性，选取了Rain200L数据集中的 4幅图像进行了主观对比，Rain200L数据集中雨纹较为稀疏，大部分深度学习方法去雨效果较好.由图7可以看出，RESCAN[7]和MSPFN[10]方法存在部分雨纹残留，DDN[2]方法存在过度平滑问题，本文方法对于雨纹的去除及背景细节保持效果良好.

图7 在合成数据集Rain200L上的实验结果Fig.7 Experimental results on the synthetic dataset Rain200L

2.3 在真实数据集上实验

为了验证所提出方法对真实场景的适用性和有效性，本节选取了 4幅真实雨天图像进行实验，并与目前的优势方法进行比较，客观评价指标如表2所示.可以看出，本文方法在真实数据集上取得最高的SSIM 值，同时 PSNR值也接近目前最优方法，利用各方法去雨后的图像如图8所示.可以看出，其他方法能去除大部分雨水遮挡，但对于密集雨纹形成的雾纱层去除效果欠佳，同时也存在较大雨滴去除不彻底的问题.由图8(b)可以看出，DDN[2]处理的图像存在明显的雨纹残留.由图8(c)和(d)第 3张图可以看出，JORDER[16]方法和 RESCAN[7]方法存在过度去雨现象，造成部分细节模糊.由图8(f)第2和第4张图可以看出 MSPFN[10]方法去除密集雨纹的能力较弱.由图8(e)可以看出，PReNet[8]虽然可以去除大部分雨纹，但存在一定的颜色失真.由图8(g)可以看出，本文方法可较为彻底地去除大部分雨纹，同时可较好地保持图像的色彩和细节.

图8 在真实数据集上的实验结果Fig.8 Experimental results on the real dataset

表2 在真实数据集上PSNR和SSIM结果Tab.2 PSNR and SSIM results on the real dataset

2.4 消融实验

为了验证所提去雨网络每个模块的有效性，本节进行消融实验，分别针对残差校正模块、方向引导模块以及颜色修正模块进行验证.实验方案如下：①主干网络中去除残差校正模块，只使用普通的编码-解码结构作为主干网络；②不使用颜色修正模块进行色彩修正；③特征提取子网络中去除方向引导模块；④主干网络中包含残差校正模块，且使用方向引导模块引导网络进行特征提取、使用颜色修正模块对色彩信息进行修正，即本文方法.

消融实验在 Rain200H数据集上进行，分别在相同实验配置下对上述实验方案进行质量评价，各种方案下得到的PSNR值和SSIM值如表3所示.选取其中一张去雨图进行主观对比，结果如图9所示.由表3可以看出，本文方法得到了最高的 PSNR值和SSIM值.同时，由图9可以看出，方案1由于去除了残差校正模块导致学习到的特征表示质量不高，下巴和右眼处存在明显亮斑，且右眼处存在雨纹残留；方案2没有使用颜色修正模块，去雨结果图的色彩不够自然(如图9(c)中下巴周围明显偏绿)；方案 3由于没有使用方向引导模块，提取到的雨纹特征不完整，存在雨纹残留(如图9(d)中面部)，且衣服花纹存在模糊现象；可以看出，本文方法(方案4)去雨彻底，且可较好地保持图像细节，色彩更为自然.

表3 在Rain200H数据集上消融实验结果对比Tab.3 Comparison of ablation experimental results on the Rain200H dataset

图9 消融实验结果比较Fig.9 Comparison of the ablation experimental results

本文还对特征提取子网络中方向引导模块的权值因子α进行消融实验.根据经验，分别将α值设置为 0、0.02、0.05、0.10、0.20 进行对比，数据集为Rain200H，实验结果如表4所示.由客观指标数值及变化趋势可以看出，将α值设置为 0.05附近可以取得最优的去雨效果.

表4 不同α值的结果对比Tab.4 Comparison of results with different α

2.5 复杂度对比

为了验证所提方法的复杂度，本文将各主流方法的参数量和平均运行时间进行对比.选取图像尺寸均为 512×512的真实数据集作为测试集，实验结果如表5所示.可以看出，两种传统去雨方法由于只能在 CPU 运行，平均运行时间较长.DDN[2]的参数量最小且平均运行时间最短，但其网络结构过于简单，复原图像存在细节丢失和雨纹残留等问题，去雨效果较差.本文方法在保证去雨性能的前提下，没有明显的复杂度提升，与主流方法的效率相当，具有较低的复杂度和较高的实用性.

表5 参数量和运行时间对比Tab.5 Comparison of parameter numbers and average running time

3 结 语

本文针对真实世界中雨纹方向存在多样性提出了一种基于雨纹方向引导的残差去雨网络，该网络通过带有残差校正模块的编解码主干网络获取高质量的特征表示，设计含有方向引导模块的特征提取子网络以提取不同方向的雨纹特征，同时结合自适应循环递归模块实现渐进式特征提取.为了进一步优化复原图像，采用颜色修正模块增强复原后图像的细节保持度.实验结果表明，本文方法能够有效去除雨纹残留，并保持较好的色彩细节，复原图像细节丰富、颜色自然，更加符合人眼视觉规律.