联合形态学滤波和卷积稀疏编码的图像去雨
2022-05-23黄淑英许亚婷杨勇管巨伟
黄淑英，许亚婷，杨勇*，管巨伟
1.天津工业大学计算机科学与技术学院，天津 300387；2.江西财经大学软件与物联网工程学院，南昌 330032；3.江西财经大学信息管理学院，南昌 330032
0 引 言
由于雨天环境的干扰，特别是在大雨、暴雨等恶劣情况下，户外拍摄的图像或视频的场景信息会受到雨水的严重干扰，极大影响了室外机器视觉任务的精确性，如图像分割、目标识别和目标跟踪等。这些任务对后续的视频监控、行人追踪、自动驾驶以及遥感影像中的地物检测具有十分重要的影响(Yang等，2021)。如果前期获取的图像质量不理想，则会导致这些任务的实现相当困难。因此，如何有效地改善雨天场景中拍摄图像的质量，恢复图像清晰的细节信息，是图像去雨技术研究的目的所在。
图像去雨技术是图像重建中的一个重要分支(Wang等，2020a)，该技术作为一种有效的图像预处理手段，受到国内外学者的广泛关注。从21世纪初至今，各国学者对图像去雨算法展开了大量研究，并取得了许多有效的研究成果，相关算法主要分为两大类：视频图像去雨算法(Garg和Nayar，2004，2005；Tripathi和Mukhopadhyay，2013；Jiang等，2019)和单幅图像去雨算法(Kang等，2012；Gu等，2017；Wang等，2020a)。单幅图像去雨相比于视频图像去雨的研究起步较晚，由于缺乏可利用的相关帧信息，导致难以获得满意的去雨结果，因此单幅图像去雨的算法研究更具挑战性，也是目前的研究热点。现有的单幅图像去雨方法大致可以分为3类：基于图像分解的去雨方法，基于滤波的去雨方法和基于深度学习的去雨方法。
基于图像分解的去雨方法是针对有雨图像的基本成像模型(I=IB+IR，其中I是有雨图像，IB是背景层，IR是雨层)，利用图像的内在结构对图像进行分解来获得图像的无雨层IB。早在2012年，Kang等人(2012)提出一种基于图像分解的单图像雨线自动去除方法——形态学成分分析(morphological component analysis, MAC)。该方法首先利用双边滤波器将有雨图像分解为高频成分和低频成分，然后利用字典学习及稀疏编码的方法将高频成分分解为“雨分量”和“无雨分量”来提取雨层信息。然而，该方法对高频成分分解时构建的雨字典不能保证雨纹分类的准确性，导致重构的去雨图像效果较差，尤其对结构复杂的图像处理效果不理想。Chen等人(2014)将雨水去除当做一个基于稀疏表示的图像分解问题，使用引导滤波器将输入的彩色图像分解为低频成分和高频成分，提出一种基于单色图像的雨水去除框架。该框架通过字典学习和稀疏编码方法将高频成分分解为雨分量和非雨分量，来实现雨带去除。但该模型的约束力较差，仍然存在雨带去除不完整的问题。Luo等人(2015)基于有雨图像的非线性生成模型，提出一种基于字典学习的单幅图像去雨算法。该方法利用判别稀疏编码将雨层和无雨层的结构从非线性复合结构中分离出来，但去雨后的图像存在明显的颜色失真。Li等人(2016)提出一种基于层先验的去雨方法，其中对背景层和雨层施加的先验约束都是由高斯混合模型从图像块中学习得到的，可以适应各种背景层以及雨纹的形状。该方法虽然能够提高去雨图像整体的可视效果，但会导致背景图像平滑，丢失部分纹理细节。Gu等人(2017)提出一种基于联合卷积分析与合成稀疏表示模型(joint convolutional analysis and synthesis spare representation, JCAS)的单幅图像分离方法。在JCAS中，将单幅图像分解成两层，一层由分析稀疏表示(analytical sparse representation, ASR)来近似表示图像的大尺度结构，另一层由合成稀疏表示(synthetic sparse representation, SSR)来表示图像的细尺度纹理。ASR和SSR的互补特性使JCAS能够有效地提取图像纹理层，而不需要对背景层进行过度平滑。该方法获得了较高的定量指标及较好的视觉效果。Wang等人(2017)提出一种图像分层的雨检测方法，首先利用雨检测矩阵和引导滤波方法将雨图分解为高频层和低频层，接着对高频分量进行字典学习，利用雨纹的颜色方向和结构信息对高频层分离，分离出高频成分中的动态分量和非动态分量，最后将低频成分和非动态分量融合，得到干净无雨图像。随后，Wang等人(2020b)又提出一种基于线性模型的雨层求解方法，该方法通过推导证明雨层是一种加性噪声，并利用单幅图像上所有雨滴的场景曝光时间相同的特点，通过训练局部线性模型的参数求解出全局的雨层参数。但该方法获得的去雨图像整体视觉效果较差，在雨检测过程中会存在明显的误差。
基于滤波的图像去雨方法针对有雨图像中雨纹的结构特点，选择不同的滤波方法来实现雨纹的去除。Xu等人(2012a)提出一种基于引导滤波的图像去雨算法，其认为雨纹对RGB三通道的影响几乎相等，通过构建一幅引导图像对3个通道分别进行引导滤波，得到最后的无雨图像。随后，Xu等人(2012b)又对该方法进行了改进，利用雨纹像素点比周围像素点更亮的特点来精细化引导图像，以获得更好的去雨结果。该方法计算效率高、实时性好，但由于多次重复使用引导滤波导致去雨结果会丢失大量的边缘细节，同时在重构过程中运用简单的加权算法使重构的图像高频不准确。Zheng等人(2013)提出一种利用单幅图像的低频成分进行雨雪去除的新方法，该方法基于背景边缘与雨滴或雪的结构区别，将低频成分作为引导图像，来滤波图像的高频部分，得到高频部分的非雨雪分量，再加入低频部分作为去除雨雪后的图像。Ding等人(2016)提出一种基于引导l0平滑滤波器的去雨方法，该方法基于l0梯度极小化，设计了一种引导l0平滑滤波器，将有雨图像和其对应的低频作为平滑滤波器的输入，以获得粗略的去雨结果，然后通过对粗略的结果与原始有雨图像之间进行最小化运算，得到细化的无雨图像。该方法恢复出的无雨图像较为清晰，但仍会保留一些雨痕，在去雨图像的视觉效果方面仍有较大的提升空间。
随着深度学习的快速发展，越来越多的研究者将其应用到图像去雨领域。Fu等人(2017)最先引入深度检测网络，提出一种基于图像域先验的去雨深度细节网络(即DetailNet)。Zhang和Patel(2018)提出一种基于密度感知的多流密集网络用于单幅图像去雨。该方法首先由残差感知分类器利用雨图中的残差分量自动确定雨密度信息，然后根据估计的雨密度标签有效地去除相应的雨条纹。Fu等人(2020)提出一种轻量级的金字塔网络(lightweight pyramid network, LPNet)，不仅可以更快地获得无雨图像，同时也大大减少了模型所需的存储空间。Wei等人(2019)提出一种利用真实有雨图像训练半监督学习的网络结构(semi-supervised transfer learning, SSTL)，将输入有雨图像和预期网络输出图像之间的残差看做混合高斯分布来实现。这种网络结构解决了训练样本不足和偏置监督样本的问题。虽然基于深度学习的方法已经取得了较好结果，但是由于缺乏真实雨图像的数据集来训练网络，致使目前大部分方法对真实雨图像并不能达到很好的去雨效果。
传统的图像去雨方法能够根据雨图像的成像原理，充分利用雨图像所含有的结构信息，如雨纹的方向、形态结构和颜色等方面的先验信息来去除雨噪声，从而获得无雨的背景层。然而，如果对图像结构的先验信息考虑不完全，则会导致雨纹的信息检测不完整，使去雨后的图像仍残留雨痕。因此，本文针对雨纹信息去除不彻底及纹理细节丢失的问题，提出一种联合自适应形态学滤波和多尺度卷积稀疏编码(multi-scale convolution sparse coding, MS-CSC)的单幅图像去雨方法。1)该方法通过考虑雨纹的结构特点，提出一种自适应多尺度形态学滤波方法滤除雨纹信息，来获得图像低频分量，并保留更多的图像纹理信息；2)利用可控滤波全变分(steerable total variation，STV)正则化方法对低频分量进行边缘纹理增强，并利用有雨图像减去低频分量获得包含雨纹信息的高频分量；3)考虑雨纹的方向性特点，针对高频分量提出一种MS-CSC方法来准确地检测雨纹信息，并通过构建一种方向梯度先验项来约束雨纹结构，实现更精细的高频分量重构，即获得雨层；4)将输入的有雨图像减去重构的雨层，得到无雨图像。
1 相关原理
1.1 STV模型
可控滤波器(steerable filter)是由Freeman和Adelson(1991)提出的由多个基滤波函数线性组合构建的方向性滤波器，可通过控制基函数的组合确定滤波器的滤波方向。全变分(total variation，TV)模型由Rudin等人(1992)提出，在图像去噪的同时能较好地保留图像的边缘信息。Zhang等人(2014)结合可控方向滤波器对纹理方向的良好检测性能及TV模型去噪保边的优点，构建了一个可控滤波器引导的全变分模型，即STV模型。该模型利用可控滤波器设计了一个指数函数引导TV模型的扩散系数。STV模型为
(1)
(2)
由于归一化能量的取值范围是(0,1)，因此约束函数p(s)在边缘区域内的取值范围是(2,1)，而且单调递减。所以STV模型可根据图像边缘自适应地确定p(s)的权重，在保留边缘和细节的同时防止阶梯效应的产生。对式(1)采用快速梯度下降法进行求解，即
(3)
STV模型比TV模型具有自适应的边缘检测能力，不仅能很好地保留图像的边缘和细节，同时能避免图像的阶梯效应。
1.2 卷积稀疏编码模型
图像的稀疏表示源于高效神经元编码的假设，人类视觉系统对外界输入刺激采用低能量代价信息处理策略，这种策略即为稀疏编码(sparse coding, SC)(Jiang等，2011；Bristow等，2013)。简单来说，SC就是由一组基向量表示的大量样本的线性组合，其模型的一般形式为
(4)
式中，y是待处理的数据，d是待估计的稀疏向量，λ表示正则化参数，k(1≤k≤2)是稀疏测度，稀疏表示的关键是找到信号稀疏表示的字典，即F。在这个过程中，传统的字典需要训练多个冗余字典来表示相同的特征，而CSC可以使用一个卷积核来表示图像任意位置的某个几何结构。每个数据样本可以由其对应的一组卷积滤波器的总和来表示。
给定样本数据{x1,…,xn}∈RP，P表示矩阵的维度，CSC学习一个移不变字典D∈RM×K，其中D(:,k)表示第k个滤波器，每个样本xi(i∈(1,…,N))均被编码为字典D(:,k)和稀疏系数Zi∈RP×K的卷积，字典和编码通过优化求解，即
(5)
式中，T={D:‖D(:,k)‖2≤1,∀k=1,…,K}保证了滤波器的归一化，β是正则化稀疏系数，用来控制Zi的稀疏性，⊗表示卷积操作。可以通过交换乘子法(alternating direction method of multipliers, ADMM)(Wang等，2018)来求解该公式。本文采用CSC的方法来重构雨层信息。
2 本文方法
针对现有去雨方法中存在的雨纹信息检测不精确及去雨结果中细节信息丢失的问题，本文提出一种联合自适应形态学滤波和MS-CSC的单幅图像去雨算法。其具体流程如图1所示，下面详细介绍该流程中的核心算法。
图1 本文去雨流程图
2.1 多尺度自适应形态学滤波
目前传统的单幅图像去雨方法大多采用图像滤波方式来实现图像的高频和低频分量的分解，主要滤波方法有：中值滤波、双边滤波和引导滤波等。对有雨图像的高低频分量的分离是为了获得图像中的雨纹信息，同时还要尽可能地将图像自身的边缘结构保留在低频成分中。然而，目前使用的滤波方法很难分离出干净的无雨低频分量，特别是对雨纹较多图像的分离，效果更不理想。针对此问题，本文将雨纹看做是一种特殊的噪声，基于雨纹的结构特点，提出一种多尺度自适应形态学滤波方法来分离图像的低频分量和高频分量。该方法首先根据雨纹的结构存在宽度和长度的多样性，利用形态学中的膨胀运算构建一组多尺度的结构元算子来滤除图像中的雨纹信息。形态学滤波着重研究图像几何结构的非线性滤波方法，其用到的一些计算可参考文献(周琳娜 等，2008；雷涛 等，2011；焦姣和吴玲达，2019)。然后，为了控制形态学滤波的强度，避免滤除过多的图像自身纹理信息，提出利用小波滤波结果与噪声图像的信噪比来控制形态学滤波的结果，从而初步分解得到包含更少雨纹信息的低频分量。多尺度自适应形态学滤波过程如图2所示。
图2 自适应形态学滤波的去噪流程图
形态学滤波的结果受结构元算子的形状和尺寸影响，算子的尺寸越小，对于大的目标噪声去除效果越差。有雨图像中雨纹一般呈现密集且尺寸不同的椭圆或线形形状，因此本文构造一组多尺度结构元算子来滤除雨纹。首先定义一个基准结构元B作为初级尺度的算子，则i级尺度的结构元Bi可以由基准结构元B膨胀得到；然后用每一级尺度的算子对有雨图像进行滤波；最后将多个尺度的滤波结果进行合成获得初步的低频分量。多尺度形态滤波的过程可表示为
(6)
式中，I表示输入的有雨图像，Bi是通过一组基准的结构元膨胀得到的第i个尺度结构元算子，Wi表示权重参数的设置，“∘”表示对图像I先腐蚀后膨胀的开运算符,⊕表示膨胀运算，n为结构元的个数，ILL是获得的低频成分。
其中，权重Wi计算为
(7)
式中，SBi表示结构元Bi的尺寸大小。
本文提出的多尺度自适应形态学滤波的具体实现如下：1)初始化一个3×3大小的结构元算子B，通过引入的小波滤波器去噪获得一个信噪比PSNR0作为一个基准结果。2)对有雨图像进行滤波，滤波结果与有雨图像求取一个信噪比PSNR，并将其与PSNR0进行比较，来抑制形态学滤波，避免形态学滤波除掉过多的纹理结构；如果PSNR0
为了验证提出的多尺度自适应形态学滤波方法的有效性，本文将分离的低频分量与现有的图像分解方法得到的结果进行了比较，如中值滤波、小波滤波、双边滤波器和引导滤波，如图3所示。从图中可以看到，中值滤波和双边滤波得到的低频分量中仍保留有大量的雨纹信息，引导滤波和小波滤波在滤除掉雨纹的同时也丢失了大量图像自身的纹理信息。本文方法很好地滤除掉了图像中的雨纹信息，并保留了更丰富的图像自身纹理结构。因此，本文方法能够更好地分离有雨图像的低频分量。
图3 各种滤波方法的实验结果
2.2 低频分量的保边正则化
虽然上述利用多尺度自适应形态学滤波方法得到的低频分量效果优于其他现有的滤波方法，但由于在结构设置上滤波的强度较大，容易导致图像目标区域边缘细节的丢失和模糊，这也是现有滤波方法普遍存在的问题。图像去雨中希望提取的低频分量能尽可能地保留清晰的图像纹理信息。STV模型具有自适应的边缘检测能力，不仅能很好地保留图像的边缘和细节，同时能避免图像的阶梯效应。因此，本文在自适应形态学滤波方法之后设计STV正则化的方法进一步增强边缘纹理，其模型定义为
(8)
式中，IL表示STV模型的输出结果，其中相关函数选择和求解采用式(3)的梯度下降法。
利用式(8)，该方法首先针对分离出的初始低频分量估计图ILL，利用可控滤波模型在多个方向上判断图像纹理强度，强度最大方向即为纹理的主方向；然后在主方向上利用TV模型检测图像的边缘纹理；最后利用保边项正则化获得边缘增强的低频成分IL。图4是对图3(f)进行边缘增强的结果，图4(a)(b)分别显示检测到的保边项信息和增强后的低频分量。通过实验可以观察到，与形态学滤波后的结果图3(f)相比，利用保边正则项可恢复出边缘更清晰的低频分量。
图4 STV正则化边缘增强结果
在上述分离出的低频分量基础上，利用有雨图像减去低频分量即可获得包含雨纹信息的高频分量为
IH=I-IL
(9)
2.3 基于MS-CSC的高频分离
通过上述分解获得的高频细节仍然存在背景层的纹理信息，如果直接将该高频分量作为雨层，会导致去雨结果中丢失掉部分细节信息。因此，为了获得良好的去雨结果，需要去除高频分量中的非雨纹信息。考虑到CSC方法可以使用一个卷积核来表示图像任意位置的某个几何结构，因此本文针对雨纹的尺度多样性特点，构建一种多尺度字典的CSC方法来重构高频分量，减少高频分量中的非雨纹信息，获得更精确的雨层。在该过程中，为了更好地检测雨纹信息，根据对雨纹结构的分析，构建两个方向的梯度约束项来约束雨层的求解。
2.3.1 MS-CSC模型的构建
要构建MS-CSC模型中的梯度约束项，需要先根据有雨图像和无雨图像的水平x方向和垂直y方向的梯度信息变化，来分析雨纹的结构特征，如图5所示。为了便于观察，本文选择了图像中天空平滑区域进行放大，从放大区域可以很明显地观察到，无雨图像的放大区域比较光滑，说明该区域纹理比较少；有雨图像的放大区域的梯度信息更丰富，x方向梯度图的梯度值比较大，说明雨纹的主方向是垂直地面的方向，即y方向。但由于受环境风力和气压的影响，雨下落方向通常会偏离其主方向，同样体现在y方向的梯度值增大。图5(d)梯度图说明水平方向也存在部分雨纹信息。
图5 图像不同方向的梯度图
根据对图5的分析，可以看出雨纹的主方向是在y方向上，x方向上存在少量的雨纹信息，即x方向存在主要的雨纹梯度信息，y方向上的梯度信息具有稀疏性。因此，利用高频分量与重构雨层的差值来构建x方向上雨纹梯度的稀疏性，定义x方向的梯度稀疏项，以保证主方向y方向上的雨纹重构；并直接构建雨层在y方向上的梯度稀疏项来约束x方向上的雨纹信息。结合CSC和构建的两个梯度约束项，所提出的方向梯度正则化的MS-CSC模型定义为
(10)
利用MS-CSC模型式(10)进行雨层重构的过程如下:首先利用初始提取的高频分量来初始化多尺度字典，并对高频分量进行稀疏编码；然后利用迭代求解的方法来更新字典及其对应的稀疏系数；最后利用求解的字典和稀疏系数进行高频分量的重构，即重构雨层IR为
(11)
最终的去雨结果IB(即背景层)可以利用原始有雨图像减去雨层来获得，可表示为
IB=I-IR
(12)
2.3.2 多尺度字典初始化
根据图像场景中雨线尺寸的多样性特点，利用不同字典的权重分布表征不同尺寸的雨纹信息，通过构建一种多尺度的字典来对雨层进行编码。为了使初始的字典权重更精确，采用初始的高频分量来初始化多尺度字典，其过程如下：
1)定义4个字典模板，尺寸分别为15×15,11×11,7×7,3×3；
2)将输入的高频分量IH划分为15×15的小块，移动步长为1，再将得到的每个小块中的灰度值减去该小块的平均灰度值，得到多个差值块；
3)将所有的块按列展开成列向量，并将每个列向量乘以其对应的转置向量，得到一个225×225的矩阵；
4)对步骤3)得到的矩阵进行奇异值分解，用分解出的U分量随机初始化字典。随机初始化的字典像素值必须符合雨纹像素的非负特性，该值在图像中通常具有最亮强度的特点，因此本文提取了4组具有该特征的向量作为编码高频分量的初始字典，并将其导入字典的模板中，使用向量化矩阵来表示字典。上述多尺度字典初始化的具体过程如图6所示。
图6 多尺度字典初始化
2.3.3 模型的优化求解
利用上述初始化的多尺度字典即可对初始高频分量进行稀疏编码，接下来，可利用迭代求解的方法进一步求解模型式(10)，获得更精确字典fR, i和系数di来重构最后的雨层。为了方便求解模型式(10)中的变量fR,i和di，本文先将模型改写为向量的形式
(13)
式中，FR,i是fR,i的块循环字典变量，di和h分别是D和IH的向量形式，接下来引入一组辅助变量F=[FR1,FR2,…,FRM]和D=[d1,d2,…,dM]T，则式(13)的优化问题就转变为
(14)
L2(F,D,A,p1,p2)=
(15)
式中，〈·〉为内积运算。
针对式(15)，使用ADMM算法，并变换到傅里叶域中以提高计算效率。则各变量的解为
(16)
式中，Sλ(u)=sign(u)⊙max(|u|-λ)。这里D的求解是一个难优化的问题，因此本文只考虑保真项中的字典D和稀疏正则项，将式(15)中关于D的部分用范数的形式表达
(17)
对于式(17)，本文采用lasso(Tibshirani等，2011)回归求解，首先引入一组中间变量
(18)
式中，c是一个常量，将关于D的优化问题转换为
(19)
接下来,关于D的优化本文可以通过软阈值算法对Z优化求解得到
(20)
最后，本文通过模型的优化求解，获得最终的背景层IB，整个求解过程如算法1所示。
算法1 自适应形态学滤波和MS-CSC的单幅图像去雨算法。
输入：一幅有雨图像I和正则化参数；
输出：背景层(无雨图像)IB和雨层IR
1)利用式(6)分解有雨图像，获得初始的低频分量；
2)利用式(8)对低频分量进行边缘增强，并利用式(9)获得包含雨纹信息的高频分量；
3)对高频分量构建MS-CSC模型，精细化雨层：
(1)初始化多尺度字典；
(2)对MS-CSC模型式(10)进行循环求解更新雨层和字典，迭代次数从j=1,…,J：
使用式(16)更新卷积稀疏编码的字典F；
通过式(20)更新稀疏编码的稀疏系数D；
通过式(11)获得重构的雨层IR。
4)利用式(12)，用原始的有雨图像减去分离后的雨层IR得到最终的无雨图像IB。
3 实验结果及分析
3.1 实验数据与实验环境
为了验证本文提出的图像去雨方法的有效性，本文对比了近些年的一些主流的去雨方法，其中包括3种传统的方法和3种深度学习的方法：判别稀疏编码的方法(discriminative sparse coding, DSC)(Luo等，2015)、高斯混合模型的方法(Gaussian mixture model, GMM)(Li等，2016)、DetailNet网络(Fu等，2017)、LPNet网络(Fu等，2020)和SSTL(semi-supervised transfer learning)(Wei等，2019)。在真实数据集的实验中，本文还增加了JCAS方法(Gu等，2017)。为了进一步证明本文方法的泛化性，本文在实验中选取了11幅图像的实验结果来展示各种方法的性能，选取的有雨图像如图7所示。
图7 实验中使用的11幅测试图像
本文使用MATLAB 2018a在Intel(R)Core(TM)i5-4210 m@2.60 GHz和64位的Windows10操作系统上来测试DSC、GMM和JCAS模型，3个深度网络模型(DetailNet、LPNet和SSTL)是在Pytorch上实现的，并在NVDIA GTX 1080Ti GPU上进行训练。
3.2 图像去雨质量评价
为了更好地比较各种方法的有效性，本文从主观和客观两个方面来评价去雨图像的质量。客观评价采用峰值信噪比(peak signal-to-noise ratio, PSNR)和结构相似度(structural similarity, SSIM)两种指标。
3.2.1 峰值信噪比
峰值信噪比用来衡量图像的失真程度，其数值越大，表示图像与参考图像相比失真越小。该指标的数学计算式为
(21)
式中，MAXI为图像中像素的最大值，如果图像像素值为T位二进制数，则MAXI=2T-1。MSE为图像的均方误差，可以定义为
(22)
式中，I和K分别表示原始清晰图像和对应的被处理图像，m和n分别表示图像的长和宽。
3.2.2 结构相似度指标
结构相似度(SSIM)指标是一种结合人眼视觉特性对图像质量进行评估的指标。该指标主要利用亮度、对比度以及结构信息3个方面来衡量图像的失真程度，其数值越大，表示图像的失真程度越低，两幅图像的SSIM数学计算为
(23)
3.3 图像去雨结果比较
本节对几种主流的去雨方法和提出的方法分别在模拟数据集和真实数据集上进行实验，并利用客观指标和主观视觉效果来分析各种去雨方法的结果验证各种方法的性能。最后，本文对传统算法的耗时也进行了对比，从而进一步验证本文算法的优越性。
3.3.1 模拟图像对比实验
本文选取了图6中的11幅模拟的有雨图像来验证各种方法的去雨效果，每种方法获得的去雨结果的PSNR和SSIM值均列于表1中。其中指标最大值用加粗字体显示，排名第2的指标用下划线标出。从表中可以观察到，本文方法在大多数数据上获得了最优指标，少量图像上指标排名第2，并且整体的指标平均值也高于其他算法。深度学习的DetailNet方法有少数指标高于本文方法，但在某些图像上却获得了极低的指标，例如在Image1上获得的指标只有19.45/0.838 9，远低于其他方法的指标，这说明该网络的泛化性还有待于提高。
表1 不同去雨方法得到的无雨图像的PSNR(/dB)/SSIM结果
在主观方面，本文选取了两幅模拟图像来展示各种方法的去雨结果，如图8所示。从图中及放大区域可以看出，DSC方法在有雨的像素位置，去雨后的痕迹明显，即图像中出现像素缺失的情况，视觉效果较差，同时色彩更亮，也存在轻微的边缘模糊现象；GMM方法获得的去雨图像丢失了部分背景层的细节，导致图像整体比较平滑，细节模糊严重，并且仍有明显的雨滴残留；DetailNet方法虽然在视觉效果上较好，但是去雨后的图像整体亮度被增强，与原始的图像相比存在明显的色差；LPNet方法雨纹去除比较干净，但同样存在图像偏色以及边缘纹理丢失的问题；SSTL方法不能很好地去除雨痕，视觉效果较差。而本文提出的去雨方法获得的结果在视觉上得到了明显的改善，在很好地去除雨纹的同时保留了更多的边缘纹理，结果也更接近真实无雨图像。
图8 模拟图像去雨结果比较
3.3.2 真实图像对比实验
为了验证本文方法在实际应用中的有效性，本文选取了两幅真实的有雨图像来比较各种方法的去雨效果，如图9所示。为了便于观察，本文用红色方框和蓝色方框选取了部分观察区域。从第1幅图的红色方框中可以观察到，本实验中比较的3种传统的去雨方法和SSTL方法并不能很好地去除雨纹，DetailNet和LPNet两种深度学习的方法和本文方法都能很好地去除雨纹；但从蓝色方框中可以观察到，这两种深度学习方法的结果中的两个柱形目标处出现了模糊，而本文方法得到的边缘更加清晰，细节保留更完整，这说明深度学习的方法获得的结果中存在边缘纹理丢失的情况。
图9 真实图像去雨结果比较
第2幅图像雨量较少，在放大区域中，可以明显地看出，所对比的方法获得的结果中仍然能观察到雨纹的残留，而本文方法去除雨纹更干净，保留了更多的细节。因此，从实验结果可以看出本文方法针对真实的有雨图像能获得更好的去雨结果。
3.4 算法耗时分析
由于深度学习需要大量的样本来训练模型，在训练好的模型上深度学习方法在时间效率上有很大的优势。但目前深度学习方法的样本还只是通过人为加入雨层来获得，很难获取真实有雨图像的数据集来实现模型的训练，泛化性还有待于提高。因此，本文只比较了几种传统方法的时间效率，计算了11幅图像上的平均耗时，如表2所示。从表中可以看到，本文方法的平均耗时是66 s，相比于DSC、GMM和JCAS模型，本文方法的计算耗时的优势非常明显，说明所提出的方法计算复杂度低于其他几种比较的传统方法。
表2 不同去雨方法的耗时对比
4 结 论
本文提出了一种联合自适应形态学滤波和MS-CSC的单幅图像去雨方法。该方法的主要内容为：
1)利用图像中雨纹的结构特征，通过定义不同形状和大小的滤波核，联合数学形态学滤波和小波滤波获得有雨图像的低频成分和高频成分的分离。
2)进一步精细化步骤1)中分离出的低频成分和高频成分，利用STV正则化的方法来增强低频成分中图像自身的纹理信息，从而获得更精确的高频成分。
3)针对分解得到的高频成分，利用雨纹尺寸不同的特点，构建一种多尺度字典的稀疏编码来重构雨层；同时根据雨纹的结构特征及方向特征，构建两种方向梯度正则项来约束重构的雨层，获取更精确的雨层；最后从有雨图像中减去雨层获得最终的去雨结果。
为了验证本文方法的有效性，将提出的方法与一些主流的方法进行了实验对比，并从主观与客观两个方面进行了评估。实验结果证明本文方法不仅在模拟数据集上取得了较好的实验指标和视觉效果；尤其在真实数据集上，本文方法获得了比深度学习更好的结果，去雨后的图像拥有更清晰的边缘纹理和细节，具有更强的适用性。目前，针对真实雨天场景拍摄图像的去雨技术仍然具有挑战性，特别是考虑暴雨、雨雾和雨雪等天气。因此，未来的研究将重点聚焦在恶劣天气下的真实雨天场景图像的处理。
参考文献(References)
Bristow H, Eriksson A and Lucey S.2013.Fast convolutional sparse coding//Proceedings of 2013 IEEE Conference on Computer Vision and Pattern Recognition.Portland, USA: IEEE: 391-398[DOI: 10.1109/CVPR.2013.57]
Chen D Y, Chen C C and Kang L W.2014.Visual depth guided color image rain streaks removal using sparse coding.IEEE Transactions on Circuits and Systems for Video Technology, 24(8): 1430-1455[DOI: 10.1109/TCSVT.2014.2308627]
Ding X H, Chen L Q, Zheng X H, Huang Y and Zeng D L.2016.Single image rain and snow removal via guided L0 smoothing filter.Multimedia Tools and Applications, 75(5): 2697-2712[DOI: 10.1007/s11042-015-2657-7]
Freeman W T and Adelson E H.1991.The design and use of steerable filters.IEEE Transactions on Pattern Analysis and Machine Intelligence, 13(9): 891-906[DOI: 10.1109/34.93808]
Fu X Y, Huang J B, Zeng D L, Huang Y, Ding X H and Paisley J.2017.Removing rain from single images via a deep detail network//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).Honolulu, USA: IEEE: 1715-1723[DOI: 10.1109/CVPR.2017.186]
Fu X Y, Liang B R, Huang Y, Ding X H and Paisley J.2020.Lightweight pyramid networks for image deraining.IEEE Transactions on Neural Networks and Learning Systems, 31(6): 1794-1807[DOI: 10.1109/TNNLS.2019.2926481]
Garg K and Nayar S K.2004.Detection and removal of rain from videos//Proceedings of 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004.CVPR 2004.Washington, USA: IEEE: 528-535[DOI: 10.1109/CVPR.2004.1315077]
Garg K and Nayar S K.2005.When does a camera see rain?//Proceedings of the 10th IEEE International Conference on Computer Vision.Beijing, China: IEEE: 1067-1074[DOI: 10.1109/ICCV.2005.253]
Gu S H, Meng D Y, Zuo W M and Zhang L.2017.Joint convolutional analysis and synthesis sparse representation for single image layer separation//Proceedings of 2017 IEEE International Conference on Computer Vision(ICCV).Venice, Italy: IEEE: 1717-1725[DOI: 10.1109/ICCV.2017.189]
Jiang T X, Huang T Z, Zhao X L, Deng L J and Wang Y.2019.FastDeRain: a novel video rain streak removal method using directional gradient priors.IEEE Transactions on Image Processing, 28(4): 2089-2102[DOI: 10.1109/TIP.2018.2880512]
Jiang Z L, Lin Z and Davis L S.2011.Learning a discriminative dictionary for sparse coding via label consistent K-SVD//Proceedings of the 24th IEEE Conference on Computer Vision and Pattern Recognition.Colorado Springs, USA: IEEE: 1697-1704[DOI: 10.1109/CVPR.2011.5995354]
Jiao J and Wu L D.2019.Fusion of multispectral and panchromatic images via morphological filter and improved PCNN in NSST domain.Journal of Image and Graphics, 24(3): 435-446(焦姣, 吴玲达.2019.形态学滤波和改进PCNN的NSST域多光谱与全色图像融合.中国图象图形学报, 24(3): 435-446)[DOI: 10.11834/jig.180399]
Kang L W, Lin C W and Fu Y H.2012.Automatic single-image-based rain streaks removal via image decomposition.IEEE Transactions on Image Processing, 21(4): 1742-1755[DOI: 10.1109/TIP.2011.2179057]
Lei T, Fan Y Y and Mao L.2011.Generalized self-dual morphological filters and the applications in image-denoising.Journal of Optoelectronics·Laser, 22(1): 136-143, 158(雷涛, 樊养余, 毛力.2011.广义自对偶形态学滤波器及其在图像去噪中的应用.光电子·激光, 22(1): 136-143, 158)[DOI: 10.16136/j.joel.2011.01.028]
Li Y, Tan R T, Guo X J, Lu J B and Brown M S.2016.Rain streak removal using layer priors//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).Las Vegas, USA: IEEE: 2736-2744[DOI: 10.1109/CVPR.2016.299]
Luo Y, Xu Y and Ji H.2015.Removing rain from a single image via discriminative sparse coding//Proceedings of 2015 IEEE International Conference on Computer Vision(ICCV).Santiago, China: IEEE: 3397-3405[DOI: 10.1109/ICCV.2015.388]
Rudin L I, Osher S and Fatemi E.1992.Nonlinear total variation based noise removal algorithm.Physica D: Nonlinear Phenomena, 60(1/4): 259-268[DOI: 10.1016/0167-2789(92)90242-F]
Tibshirani R.2011.Regression shrinkage and selection via the LASSO: a retrospective.Journal of the Royal Statistical Society: Series B(Statistical Methodology), 73(3): 273-282[DOI: 10.1111/j.1467-9868.2011.00771.x]
Tripathi A K and Mukhopadhyay S.2013.Meteorological approach for detection and removal of rain from videos.IET Computer Vision, 7(1): 36-47[DOI: 10.1049/iet-cvi.2011.0032]
Wang H, Xie Q, Wu Y C, Zhao Q and Meng D Y.2020a.Single image rain streaks removal: a review and an exploration.International Journal of Machine Learning and Cybernetics, 11(4): 853-872[DOI: 10.1007/s13042-020-01061-2]
Wang Y L, Liu S C, Chen C and Zeng B.2017.A hierarchical approach for rain or snow removing in a single color image.IEEE Transactions on Image Processing, 26(8): 3936-3950[DOI: 10.1109/TIP.2017.2708502]
Wang Y L, Liu S C, Xie D H and Zeng B.2020b.Removing rain streaks by a linear mode.IEEE Access, 8: 54802-54815[DOI: 10.1109/ACCESS.2020.2981643]
Wang Y Q, Yao Q M, Kwok J T and Ni L M.2018.Scalable online convolutional sparse coding.IEEE Transactions on Image Processing, 27(10): 4850-4859[DOI: 10.1109/TIP.2018.2842152]
Wei W, Meng D Y, Zhao Q, Xu Z B and Wu Y.2019.Semi-supervised transfer learning for image rain removal//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR).Long Beach, USA: IEEE: 3872-3881[DOI: 10.1109/CVPR.2019.00400]
Xu J, Zhao W, Liu P and Tang X L.2012a.Removing rain and snow in a single image using guided filter//Proceedings of 2012 IEEE International Conference on Computer Science and Automation Engineering(CSAE).Zhangjiajie, China: IEEE: 304-307[DOI: 10.1109/CSAE.2012.6272780]
Xu J, Zhao W, Liu P and Tang X L.2012b.An improved guidance image based method to remove rain and snow in a single image.Computer and Information Science, 5(3): 49-55[DOI: 10.5539/cis.v5n3p49]
Yang W H, Tan R T, Wang S Q, Fang Y M and Liu J Y.2021.Single image deraining: from model-based to data-driven and beyond.IEEE Transactions on Pattern Analysis and Machine Intelligence, 43(11): 4059-4077[DOI: 10.1109/TPAMI.2020.2995190]
Zhang H and Patel V M.2018.Density-aware single image de-raining using a multi-stream dense network//Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City, USA: IEEE: 695-704[DOI: 10.1109/CVPR.2018.00079]
Zhang W X, Cao Y Z, Zhang R X and Wang Y Q.2014.Image denoising using total variation model guided by steerable filter.Mathematical Problems in Engineering, 2014: #423761[DOI: 10.1155/2014/423761]
Zheng X H, Liao Y H, Guo W, Fu X Y and Ding X H.2013.Single-image-based rain and snow removal using multi-guided filter//Proceedings of the 20th International Conference on Neural Information Processing.Daegu, Korea(South): Springer: 258-265[DOI: 10.1007/978-3-642-42051-1_33]
Zhou L N, Wang D M, Guo Y B and Yang Y X.2008.Exposing digital forgeries by detecting image blurred mathematical morphology edge.Acta Electronica Sinica, 36(6): 1047-1051(周琳娜, 王东明, 郭云彪, 杨义先.2008.基于数字图像边缘特性的形态学滤波取证技术.电子学报, 36(6): 1047-1051)[DOI: 10.3321/j.issn:0372-2112.2008.06.002]
