一种单幅图像雨滴去除的方法

周 远， 韩裕生， 周浦城

（1. 偏振光成像探测技术安徽省重点实验室，安徽 合肥 230031；2. 陆军军官学院军用光电技术与系统实验室，安徽 合肥 230031）

一种单幅图像雨滴去除的方法

周 远1,2， 韩裕生1,2， 周浦城1,2

（1. 偏振光成像探测技术安徽省重点实验室，安徽 合肥 230031；2. 陆军军官学院军用光电技术与系统实验室，安徽 合肥 230031）

在雨天条件下，由于雨滴对成像系统的不良影响，将会导致获取的图像质量下降，不利于对图像信息进一步处理。针对该问题，首先根据内部生成机制有关理论将雨天图像分解为粗糙子图与细节子图；然后，采用基于形态学分量分析的稀疏分解方法将细节子图划分为有雨部分和无雨部分；最后，利用粗糙子图与无雨部分进行重构得到去雨后的图像。实验结果表明，该方法能够有效去除图像中的雨线，并较好地保留场景的细节信息。

图像处理；雨滴；稀疏分解；形态学分量；方向梯度

在雨天，环境中随机分布了大量快速运动的雨滴，造成目标物体与背景光线的反射和折射，从而导致图像对比度降低、成像模糊，细节信息丢失，给交通运输、户外视频监控、军事侦察等领域带来巨大困难。因此，对雨天图像进行清晰化处理具有重要的现实意义和广泛地应用价值。

目前，绝大多数的去雨技术研究工作都是建立在视频的基础上。例如，Garg和Nayar[1]通过雨滴光学特性和时空相关特性检测视频中受雨影响的像素，但该方法在大雨情况下检测效果较差；张颖翔等[2]在Nayar方法的基础上，将检测帧数扩展为5帧，在雨量较大情况下取得了较好的效果；Zhang等[3]利用视频序列中像素强度直方图的峰值进行K-means聚类，并通过雨滴色彩约束条件区分雨滴和背景；Brewer和Liu[4]利用雨线长宽比和方向角等形状特性来检测雨滴，但是大雨和噪声往往会使雨线重合，从而导致雨线的误检测和漏检测；刘鹏等[5]提出了基于色彩特性的雨滴检测方法；董蓉等[6]构建对数图像处理框架下灰色调约束的雨滴检测模型，提高了检测的准确性；Barnum等[7]利用雨线分布的统计学特性，在傅立叶频域中对视频中的雨线进行检测和去除，但该方法只适用于雨线明显的场合。

由于单幅雨天图像缺失雨滴分布的时空相关特性，可用的雨滴特征描述符较少，使得单幅图像去雨问题成为当前研究的难点。Chen和 Shen[8]采用了小波分解的方法来检测和去除雨滴，但在检测的准确性上有所不足。Kang等[9]提出利用双边滤波器分解图像来检测并去除雨滴，但在某些情况下，双边滤波器不能将雨线从低频部分完全分离出来，而且在边缘区域易出现过增强现象，从而导致去雨效果不理想。针对 Kang等[9]提出的去雨方法存在的不足，本文采用符合人脑感知与理解信息的内部生成机制(internal generative mechanism, IGM)有关理论，结合基于形态学分量分析(morphological component analysis, MCA)的稀疏分解方法，较好地实现了单幅图像的雨滴检测与去除。

1 基于大脑内部生成机制的雨天图像分解

根据大脑 IGM理论，大脑受到事物相关性的刺激分析场景，结合固有的先验知识，将场景优化为预测的基本信息和残留的不确定信息两个部分[10]。其中，预测的基本信息可以转化为更高层次的人类视觉系统来进行理解和识别，而不确定信息则被忽略。根据该理论可以将图像分解为粗糙子图（预测的基本信息）和细节子图（不确定信息）。

在实际分解过程中，IGM可以通过自动回归(auto regressive, AR)贝叶斯预测模型来实现。该模型的重点在于建立一个概率模型使得图像预测误差达到最小。如果用X表示任意一幅图像，xij∈X为图像中像素(i, j)处的灰度值，Wij表示xij的相邻像素的集合，那么P(xij, Wij)为条件概率，P(xij, Wij)越大则图像预测误差越小。因此，可以把中心像素xij与其周围像素xmn的互信息I(xij; xmn)作为AR系数，AR模型xij的预测值如式(1)：

其中，ε为高斯白噪声，Cmn为xij的权重，即：

由IGM理论可知，预测值x'ij代表了图像的基本视觉信息，这里用粗糙子图CoX表示，其不确定信息用细节子图PreX表示，即：

综合式(1)、(3)可知，粗糙子图中保留了原始图像中的基本视觉信息，细节子图中剩余了原图的一些不确定信息。因此，根据大脑 IGM对待去雨图像进行初步分解，从而得到包含了雨线、纹理等信息的细节子图。

图1为基于IGM理论与双边滤波器待去雨图像分解的实例。图1(a)是原始图像，包含大量雨线；图1(b)、1(c)是利用IGM分解得到的细节子图与粗糙子图，其中，图1(c)中没有明显雨线，而图1(b)中包含了原图雨线及纹理部分；图1(e)、1(f)为经过双边滤波得到的高频部分和低频部分，其中图1(f)包含少量雨线和噪声，而图1(e)与图1(b)相比，雨线并不明显；图1(d)、1(g)分别为图1(c)、1(f)放大的效果图，可以看出，经过双边滤波后的低频部分保留了过多的高频信息，车头处有明显的雨线痕迹，而利用 IGM分解得到的粗糙子图有效地去除了雨线部分。

图1 不同方法雨天分解实例

2 雨滴检测与去除

为了从细节子图中去除雨线，本文采用基于MCA的稀疏分解方法[11]，利用雨线的形态学差异性将细节子图字典分为有雨字典和无雨字典，将单幅图像去雨问题转化为基于稀疏编码的图像分解问题。

2.1 字典学习

在字典学习阶段，首先将细节子图中的图像块作为训练模型来训练字典Dprex，从而构建字典学习问题[12]为：

由于l0最小化问题很难求解，在大多数情况下将其转化为 l1最小化问题来获得近似结果[13]。因此，上述l0最小化问题可以转化为：其中，λ为调整参数。本文采用在线字典学习方法求解式(4)获得字典 Dprex，并利用正交匹配追踪(orthogonal matching pursuit, OMP)算法求解式(5)获得相应的稀疏系数。

2.2 字典分类

由于细节子图中包含有雨部分和无雨部分，本文通过利用HOG特征[14]来描述雨线与纹理之间的形态学差异性，从而将字典Dprex进一步分解为有雨字典和无雨字典。若b(x, y)表示字典原子b在像素点(x, y)处的灰度值，则该像素点的梯度幅度和梯度方向可以定义为：

通过统计字典Dprex中原子的梯度方向直方图，形成字典原子的 HOG特征描述符，然后利用K-means聚类分析将其初步分割为两个子字典。由于雨线的方向在图像中基本一致[9]，因此通过比较平均梯度方向方差值就可以将两个子字典确定为有雨字典和无雨字典

根据雨滴形状特征先验可知，图像中雨线的长宽比μ只与相机曝光时间e和雨滴的直径d有关[4]：

一般认为雨滴直径范围为0.1～3.0 mm，相机曝光时间为1～40 ms，由此可知，雨线长宽比范围为3.9～95.0。因此，可以用雨线长宽比 μ范围实现对有雨字典和无雨字典的精确分类。

图2(a)、2(b)是Kang方法[9]字典分类后得到的无雨字典和有雨字典，图2(c)是Kang方法的去雨效果，此图右侧的窗户模糊不清，是因为Kang方法将背景中的窗框误认为是雨线，因而在图像重建时导致纹理细节的丢失；图 2(d)、2(e)为本文方法得到的无雨字典和有雨字典，图2(f)是利用本文方法得到的去雨效果，与图2(c)相比，窗框纹理清晰且雨线去除更加彻底。

图2 不同字典分类方法去雨效果对比

2.3 图像重构

为了从细节子图中获得雨线部分与纹理部分，对每一个图像块采用OMP算法来得到相应字典的稀疏系数。因此，细节子图中的无雨图像可以通过将有雨字典对应的稀疏系数置为0之后，再与字典Dprex进行重构来获得，即：

再根据大脑 IGM理论，采用将粗糙子图与去雨后的细节子图相加来重构图像，即：

其中，X′是重构图像，Cox为根据大脑IGM有雨图像分解获得的粗糙子图，最终获得去雨图像。

2.4 算法描述

本文提出的单幅图像雨滴去除算法如下：

(1) 图像分解。对待去雨的图像按照式(1)～(3)联立方程组进行分解，获得其粗糙子图和细节子图；

(2) 字典学习。根据式(4)提取细节子图中的图像块进行字典学习，形成字典Dprex；

(3) 字典分类。通过式(6)计算字典原子的HOG特征描述符，并利用K-means聚类初步将字典 Dprex分割为有雨字典和无雨字典，再根据式(7)通过雨线长宽比对子字典进行二次判别，最终形成有雨字典和无雨字典；

(4) 稀疏编码。根据 OMP利用有雨字典和无雨字典分别对提取的细节子图图像块进行稀疏编码，获得其相应的稀疏系数；

(5) 图像重构。根据式(8)、(9)对细节子图图像块进行重建，得到去雨后细节子图，最后将粗糙子图与去雨后的细节子图相加，获得最终的去雨图像结果。

3 实验结果与分析

为了验证本文算法的可行性，首先通过Adobe Photoshop软件对无雨图像人工添加雨线，定量对比本文方法与Kang提出的去雨算法之间的效果。在实验中，字典大小设为1 024，图像块采用16×16像素，实验结果如图3所示。

图3 去雨效果对比

可以看出，与Kang算法相比，本文算法在去除雨滴的同时很好保持了图像的纹理和细节信息，取得了良好的视觉效果。为了定量评估不同算法的去雨效果，采用3种客观评价图像质量方法，分别为峰值信噪比(peak signal to noise ratio, PSNR)、视觉信息保真度(visual information fidelity, VIF)[15]以及图像结构相似质量指数(structural similarity index metric, SSIM)[16]。表1给出了本文算法与Kang提出的算法的评价指数，在PSNR、VIF及SSIM上也优于Kang的算法，并且也符合人眼视觉上对两者的评价结果。

图4给出了本文算法在不同场景下的2组去雨效果。其中，图4(a)是城市场景，局部有明显的雨线；图4(b)是Kang去雨结果，不难发现，在去除雨滴的同时也使墙体上的字母变得模糊；图4(c)为本文算法的去雨结果，去雨效果明显；图4(d)是自然场景，图中只有少量的雨线；图4(e)是Kang算法的去雨效果，在图像中有个别雨线没有去除；图4(f)为本文算法去雨效果，在去除雨线的同时很好地保留了叶片的细节信息。

表1 不同去雨算法比较

图4 不同场景去雨效果对比

4 结 束 语

本文利用大脑IGM理论对雨天图像进行分解，得到粗糙子图和细节子图，然后采用基于MCA的稀疏分解方法对细节子图中有雨部分和无雨部分进行分解，并利用HOG特征和雨线长宽比特征对有雨字典和无雨字典进行分类，最后通过粗糙子图与无雨部分进行重构得到去雨后的结果。实验结果表明，该算法能够获得更好的去雨效果。由于单幅图像中雨滴特征描述符较少，如何找到一种更为有效的雨滴分类方法以进一步提高图像去雨的质量是今后需要研究的一个方向。

[1] Garg K, Nayar S K. Detection and removal of rain from videos [C]//Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Columbia, New York, USA, 2004: 528-535.

[2] 张颖翔, 陈 强, 刘允才. 视频图像中雨滴检测与去除方法研究[J]. 微型电脑应用, 2007, 23(12): 16-20.

[3] Zhang Xiaopeng, Li Hao, Qi Yingyi, et al. Rain removal in video by combining temporal and chromatic properties [C]// Proc of IEEE International Conference on Multimedia and Expo, Toronto, Canada, 2006: 461-464.

[4] Brewer N, Liu Nianjun. Using the shape characteristics of rain to identify and remove rain from video [J]. Lecture Notes in Computer Science, 2008, (5342): 451-458.

[5] 刘 鹏, 徐 晶, 刘家锋, 等. 一种受雨滴污染视频的快速分析方法[J]. 自动化学报, 2010, 36(10): 1371-1378.

[6] 董 蓉, 李 勃, 陈启美. 一种视频雨滴检测与消除的方法[J]. 自动化学报, 2013, 39(7): 1093-1099.

[7] Barnum P, Narasimhan S G, Kanade T. Analysis of rain and snow in frequency space [J]. International Journal of Computer Vision, 2010, 86(2-3): 256-274.

[8] Chen Zhen, Shen Jihong. A new algorithm of rain (snow) removal in video [J]. Journal of Multimedia, 2013, 8(2): 168-174.

[9] Kang Liwei, Lin C W, Fu Y H. Automatic single-image-based rain streaks removal via image decomposition [J]. IEEE Transactions on Image Processing, 2012, 21(4): 1742-1755.

[10] Wu Jinjian, Lin Weisi, Shi Guangming, et al. Perceptual quality metric with internal generative mechanism [J]. IEEE Transactions on Image Processing, 2013, 22(1): 43-54.

[11] Starck J L, Elad M, Donoho D L. Image decomposition via the combination of sparse representations and a variational approach [J]. IEEE Transactions on Image Processing, 2005, 14(10): 1570-1582.

[12] Aharon M, Elad M, Bruckstein A M. The K-SVD: an algorithm for designing of overcomplete dictionaries for sparse representation [J]. IEEE Transactions on Signal Processing, 2006, 54(11): 4311-4322.

[13] Mairal J, Bach F, Ponce J, et al. Online learning for matrix factorization and sparse coding [J]. Journal of Machine Learning Research, 2010, 11: 19-60.

[14] Dalal N, Triggs B. Histograms of oriented gradients for human detection [C]//2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, SanDiego, CA, USA, 2005: 886-893.

[15] Sheikh H R, Bovik A C. Image information and visual quality [J]. IEEE Transactions on Image Processing, 2006, 15(2): 430-444.

[16] Wang Zhou, Bovik A, Sheikh H, et al. Image quality assessment: from error visibility to structural similarity [J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

A Method for Removal of Rain in Single Image

Zhou Yuan1,2, Han Yusheng1,2, Zhou Pucheng1,2

(1. Anhui Province Key Laboratory of Polarization Imaging Detection Technology, Hefei Anhui 230031, China; 2. Military Electric-Optical Technology & System Laboratory, Army Officer Academy of PLA, Hefei Anhui 230031, China)

Under the condition of rainy day, because of the rain has the bad influence on imaging system, it will lead the decrease of the quality of the image, and does not help to further processing image information. To deal with this problem, a kind of automatic image rain removal approach is proposed. Firstly, the rainy image is decomposed into rough sub-graph and detail sub-graph based on internal generative mechanism theory. And then, the sparse decomposition based on morphological component analysis method was used to divide the detail sub-graph into rainy component and non-rain component. Finally, the rough sub-graph was combined with non-rain component so as to reconstruct the rain-free image. The experimental results show that the proposed method can effectively remove the rain streaks in image and keep the state-of-the-art detail information of the scene.

image processing; raindrop; sparse decomposition; morphological component; oriented gradients

TP 391

A

2095-302X(2015)03-0438-06

2014-07-20；定稿日期：2014-12-04

中国博士后科学基金资助项目(2013M532208)；安徽省自然科学基金资助项目(12080850F115)

周 远(1990-)，男，浙江平湖人，硕士研究生。主要研究方向为图像处理。E-mail：el0109@126.com

韩裕生(1972-)，男，安徽六安人，教授，博士。主要研究方向为图像处理。E-mail：zhoupc2004@163.com