基于FCM的雨天视频图像复原

胡 巍，何小海，崔 煜

(①四川大学 电子信息学院图像信息研究所，四川 成都 610064；②西南电子电信技术研究所，四川 成都 610041；③中国人民解放军61920部队，四川 成都 610505）

0 引言

随着计算机和图像处理技术的快速发展，计算机视觉系统得以广泛应用于军事国防、医疗技术、智能交通、工业控制等众多的科学和工程领域[1]，但雾、霾、雨、雪等恶劣天气严重影响了户外图像或视频进行可靠目标检测、物体识别和跟踪、特征提取等基本操作，极易造成处理偏差。因此，开展恶劣天气条件下图像的成像过程研究，建立完善的理论体系，进而提出针对恶劣天气下图像退化的复原方法，对提高户外视觉系统的稳定性和实用性显得尤为重要。本文主要对视频图像中雨的检测与去除做分析，以解决受降雨影响的图像质量问题。

根据组成微粒的物理特性和对视觉影响效果，恶劣天气被分成静态天气 (霾、雾、薄雪、蔼)和动态天气 (雨、雪、冰雹)[2]2种类型。在静态天气条件下，其组成微粒大小一般在1～10 um之间，单个微粒不足以被相机检测到，影响相对较小。而在动态天气条件下，其组成微粒较大，如雨的典型尺寸一般在0.1～0.35 mm[3]，单个颗粒可以被相机检测到，同时由于微粒通常具有运动快速、空间分布随机等诸多的视觉不确定性，影响要复杂得多。

目前国内外研究雨天视频图像复原的方法主要有2类：一类是基于非物理模型（基于硬件），主要通过改变曝光时间和景深[4]来实现，当场景中存在较强光源（如车灯、路灯）时，该方法会造成图像曝光过度或目标模糊，处理效果不理想；另一类是基于物理模型（基于软件方法），主要以基于时域与基于频域为代表，其中Brewer[5]、Barnum[6]、Starik[7]等都提出了新颖的雨场去除算法，在特定情况下也都达到了去雨效果，但都存在一定的局限性。本文主要采用 FCM 聚类的方法检测与去除视频中的雨滴。

1 雨滴的特性

1.1 雨滴的时域特性

雨是许多球形小水滴的集合体，空间分布具有随机性。为了提供更好的雨测量方法以便进行天气预报，大气科学对雨的物理特性如尺寸分布、形状及速度等进行了深入研究。雨的主要特性有：

1）大部分雨滴都可以看成球体。在文献[3]中，Marshall-Palmer给出了雨的尺寸分布和雨滴形状。从图1(a)雨滴尺寸分布图可以看出，雨滴半径大小主要分布在0.1～0.35 mm之间，94%以上的雨滴是小于1 mm的[8]，由图1(b)雨滴形状中可知，半径小于1 mm的雨滴形状可近似为球体，半径大于1 mm的雨滴近似椭球体。

图1 雨滴典型尺寸与形状分布

2）雨滴覆盖背景会令光强增加。球形的雨滴会对大气光进行折射、镜面反射和内部全反射，光强属性如图2(a)示[2]，雨滴看起来亮度比其本身的亮度要大的多。图2(b)的实验结果证明，5个具有不同光强的像素点，未被雨带覆盖时，每个像素点的强度是基本不变的；但当它们被同一雨带覆盖时，强度却基本相同，并且都大于未被覆盖时的光强。

图2 雨滴光强属性及变化图

1.2 像素光强直方图的特性

依据雨滴的时域特性，被雨带覆盖的背景光强，远大于背景本身的光强。因此，在静止摄像机摄取的静态场景中，如果某个像素被雨覆盖过，其光强直方图就具有两个峰，一个代表背景的光强分布（虚线左边），一个代表雨滴的光强分布（虚线右边）。而如果某一像素在整个视频中未被雨滴覆盖，它的光强直方图只有一个代表背景光强分布的峰[9]。对于某一像素点而言，依据光强直方图特性，就能将整个视频中图像序列的像素分为两类：背景类和雨区类。

图3 光强直方

2 FCM算法

FCM（Fuzzy C-Means）模糊C均值算法是基于目标函数的模糊聚类方法，即将聚类归结为一个带约束的非线性规划问题，通过优化求解获得数据集的模糊划分[10-11]。该算法最先由Dunn提出，Bezdek对其进行了改进，给出了基于最小二乘法原理的迭代优化算法，并验证了算法的收敛性[12]。

Dunn依据Ruspini定义的集合的模糊划分概念，将隶属度平方进行加权，从而把类内误差平方和目标函数推广到类内加权误差平方和的形式。之后，Bezdek将其推广为更加普遍的形式，给出了基于目标函数的模糊C均值的一般描述：

其中，平滑因子m控制着模式在模糊类间的分享程度。Bezdekg给出了m的经验范围[1 . 1,5]；而后又从物理上解释m=2最有意义。

聚类的准则一般取 J （U, V ）的极小值，由于矩阵中各列独立并且约束条件，用拉格朗日乘数法进行求解如下：

最优化的一阶必要条件为：

最终可得如下的迭代优化公式：

FCM 算法的整个计算过程就是反复修改聚类中心和隶属度矩阵，并最终归结为求解一个非线性最优化的问题。

3 基于FCM的视频中雨滴检测及去除

3.1 雨滴检测

对于图像中的任一位置 i(x ,y)，设其在视频中的强度序列为 I (t) = I ( 1 ),I( 2),… ,I(k ), t=1,2,…,k，通过聚类，将强度小的归入到背景类 B，同时得到聚类中心 B c enter，同样将强度大的归入到雨区类R，得到聚类中心 R c enter，从而成功将雨区检测出来。本文采用FCM聚类方法来区分背景和雨区，并与常用的K-means（K均值）聚类方法的处理效果对比。FCM聚类流程为：①设置聚类数k=2，即背景类B和雨区类R 2类；②初始化隶属度矩阵U，使U满足隶属度的和总为 1；③初始化聚类中心，令Bcenter=Min(I)，Rcenter=Max(I)；④分别计算 I(t)至 B c enter的距离 JB=| I(t)- Bc enter|以及 I (t)至Rc enter 的距离 JR=| I(t)- Rc enter|，如果 JB≤JR，则 I(t)归入背景类B，否则归入雨区类R；⑤分类完成后，将背景类B和雨区类R分别进行算术平均，得到新的聚类中心 C e nter=[Bc enter, Rc enter]；④计算价值函数，如果其小于某个确定阙值（如10-3），则算法停止，背景类B和雨区类R分类完成；否则，计算新的U矩阵，返回步骤②。

3.2 雨滴去除

当成功检测出雨区后，可以通过用雨滴与背景色之间的混合值取代检测到的雨滴的像素来达到去除效果。依据统计特性，将替代雨滴的像素设为Cmix，令 C m ix= α Bc enter + (1-α)Rc enter ，其中α是背景类B中数目占总数目k的权重。因为在保留背景强度值 B c enter的基础上，混合了雨滴的平均强度值 R c enter，保证了雨滴去除后不会留下尖锐的边缘，起到了平滑的效果[13]。

4 实验结果分析及比较

根据FCM聚类和K-means聚类2种方法，分别就不同的降雨情况进行实验，以验证2种方法的处理效果。实验是在CPU AMD4400 2.0G处理器和1G内存的硬件环境下Matlab编程实现的。在4种不同场景下分别抽取视频中连续图像序列，总共抽取帧数f=25。实验结果和分析如下所示。

1）与K-means算法相比，FCM算法在静态场景（如图4）、非雨的运动物体（如图5）、摄像器材抖动（如图6）和夜晚光亮对比度强（如图7）的4种场景下都能达到更好的去雨效果。

图4 静态场景下2种算法复原结果

2）K-means算法在处理背景中有非雨的运动物体（如图5中人缓慢移动）和摄像器材抖动（如图6）和夜晚光亮对比度强（如图7中灯）时会给处理后的图像留下黑点，同时对某些区域（如图4，图6，图7）雨线去除不够理想。究其原因，FCM算法替代雨滴像素颜色时采用背景值与雨区值的混合值，而K-means算法中，每类的聚类中心为该类的算术平均值，导致混合值实际上为所有元素的算术平均值，与分类无关。在这一点上，FCM聚类算法则表现出了更强的自适应性。

图5 行人移动时2种算法复原结果

图6 摄像机抖动时2种算法复原结果

图7 夜晚场景中2种算法复原结果

5 结语

借助于FCM算法的聚类功能，实现了视频中雨滴的去除，达到了图像复原的目的。以处理效果为依据，比较了2种算法处理结果的优劣性，分析了造成处理结果差异的原因。该方法对去雨具有一定的效果，但是处理效果主要是以视觉效果作为评判依据，暂未形成系统科学的判别公式，有待进一步完善。

[1] 章毓晋.图像工程(上册)--图像处理[M]. 第2版,北京:清华大学出版社,2005.

[2] GARG K, NAYAR S K. Vision and Rain[J].International Journal of Computer Vision,2007,75(01):3-27.

[3] MARSHALL J S, PALMER W M K. The Distribution of Raindrops with Sizes[J]. Journal of Meterology,1984(05):165-166.

[4] GARG K, NAYAR S K. When does a Camera See Rain? [C].USA:IEEE International Conference on Computer Vision, 2005:1067-1074.

[5] BREWER N, LIU N J. Using the Shape Characteristics of Rain to Identify and Remove Rain from Video[J].Lecture Notes in Computer Science,2008(5342):451-458.

[6] BARNUM P, KANADE T, NARASIMHAN S. Analysis of Rain and Snow in Frequency Space[J].Internal Journal of Computer Vision,2009,86(02):256-274.

[7] STARIK K, WERMAN M. Simulation of Rain in Videos[C].[s.l.]:Texture Workshop, 2002.

[8] GARG K, NAYAR S K. Detection and Removal of Rain from Videos[C]. USA:IEEE. Conference on Computer Vision and Pattern Recognition,2004:528-535.

[9] ZHANG X, LI H, QI Y,et al. Rain Removal in Video by Combining Temporal and Chromatic Properties[C].Canada: IEEE International Conference on Multimedia and Expo,2006:461-464.

[10] 顾英杰,贾振红,覃锡忠,等.蛙跳结合模糊C-均值的图像分割算法[J].通信技术,2011,44(02):118-119.

[11] 蒋欣欣,钱盛友.基于FCM的彩色车牌图像快速分割方法[J].通信技术,2011,44(03):66-67.

[12] BEZDEK J C. A Convergence Theorem for the Fuzzy ISODATA Clustering Algorithm[C]. USA:IEEE, 1980,1(2):1-8.

[13] 朱志超,李斌,方帅.一种雨景视频图像的复原方法[J].合肥工业大学学报:自然科学版,2011,34(07):1011-1014.