基于非线性扩散均值漂移的Retinex雾天图像清晰化算法

张洪坤， 薛模根， 周浦城

（解放军陆军军官学院军用光电技术与系统重点实验室，安徽 合肥 230031）

在雾天条件下，光学成像系统获取的图像质量将会产生退化，给户外监控、交通运输等领域带来很大困难。因此，能够从雾天降质图像中有效增强景物信息具有重要的现实意义[1]。

已有的雾天图像清晰化技术大致可以分为两大类：一类是基于物理模型的图像复原方法；另一类是基于图像增强的方法。其中，基于图像增强的方法只是将雾天图像中感兴趣的特征有选择地突现出来，而衰减其不重要的特征，无须考虑雾天图像降质的具体原因和构建退化模型，因此具有应用范围广、适应性强等特点。在基于图像增强的雾天清晰化技术中，Retinex算法处理后图像中的景物具有锐化、颜色恒常等特性，因而受到广泛关注[2-4]，但这类算法均需涉及采用高斯平滑估算入射光照，而高斯滤波器在处理图像的高对比度边缘时容易出现光晕伪影现象。为此，Choi等[5]提出一种基于恰辨差异的非线性滤波器，使得该算法具有各向异性；Kimmel等[6]提出一种变分模型的Retinex方法来抑制光晕伪影现象；胡韦伟等[7]提出利用带有边缘保存功能的双边滤波器来估算图像入射光照分量，但双边滤波器在处理光照突变的图像边缘区域时易出现过增强现象。针对传统Retinex算法在处理雾天图像时存在的不足，本文提出了一种基于局部非线性扩散均值漂移(mean shift)的Retinex雾天图像清晰化新算法（以下简称LNDMSR算法），实现了较为理想的雾天图像清晰化效果。

1 基于Retinex的雾天图像清晰化原理

根据Land[8]理论，一幅图像I主要由两部分构成，分别是入射光照分量e和反射光照分量r，而景物与成像系统的空间位置不予考虑，用公式表达为：

Retinex图像清晰化的基本原理就是通过消除入射光照分量e对图像I的影响来获得物体的反射光照分量r，从而还原出物体的本来面貌。将式（1）引入对数空间域，则反射光照分量r可表示为：

传统的Retinex雾天图像清晰化算法假设雾表现为低频成分，并采用高斯平滑来估算图像的入射光照分量e(x,y)，进而通过计算原始图像I(x,y)与e(x,y)的差来获得景物的反射光照分量r(x,y)，即

其中，i∈{R,G,B}是颜色通道；wn为权值，满足∑wn=1；ei,n(ui)是在尺度n下的光照估计。

传统的Retinex雾天图像清晰化方法主要存在以下几点不足：① 在估算入射光照分量时，是根据周围像素的不同位置和距离赋予不同的权重，易在高对比边缘区域产生光晕现象；② 由于原始光照能量的消失，使图像上一些能量很低的点被淹没，加上在对数空间域进行计算，导致景物周边区域出现阴影；③直接对彩色图像的三通道单独进行处理易造成景物颜色失真和色饱和度损失。

2 改进的雾天图像清晰化算法

针对传统Retinex雾天图像清晰化算法存在的不足，提出的LNDMSR算法首先采用局部非线性扩散均值漂移滤波器来估算入射光照分量，进而获得景物反射光照分量，然后基于从图像本身提取的相关参数对反射光照信息进行校正，最后在lαβ颜色空间对色饱和度进行补偿。

2.1 基于局部非线性扩散均值漂移平滑的入射光照估算

鉴于小波分析具有良好的时频域局部化特性，因此，首先采用具有很强细节表达能力的Harr小波对雾天图像进行预处理，以便丰富和增强景物细节信息。经小波分解后的图像重构表达式为：

为了能突出代表景物反射光照信息的高频成分，对式（5）引入权重系数a和b，其表达式为：

得到经小波预处理的图像之后，通过构造局部非线性扩散均值漂移滤波器对图像进行平滑来估算入射光照，亦即对图像上每一点在定义的空间域和值域带宽内进行线性加权求平均[9]

由于受光源明暗强度、色彩以及方向等因素的影响，会使背景光照存在不连续分布的现象，采用均值漂移容易造成景物边缘和轮廓细节成份的丢失，使处理后的图像出现景物亮度分布不均匀和边缘区域景物对比度下降。为此，这里采用非线性扩散框架[10]来改变均值漂移算法的带宽权重。

其中，w1(x1,x2)和w2(x1,x2)分别为环绕中心数据点最近邻域网格点和第二邻域网格点的非线性扩散系数，其计算表达式为：

其中，||∇1,2I||表示最近邻域网格或第2邻域网格的梯度幅值；g||∇1,2I(x1,x2)||表示边缘停止函数。

为进一步增强景物轮廓信息和克服边界区域的模糊现象，这里对图像进行局部化处理，并采用中值滤波对图像中的景物噪点进行抑制。对于图像上的每个像素点，算法描述如下：

2）若||m(xj)-xj||＜μ，则结束循环，并记为否则，返回第1步；

3）将第2歩得到的结果赋值给模板子块mask，并更新计数数组count：

4）移动和记录mask模板中每个像素点的运算次数，将输出的灰度值正比于相应的运算次数，结合中值滤波器对噪点进行抑制，得到入射光照信息：

2.2 基于主成分分析的反射光照校正

根据Retinex理论，反射光照分量r可以用公式表达为：

在此基础上，将r分解为一系列向量稀疏的线性组合，并把包含图像信息最多的向量方向作为其主成分方向进行校正，具体步骤如下：

1）对I和r进行协方差矩阵转换，转换结果记为矩阵L，并分别计算图像I的最大值Imax、最小值Imin及平均值Iaverage以及r分量的平均值Raverage；

2）计算L的特征值集合D、特征向量V及图像特征指数t

3）计算特征向量V的主成分贡献率a1、a2，初步得到景物的主成分反射光照W

4）对主成分补偿后的反射光照W进行校正

2.3 色饱和度补偿

平滑处理往往会造成图像的色饱和度过低，使得景物色彩不够鲜艳、生动。为此，在lαβ颜色空间对处理后的图像进行色饱和度补偿，具体步骤如下：

1）将增强后的图像从RGB颜色空间转换到lαβ颜色空间来计算光照、色度和饱和度：

为减少颜色空间转换引起的数据歪斜，将LMS空间数据引入对数域，即：

2）通过计算增强前后图像的色饱和度差异，对调整后的饱和度进行线性补偿：

其中，CL,max代表平滑后图像中亮度分量最大值，CI,max代表平滑前图像中亮度分量最大值。

3 实验与结果分析

为验证提出的LNDMSR算法的可行性和有效性，利用多组雾天图像数据进行验证，并与单尺度Retinex（Single Scale Retinex，简称SSR）和多尺度Retinex（Multi-Scale Retinex，简称MSR）雾天降质图像清晰化方法进行比较。

图1(a)～图1(d)所示是对一组具有典型高对比度边缘区域的雾天图像（实验1）进行处理的结果。可以看出，经SSR算法处理后景物图像对比度虽有所提升，但景物边缘区域的光晕伪影现象严重，亮度分布不均，场景细节信息无法得到较好体现；MSR算法和LNDMSR算法在处理图像中景物的纹理信息和整体的人眼直观感受上要更好一些。但是，MSR算法处理结果中颜色失真现象比较严重，譬如近处景物颜色失真和远处景物信息模糊，严重影响了人们对图像中景物的识别和判断，而LNDMSR算法在颜色保持和细节成份提取方面效果明显强于前者。

图1 雾天图像清晰化对比效果I

为了进一步验证LNDMSR算法的有效性，图2给出了另一组从不同角度拍摄得到的雾天图像（实验2）进行对比的结果。从整体视觉效果来看，利用LNDMSR算法得到的图像增强效果较为理想，处理后的图像在清晰度方面有了明显改善，能够有效地消除高对比度边缘区域的光晕伪影现象，并且通过色饱和度补偿使处理后的景物颜色更加亮丽、自然；文献[11]给出的处理结果中景物对比度虽有所提升，但图像整体的动态范围分布变低，导致一些景物细节信息被衰减变得模糊不清；而MSR算法处理效果不仅偏暗且看不清楚，颜色失真也较为严重。

除采用以上直观定性的实验比较外，下面利用能够反映图像景物整体信息水平的图像熵和梯度均值率作为评价指标进行定量分析，其中，梯度均值率是一种衡量图像处理后景物可视信息的质量评价函数[12]，能够反映图像的可视清晰度，定义为：

其中，nr表示增强后图像的可视边缘集合基数，ri表示增强后图像可视边缘梯度率。

对上述两组实验结果进行定量分析计算的结果如表1所示。可以看出，LNDMSR算法处理后的图像熵明显高于MSR、文献[11]和原始图像，说明处理后的图像细节信息更丰富，而梯度均值率越大说明图像边缘细小特征保留的越多，图像整体的层次感和对比度就越高。通过上述客观评价结果表明，LNDMSR算法处理后的图像质量更好。

图2 雾天图像清晰化对比效果II

表1 不同雾天图像清晰化处理效果客观评价结果

4 结 论

在Retinex框架下，通过局部非线性扩散均值漂移滤波器对雾天图像进行平滑来估算入射光照，结合小波分析实现了不同尺度下景物信息的增强和调整，并利用原始图像的特征信息有效校正反射光照和补偿因图像增强所造成的色饱和度损失。实验结果表明，提出的LNDMSR算法在雾天景物细节增强、颜色保持和消除光晕现象等方面均取得了良好的效果。

[1]周浦城, 薛模根, 张洪坤, 等. 利用偏振滤波的自动图像去雾[J]. 中国图象图形学报, 2011, 16(7):1178-1183.

[2]Rahman Z, Jobson D J, Woodell G A. Retinex processing for automatic image enhancement [J].Journal of Electronic Imaging, 2004, 13(1): 100-110.

[3]李权合, 毕笃彦, 马时平, 等. 基于Retinex和视觉适应性的图像增强[J]. 中国图象图形学报, 2010,12(15): 1728-1732.

[4]杨万挺, 汪荣贵, 方 帅, 等. 滤波器可变的Retinex雾天图像增强算法[J]. 计算机辅助设计与图形学学报, 2010, 6(22): 995-971.

[5]Doo H C, Ick H J. Color image enhancement based on single-scale retinex with a JND-based nonlinear filter[C]//Proc. of IEEE Int. Symp. Circuits and Syst, New Orleans, 2007: 3948-3951.

[6]Kimmel R, Elad M, Shaked D. A variational framework for retinex [J]. International Journal of Computer Vision, 2003, 52(1): 7-23.

[7]胡韦伟, 汪荣贵, 方 帅, 等. 基于双边滤波的Retinex图像增强算法[J]. 工程图学学报, 2010, 2(2):104-109.

[8]Land E. The retinex [J]. American Scientist, 1964,52(2): 247-264.

[9]Dorin C, Peter Meer. Mean shift: A robust approach toward feature space analysis [J]. IEEE Trans. On Pattern Analysis and Machine Intelligence, 2002,24(5): 603-619.

[10]Danny B, Dorin C. A common framework for nonlinear diffusion, adaptive smoothing, bilateral filtering and mean shift [J]. Image and Vision Computing, 2004, 22(1): 73-81.

[11]He Kaiming, Sun Jian, Tang Xiaoou. Single image haze removal using dark channel prior [C]//Proc of CVPR, 2009.

[12]Hautiere N, Tarel J P, Aubert D, et al. Blind contrast enhancement assessment by gradient ratio at visible edges [J]. Image Analysis & Stereology Journal, 2008,27(2): 87-95.