基于全局亮度自适应均衡化的海上图像带色彩恢复的多尺度Retinex算法

林 昌, 陈 武, 周海峰

(1.集美大学， 轮机工程学院福建省海洋工程重点实验室， 厦门 361021； 2.莆田学院机电工程学院， 莆田 351100； 3.现代精密测量与激光无损检测福建省高校重点实验室， 莆田 351100; 4.上海海事大学商船学院， 上海 200135)

在现实生活中，由于雾天中的大气粒子的散射作用导致电荷耦合器件(charge coupled device，CCD)摄像机捕获的海面图像存在失真，如出现曝光不均、对比度低、或模糊细节等问题，由于CCD传感器的物理限制，无法机械消除大气散射的影响，所以提供一种有效的消除入射光影响，提高海上图像质量的算法，具有重要意义。

海上雾天图像增强的目的就是消除雾气，突出图像前景信息，降低背景信息。传统的图像增强方法有直方图均衡化(HE)、伽马校正(GC)、直方图规范(HS)等，但这些方法仅可以对数字图像进行降噪，一些常用的计算机视觉和机器学习方法，也可以作为传统的图像增强技术的预处理模块[1-2]。近年来，中外学者针对彩色图像的增强提出了各种算法[3-6]。Ghimire等[7]提出了一种基于非线性传递函数(NTF)的方法，该算法通过对色调、饱和度和亮度(HSV)进行亮度组件实现的。在除雾过程中，将测试输入图像的H和S分量与处理后图像的增强亮度(EL)进行集成，实现输出图像的色彩增强。该算法对一般的室外图像具有较好的处理效果。Zhang等[8]提出了一种图像对比度映射模型，结果表明，该方法在调质校正、对比度增强等方面都是可行的。然而，该算法并没有说明如何消除图像中的失真的暗对比度。Sun等[9]提出了一种基于亮度的LB-MSR图像增强方案，利用主成分分析法(PCA)获得亮度通道，然后在多尺度Retinex (multi-scale retinex，MSR)算法中增加亮度通道。在此基础上，将亮度通道与两个色度通道进行积分运算，再进行PCA逆变换，得到最终输出图像。该算法对一般室外图像的处理效果较好，但对强光照条件下的图像处理效果较差，并缺乏一个色彩恢复算法。Gu等[10]提出了一种动态范围约简算法。该算法利用Retinex 模型[11]，结合抑制因子，用于改善暗通道处理后的图像“Halo现象”。该算法有效地增强了局部细节，并在室内实验中得到很好的应用，然而该算法没有在室外图像上进行测试，也没有进行图像对比度的检验。还有一些学者对经典的Retinex 模型(SSR)及其改进算法[MSR、带色彩恢复的多尺度Retinex(multi-scale Retinex with color restoration,MSRCR)等算法][12-15]进行了改进研究，研究结果证明Retinex模型及其改进模型在保留图像纹理，提高图像对比度、颜色保真方面具有明显优势，而且方法简单，易于实现。

针对海上雾天图片，提出基于全局亮度自适应的MSRCR改进模型。该模型首先对雾天原图像进行取反计算；其次对原图像和取反图像进行多尺度图像增强(MSRCR)算法处理；然后提出全局亮度自适应直方图均衡化处理，并将处理后的亮度叠加到经MSRCR处理后的反射分量中；最后根据图像的灰度均值和均方差，自适应的计算图像对比度的拉伸程度，达到恢复图像自然色彩的目的。

1 Retinex模型

1.1 单尺度的Retinex模型

单尺度Retinex模型(SSR)，是Land[11]基于人眼视觉系统对亮度和颜色的感知特性提出来的颜色恒常知觉的计算理论算法。因此，Retinex模型认为物体的颜色不会因为光照的不均而引起变化，它是由大气照射光和物体反射光之间相互作用而形成的图像。摄像机获取到的物体图像S(x,y)，是由物体表面对入射光分量L(x,y)和反射光分量R(x,y)组成，如图1所示。对于观察的图像，其Retinex 模型可以表示为

图1 Retinex模型下的图像成像原理Fig.1 Retinex model of image imaging principle

S(x,y)=L(x,y)R(x,y)

(1)

对于一张图像，人们感兴趣的是场景信息，即公式中的反射分量R(x,y)，是自身在图像中的具体体现，是图像的固有特性，属于高频信息。而入射光分量L(x,y)是环境光在图像中的体现，不是图像的固有特性，属于低频信息。去雾的原理是为了移除或减轻入射光分量对图像的影响，实质就从图像中分离出来获得物体表面的反射性质R(x,y)。最终结果会使反射图像的对比度增强，使图像纹理在一定范围内被压缩，但同时又能够保持图像的基本色调。

为了方便计算，对式(1)两边取对数：

lnS(x,y)=lnL(x,y)+lnR(x,y)

(2)

式(2)的图像各颜色通道的反射分量R(x,y)的数学形式表示为

lnRi(x,y)=lnSi(x,y)+lnLi(x,y)

(3)

式(3)中：Si(x,y)为图像第i个通道信息；Ri(x,y)为第i个颜色通道图像的反射分量；Li(x,y)为第i个颜色通道的入射光分量。

由式(3)可知，只需要估计出入射光分量L就能求得图像反射分量。因此，L的估计直接影响去雾效果。因为L为低频信息，因此，采用高斯卷积函数，可以从图像中较好的估计出入射光分量。即

L(x,y)=G(x,y)*S(x,y)

(4)

1.2 多尺度Retinex算法

单尺度Retinex的增强效果，取决于尺度因子(σ)。σ取值大时，颜色保真效果好，但细节凸显不明显，σ取值小时，增强后细节凸显，但颜色保真效果差。特别是局部颜色变化对比明显的区域，在图像颜色增强后存在“Halo现象”。为弥补该算法的缺陷，由此产生了多尺度Retinex算法(MSR)。该算法使用至少3个尺度来实现图像多尺度压缩和颜色保真，兼顾整体和细节，具体算法为

(5)

MSR算法对色彩通道进行多次不同尺度高斯滤波后，再加权求和，处理时间较长。使用不同尺度，会导致某些图片色彩严重失真。为了解决这一问题，研究者提出根据颜色通道信息与全局色彩关系，引入颜色分量比值调整因子：

(6)

式(6)中：N为色彩空间的颜色通道，为RGB三通道；β为增益常数；α为非线性强度控因子。则具有色彩还原能力的MSRCR算法具体形式为

RMSRCRi(x,y)=Ci(x,y)RMSRi(x,y)

(7)

2 改进的MSRCR算法模型

2.1 图像雾浓度的自平衡

基于Retinex算法对暗色区域有明显的增强效果，而海上含雾图像，被雾笼罩住区域图像较为模糊，图像的纹理信息被遮掩。经过实验验证后发现，将含雾图像进行适当取反操作，可以获得有雾覆盖的地方的暗图像，然后再进行MSRCR算法处理，可以增强取反后图像的暗区域的亮度和细节，对该图像再进行取反操作后，原来的有雾区域的亮度会被削弱，这样被雾遮挡的纹路就可以得到增强。为了保留原有图像暗处理后信息，对原图像和取反后图像分别进行MSRCR处理，然后对处理后的结构进行加权叠加，最终单通道MSRCR算法处理后图像的R′i(x,y)为

R′i(x,y)=λRfi(x,y)+(1-λ)Roi(x,y)

(8)

式(8)中：Rfi(x,y)、Roi(x,y)分别为第i个颜色通道取反图像的反射分量和原图像的反射分量；λ为线性加权系数，数值与雾浓度噪声成正比，λ∈[0,1]，在算法实验中，λ=0.9时，图像处理效果较好。

2.2 全局亮度自适应均衡化

色调、饱和度和亮度(HSI)色彩空间是从人眼感知层面分析，用色调(hue)、饱和度(saturation) 和亮度(intensity) 3个属性来模拟色彩。与RGB三色光表示相比，HSI能较好反映人类视觉系统对色彩的观察方式，使用非常接近于人对彩色感知的方式来定义彩色。其中，色度和饱和度与人眼感知颜色的方式相关，而亮度与图像的色彩信息无关。常用的亮度计算公式为

(9)

式(9)中：R(x,y)、G(x,y)、B(x,y)分别为图像的RGB三颜色通道分量。

针对雾天图像亮度较大的特点，为提高亮度图像的对比度，采用自适应直方图均衡法(AHE)[16]，对亮度图像进行直方图匹配。与普通直方图均衡化变化不一样，AHE算法通过逐个计算图像中的较小模块(称为小块)，然后使用双线性内插算法将相邻的小片组合起来，该方法改善图像的部分对比度，并得到更多的图像细节。处理后的直方图比较如图2所示。

图2 亮度直方图对比Fig.2 Image brightness histogram comparison

2.3 平衡图像亮暗区域

经过式(8)处理后的图像远景处的去雾效果更好一些，图像的纹理较为明显，但是图片的灰化现象并没有多少改善，导致人眼视觉效果不好。而对与一副彩色图形而言，图像的源亮度信息可以较好包含图像的整体色调，因此，算法提出将图像的源亮度信息和反射分量进行线性叠加，以平衡图像的亮分量区域和暗分量区域的差别，线性叠加数学表达式为

ln[R′(x,y)]=(1-δ)ln[R(x,y)]+

δln[I(x,y)]

(10)

式(10)中：δ为加权系数，δ越小图像的噪声和纹理会越少，为达到平衡，在实验中δ=0.5，处理结果能得到较好的平衡。

2.4 颜色通道色彩拉伸

日常拍摄到的含雾图像，一般整体偏灰色，这是由水气对光照反射后，景物无法成像所导致的。经过上述方法处理后的图像，也存在图像亮度减小，色彩不突出的缺陷，因此，对处理后的反射分量进行线性拉伸。

假设某通道图像拉伸限定灰度范围为(l,h)，l为灰度最小值，h为灰度最大值，计算所得的单通道图像的灰度均值为Mmean，标准偏差Vstd。则拉伸限定灰度范围为

l=Mmean-kVstd

(11)

h=Mmean+kVstd

(12)

式中：k为动态调整因子，其值越小，图像的灰度区间越小，图像信息损失越严重。确定图像灰度拉伸范围后，通过式(13)对图像进行灰度映射。

Rout(x,y)=255[R′(x,y)-l)/(h-l]

(13)

式(13)中：Rout(x,y)表示去雾后图像的像素灰度；R′(x,y)为经过叠加亮度后的反射分量。

3 算法整体流程

对于摄像机获取海上图片进行取反计算，得到原图I和取反后图像If，然后利用改进的MSRCR算法进行计算，具体步骤如下。

步骤1 根据式(9)，获取图像亮度值，并对亮度自适应直方图均衡化处理。

步骤2 利用MSRCR算法，分别计算原图像I和取反图像If的RGB三通道反射分量。

步骤3 将获得的三通道反射分量与步骤1中的亮度信息，采用式(10)进行线性化处理，得到反射分量R′(x,y)。

步棸4 获取每一通道反射分量的均值和标准偏差，并确定每一通道灰度拉伸范围。

步骤5 根据式(13)对反射分量R′(x,y)进行色彩拉伸，得到每一通道的色彩反射分量输出Rout(x,y)。

步骤6 对步骤5的色彩反射分量值，采用式(8)进行线性叠加，其结果作为最终图像。

4 实验结果与分析

为验证本算法的有效性，选取经典算法中不同雾天原始图像分别进行去雾处理，并进行主客观评价。在装有MATLAB2014b的Win7系统上进行算法模拟仿真并对比。

4.1 算法主观评价

将本文算法与MSRCR算法、基于HSV空间的MSRCR算法[17]做对比，三种方法图像增强处理结果如图3所示。

从图3可以看出，原图像场景被雾遮住，图像存在一定的退化。经过三种算法计算后，恢复图像都保留了大部分前景细节，图像彩色度也得到了增强，且并无“halo”现象。经过MSRCR算法处理后的图像，其远景处的雾并没有被除去，图3(j)～图3(n)中可以看出，原模糊区域的细节能得到增强，但是输出图像的颜色偏差。经过MSRC-HIV算法处理后的图像，无论远景还是近景的雾，并没有完全去掉。该算法处理后的图像，不能恢复出物体的本体颜色，色彩偏差较严重，整体视觉效果变差。而相比MSRCR算法、基于HSV空间的MSRCR算法，本文算法处理后的图像在纹理和色彩对比度方面都相对良好。对不同浓度的海上含雾图像，除雾效果都很好。处理后的图像在饱和度适宜，色彩偏差小，整体既视感良好，图像的细节体现也更丰富。图3(d)～图3(p)可以看出，本文算法处理后的图像更清晰，颜色保真度更好，更适合人眼视觉的观察，对不同的浓度雾都可以获得不错的处理效果。

4.2 算法客观评价

为进一步体现本算法的优越性，图像客观评价函数分别计算图像的信息熵(information entropy, IE)、标准差(standard deviation，SD)、峰值信噪比(peak signal-to-noise ratio，S/N)、图像模糊系数[18](image fuzzy coefficient，FC)以及平均亮度(mean brightness,MB)。图像信息熵表示图像中每个灰度级像素的可能信息量，一般来说，熵值越大，图像色彩越艳丽，图像轮廓越清晰。标准差是用来衡量图像整体对比强度，通常值越大，图像对比度越高。图像峰值信噪比和图像模糊系数经常应用于测量图片的重建质量，图片越模糊其信噪比越小，反之亦然。图像模糊系数越接近1，表面图像越清晰。而图像亮度均值反映了视觉对图像亮度的感受程度，均值越大，表明人感受到的图像亮度越高。表1、表2分别是图3的3种算法评价比较。

图3 去雾算法对比实例Fig.3 Comparison of fog removal algorithm

表1 图像信息熵、标准差和亮度均值评价数据

表2 图像峰值信噪比和模糊系数评价数据

对比表1发现，本文算法处理后的图像信息熵、标准差值比其他两种算法高，说明经本文算法除雾后，图像的信息量和细节都比原图好。因为本文算法对图像的亮度进行自适应均衡化处理，图像的亮度均值比其他算法略有下降，这也符合本文算法的原理。

从表2可以看出，经三种算法处理后的图像，在峰值信噪比和图像模糊系数值有所提升，本算法处理后，图像的模糊系数更接近1，说明本文算法在改善图像清晰度上更优。对比图3(a)～图3(d)，MSRCR算法能够提高图像峰值信噪比，但是模糊系数过大，图像清晰度降低。而图3(i)～图3(l)的图像经MSRCR-HIV算法的处理后的图模糊系数比本文算法更接近1，图像轮廓较为清晰，但是结合图像模糊系数、图3(d)和图3(l)图像，其除雾效果整体没有本文算法好。

5 结论

针对海上图像除雾难，除雾后图像模糊的问题，提出一种基于全局亮度自适应均衡化的改进MSRCR图像增强模型。该模型将CCD拍摄的原图像进行取反图像运算，将图像和取反后图像从RGB彩色空间变换到HSI空间后，对图像的亮度分量进行自适应均衡化处理，将亮度进行滤波处理，并将处理后的亮度叠加到经MSRCR处理后的反射分量中，通过计算图像的灰度均值和均方差，自适应计算除雾后图像的对比度，并恢复图像自然色彩。最后，通过实验验证本文算法在图像对比度、色彩重建方面具有较大优势。