基于融合策略的改进Retinex低照度图像增强算法

史瑞雪，高保禄，乔颖婧

(太原理工大学 软件学院，山西 晋中 030600)

0 引言

图像在采集过程中由于天气、光照等外界环境的影响，使得采集到的图像会出现光照不均、色彩失真、细节模糊等问题，从而使人们无法准确获取和识别图像中的信息。因此，对低照度彩色图像增强算法的研究具有重要的价值与意义。

目前，国内外应用比较广泛的增强算法有直方图均衡图像增强算法[1]、小波变换图像增强算法[2]和基于Retinex理论的图像增强算法。其中，Retinex理论是基于人类视觉亮度和颜色感知建立的色彩感知模型，又称为色彩恒常性理论[3]，具有动态范围压缩、边缘增强和颜色恒常等特性，常常被用于图像增强领域[4]。近年来，基于Retinex的改进的图像增强算法得到了许多新的发展。常戬等[5]提出了基于小波变换的改进双边滤波的Retinex图像增强算法和改进阈值函数去噪算法。该算法对小波分解后的低频图像进行光照估计，使用改进阈值函数得到新的高频系数，有效地避免了图像泛灰和光晕现象并去除了噪声；文献[6]提出一种通过Retinex模型进行结构显示微光图像增强算法，该算法提供了一种基于增强拉格朗日乘数的无对数变换的交替方向最小化方法，其在弱光图像增强中的有效性和鲁棒性都表现较好，但是存在色彩失真现象；文献[7]提出基于Retinex的区域协方差滤波器的图像增强框架，该算法在消除噪声和增强细节方面具有很好的效果，但是存在色彩饱和度低等问题。

上述算法在对图像增强效果方面有了一定提高，但是仍存在色彩失真、细节模糊等问题[8]。针对上述算法的不足，提出一种基于融合策略的改进Retinex低照度图像增强算法。该算法针对色彩失真的问题，提出只在亮度空间进行算法增强；针对边缘轮廓模糊的问题，采用高斯-拉普拉斯(LOG，Laplacian of Gaussian)LOG算子进行边缘检测；最后使用小波变换融合两幅图像得到色彩保真、细节纹理清晰、符合人眼视觉效果的图像。

1 Retinex理论

1.1 Retinex理论

Retinex理论即视网膜大脑皮层理论。由Land和McCann于20世纪60年代提出,是一种基于人类视觉感知的色彩理论[9]。该理论包括两方面内容：1)物体表现出的颜色主要由物体的反射性质决定，不受光照的影响；2)自然界中所有物体的颜色具有恒常性，不受光照非均匀性的影响，光照不均不会影响物体颜色的一致性[10]。Retinex理论的思想是减少甚至消除光照图像对视觉效果的影响，保留反映图像本质属性的反射图像，从而达到图像增强的目的。

根据此理论，一副图像可以分解为光照分量图像和反射分量图像，具体定义如下：

S(x,y)=R(x,y)*L(x,y)

(1)

式(1)中，光照分量L(x,y)决定图像的动态范围；反射分量R(x,y)对应图像细节纹理信息。在处理时，通常将式(1)转至对数域，从乘积关系转换为和的关系：

lg[S(x,y)]=lg[S(x,y)]+lg[L(x,y)]

(2)

由Retinex理论可知，物体的反射分量反映它的真实颜色，应该最大程度地保留，因此从原图像中估计光照分量从而获得反射分量，以此达到增强的目的。因此将式(2)转变成式(3)：

lg[R(x,y)]=lg[S(x,y)]-lg[L(x,y)]

(3)

1.2 基于Retinex理论的经典算法

单尺度Retinex(SSR，single-scale retinex)算法[11]是在Retinex理论的基础上提出的一种改进算法。该算法通过低通滤波器与原图像卷积获得光照分量。SSR算法的表达式如式(4)所示：

lg[R(x,y)]=lg(S(x,y))-lg[S(x,y)⊗G(x,y)]

(4)

式(4)中，⊗表示卷积,G(x,y)是一个低通滤波函数，一般选择高斯函数[12]，其表达式为：

(5)

式(5)中，σ为平滑刻度，即尺度参数，尺度参数σ的大小控制增强的效果[13]。

为了改进SSR算法的不足，Rahman等提出了多尺度Retinex(MSR，multi-scale retinex)增强算法[14]。在一定情况下，MSR可以实现颜色保真、动态压缩范围等优点。MSR算法的表达式如式(6)所示：

(6)

为了改进MSR算法色彩保真度上的不足，Jobson等对MSR算法进行了改进，提出了带颜色恢复的Retinex(MSRCR，multi-scale retinex with color restoration)增强算法[15]，通过引入色彩恢复因子，将MSR与色彩恢复因子相结合，实现色彩的校正[16]。MSRCR的表达式如下：

RMSRCRj=CjRMSRj

(7)

(8)

式(8)中，Cj为第j个色彩分量的颜色恢复系数，j=1,2,3分别表示R、G、B三个色彩分量；ε为非线性强度的调节参数因子，λ为增益系数。

2 本文算法

针对经典Retinex算法存在的问题，本文提出了一种基于融合策略的改进Retinex低照度图像增强算法。该算法主要包括以下3个部分：1)在YIQ空间对亮度分量Y采用MSR算法进行增强，得到色彩保真度较好的亮度图像，然后对饱和度分量Q进行色调补偿；2)采用LOG算子对RGB图像的3个分量分别进行边缘检测，将其叠加合成转换成灰度图，进而得到细节纹理保持较好的图像；3)采用小波变换将增强后的亮度图像与灰度图像进行融合，使其成为新的亮度图像，并将其与Q、I分量组合转回到RGB空间获得最终的彩色图像。具体工作流程如图1所示。

图1 本文算法工作流程图

2.1 YIQ颜色空间的MSR增强

对低照度彩色图像处理时，需要对彩色空间的RGB三个通道分别进行增强。由于RGB三个分量之间紧密相关，同时各通道增强幅度不一致，因此当对其进行增强时就会破坏这3个分量之间的相关性，导致颜色保真度降低。因此，对不影响颜色变化的亮度空间进行增强，避免色调和饱和度的变化，从而得到色彩保真度较高的图像。YIQ颜色空间具有能将亮度分量分离提取出来的优点，同时两个颜色空间之间的关系是线性变换的，计算量小，聚类特性也比较好，因此，选择YIQ颜色空间作为增强算法的处理空间。算法具体步骤如下：

1)将彩色图像从RGB空间转换到YIQ空间，提取亮度分量Y，对其进行基于MSR算法的增强。转换关系式如式(9)所示：

(9)

使用式(9)将RGB空间图像S转换成YIQ空间图像Sj，其中j属于(Y、I、Q)。根据Retinex理论得到亮度分量Y的关系表达式：

SY(x,y)=RY(x,y)*L(x,y)

(10)

其中:SY为通过式(9)所求得的亮度分量Y；RY(x,y)为亮度分量Y上的反射分量，L(x,y)为光照分量。对式(10)进行MSR算法增强：

(11)

2)由于亮度分量的改变，使图像色感发生了变化。因此对饱和度分量Q进行色调补偿，公式如下：

QC(x,y)=Q(x,y)+δ[(YC(x,y)-Y(x,y))]*ε

(12)

式(12)中，QC(x,y)和YC(x,y)代表增强后的饱和度分量和亮度分量，δ为一个常数，ε为一个调整系数。这个调整系数可以表示为：

(13)

2.2 基于高斯-拉普拉斯的边缘检测

经典的Retinex算法估计光照分量时，缺乏边界保持性，图像轮廓细节模糊。因此，本文提出使用高斯-拉普拉斯算子对低照度彩色图像进行边缘轮廓检测，它能够清晰地勾画出图像的边缘和细节并传递大量的图像信息。由于噪声对图像边缘检测影响很大，在利用拉普拉斯算子提取边缘时，应先减少噪声带来的影响。高斯函数是一种很好的归一化低通滤波器,可以有效地减少图像中的噪声。因此选用高斯滤波器先对图像进行平滑处理再进行边缘检测。LOG算子是高斯函数与拉普拉斯函数的双结合，是即集平滑和边沿于一身的算子模型。

采用高斯函数与原图像进行卷积，减少噪声：

g(x,y)=G(x,y)⊗S(x,y)

(14)

对式(14)所得到的平滑图像采用拉普拉斯算子,得到边缘清晰的图像:

h(x,y)=▽2g(x,y)=▽2[G(x,y)]⊗S(x,y)

(15)

式(15)中，S为原始图像,⊗为卷积运算，G为高斯滤波器，▽2为拉普拉斯运算。图像的边缘主要是由h为零的点决定,因此可得LOG算子为：

(16)

式(16)中，σ为高斯函数的尺度参数，其对高斯函数的影响比较明显，因此选择合适的值很重要，本文LOG算子中的σ值选1.6时，可以达到很好的效果。

本文使用LOG算子进行边缘检测时，将图像的RGB三个分量分别进行边缘检测，并将其叠加合成后转换成灰度图。相对于直接转换成灰度图进行边缘检测，这种方法噪点的数量下降很多，边缘也更加清晰。灰度图的转换公式如下：

Gray=R*0.299+G*0.587+B*0.114

(17)

2.3 基于小波变换的图像融合

小波变换具有方向选择性、正交性、可调整的局部支持以及分析数据量小等优点，而且小波变换的多尺度变换特性符合人眼的视觉机制，适于图像融合。因此，本文采用小波变换的方法将彩色图像和灰度图进行融合，以此得到边缘明显、颜色保真度高的彩色图像。具体过程如下。

将MSR算法增强后的亮度图像A和经过LOG算子检测后的灰度图像B分别进行多尺度的二维离散的Mallat快速算法。Mallat分解公式如下：

(18)

由于图像的低频分量表现的是图像的概貌和平均特性，因此采用加权平均法进行融合：

Aj,F=αAj,A+(1-α)Aj,B

(19)

式(19)中，Aj,A和Aj,B分别表示参加融合的两幅图像经过小波分解后的低频分量。Aj,F为融合后的低频分量，0<α<1。

图像的高频分量反应的是图像的细节，如边缘、区域边界等，因此采用基于区域特性的融合规则。首先计算两幅图像的匹配度，若匹配度大于等于阈值，说明两幅图像对应的局部能量较接近，因此采用平均加权的融合方法；若匹配度小于阈值，说明两幅图像对应的局部能量相差较大，因此选取局部区域能量较大的高频分量作为融合图像的小波系数。

(20)

根据局部区域的能量求得两幅图像所对应的局部区域的匹配度，其表达式如下：

(21)

当MT时，采用平均加权的融合方法，则：

(22)

当M

(23)

融合图像的各小波系数确定后，进行逆小波变换重构出融合图像。重构公式为：

(24)

将融合结果替代为新的亮度分量，并将其与Q、I分量组合。根据式(25)将YIQ图像转回到RGB空间，获得最终的彩色图像。

(25)

3 实验结果和分析

本实验基于通用Windows平台，选用的仿真环境为Matlab实验平台，在该实验平台上对多幅低照度彩色图像进行不同算法图像增强。MSR、MSRCR和本文算法的参数设置：1)MSR算法的3个高斯尺度参数为σ1=15,σ2=80,σ3=250。2)MSRCR算法的高斯参数与MSR相同，其余参数为α=6.5,β=0.2,Sj=1.5；3)本文算法中的高斯参数与MSR相同。LOG函数与小波变换的各项参数上文已给出。

3.1 主观评价

为了验证本文算法的有效性，将本文所提算法的实验结果与MSR和MSRCR算法的实验结果进行比较，得到主观效果如图2～4所示。

图2(a)为雾天绝缘子图像。由于雾天的影响，图像色彩暗淡、细节模糊；(b)图虽然图像清晰度有所增强，但色彩失真严重；(c)图由于彩色因子的引入使得整体色调恢复效果较好，但是仍存在细节模糊现象。本文算法增强后的图像符合人眼视觉效果，色彩鲜亮没有明显的失真现象，同时边缘细节明显清晰。

图2 绝缘子图像增强结果

图3(a)为夜晚街角图像。由于夜晚光线较暗，图像中建筑物存在明显阴影的同时轮廓细节模糊不清；(b)图中建筑物轮廓的清晰度明显有所加强，但颜色恢复效果不明显；(c)图中没有明显的阴影，但出现了曝光现象，色彩失真。本文算法由于引入了边缘检测算子，因此处理后的图像的建筑轮廓细节被明显勾勒。此外其色彩同原图相比饱和度更高，没有明显的失真现象。

图3 夜晚街角图像增强结果

图4(a)为逆光下的房间图像。由于光线和拍摄角度的问题，房间整体颜色偏暗，图像中的物体处于阴影中，不能明显的区分；(b)图中房间亮度虽有所提高，但总体仍旧较为昏暗；(c)图中没有明显的暗影，但出现了曝光现象。本文算法由于只在亮度空间进行增强，因此处理后的图像不仅亮度提升而且色彩保真度较高。

图4 房间图像增强结果

3.2 客观评价

为了客观评价各个算法的实验效果，将图像的标准差、平均梯度、信息熵、峰值信噪比和运行时间5个方面作为评价指标，并对不同算法的结果进行进一步有效分析。

3.2.1 标准差

标准差反映图像的对比度，标准差越大证明图像的质量越好，标准差越大，图像融合的效果越好。计算式如下：

(26)

式(26)中，μ为整体图像的灰度值,M和N表示图像的宽和高。

3.2.2 信息熵

信息熵代表图像中平均信息量的多少，图像信息越丰富表示信息熵的值越大。通过对对象中每点以及周围区域的像素点的灰度分布的提取，可得信息熵计算式如下：

(27)

式(27)中，P(j)是像素j在图像中的概率。

3.2.3 峰值信噪比

峰值信噪比为对图像失真程度的表达。其值越大，表示图像失真程度越小，越接近清晰图像。其表达式：

(28)

式(28)中,f(x,y)为原图(x,y)处的像素值，f′(x,y)为输出图像(x,y)处的像素值。MSE为当前图像X和参考图像Y的均方误差。M和N表示图像的宽和高；n为每像素的比特数，一般取8，即像素灰阶数为256。

3.2.4 平均梯度

平均梯度具备反映图像反差程度和纹理变化特征的功能。值越大表示图像轮廓清晰。其表达式为：

(29)

3.2.5 运行时间

运行时间与算法效率密切相关，时间较短则算法效率快，性能较好。

表1是从上述5个方面对不同算法进行客观比较的结果。从表中各项指标可以看出，上述几种算法处理后的图像均有明显的改善；本文算法标准差的值较低，这是由于本文采用了小波变换的融合策略，这一过程会降低图像的对比度；除此之外，较其他算法而言，本文算法除标准差之外的其他数值均有所提高，增强后的图像在色彩、清晰度方面更符合人眼的视觉效果，图像的层次结构更清楚，细节信息明显增加。

表1 不同算法对低照度彩色图像增强结果比

图5对各算法的运行时间做了对比。MSR算法耗时最短。MSRCR在MSR的基础上引入了彩色因子，相对于MSR算法时间较长。本文算法将MSR算法处理后的图像与LOG算子检测后的图像进行融合，所用时间较长，但基本和MSRCR算法相当。

图5 各算法运行时间对比

4 结束语

为了改善经典Retinex算法出现色彩失真、边界保持性差等问题，本文提出基于融合策略的改进Retinex低照度图像增强算法。首先，针对RGB颜色空间色彩失真的问题，考虑只对亮度空间进行算法增强以避免颜色失真，因此采用线性转换方便的，计算量小的YIQ空间，得到色彩保真度较高的图像；然后采用LOG算子对RGB颜色空间的3个分量进行边缘检测，获得轮廓细节清晰的图像；最后将两副图像采用小波变换进行图像融合得到无色彩失真、纹理细节清晰的增强图像。本文算法处理后的图像，从主观和客观两方面都有较高的评价，有利于人眼的观察以及后续图像的处理。但是，本文算法在小波变换的阈值选择以及匹配度计算上存在不足，进一步选择自适应阈值参数和准确的匹配度是未研究方向。