基于Retinex的自适应非均匀低照度图像增强算法

曹陇鑫，马宗方，石 晶

(1.西安建筑科技大学 信息与控制工程学院，西安 710055; 2.空军预警学院，武汉 430000)

0 引言

光源不充足的狭小昏暗环境下，采集到的图像视觉效果不佳，相对于光照理想情况下的图像而言，图像存在整体阴暗、颜色退化、对比度低等问题；非均匀低照度条件下，亮度信息的减少导致图像存在光斑，这使得图像中原本昏暗的区域更加模糊，以上因素极大影响机器视觉对目标检测分割和分析决策的准确率。因此，为了恢复低照度图像的颜色，获得有效的图像信息，提升机器视觉分析决策的准确率，图像亮度的增强处理变得至关重要。

现阶段用于增强低照度、非均匀图像的方法主要有直方图均衡化、色调映射、暗通道先验、Retinex算法等。文献[1]提出了一种亮度直方图局部线性化图像增强方法来提高彩色遥感图像的可视效果,首先将图像进行HSI变换，对I分量进行直方图均衡，然后利用局部线性化的灰度映射曲线进行增强，有效改善了图像的可视效果，减少图像增强后的灰度，但增强后的图像亮度不均匀，会丢失细节信息。文献[2]提出基于色调映射图像的亮度分区的盲质量指标，可以很好地保留图像细节信息，但整体对比度不高且计算量复杂。文献[3]提出高斯曲线建模的自适应暗通道先验(DCP)去雾增强算法，通过计算块级暗通道获得像素级暗通道，与其他DCP方法相比，提高了约30倍的处理速度，但恢复图像的同时放大了噪声点，降低了图像的质量。Jobson等提出单尺度Retinex(SSR)[4],主要增强灰度图像，但是在平衡动态压缩和颜色恒定方面仍存在问题； 多尺度Retinex(MSR)[5]由不同尺度的SSR线性加权组合形成，适用于彩色图像增强，但增强后的图像边缘细节信息丢失，出现伪光晕;改进后的MSR增加了具有颜色恢复的MSRCR(multi-scale retinex with color restoration)[6]，但它仅在适度范围内调整亮度和对比度，超出范围会导致颜色失真，计算过程较复杂。文献[7]提出改进型Retinex算法的雾天图像技术，有效提高了雾天图像的清晰度和对比度;文献[8]提出了3个引导滤波器代替高斯滤波器以获得照明分量和反射分量，有效增强低照度图像的同时保留了细节信息。但以上两种算法在增强非均匀低照度图像时存在光斑区域过度增强的问题；针对以上问题，本文提出了一种基于Retinex的自适应非均匀照度图像的亮度层增强算法，通过对亮度图的提取及估计入射分量，引入自适应调整参数，校正亮度图，最后采用图像融合技术获得最终增强图像。为了验证算法的有效性，实验中对多张图像进行算法的增强，验证本文算法可以有效增强非均匀低照度图像的亮度和清晰度。

1 Retinex理论

Retinex[9-10]理论也称色彩的恒常性，1963年由Land等人提出，Retine理论认为人眼对物体色彩的感知取决于物体表面固有的反射特性，与外界入射照度分量的强弱无关，即人眼能够在复杂的光照条件下正确地记录景物的真实颜色。该算法提取入射分量L(x,y)，反映低照度图像的整体结构，从原图I(x,y)中去除入射分量获得物体的反射分量R(x,y)。定义如下:

I(x,y)=R(x,y)·L(x,y)

(1)

对式(1)取对数运算，可得：

lg(R(x,y))=lg(I(x,y))-lg(G(x,y)*I(x,y))

(2)

通常L(x,y)可以通过中心/环绕操作来估计，式(2)中*为卷积运算，G(x,y)为高斯环绕函数，定义如下：

(3)

式中，k为归一化参数，σ为高斯函数的标准差，满足∬G(x,y)dxdy=1。

2 本文算法

在光照不充足的复杂环境中成像，导致截取的视频图像存在以下问题：1)照明不均匀，灯光区域光斑多，光亮区域极亮，阴暗的区域极暗；2)因为照度不均匀，图像色彩失真，细节信息丢失。同时图像中目标的清晰度会随着光照的变化不断改变。因此为了获取清晰的图片信息，需要采取措施对照明分量进行估计和校正。

本文针对以上问题，提出基于Retine理论的自适应增强亮度图像算法，本文算法步骤框图如图1所示：1)采用多尺度引导滤波器估计亮度图像的入射分量；2)计算源图像素均值，获得自适应调整参数；3)加权融合两个增强的亮度图，权重系数不同，增强后的亮度图细节信息也不同，本文将权重系数分别设置为3和5，最终得到的增强图像信息比较完整。

图1 本文算法步骤框图

2.1 提取亮度层图像

文献[11]通过找到R，G，B通道中最大值来单独估计每个像素的照度，构建了良好的照明图，但同时增加了计算时间，无法保证所有通道都按照适当的比例增强或衰减。本文将图像RGB色度空间转换为HSI色度空间，HSI色度空间更符合人类视觉特性，其中色调(Hue)、饱和度(Saturation)、亮度(Intensity)彼此独立，保持H和S都不变的条件下增强I分量。为了保证光斑不会再次被增强，本文对I分量采取自适应亮度增强，根据采集到的图像自身不同的的照度，将图像光斑处和昏暗处的像素均值化，获得适合每张图像提亮的调整参数，提升整体亮度的同时抑制图像颜色失真。

2.2 引导滤波算法

入射分量L(x,y)代表照射到物体上的光源能量总和，表示图像中的低频成分；反射分量R(x,y)代表了物体自身特性，包含着图像的高频细节部分。Retinex算法结合高斯低通滤波器估计入射分量的过程会丢失一些高频分量，导致图像细节和边缘信息不完整。文献[12]提出的引导滤波可以消除图像光晕、边缘平滑、细节增益。假定引导图像Gi与输出图像qi存在局部线性关系，可建立线性模型：

(4)

式中，i为像素索引，Mk代表半径为r的滤波窗口，k为滤波窗口的中心像素点，|w|为滤波窗口Mk中的总像素个数。本文令引导图像Gi与输入图像Pi一致，所以线性系数ak和bk表示为：

(5)

bk=(1-ak)uk

(6)

(7)

2.3 自适应亮度增强

自适应增强亮度层图像是根据不同照度的非均匀低照度图像的入射分量分布轮廓构建亮度增强功能，抑制图像中光斑区域的亮度值，增加阴暗区域的亮度值。文献[13]引入韦伯-费希纳定律对图像自适应分区，并提出基于分区的局部色调映射算法，实现了动态压缩再现图像细节。本文基于韦伯-费希纳定律校正亮度自适应增强，定律表明心理量和物理量的关系，物体反射出的光线撞击人眼视网膜将产生人眼感知的主观亮度(心理量)，主观亮度的感知I′和客观亮度(物理量)I之间的关系是对数线性关系：

I′=εlg(I)+ε0

(8)

式中，ε0和ε是常数，为避免对数运算所需的计算负担增加，图像不同区域过度增强或抑制增强，将对数域的输出量化到[0,255]区间，如公式:

(9)

式中，255为8位图的灰度级，k为调整系数，如图2所示，图像增强的幅度随k的增加而减小;式中I′为增强图像，I为增强前的亮度图像，L为估计的入射分量。

图2 亮度调整曲线

(10)

式中，W为源图像中的像素总数，α为权重系数，输出图像的亮度增强程度随α值减小而增大。如图3所示，随α增大图像亮度增强程度越小。本文通过多次试验，建议权重系数α的取值为3和5，权重系数数值在一定范围内相差越大，图像共有信息量越少，增强后的图像亮度越高，图像颜色泛白，细节边缘信息会丢失。本文权重系数数值取邻近值，共有信息量较多，融合特有信息量可以增强图像细节信息。

图3 权重系数对图像亮度增强的影响

2.4 图像融合

图像融合技术是将多个子图像的关键信息融合在一起的方法，非均匀低照度图像存在光照不均匀，光斑区域曝，光阴暗区域模糊等问题，图像亮度通过自适应增强后依旧存在细节信息不均匀。

融合规则的选取，图像融合过程中的重要部分，直接决定了融合图像质量的优劣。本文融合规则的要求如下：以保留源图像中的重要信息为主，尽可能将相互区别并互补的信息兼容融合，无用信息尽可能地避免融入[14]。传统的基于多尺度变换的图像融合方法主要有小波变换和拉普拉斯金字塔等，但是这些方法不能很好的表达和提取图像的细节边缘信息。文献[15]提出基于引导滤波和高斯滤波的多尺度融合方法，将红外信息融入到可见光图像，有效提高图像的视觉效果。本文将对图像不执行多尺度分解，通过自适应调整系数k中的权重系数α的值可获得不同信息特征的增强图像，通过计算增强后图像的权重相加获得最终的融合图像。公式如下：

(11)

式中，F为融合图像，Si为待融合图像，Wi为加权系数。加权系数通过主成分分析(principal compo- nentsanalysis,PCA)确定，基于所选择的成分图像之间的相关性来执行图像融合。计算方法是通过获得图像特征向量和对应特征值，识别相似图像的主要成分，根据主成分确定待融合图像的权重。图像融合过程如图4所示。

图4 图像融合过程

S1和S2为两个源图像，假定每个图像用n维向量Xp表示,则图像融合步骤如下：

1)构造源图像矩阵X：

(12)

2)计算矩阵X的协方差矩阵C：

(13)

(14)

4)选择其中最大的特征值：

P=argmax(λP)P=1,2

(15)

5)使用最大特征值对应的的特征向量计算权重系数：

(16)

6)计算融合图像：

Ien=w1S1+w2S2

(17)

式中，Ien为融合的亮度图像。本文融合方法基于信息不同的亮度图像之间的相关性来执行图像融合，共有信息特征的数据被压缩，而独特信息特征的数据被增强。

3 仿真实验与分析

3.1 实验环境

为验证本文算法的有效性，设计Matlab程序，在台式计算机(Inetel(R)Core(TM)i5-4200 CPU @2.50 GHz和Windows7操作系统)的测试平台上进行多次实验数据对比分析。

经过多次实验，本文将引导滤波窗口的半径分别设置为：r1=16，r2=64，r3=128，将自适应调整系数k中的权重系数α分别设置为：α1=3，α1=5，获得两张信息特征不等的增强图像。

3.2 实验数据分析

为验证本文算法对低照度视频图像增强的有效性，分别和多尺度Retinex算法(MSR)、文献[16]提出的非均匀照度图像自然色彩恢复算法(Efficient Naturalness Restoration Algorith- m,ENRA)算法对比，分别从主观视觉效果和客观质量两方面对其进行分析。本文选取图像信息熵(Information Entropy,IE)和平均梯度(Average Gradient,AG)对算法结果进行客观评价：

1)信息熵反应图像所含信息，熵越大表明图像中信息量越丰富,对比度越高。图像作为输出的信息源A，定义为所有可能符号{ai}的集合，并且源符号ai的概率为p(ai)。因此，此图像中包含的平均信息量表示如下：

(18)

2)图像平均梯度表达图像细节的能力，用于测量图像的相对清晰度。公式如下：

(19)

其中:M和N表示图像的宽度和高度，∂f/∂x表示水平梯度，∂f/∂y表示垂直梯度。

如图5和图6所示，图中(a)为摄像头拍下的钢厂作业间工人高危作业的图像，视觉上图像整体较暗，图像左半部分较为昏暗，目标模糊，而右半部分相对而言照度较好，但是图像中存在较大的光斑；图(b)，(c)，(d)分别为MSR、ENRA和本文算法对图像进行增强处理后的结果；图(b)中MSR算法处理的图像过于增强，表现在图像右边高亮区域被同时增强；图(c)中ENRA算法避免了过度增强高亮区域，但是图像整体亮度不高，清晰度不高；图(d)中本文算法处理结果明显提高了整体亮度和对比度，增强细节信息的同时避免了高亮区域的过度增强。

图5 算法比较

图6 算法比较

图7中,(a)为原图，(b)，(c)，(d)分别为MSR、ENRA和本文算法对图像进行增强处理后的结果。MSR处理结果增强了对比度，但是颜色失真，色彩不均匀，亮度部分提升但不均匀。ENRA处理后的图像亮度提升且分布均匀，但是颜色失真，淸晰度不够。本文算法明显提升了图像整体亮度，且亮度分布均匀，图像淸晰度提升，表现在图像左边钢结构部分的细节信息上。综上所述，本文算法提升低照度图像的亮度和淸晰度，同时解决了图像光照不均匀的问题，有效抑制高亮区域的增强。

图7 算法比较

图8中，(a)为原图，(b)，(c)，(d)分别为MSR、ENRA和本文算法对图像进行增强处理后的结果，MSR处理结果明显增强了对比度，亮度也有所提升，但是图像颜色失真，图像亮度不均匀。ENRA处理后的图像亮度提升且分布均匀，淸晰度不够。对比以上两种算法，本文算法更加有效提升了低照度图像的亮度和淸晰度，恢复了图像色彩，增强了视觉效果。

图8 算法比较

表1、2分别为两组图像的信息熵和图像平均梯度的评估数据，由数据可知，MSR、ENRA和本文算法都能够有效对图像进行亮度增强，增强后的图像在图像对比度、图像亮度、图像信息熵和图像清晰度方面都高于原图像。本文算法对图像的增强效果在在图像对比度、图像亮度、图像信息熵和图像清晰度方面都优于其他算法，展现了本文算法的优越性。

表1 图像的信息熵

表2 图像的梯度

4 结束语

为增强非均匀低照度图像，提出一种基于Retinex理论的自适应亮度层图像增强的算法。本文算法主要针对光照不充足环境中采集到的低质量图像，这些图像整体昏暗模糊，颜色退化，为提升图像质量，在HSI色度空间中，只对亮度层I进行处理；根据非均匀低照度图像的分量的不同，高亮区域光照充足，甚至曝光，根据拍摄角度不同，获得不同的源图像的像素均值，引入权重系数α；根据权重系数的两个不等经验值可以获的两张细节信息特征不一样的图像，最后通过主成分分析融合图像。实验表明，相比现有的图像增强算法，本文算法能更好地提升昏暗环境下采集到的非均匀低照度图像的整体亮度和对比度，强化图像细节部分，同时保持颜色恢复和抑制高亮区域的增强。展示了本文算法在增强非均匀低照度图像中的有效性和优越性。