保持自然度的非均匀光照图像增强的Retinex 算法

蒲 恬，张子夜，彭真明，4

（1.电子科技大学信息与通信工程学院，成都611731；2.电子科技大学光电科学与工程学院，成都611731；3.电子科技大学信息与通信工程学院成像探测与智能感知实验室，成都610054；4.电子科技大学光电科学与工程学院四川省显示科学与技术重点实验室，成都610054）

引 言

自然场景中的环境光照往往复杂多变且分布不均匀［1］。环境光照的不均匀性对成像影响巨大，因为这种不均匀性通常会导致场景中光强的动态范围出现剧烈变化，这样的光照动态范围与当前数字成像设备有限的动态范围常常是不匹配的［2］。一旦成像过程曝光不合理，会导致拍摄的图像对比度不佳，暗区存在大量未被凸显的细节，从而降低图像的可视质量。在很多实际应用中，例如机场监控、商业摄影、遥感成像和计算机视觉等领域，提高这种非均匀照明图像的对比度可为后续进一步处理提供可靠的数据源，提高相关领域的处理效果。因此，增强非均匀照明图像有着重要的理论和应用价值。

早期的增强算法根据图像灰度分布区间来设计点映射曲线，典型的方法包括直方图均衡、伽马校正和对数变换等［3］。这类算法对图像局部区域内像素点之间的相互关系考虑不足，局部区域对比度提升后，容易过度增强图像的全局对比度而导致失真，或反之。

近20 年来，基于Retinex 理论的图像增强技术有了长足的发展。Retinex 理论是描述视觉系统如何感知场景表面反射率以解释人眼的彩色视觉的模型之一［4-5］。该理论的主要目标是设法将一个给定的图像I 分解为两个不同的图像：物理反射率图像R 和光照图像L。也就是说，对于坐标点(x，y)，有

通过此分解，Retinex 理论试图消除或抑制光照图像，以解释视觉系统对物理反射率图像R 的偏好性感知。在Retinex 理论中，消除或抑制环境光照，恰好满足在非均匀光照环境下，图像增强需要调整光照的动态范围这一要求。

在Retinex 理论基础上发展的图像增强算法的早期技术通过使用低通滤波器直接消除光照图像，并只留下物理反射率图像作为结果，这种方法往往在图像保真度方面会引入较大失真［2］。随后的算法进展通过采用扩散方程或者最优化理论，在不同的光照先验信息的假设基础上，通过建立光照图像的结构信息约束项，以估算光照图像［5］。图1 显示了这一系列算法的基本流程。由图1 可见，输入图像I 经过光照估计模块得到光照图像L 后，利用式（1），可求出物理反射率图像R，然后调整光照图像并与物理反射率图像重新相乘，最后得到增强结果IE。在这一过程中，优先对光照图像进行估算，然后再计算物理反射率，这也是目前绝大部分基于Retinex 理论的图像增强算法所采用的基本思路［5-10］。

根据式（1）估算光照图像，本质上是求解一个数学病态问题，需要对光照进行一定假设。例如一个普遍采用的假设是要求光照在空间上是局部缓变的［5］。这种假设更多地考虑了物理建模的角度，而不是从感知的视点。考虑到视觉系统对场景物理反射率具有感知偏好，因此，这一假设可能导致结果与真实感知之间出现差异。

研究表明，视觉系统对场景中明暗的相对变化，也就是场景的对比度更为敏感，而对光照的绝对强度不敏感［11］。因此，场景中的明暗变化激发视觉系统产生相应的神经响应，可以考虑用视觉对比度进行近似描述。考虑到Retinex 理论中视觉系统对物理反射率具有偏好性感知，本文假设图像可以分解为视觉系统对物理反射率的感知强度（本文称之为感知反射率）和对光照图像的感知强度（本文称之为感知光照）的乘积，提出感知反射率可以用计算对比度的方法进行近似，并可用于图像分解。在此假设基础上，提出一种非均匀照明图像增强算法。该算法从新视角理解中心-环绕型Retinex（Center-surround Retinex，CSR）模型［2］，为Retinex 理论提供了一种新的扩展实现，解决了CSR 处理非均匀照明图像容易造成处理结果失真从而导致图像自然度保真性下降的问题，可提供更好的图像可视质量。

图1 基于Retinex 理论图像增强算法基本流程Fig.1 Flow chart of image enhancement algorithm based on Retinex theory

1 非均匀光照图像增强

本文采用计算对比度的方法模拟视觉系统对物理反射率图像的感知，分解出感知反射率图像和感知光照图像，并根据视觉系统对光强的响应属性，调整光照图像的动态范围，实现图像增强。图2 显示了本文算法流程。如图2 所示，从输入图像I 中先求出视觉系统感知的反射率，然后利用式（1）计算光照，最后调整光照分量后与感知反射率图像重新合并，得到最终的增强图像。计算仅在HSV 色空间的V 通道进行以颜色保真。与现有的基于Retinex 模型的算法相比，本文不同之处是优先计算视觉系统感知到的反射率。

图2 本文算法流程Fig.2 Flow chart of the proposed algorithm

1.1 感知反射率图像

经典的CSR 模型实现了一种计算图像对比度的方法［2］，即

式中：Sσ(x，y)为输入图像I(x，y)的一个邻域均值，一般使用高斯平滑窗口计算，即Sσ(x，y)=I(x，y)*wσ(x，y)，其中*为卷积算子，wσ为高斯平滑窗口，σ 为高斯窗口标准差。根据文献［2］，式（2）也近似等于点(x，y)的反射率图像对比度。

式（2）所得的retinex 是一个具有正负值分布的对比度图像。由于视觉系统对光刺激的响应均为正值，因此本文提出使用式（3）作为视觉系统对物理反射率的感知强度，即感知反射率Rp的表达式

需要注意的是，由于I(x，y)点处邻域的影响，式（3）所求得的感知反射率的值域可能会大于1，这与式（1）中的物理反射率的值域限制在［0，1］之间有很大不同。此外，物理反射率不考虑场景中某点与其邻域的交互影响，而视觉系统对场景中某处物理反射率的感知是受到场景中该处周围背景影响的。鉴于此，本文采用式（3）近似视觉系统对物理反射率的感知有一定合理性。

1.2 感知光照图像计算

根据式（3）求得Rp后，感知光照Lp由式（1）可得

图3（b）和（c）分别是将输入图像图3（a）分解为感知反射率图像和感知光照图像的例子。可以看出感知反射率图像主要包含了图像的细节，反映了局部细节对于背景的相对变化程度，因此光照强度的分布信息在一定程度上被消除，而感知光照图像则反映了场景中光照的空间分布。

通过式（4）求得的感知光照图像体现了环境光照的非均匀分布，常常具有很大的动态范围。因此，需要调整光照图像的动态范围以达到提升阴影区细节，又压缩高光照强度区域动态范围的目标。

图3 图像分解示例Fig.3 Example of image decomposition

实验证明，视网膜对光照强度的响应输出与光照强度的幂率成正比［11］。换言之，视网膜神经响应与物理光照的伽马变换成正比，表达式为

式中：LM为调整后的光照图像，W 和γ 均为常数。对于8 bit 图像，取W =255。通过实验发现，γ 取值在[2.0，3.0]之间时，可以得到较好的视觉质量，较大的γ 能获得更多的暗区增强效果，但也更容易造成过增强。本文推荐的γ=2.2 可以在增强暗区细节和避免图像过增强之间取得较好的平衡。

1.3 生成增强图像

增强图像IE可表示为

图3（d）给出了图3（a）的增强结果，可以看到图像暗区细节得到了合理的提升，且原图中曝光良好的区域细节得到了保持。

复杂场景的图像通常包含着多个尺度的对比度［12］。因此，为了获得视觉质量更佳的处理结果，可以对式（6）进行多尺度拓展。具体方法是先通过使用不同的高斯窗口标准差σ，获取式（2）中不同尺度的Sσ(x，y)，然后使用多尺度平均的策略实现，即

式中：IMSE表示多尺度增强图像，N 为尺度数，IE，n表示第n 个尺度的增强图像，φn为相应尺度下的加权系数。为了得到自适应的加权系数，本文采用以下策略

式中：LM，n表示第n 个尺度下的光照图像。这种加权系数分配策略是因为一般光照较强的区域，细节也会更容易被感知，故应该分配较大权重。通过实验发现，使用两个尺度的高斯窗口就足以生成较好的处理结果了。具体而言，使用小尺度σ1=1 用来增强图像的细微细节，使用大尺度σ2=35 增强图像全局对比度。图4 给出了不同尺度下以及多尺度平均后的图像增强结果。可以看出，大尺度增强结果对于图像全局自然度保持较好，但在图像内的陡峭边缘处产生了一定程度的光晕现象，而小尺度正相反。多尺度增强结果将两个尺度的优势结合起来，又减小了各自的缺陷，多尺度平均后的结果较单一尺度的增强图像具有更好的图像质量。

本文采用式（2）作为感知反射率的计算基础，与同样使用了式（2）的具有颜色复原的多尺度Retinex算法（Multiscale Retinex with color restoration，MSRCR）［6］相比，本文算法的最主要不同点在于计算流程的差异以及对于光照分量的处理。MSRCR 的核心公式为

图4 尺度变化对于增强结果的影响Fig.4 Influence of varying scales on the enhancement results

式中：k 和b 为常数，下标c 表示颜色三通道序号。CR(·) 为颜色复原函数，定义为

式中α 为常数。从式（9）和（10）可见，MSRCR 没有对图像进行分解再合并的过程。MSRCR 直接将式（2）的多尺度均值通过线性函数进行拉伸，并与颜色复原函数相乘得到增强结果。MSRCR 的颜色复原函数本质上是颜色三通道分量的归一化函数，光照强度的大小在归一化过程中消失。然而视觉系统虽然对光照的绝对强度并不敏感，但仍然对不同强度的光照具有不同的神经响应，因此MSRCR 通过移除光照，容易对图像造成显著的过增强结果（在下文中有图例展现）。本文算法核心流程包含了分解-合并的过程，从原图中通过分解依次得到感知反射率和感知光照图像后，会重新合并这两者为增强结果。这一过程并未移除光照分量，下文的实验也验证了光照对于增强结果的自然度保真性的重要性。

2 实验结果

本节从定性和定量两方面对本文所提算法进行评估。评估包括与最近发表的增强算法进行比较。

（1）参与比较算法

进行对比的算法包括：具有色彩复原的MSRCR［6］、自然度保真增强算法（Naturalness preservation enhancement method，NPEA）［9］、结构补偿增强（Structural compensation enhancement，SCE）［13］、快速色调动态范围保持直方图调整增强（Fast hue and range preserving histogram specification，FHRPHS）［14］以及基于生理视觉适应模型的增强（Bio-inspired enhancementd，BioEn）算法［15］。为了对比的合理性和完备性，各个算法采用的是算法作者的程序，且参数设置与其各自论文中的设置一致。

（2）图像数据库

评估所用数据集来自可公开获取的NPEA-Set［9］，MLLP-Set［10］以及VV-Set 数据集［16］。由于版面所限，此处仅选取5 个具有代表性的图例，分别代表了非均匀光照图像的几个典型场景，包含有逆光、低光照和非均匀照明情况下的人像，自然景观，室内场景等。各个算法的处理结果见图5，其中每一行分别代表原图和对应不同算法的处理结果。

2.1 主观质量评估

从图5 可见，对于原图，所有算法都展示了不同程度的增强性能。其中，MSRCR、SCE 和BioEn 算法倾向于强烈突出图像细节，对于图像阴影区域中的信息提升较多。这种性能对于需要更强调细节提升的应用场合是有益的，但带来的问题是对图像产生了明显的过增强，在某些场合会导致结果明显失真。FHRPHS 算法没有考虑图像的局部信息分布，对图像对比度的拉伸容易产生不符合人眼对场景的理解结果，降低了图像的主观质量。NPEA 算法对于图像整体对比度提升具有明显效果，但是对于局部细节密集区域容易造成过度平滑，从而影响图像的质量。通过比较，本文算法在提升图像对比度的主观评价方面更符合人眼对图像的理解，能在局部细节的提升程度与图像整体自然度保留方面取得更佳平衡，具有更好的视觉效果。

图5 不同增强算法对比Fig.5 Comparison of different enhancement algorithms

为了更好地进行图像质量评估，在3 个数据集上，采用主观意见平均分（Mean opinion score，MOS）［10］对算法效果进行了多人评测（20 位评测者，评测者均为信号与图像处理方向研究生）。正式评测前，会使用非测试数据集图像对评测者进行训练，并从以下3 个方面进行测试说明：（1）增强结果图像不能有严重的过增强，欠增强以及光晕等效应；（2）增强结果的颜色应该是保真的；（3）图像细节的增强结果应符合评测者对场景的理解。评测方法如下：每一组测试，从图像数据库中随机挑选一张图像（原图），该图像所对应的不同增强算法的处理结果经随机排序后，依次选择与原图并列显示，评测者根据对原图的理解，对处理结果质量进行评分，分值从1（最差）到5（最好）。评测者完成当前组评测后，方可进行下一组图像评测。正式评测之前，会对评测者进行评测过程指导。表1 给出了在3个数据集上对不同增强算法评测后的MOS 分值。可以看出在3 个图像数据集上，本文算法的MOS均取得最高分。

2.2 定量评价

评估图像增强结果的好坏，首先依赖于个人主观偏好，而这种主观偏好现阶段难以进行量化。这也导致未见有得到广泛接受的客观评估图像增强质量的单一指标的报道，而且不同的图像质量量化指标在数据集多样的情况下往往与主观评测结果存在偏差。因此，本文使用结构相似度测量指数（Structure similarity index measure，SSIM）［17］、能见度水平指标（Visibility level descriptor，VLD）［18］以及亮度序偏差（Lightness order error，LOE）［9］3 个指标对增强结果分别从以下3 个方面进行评估：（1）结果相对原图的整体结构保持度；（2）可视细节增强程度；（3）图像自然度保真性。其中，SSIM 数值应该小于1，且数值越大表明结果相对于原图的结构保真度越高；对于VLD，指标超过1，表明图像得到增强，且数值越大表示细节增强程度越高；LOE 的数值越小，表明增强结果自然度保真性越高。表2 分别给出了在3 个图像数据集上，3 个指标对不同算法的测评结果的平均值，粗体表明在该数据集上的最好分数。

表1 在3 个数据集上的平均MOSTable 1 Average MOS evaluation results on three different datasets

表2 量化评估结果比较Table 2 Comparison of quantitative evaluation results

在SSIM 评测中，本文算法在NPEA-Set 数据集上取得最好的结果，在另外的两个数据集上取得第二好的分数，说明本文算法的增强结果对于原图而言较少引入结构失真，增强结果相对原图细节的结构完整性保持更佳。FHRPHS 算法在SSIM 方面表现更好，但图5 表明其增强结果的主观质量并不满足人眼对场景的理解，原因可能在于FHRPHS 算法对于很多图像并未产生明显的增强效果，结果图像与原图差异不大，由于SSIM 衡量结果图像相对于原图的结构差异，故而指标会取得更大的数值。

VLD 评测结果显示，本文算法在3 个数据集上分别取得了第3，第2 和第1 的名次，BioEn 和SCE 算法在VLD 评测中得分较高，说明这两种算法有较强细节增强能力，但图5 例子显示，这两种算法易造成过度增强而出现失真的结果。VLD 指标与可视细节的数量具有较大的正相关性，所以增强结果中如果包含较多的细节，VLD 评分会更高，但细节的增多并不意味着图像质量一定更好，如果一个算法倾向于提升图像中的细节，VLD 指标往往取值较大，但也更容易过度增强，反而导致主观质量的下降。

在LOE 指标的测评中，本文算法在3 个数据集上均取得了最好的评分，表明在考察图像增强结果的自然度保真性方面，与其他算法相比，本文算法具有更好的性能。

综上，相较于其他算法，本文提出的方法特点在于增强后的图像处理结果更接近人眼对场景的理解，对于非均匀光照图像的增强程度更符合主观预测，在多个数据集上的主客观测试表明，算法性能稳定。从主客观测试结果来看，目前的图像增强质量客观评价指标尚不能完全匹配主观评价结果，需要进一步研究。本文算法对非均匀光照条件下的图像增强具有普适性，在需要增强结果具有更好的自然度保真性的应用中，例如对于图像中包含有人脸的这类图像，本文算法不易对人脸引入失真，具有较大应用前景。

3 结束语

本文基于反射率光照分解模型，结合人眼视觉系统属性，针对CSR 型Retinex 模型，提出了一种改进的图像增强模型和处理流程，并在此基础上提出了一种非均匀光照图像增强算法。多个场景的实验结果表明，该方法具有较好的适用性，对非均匀图像质量有显著增强性能，算法性能稳定。与近几年学者发展和提出的多个图像增强算法比较，本文算法具有更好的自然度保真性。