基于Retinex理论的低照度图像对比度增强算法

张恩齐，孔令胜，郭俊达，刘虹良

（1.中国科学院长春光学精密机械与物理研究所，长春 130033；2.中国科学院大学，北京 100049）

0 引言

由于光照不足，光源来源复杂，光照强度不均，使得摄像机拍摄的图像经常是亮度值低、对比度低，或者局部光照很强，而其他区域亮度值低，图像的细节信息无法清晰地显示，这些低质量、低对比度的图像会对人们的实际生活产生影响，如夜晚监控、车辆识别、人脸识别和故障检测等[1]。在现实生活中，无法避免在这种复杂环境下拍摄图像，因此，对低照度条件下的图像进行图像对比度增强是图像处理领域中的一个热点问题，并得到广泛地研究。

随着图像增强算法不断地研究，很多算法取得了不错的进展，其中最常见的是直方图均衡化，该方法直接对图像的直方图进行处理，从而增强图像对比度，但该方法是改变图像的灰度级，会使图像局部过度增强，从而丢失细节。近年来，基于视网膜-大脑皮层Retinex理论的算法，渐渐成为图像增强领域的研究热点。基于Retinex理论[2]的算法主要是将原始图像分解为照射图以及反射图，其算法认为原始图像中的反射图像反应图像的本质特征，从而着重于消除照射图在原始图像中的影响。

较为常见的Retinex算法：单尺度Retinex算法（Single-Scale Retinex，SSR）[3]；多尺度Retinex算法（Multi-Scale Retinex，MSR）[4]；具有色彩修复的多尺度Retinex（Multi-Scale Retinex with Color Restoration，MSRCR）[5]；可同时对反射图和光照图进行处理的加权变分模型算法（Simultaneous Reflectance andIllumination Estimation，SRIE）[6]；非均匀弱光图像增强算法（Naturalness-Preserving Enhancement，NPE）[7]；基于照明映射评估的低亮度图像增强方法（Low-light Image Enhance-ment，LIME）[8]；多偏差融合算法（Multi-deviation Fusion method，MF）[9]等。这些算法都可以对低照度图像进行图像增强，提升图像对比度，但其中MSR、MSRCR算法容易对图像亮度过于提升，容易得到亮度失真的结果图，其余算法都不可避免地损失一定程度的原始图像的细节及纹理信息。

本文提出了一种简化的基于Retinex理论的低照度图像对比度增强算法，可对单张低照度图像进行处理，在图像对比度增强的同时保证图像的纹理以及细节。主要工作包括：基于低秩纹理先验的结构-纹理图像分解模型于对图像进行分解，提取原始图像纹理图；然后对原图像进行初始照射图估计，对初始照射图进行中值滤波处理，迭代引导滤波处理，将初始照射图的纹理去除并且保留其边缘信息；利用亮度变化函数对处理后的照射图像进行亮度提升，利用增强后的照射图和Retinex理论得到原始图像的反射图，最终将反射图与纹理图相融合得到最终融合图像。实验结果表明该算法增强图像全局对比度的同时，还有效地保持了图像自然度和细节特征。

1 相关工作

1.1 图像分解

图像基于各种方法可分为不同图像层，可以基于频域的方法将图像分为高频和低频信号，基于Retinex算法将原始图像分解为照射图以及反射图。本文需要原始图像的纹理信息，所以将图像分为两部分结构层和纹理层，利用算法将图像的纹理信息提取出来。图像分解的方法有很多，可以使用图像滤波器进行滤波，也可以采用基于TV（Total Variation）全变分模型[10]，彩色纹理图像分解的VO（Ves-Osher）模型[11]等方法。

本文采用基于低秩纹理先验的结构纹理图像分解模型[12]的方法，该模型以总变分范数和全局核范数分别表征结构和纹理成分。其分解模型不仅非常简单，而且对于全局模式良好的图像也非常有效，与其他模型相比，该模型可以恢复更干净的纹理及细节。可以将原图像充

分提取纹理信息的同时尽量避免提出结构图像的边缘信息，这样得到的纹理图像细节更多。

1.2 简化Retinex模型

Retinex理论是一种自适应图像增强理论。该理论认为映入人眼中的光是由环境照射分量以及物体反射分量组成，其中反射分量为物体的本质。简单而言该理论是将原图像视为带有噪声的图像，和图像去噪目的类似，基于Retinex理论合理地消除噪声得到的图像便为增强图像，公式可表示为：

式中：I(x)为原始图像；IL(x)为照射图像；IR(x)为反射图像。

Retinex理论的思想是减少照射图像对视觉效果的影响，保留反射图像，实现图像增强。具体方法为：将式（1）转换为对数域。采用滤波等方式对照射图像IL(x)进行估计，整体亮度提升后再从对数域还原，从而得到代表了图像中物体的内在特性反射图像IR(x)。如图1所示。

图1 Retinex原理图

1.3 亮度变化函数

对于图像亮度的提升，常常用到的是非线性函数对图像进行处理，常见的有伽马校正。

近年来，Ying[13]提出了新的模型：Beta-Gamma的相机响应模型，该模型是在伽马校正的基础上进行了改变，在伽马校正之前对图像的像素进行了放大，得到了新的亮度变化函数g(I(x),k)。

式中：g(·)为亮度变换函数；k为曝光率；β和γ是和曝光率k相关的两个参数；u为常数防止曝光率无穷大。

其中，曝光率k计算公式如下：

最后可得，亮度变化函数如下：

经大量实验数据得知：a=-0.3293；b=1.1258。这种亮度变换函数具有双参数，更能对图像的亮度进行有效提升。

1.4 图像增强算法

本文设计了一种简化的Retinex模型，从而提高低照度图像的对比度。首先，基于低秩纹理先验的结构-纹理图像分解模型，将原图像分解为结构图像和纹理图像，如式（7）所示，本文只需纹理图像信息。

式中：IS(x)为结构图像；IT(x)为纹理图像；I(x)为原始图像。

然后，对I(x)原图像进行处理，基于Retinex理论，将原图像分为照射图以及反射图，如下所示：

式中：I(x)为原图像；IR(x)为反射图像；IL(x)为照射图。

根据Retinex理论，本文需要求取IL(x)照射图，从而得到IR(x)反射图像。

初始照射图可采用Max RGB技术，得到原始图像中最亮的通道：

式中：(r,g,b)为图像的3个通道；I(x)为原图像；IM(x)为初始照射图。

采用Max RGB技术是由于得到的IM(x)保留了输入的I(x)结构信息，更利于后续操作。

本文需要得到的照射图边缘清晰，纹理模糊，所以需将该照射图进行处理，将图中的纹理细节进一步地平滑掉，本文选用中值滤波器进行处理：

其中，M(·)为中值滤波；处理后的照射图IP(x)能保持图像中各个物体的边缘信息，又可以尽可能的去除细小的纹理信息，但只经过中值滤波后，IP(x)的纹理和边缘信息还会有一定程度的模糊，为了使照射图边缘尽可能清晰，本文采用自迭代多次引导滤波方法对照明图IP(x)进行处理，引导滤波具有细节平滑的同时保持边缘的优点，相较于双边滤波器[14]其时间复杂度更低。

不同于传统的引导滤波，本文将每一次滤波后的图像都将作为下一次引导滤波的引导图，如式（11）所示。这种迭代式的引导滤波方法，可以有效细化照射图像，得到更为清晰的边缘信息，以及光滑的纹理信息。

本文经试验迭代4次左右效果最佳，本文采用亮度变换函数对图像IN(x)的亮度进行处理，其亮度转换函数为：

其中，β=eb(1-ka)；γ=ka；g(·)为亮度变换函数；经实验得知a=-0.3293，b=1.1258；k为曝光率；β和r是和曝光率k相关的2个参数；u为常数防止曝光率无穷大，公式如下：

最终经亮度变换函数后，照射图IL(x)为：

经本文图像对比度增强算法，得到低照度原图像的反射图像IR(x)为：

最后，本文将增强的反射图像和纹理层融合在一起得到最终的结果：

算法流程图如图2所示。

图2 本文算法流程

2 实验结果及分析

2.1 主观评价

为了验证本文方法，本文利用公开的DICM数据集以及LIME数据集进行实验，实验环境为：i5-6300HQ CPU@2.30 GHz，Matlab 2018a。并将近年来6种图像增强算法与本文算法进行对比，这6种算法分别为图像去雾（Dehazing-based，Dong）[15]算法、亮度增强（Illumination Estimation-based Method，LIME）算法、多尺度Retinex融合（Multiscale Retinex，MSR）算法、多偏差融合（Multi-deviation，Fusion，MF）算法、非均匀弱光图 像 增 强（Naturalness Preserved Enhance-ment，NPE）算法、基于加权变分模型图像增强（Simultaneous Reflection and Illumination Estimation，SRIE）算法作为实验对比算法。

图3所示为本实验在数据集DICM选取的图像，原图为室外低照度图，峡谷两侧为背光。Dong算法过于区分峡谷和天空的分界处，边缘轮廓过于清晰；LIME算法对局部区域有过增强；MSR算法处理后的图像亮度有些失真；MF算法对局部区域有欠增强；NPE算法对图像有着较好的亮度增强，但是峡谷区域有些不清晰，细节模糊；SRIE算法对峡谷两侧有些欠增强；而本文算法没有局部欠增强和过增强现象，细节清晰，起到了图像增强的效果。

图3 实验对比结果1

图4所示为本实验在数据集LIME选取的图像，原图为室内低照度图像。Dong算法局部细节不是很清晰；LIME算法对局部区域有过增强；MSR算法处理后颜色亮度失真；MF算法处理后图像对比度得到了明显增强，但丧失了一定的细节信息；NPE算法处理后图像的整体自然度较高，但细节光照没有得到很好补偿；SRIE算法处理后图像整体偏暗；而本文算法在对整体对比度有效增强的同时，保持了局部细节。

图4 实验对比结果2

2.2 客观评价

为了更好地评价图像质量，本文使用视觉信息保真度（Visual Information Fidelity，VIF）、自然统计特性（Natural image quality evaluator，NIQE）来对结果图进行评估，表1和表2分别为图3和图4对应的客观评价数据。视觉信息保真度VIF的测量标准为图像VIF值高，证明图像质量越好，但图像VIF值过高，图像则会的过亮。如LIME、MSR算法处理图像，图像亮度会过大，本文算法的VIF值低于LIME、MSR算法，但高于其余算法证明图像亮度得到提高，同时保持住了图像质量。

表1 视觉信息保真度（VIF）

表2 自然统计特性（NIQE）

自然统计特性NIQE值越低，图像质量越好。本文算法的NIQE值在所有方法中是最低的，表明本文方法在增强图像对比度的同时细节保持较好，整体效果略好于其他方法。

3 结束语

为了对低照度图像进行图像增强，并且保持细节，本文将图像分解、亮度转化函数及Retinex理论相结合，提出了一种简化的基于Retinex理论的低照度图像对比度增强算法。首先基于低秩纹理先验的卡通-纹理图像分解模型对图像进行分解，提取原始图像纹理图，对原图像进行初始照射图估计，对初始照射图进行中值滤波处理，迭代引导滤波处理，将照射图的纹理去除并且保留其边缘信息，以及利用亮度变化函数对处理后的照射图像进行亮度提升，基于Retinex理论得到原始图像的反射图，最终将反射图像与纹理图相融合得到最终融合图像。

实验结果表明，本文所提出算法具有更好的图像质量，证明了本文算法在图像对比度增强的同时保证图像的纹理以及细节。相较于近年来各种图像增强算法，本文算法自然统计特性NIQE值更低，在低照度图像对比度增强方面有优越的性能。