低光照图像的亮度增强与颜色恢复方法研究∗

曹颖川 黄 磊 宋子硕 郭 辉

（宁夏大学信息工程学院 银川 750021）

1 引言

图像在采集过程中，一方面由于所在环境下外部光照的不充足或者不均衡；另一方面，拍摄设备位置的差异或者相同设备的曝光不同，它们通常都会导致图片较为阴暗，产生低光照图像问题。这不仅影响人们的观察体验，而且也给图像处理或机器视觉中的特征提取、目标检测与图像理解等多个方面带来较大的挑战，严重影响其应用效果。

为此，需要通过图像增强处理方法提高低光照图像的质量或目标特征。当前，图像增强处理主要分为基于空间域和基于频率域两类方法［1］。

基于空间域的方法起初采用对图像像素点取值进行线性函数变换实现图像的增强。该类方法虽然简单直观，但是容易导致图像明亮区域过饱和，进而丢失细节信息［2］。为了避免这个问题，一些图像增强方法改用幂变换、对数变换、函数变换等非线性单调函数进行增强［3］。直方图均衡化［4］通过改变图像的直方图分布来改变图像中各像素的灰度值，可以有效提高动态范围偏小的图像对比度，但均衡化后图像的灰度级减少，易丢失局部信息，导致图像色彩失真。在Lab颜色空间［5］，直方图在a、b 通道一般分布集中且呈单峰分布，如图1。利用直方图规定化［6］可以避免直方图均衡化导致的颜色失真，得到图像在a、b 通道上期望单峰分布。

图1 图像在a-b平面的三维直方图

通过傅里叶变换［7］，可以将图像从空间域转换到频率域。在频率域中，低频对应于图像中变化缓慢的灰度，而高频对应于图像中变化较快的灰度。根据图像的照度-反射模型，自然景物图像可以表示为光源照度（照明函数）和场景中物体反射光（反射函数）的乘积，如下式：

其中，照明函数的频谱集中在低频段，反射函数的频谱集中在高频段。基于照度-反射模型，Retinex理论［8］通过从原图像中估计光照分量，然后设法去除或降低光照分量，获得物体本来面貌。基于Retinex理论，研究者提出单尺度Retinex（SSR）［9］、多尺度Retinex（MSR）［10］、带色彩恢复的多尺度Retinex增强算法［11］（Multi-Scale Retinex with Color Restoration，MSRCR）等，它们能够在一定程度上增强低光照图像的亮度，但同时都会产生不同程度的色彩失真。

同态滤波［12］通过不同的滤波函数以不同的方法影响傅里叶变换的高、低频成分，对原始图像中的反射分量进行扩展、光照分量进行压缩，从而消除不均匀照度的影响，增强图像细节，且不会产生色彩失真的问题。同态滤波能够提高低光照图像的亮度和纹理，但处理后的图像仍然存在偏色问题，因此对图像进行偏色检测和颜色校正是图像色彩恢复过程中必不可少的步骤之一。徐晓昭等［13］提出基于等效圆的偏色检测方法，由等效圆在a-b色度平面上的具体位置，判断图像整体的偏色，再结合灰度世界［14］和完美反射［15］两种方法的优点，对偏色图像进行校正。

随着深度学习技术的快速发展与广泛应用，其也被用于图像增强，主要包括基于CNN 和基于GAN 两类方法。大多数基于CNN 的解决思路如同LLNet 方法［16］采用成对数据进行有监督训练，但是成对数据的收集在实际应用中较为困难，而且会导致模型严重依赖这些数据，泛化能力较差；为此，基于GAN 的无监督方法，如EnlightenGAN［17］消除了成对数据训练的限制，采用未配对的低光照和正常光照图像，然而上述解决方案不仅需要仔细选择非配对数据，而且模型同样高度依赖训练数据，同时会消耗较多的计算资源。

在上述研究的基础上，本文根据照度-反射模型给出同态滤波、偏色检测与校正相结合的图像增强方法，及其实验验证结果。

2 基于同态滤波与颜色校正的低光照图像增强处理方法

基于同态滤波与颜色校正的低光照图像增强处理方法主要包括两个环节：首先，通过同态滤波消除不均匀照度对低光照图像的影响，同时增强图像细节；其次，在Lab颜色空间对a、b通道进行偏色检测，并基于直方图规定化对图像进行偏色校正。由此可知，该方法兼顾了低光照图像的亮度、纹理和色彩特征，可以显著提升图像增强的整体效果。

基于同态滤波与颜色校正的低光照图像增强方法如图1所示，主要步骤如下。

1）利用同态滤波消除不均匀照度的影响，增强图像细节。

2）将经过同态滤波增强的图像由RGB 通道转换为Lab通道，对a、b颜色通道图像进行偏色分析，判断偏色程度。

3）根据偏色分析结果，对图像a、b 通道进行直方图方图匹配校正，恢复低光照图像颜色。

2.1 同态滤波

根据图像特性，定义不同的同态滤波函数能以不同的方法影响傅里叶变换的高、低频部分，图3为同态滤波对低光照图像处理流程。采用高斯滤波函数影响照度-反射模型中的高、低频信息，压低照明分量，提高反射分量，从而达到抑制图像动态范围、扩大图像细节灰度范围的作用。同态滤波函数计算公式如下：

图3 同态滤波处理流程

式中，x，y，表示图像像素点，滤波器参数σ取σ=1.5 高斯模板尺寸取5×5。

2.2 偏色检测

通过同态滤波处理后，图像的亮度与纹理得到了增强，但其色彩效果与真实场景仍有差距。为了准确描述这种差距，受基于等效圆的偏色检测的启发，采用平均色度AC 和色度中心距D 的比值作为偏色因子P 分别衡量a、b 颜色通道的偏色程度，其具体计算方法如下：

式中，X、Y为图像的宽和高，T表示颜色通道上的像素值；a、b 表示a 颜色通道和b 颜色通道，在a 通道上ACa>0 偏红，反之偏绿；ACb>0 偏黄，反之偏蓝。当偏色因子P<-0.5 或P>0.5 时，表明图像偏色程度较高，需对其进行偏色校正。如图4，同态滤波处理后的图像的a、b 两通道的偏色因子测量值为Pa=-1.28，Pb=1.59，数码相机拍摄的图像中a、b两通道的偏色因子测量值为Pa=0.05，Pb=0.12。

图4 同态滤波处理后和数码相机拍摄

2.3 偏色校正

在a、b 颜色通道上，图像的二维直方图多呈现为单峰分布，且分布集中在特定值域。当描述图像偏色程度的偏色因子P 值超出正常范围时，则表明该图存在偏色问题，需对其进行偏色校正。低光照图像在颜色分布上与真实图像差异比较明显，可以采用直方图规定化校正方法。直方图规定化利用均衡化后的直方图作为一个中间过程，然后求取规定化的变换函数，具体操作如下：

1）将a、b 通道图像的灰度直方图进行均衡化，得到一个变换函数：

式中，Sk是均衡化后的像素，r是原始像素，L是最大灰度级。

2）对规定的直方图进行均衡化：

式中，vk表示规定直方图均衡化后的像素，zm表示规定直方图像素。

3）规定的直方图和原始图像直方图进行均衡化处理后，需符合等式sk=vk，且满足如下关系式：

根据直方图均衡化中间结果，确定原始像素和规定化像素之间的映射关系，并基于a、b 颜色通道像素均衡分布的参考图像，对目标图像进行直方图规定化处理，改变低光照图像像素在a、b 颜色通道上的分布状况，进而改善图像颜色的整体效果。

3 实验研究

当分别用同态滤波和直方图规定化处理低光照图像，如图5，同态滤波可以明显增强图像亮度和纹理，但在颜色恢复上存在不足，单独使用直方图规定化处理低光照图像时，由于图像局部光照不足造成图像失真现象，而结合二者各自优点，可以同时增强图像的亮度、纹理和颜色。

图5 低光照图像在不同模块的增强实验结果

为了检验基于同态滤波与颜色校正的图像增强方法的有效性，这里选取不同的数据集进行实验研究。实验数据集如下。

1）DPED［18］由三款智能手机和一台单反相机在野外同步拍摄的照片组成，包括来自索尼智能手机的4549张照片，苹果手机的5727张照片，黑莓手机和佳能相机的6015 张照片。这些照片均是在不同地点、不同光照和天气条件下白天拍摄的。

2）DICM［19］收集的商业数码相机拍摄的69 张照片。

3）NPE［20］从互联网下载的85张低光照图像，包含8张户外自然场景图像；而NPE-ex1、NPE-ex2和NPE-ex3 是三个补充数据集，涵盖多云、白天、黎明、黄昏和夜晚等不同场景。

将本文图像增强方法在这些数据集上进行应用实验，并与LIME［21］（基于光照估计的方法）、NPE（自然度保持增强算法）、MSRCR、SRIE［22］（同时反射和光照估计）、EnlightenGAN 和Zero-DCE［23］等算法进行对比，结果如图6所示。同时，选择DPED数据集中数码相机（Canon）拍摄的图像作为全参考图像，基于客观评价指标对上述几种算法的处理结果进行定量分析。

图6 实验对比结果

实验运行环境为Windows10 操作系统上的Matlab R2018a 软件平台，搭配i7-9700 CPU@3.00GHz、3.00 GHz。

图6中从左到右（i）为输入图像，（a）为LIME算法，（b）为NPE 算法，（c）为MSRCR 算法，（d）为SRIE 算 法，（e）为EnlightenGAN 算 法，（f）为Zero-DCE 算法，（g）为本文算法，从上图的实验结果可以直接看出，LIME 和MSRCR 算法在图像亮度增强上优于其他算法，但是存在严重的颜色失真，SRIE 算法在亮度增强上最差，EnlightGAN 处理的亮度高但存在颜色失真，而本文算法在亮度和颜色效果上更符合人眼视觉。

为了客观准确对比上述实验结果，图像增强后，还需对其进行客观准确的评价，而现有的图像评价指标不能对图像颜色进行有效测评，被大家普遍认可并采用最多的客观评价指标有PSNR［24］（Peak Signal to Noise Ratio）和SSIM［25］（Structural Similarity）。前者表示峰值信噪比，基于对应像素点间的误差，PSNR 值越大，代表失真越少；后者从亮度、对比度、结构三方面度量图像相似性，取值范围为［0，1］，其值越大，表示图像失真越小，当两张图像相同时，SSIM为1。

但是在全参考图像数据集中，由于不同的视角和位置，同步捕获的图像并不能完全对齐。为此可以先通过SIFT 特征提取匹配确定重叠区域，然后进行非线性变换和裁剪，得到相同分辨率的两幅图像所表示的同一场景，如图7所示。表1为SSIM 和PSNR 两种评价指标对图8 所示多种算法处理图像结果的测评数值，图8 中（h）为数码相机（Canon）拍摄的图像。

表1 基于SSIM和PSNR的测评结果

图7 基于SIFT描述子匹配的重叠区域图像对齐

图8 DPED数据集实验对比结果

在表1 中包含四张不同图像和六种图像增强算法，每种算法下的增强图像分别通过SSIM 和PSNR两种评价指标进行测评。表的纵行表示四张不同图像在不同算法下的测评值，横行表示图像在同一算法处理下的测评值。EnlightenGAN 在i1 的PSNR值以及图像i2和i4处的SSIM 值最大，在其他处理结果中本文方法测量值都是最大的，结合整体分析，SSIM 指标提高了2%～18%，最接近数码相机拍摄的图像质量；PSNR 指标提高了1%～3%。据此表明，本文算法能有效提高低光照图像质量。

4 结语

低光照图像清晰度差，图像颜色往往明显偏离正常图像。为此，首先通过同态滤波改变低光照图像的高、低频信息，增强低光照图像的亮度和纹理；在此基础上变换图像颜色空间，通过偏色因子对图像在a、b 颜色通道的偏色程度进行度量和判断，再据此对偏色通道采用直方图规定化方法进行恢复校正，最后合并颜色通道，并重新转换回RGB 颜色空间，得到最终的增强图像。通过在不同数据集上的实验及其与代表性图像增强算法的对比分析，本文算法在处理低光照图像的亮度和颜色上更具优势，且更符合人眼视觉；同时，在DPED 数据集上与数码相机拍摄的高质量图像对比，结合SSIM 和PSNR 评价指标定量分析，该方法能有效提高低光照图像的整体质量。