低照度彩色图像的自适应亮度增强

陈 刚，刘 言，杨贺超，孙 斌，喻春雨*

（1.南京邮电大学 电子与光学工程学院、微电子学院，江苏 南京 210023；2.南京邮电大学 自动化院，江苏 南京 210023）

1 引 言

由于低照度场景中所拍摄的图像具有亮度低、噪声强、色彩差、细节信息缺失的特点，所以还原与增强低照度场景图像的研究吸引了越来越多的关注。目前，该方面的研究工作很多依赖于专用设备，如通过微光像增强器［1］、红外热成像仪等对低照度场景进行成像并辅以图像处理工作。但这些专用设备不仅价格高，而且其工作范围主要在可见光和近红外波段，对更低光照度场景拍摄图像效果并不理。因此，在提高专用成像设备性能并降低其成本的同时，研究不依赖于专用设备的低照度场景图像增强算法是非常有研究意义的。

常用的图像增强算法主要涉及直方图均衡、Retinex算法、去雾算法和伽马校正。一些经典的图像增强算法均具有其自身优势及局限所在，如：Zuiderveld［2］提出的限制对比度自适应直方图均 衡（Contrast Limited Adaptive Histogram Equalization，CLAHE）能够很好解决图像对比度低的问题，但存在图像对比度过度增强、颜色失真的问题；Jobson等人［3］提出了一种带有色彩恢复的多尺度Retinex算法（Multi-Scale Retinex with Color Restoration，MSRCR），抑制了图像明暗对比强烈的边缘交界处易产生“光晕伪影”的情形，但在低对比度区域会丢失细节信息；Dong等提出了一种基于去雾模型的低照度图像增强方法［4］，主要利用暗通道反转类似于有雾图像的特性，反转暗通道图像去雾后再转回实现图像增强，但图像轮廓尤其高亮度区域的轮廓出现严重伪影；Guo等提出了一种基于光照图估计的低照度图像增强算法LIME（Low-Light Image En‐hancement via Illumination Map Estimat-ion）［5］，先提取原低照度图像RGB三个通道的最大值得到初始光照图，再通过先验结构和伽马校正修正初始光照图，方法的缺点是处理后图像存在颜色过饱和；还有利用自适应伽马校正改善光照不均匀对图像的影响，其中增强效果较好的是刘志成等人提出的一种基于二维伽马函数的光照不均匀图像自适应校正算法［6］，利用多尺度高斯函数提取场景的光照分量来构造二维伽马函数，并利用光照分量的分布特性调整二维伽马函数的参数，有效降低了光照过强区域的图像亮度，提高光照过暗区域的图像亮度，但在亮度归一化后值为1的区域无法得到校正，且对场景亮度极低的图像增强效果不理想；近年来，Zohair提出了一种结合简单对数、指数运算、双曲正割累积分布函数和归一化的图像增强算法［7］，能够有效防止图像对比度过度增强，具有良好的视觉效果，但该算法不能自适应增强，对不同亮度动态范围的需要人工干预。

以上所述为典型的图像亮度增强方法，均是针对拍摄的单张图像进行处理，因此增强前进行的图像降噪也受单帧图像处理方法的局限，而低照度图像往往含有较强程度的噪声，进行高效降噪有助于提升图像亮度增强效果。基于以上分析，本文提出一种基于自适应亮度调节的低照度彩色图像增强方法，为克服对单帧图像进行增强在算法和效果上的局限，该方法采用的盲源分离方 法（Blind Source Separation，BSS）和 帧 平 均（Frame Averaging，FA）两种基于多帧的处理方法对低照度彩色图像在增强过程中进行降噪，所选用的BSS方法是对时序信号处理敏感、运算快的权值调整二阶盲辨识（Weight-Adjusted Sec‐ond-order Blind Identification，WASOBI）［8］，并对降噪后图像进行自适应参数的亮度伽马校正及基于皮尔生长曲线［9］的亮度矫正以避免图像局部亮度过增强，实验分析表明：该方法可以有效避免对比度过大和局部区域亮度饱和问题，使整幅图像亮度均匀、能够有效恢复原场景图像中丰富的色彩信息和细节信息。

2 方法原理与实验步骤

2.1 自适应伽马校正

本文提出的图像增强算法是基于多帧图像进行处理的，为避免单一的伽马校正对不同帧图像会引入光波动影响，因此采用自适应伽马校正方法进行亮度校正，其数学表达如下：

其中：

式（1）中，Iin为输入图像亮度；Iout表示输出图像亮度；c为比例系数，通常取1，F表示Iin的归一化亮度；Fmedian为取Iin中值；γ为伽马校正指数，其值由目标亮度均值m确定；m取值如下：

图1为当输入图像帧数为1~200时，分别经过固定参数伽马校正和自适应参数伽马校正的图像亮度均值对比，由对比可见：经自适应参数伽马校正后，图像亮度波动较小，有效降低由光照条件、曝光时间等不稳定的成像因素造成的图像亮度波动。

图1 不同伽马校正后的图像亮度稳定性比较Fig.1 Image brightness with gamma corrections

2.2 色彩空间变换

由于基于RGB色彩空间的图像处理需要分别在R，G，B三个通道进行，占用较大计算资源，这里将由1.1获得的初步亮度调节图像在YUV色彩空间进行图像降噪［10］，RGB色彩空间到YUV色彩空间的转换公式为：

式（3）中，Y为亮度；U，V为色度。

2.3 基于YUV色彩空间的图像降噪

将由2.2获得的YUV色彩空间图像并行进行两种处理：一种是帧平均降噪；另一种是提取代表亮度信息的Y通道分量后，对其分组进行基于盲源分离BSS的分离降噪。而UV是表示图像色彩的恒常量，且值的动态范围较小，不适合进行基于盲源分离BSS的分离降噪。

2.3.1 盲源分离降噪

对多个Y通道分量进行盲源分离降噪如下：

式（4）中，Yx(t)是作为混合观测信号的多个Y通道分量；Ys(t)是源信号的多个Y通道分量；A是未知混合系数矩阵［11］，定义观测信号的时延协方差矩阵：

其中：

式（5）中，RYs(τ)为Y通道分量的时延协方差矩阵，RYx(τ)为时延为τ的Y通道混合观测矩阵的时延协方差矩阵。根据Yeredor提出的将联合对角化转换为非线性权值最小化二乘的方法求解权值矩阵W（W=A-1）［12］。由此，初步估计降噪图序列为：

其中：

式（6）中，Y(t)为初步估计的降噪图序列；表示Y通道中心化后的混合观测信号；表示Y通道混合观测信号的均值。

2.3.2 图像质量评价排序

将由2.3获得的YUV色彩空间图像帧平均降噪后，提取Y通道分量作为参考分量，和由2.3.1得到的多个盲源分离降噪的Y通道分量同时进行系数为0.1≤r≤1的尺寸缩放，并依次计算参考分量和每个Y通道分量的结构相似性（Structural Similarity Index Metric，SSIM）［13］，选出结构最匹配的Y通道分量。其中，系数r根据原图像尺寸确定，文中图像尺寸为480×640，缩放系数r取值0.1。

2.4 结合皮尔生长曲线的亮度调节

对由2.3.2选出的Y通道分量采用对比度受限的自适应直方图均衡（Contrast-Limited Adap‐tive Histogram Equalization，CLAHE）［14］进 行 动态范围扩展，并将其处理后和处理前进行融合系数为0.5的加权融合［15］。为避免融合图像在高亮度区域的过度增强，对该区域进行基于皮尔生长曲线的亮度校正，其数学模型如下：

式（7）中，Iin（i，j）为输入图像即加权融合处理后的图像亮度；Iout（i，j）为输出图像亮度；为皮尔生长曲线模型；α，β，K为大于0的参数，Δ=1-Iin（i，j）。

图像经过基于皮尔生长曲线的亮度校正后的归一化亮度值如图2所示。由图可见，图像的高亮度值在变换后被有效降低，防止图像局部亮度过饱和。

图2 基于皮尔生长曲线的亮度校正Fig.2 R.Pearl model based brightness correction

经以上处理后，再将输出图像转换回RGB色彩空间，即完成对低照度彩色图像的增强和去噪。

2.5 算法流程

相应于以上的算法原理和方法，本文提出的算法步骤如下：

Step 1：在固定视场内连续获取N帧低照度彩色图像，采用帧平均法，获得n张初次降噪图；

Step 2：对N张降噪图像依次采用自适应伽马校正；

Step 3：将由Step 2获得的图像序列依次从RGB色彩空间转到YUV色彩空间；

Step 4：对由Step 3获得的YUV色彩空间图像并行进行两种处理：一个是对彩色图像进行帧平均处理；另一个是对Y通道分量分n组进行基于权值调整二阶盲辨识的分离降噪；

Step 5：以由Step4获得的帧平均处理图像的Y通道分量作为参考，采用缩小图结构匹配法对Step 4获得的盲源分离降噪后n个Y通道分量质量排序，并提取出最优质的Y通道分量；

Step 6：对由Step 5获得的最优质Y通道分量进行结合皮尔生长曲线的亮度调节；

Step 7：将由Step 6获得的处理结果与由Step 4获得的帧平均处理的U，V通道分量重组，并转回RGB色彩空间；

Step 8：对Step 7获得的RGB图像进行最大值受限的归一化处理，即完成低照度彩色图像增强。

相应于以上的算法步骤，本文提出算法的流程图如下：

图3 本文提出的图像亮度增强算法流程图Fig.3 Flow chart of the proposed algorithm

3 实验与性能分析

3.1 算法性能分析

选择如图6（a）~6（f）六种不同的低照度彩色场景进行算法性能分析，不同场景增强前具有不同程度的低亮度，如图6第1行所示。兼顾运算时间和增强效果的因素，对每种场景连续拍摄200帧并进行均匀分组，分组数n取值为1~100。

所拍摄图像的尺寸为480×640，运算环境为Intel（R）Core（TM）i7-4720HQ@2.60 GHz 2.60 GHz四核处理器、8GB内存的笔记本电脑。对本文提出的图像增强算法采用均值和运行时间进行性能评价，前者反映图像的亮度水平，后者反映算法的运行速度。

由图4的增强后图像亮度均值随分组数n的变化曲线可知：在分组数n取值为（1，100）时，图像亮度均值呈上升趋势；在分组数n取值为（20，100）时，图像亮度均值上升缓慢。

图4 增强后图像亮度均值随分组数的变化Fig.4 Mean value of the enhanced image

图5为分组数n取不同值时，本文算法对不同低照度彩色场景进行图像增强的运行时间随分组数n的变化曲线；图5（a）选图像缩放系数为1；图5（b）选图像缩放系数为0.1。由图5可知：运行时间随分组数n增加而增加，且采用缩小图像进行质量评价排序可大大降低运行时间。

图5 分组数n和运行时间t的关系Fig.5 Runtime of the proposed algorithm

3.2 实验结果对比

综合以上图像增强效果和运行时间的分析，本文提出算法在连续拍摄200帧时选取分组数n为25。图6给出不同低照度场景经5种典型算法和本文算法增强处理后的图像性能对比，5种典型增强算法分别为MSRCR算法［3］、Dong算法［4］、LIME［5］算法、Liu算法［6］和Zohair［7］算法。

图6展示的是室内、外6种不同弱光照场景下的低照度彩色图像经5种经典算法和本文提出方法的增强效果对比。图6中第1行是低照度场景原图，从左向右场景亮度逐渐增强；图6中第2行-第7行依次为经典方法MSRCR［3］，Dong［4］，LIME［5］，Liu［6］，Zohair［7］和本文方法的增强处理效果。由对比可见，图像亮度在经不同方法增强后均得到提升，场景中景物的清晰度均得到改善。但对比5种典型图像增强算法和本文方法，可以看出：Dong［4］，LIME［5］和本文方法对图像亮度的提升较大，MSRCR［3］，Liu［6］和Zohair［7］对 图像亮度的提升不足，且经MSRCR［3］增强后图像有光晕、细节扭曲现象；而对比Dong［4］，LIME［5］和本文方法，经Dong［4］增强后在高亮度区的物体边缘处有明显的轮廓，且Dong［4］和LIME［5］增 强后图像存在局部亮度过饱和、图像亮度不柔和现象；经LIME［5］增强后图像，视觉效果较好，但颜色失真、偏绿；经Zohair［7］增强的图像细节保留较好，但颜色失真、有亮度过增强区域。

由图6中图像增强处理前、后所对应的直方图可见，当图像中存在如场景d，e和f中的高亮度区域时，该区域的灰度值经5种典型算法增强后均存在“过增强”，其中LIME［5］和Zohair［7］算法对场景f的增强凸显这一问题；而本文算法可以有效避免高亮度值的过度增强，使处理后的整幅图像亮度分布均匀，符合人眼视觉特性。

相应于图6的视觉效果对比，表1给出本文方法和5种典型算法对低照度彩色图像增强后的评价参数对比，其中：均值反映图像亮度的增强能力；信息熵反映图像包含的细节信息量；运行时间反映算法的实效性。此外，还采用了基于自然场景统计的通用失真无参考图像质量评价BRISQUE［16］和衡量结构相似程度的有参考图像质量评价SSIM［14］。BRISQUE是从图像中提取MSCN（Mean Subtracted Contrast Normalized）系数，然后将MSCN系数拟合成非对称性广义高斯分布，并提取拟合的高斯分布特征，输入到支持向量机SVM中进行回归，从而得到图像质量的评分，其值越低说明对图像信息保留越好，具体算法描述见文献［16］；SSIM是一种衡量两张图像相似度的指标，它从图像组成的角度反映场景中物体结构的属性，并将失真建模为亮度、对比度和结构三个不同因素的组合，SSIM值越大说明 图像失真越少，具体算法描述见文献［13］。

图6 不同场景的图像增强效果对比Fig.6 Comparison of image enhancement under different scenes

表1 本文算法在分组数为25时与其他增强算法的评价参数值对比Tab.1 Comparison with other typical algorithms

由表1中成像性能评价参数对比得出：相比较5种典型算法，对低照度场景拍摄200张序列图像，并结合亮度提升效果和运行时间选择分组数为25时，本文算法对低照度场景图像在亮度增强上占绝对优势，可将极低亮度的原彩色图像的亮度均值提高54.4倍、中等亮度的原彩色图像的亮度均值提高3.5倍；并可以将图像信息熵提高1.3-2.9倍，和典型算法中最优的LIME［5］方法相近；由基于自然场景统计的通用失真评价参数BRISQUE比较可知，经本文算法处理后，BRIS‐QUE降低20%~64%，使图像视觉效果更自然；在运行时间上满足实时处理要求。

4 结 论

本文提出的低照度彩色图像增强算法是一种基于多帧的处理方法，针对图像降噪采用盲源分离结合帧平均进行分组处理；针对图像亮度增强采用自适应参数的伽马亮度校正和基于皮尔生长曲线高亮度调节。经本文提出方法处理后。原场景中极低亮度可被提高54.42倍，是典型算法增强效果的2倍以上；原图像细节信息可被恢复2.9倍，和增强效果最好LIME［5］方法相近；且BRISQUE降 低20%~64%，SSIM提 高2.37~51.8倍；算法运行可满足实时处理需要，因此本文提出了一种高效的、适用于日常低照度场景的图像增强方法。