一种改进的色彩保持低照度图像增强方法

遆晓光，曲悠杨

(哈尔滨工业大学控制与仿真中心，150080 哈尔滨)

一种改进的色彩保持低照度图像增强方法

遆晓光，曲悠杨

(哈尔滨工业大学控制与仿真中心，150080 哈尔滨)

针对现有低照度图像增强方法恢复结果存在的色彩失真问题，采用原用于图像去雾领域的暗通道先验方法，提出了一种基于暗通道先验的低照度图像增强方法.通过提取图像的暗通道信息来获得对应场景的光照强度分布图;针对暗通道先验原理导致的白色像素区域暗通道数值计算错误的问题，提出了一种通过计算像素的RGB三通道数值差值来判定错误区域方法，并给出了具体的错误修正方法;为了消除暗通道先验产生的块效应，对修改后的光照强度分布图进行平滑;基于图像每个像素点光照强度与标准光照强度的比例关系对原图像的RGB三通道进行放大，实现色彩保持的图像增强;与现有方法进行实验对比分析，从恢复结果的色彩失真情况以及峰值信噪比等方面验证了所提方法的有效性.

低照度图像增强;暗通道先验;色彩保持;图像平滑

在夜间低照度条件下，采集图像时周围环境光照条件不佳以及采集图像设备本身的问题都会对采集的图像质量产生影响，使得到的图像整体灰度值和对比度低，感兴趣区域难以识别.另外，图像中的一部分由于获得光照不足或位于阴影区域导致灰度值较低，与背景融合在一起，使提取出原始图像中这部分的信息出现困难.因此，增强低照度下图像的亮度和对比度在民用如智能交通系统、智能安防系统、智能视频监控等以及军用中如成像侦察系统和成像制导中都具有重要的应用价值.

目前，已有很多种方法可以用来解决低照度图像增强问题.如:直方图均衡法、Retinex方法、MSRCR方法、空域彩色图像增强方法［1］、梯度域图像增强方法［2］、仿生彩色图像增强方法［3］、基于照明-反射模型的同态滤波方法［4］、HDR方法等等.

局部直方图均衡方法是先将图像的每个像素的RGB通道按一个固定比例放大，然后以一个窗遍历整个图像，并在每个窗内进行直方图均衡［5］.这种方法不仅运算量大，而且当图像中同时存在较暗和较亮的区域时图像增强的效果很差.Retinex方法是将图像变换到对数域［6］，在对数域将图像的照射光分量和反射光分量分离开，并根据图像的反射光分量恢复图像［7］，这种方法的缺点是很容易造成图像的色彩失真.MSRCR［8］方法是在Retinex方法的基础上加入了颜色恢复的功能.但是在实际应用中恢复的颜色参数需要手动调节.HDR方法是对同一场景连续拍摄多幅不同曝光量的图像，利用每个曝光时间相对应最佳细节的图像来合成最终的HDR图像［9］.这种方法在拍摄时需要保持照相器材的稳定，拍摄时间较长，无法应用于实时图像和视频增强领域，而且对于全局亮度很低的图像增强效果较差.

本文提出的改进色彩保持的低照度图像增强方法，是基于单幅图像，引入原用于图像去雾领域的暗通道先验［10］的思想，可获得低照度图像场景的光照强度分布，在增强图像亮度和对比度的同时可很好地保持图像色彩信息，具有处理速度快和复原图像质量高的特点.同时对目前应用于去雾领域的暗通道先验方法中存在的对于白色区域处理效果差的缺点进行了改进.

1 算法概述

低照度图像本质上是由于场景光照强度较低产生的.而事实上在大多数低照度图像中，光照分布不均将导致图像中出现较亮的区域和较暗的区域，给图像增强带来了困难.为了恢复低照度图像，我们希望放大较暗区域的像素值，保持较亮区域的像素值.这就要先获得图像的光照强度分布图，根据每个像素点不同的光照强度进行不同系数的放大.准确的估计图像的光照强度分布图是方法的核心问题，是实现色彩保持的图像增强的关键.在本文中引入原用于去雾领域的暗通道先验方法来估计场景的光照强度分布，并对暗通道先验原理中存在的问题进行了改进.

本文提出的色彩保持的低照度图像增强方法包括以下步骤:

1)输入图像，并将其转换到RGB彩色空间，获得图像的RGB三通道图像;

2)计算图像的RGB三通道图像各像素点在RGB通道中的最小值，得到输入图像的暗通道图像;

3)为了解决暗通道先验原理对白色区域不适用的问题.对图像中的白色区域进行判定，并修改白色区域像素的暗通道数值，得到初始光照强度分布图;

4)对修改后的暗通道图像进行线性平滑，以去除由于暗通道先验原理产生的分块效应，得到平滑后的光照强度分布图;

5)根据像素点在平滑后光照强度图像上的灰度与期望光照强度的比例关系，对图像上不同的像素点的RGB三个通道进行增强，完成图像增强.

2 暗通道图像的获得

获得准确的光照强度分布图是恢复低照度图像的关键，本文将通过暗通道先验的方法来获得图像光照强度分布图.

在自然场景中，图像可以被描述为［10］

其中:I是指观测到的图像;J是期望得到的场景的真实辐射值;A是光照强度分布图;t用来描述光线通过媒介透射到照相机过程中没有被散射的部分，低照度图像增强的目标就是从I中复原J、A、t.为了获得图像的光照强度图像，先要提取图像的暗通道图像.暗通道先验是通过对正常光照下户外图像的观察得出的，即在绝大多数非天空的局部区域里，某一些像素总会有至少一个颜色通道具有很低的值.对于一幅图像I，定义它每个像素点的RGB三通道的最小值构成的图像为Imin:

对应的暗通道图像B为

其中:Q(i，j)为以像素I(i，j)为中心大小为N×N的图像块，(x，y)为Q(i，j)内的任意像素点.

经观察得出，除了天空方位，在一片区域中总存在有一个像素的某个通道的数值很低且趋近于0.如果I是自然光照下的户外图像，把B称为图像I的暗通道图像，并且把以上观察得出的经验性规律称为暗通道先验.暗通道值的产生主要有3个因素:

1)汽车、建筑物和城市中玻璃窗户的阴影，或者是树叶、树与岩石等自然景观的投影;

2)色彩鲜艳的物体或表面，在RGB的3个通道中有些通道的值很低;

3)颜色较暗的物体或者表面，例如灰暗色的树干和石头.

总之，自然景物中到处都是阴影或者彩色，这些景物的图像的暗通道值总是很低的.可以根据这个原理估计低照度条件下的图像光照强度分布.

根据式(2)、(3)可以获得低照度图像I的暗通道图像B.根据式(1)可得

因为Jdark(i，j)约等于0，故公式(4)等价于

本文不讨论雨雾带来的影响，对于室内和街道等景深基本一致的场景可以认为t是一个不变的常数.故可以获得低照度图像的光照强度部分图 A，即

可知对于图像I，光照强度分布图A与暗通道图像B存在大小为固定系数1-t的比例关系.如何获得准确的暗通道图像B将是准确估计图像光照强度分布的关键.由于t会在后续计算中被约去，故不需要进行估计.

3 白色图像区域暗通道数值的修正

上一节已经获得了图像的暗通道图像，但是在获得的暗通道图像中，明显有一些区域灰度值较高，不符合暗通道图像与光照强度分布图成固定比例的情况，这将造成图像光照分布图的估计错误.为了获得准确的暗通道图像，在这一节将对这些区域进行研究，并提出判定和修改暗通道数值的方法.

3.1 白色区域的定义

实验中发现暗通道先验原理对于绝大部分的颜色区域都是适用的，但是由于白色像素的RGB三通道数值比例大致为1∶1∶1，白色区域的像素的RGB三通道强度值非常接近，并不存在1个明显的数值接近0的通道.所以暗通道先验原理对于图像中的一些白色区域，如白色的墙壁、白色的物体等并不适用，这就会导致获得的白色区域的暗通道图像出现错误.而暗通道图像的数值的不准确就会导致光照强度分布图的估计错误，从而影响低照度图像增强质量，这就需要对图像中的白色区域进行判定，并对白色区域对应的暗通道图像的数值进行修正.

在图1为原图像与其所对应的初始暗通道图像，图1(b)所示的白圈内的区域即为暗通道图像中暗通道数值被误判的区域.在原图中，显然白圈圈出的区域和其附近区域的光照强度相同，而在暗通道先验得到的结果中则与附近区域有明显区别.这将导致这部分图像在增强后出现色彩失真的问题.通过对图像中白色区域像素的RGB三通道数值进行分析，可以发现白色区域的像素I(k，l)具有以下两个特点:

1)IR(k，l)、IG(k，l)、IB(k，l)3 个数之间数值较为接近;

2)B(k，l)数值较大.

图1 原图像对应的暗通道图像

3.2 白色区域的判定及暗通道数值修正

为了修正误判的白色区域暗通道图像的数值，必须先要对白色区域进行判定，可采用如下方法.

对于已经获得的暗通道图像B，计算B的最大灰度值Bmaxgray以及B的平均灰度值Bmeangray:

其中w、h分别为图像I的宽和高.提取图像的RGB三通道图像IR、IG、IB，并对它们两两做差，取绝对值的最大值记为S.对于图像的所有像素点，如果 S(i，j)≥10，B(i，j)≥ Bmeangray且 B(i，j)≤Bmaxgray/2，则像素点I(i，j)被判定为白色区域.对于所有判定为白色区域的像素，将其在暗通道图像B上对应的值修改为Bmeangray，修改后的暗通道图像记为D.由于图像I中存在的噪声，在判定白色区域过程中出现的一些误判的点，这些点会在之后的图像平滑过程中得到修复，不会影响恢复后图像的质量.

综上所述，白色区域判定及其暗通道数值修正的步骤为:

1)获得图像的RGB三通道图像IR、IG、IB.

2)计算图像中每个像素I(i，j)三通道间的最大差值 S(i，j).

3)对于图像中每个像素I(i，j)判定是否满足白色区域的条件.

4)修改判定为白色区域的像素所对应的暗通道数值.

在修正了暗通道图像中白色区域的数值以后，获得了图像的初始光照强度分布图D.

4 初始光照强度分布图的平滑

在上一节中获得了低照度图像初始光照强度分布图，但是由于暗通道图像的求取是对于每个像素点在一个以其为中心的窗内取最小值的计算，当存在一像素点其某一通道的数值极小时，包含这一像素点的所有窗对应的像素点的暗通道数值都将为这一极小值，于是就产生了分块特性.而实际上光照强度在某一局部区域应该是平滑过渡的，为了使恢复的光照强度图像均匀过渡还需要对初始光照强度分布图D进行线性平滑，得到平滑的光照强度图像E.在文献［10］中，采用了一种软抠图算法(soft matting)来完善透射率分布函数，这个方法的问题在于需要求解稀疏线性系统，导致计算量非常大，严重的影响了算法的运行速度，本文采用线性近似的方法来代替软抠图算法.

4.1 图像平滑的要求

初始光照分布图的平滑需要满足两个要求:

1)对于暗通道图像中灰度数值变化不明显的低频区域要起到平滑的作用;

2)对于暗通道图像中灰度数值变化明显的高频区域要起到保持的作用，保证不会模糊边缘的信息.

4.2 线性近似平滑

为满足以上要求，对于图像I上的每一点，对以其为中心，大小为 M ×M的窗 Wk(k=1，2，…，w×h)内的所有像素以如下公式进行线性近似［11］:

其中M的大小根据输入图像的大小w×h确定，对于同一个图像，M应略小于求取暗通道图像时使用的窗的大小N的值，可以使用公式M=N-2来计算M的数值.在M的数值大小确定后，线性近似的结果将由近似参数ak，bk决定.当ak，bk的数值发生变化的时候，线性近似的结果E也会发生变化.E和D之间的差由下面公式求得:

其中ε是一个非常小的常数用来防止ak过大.通过求取R(ak，bk)的最小值的方法来确定线性近似的参数 ak，bk.

4.3 线性平滑参数的求取

使用线性回归的方法解出R(ak，bk)的最小值为

当R(ak，bk)为最小值时，对于低频区域，D与uk近似相等.线性近似参数ak，bk的求解结果将趋近于 ak=0，bk=uk，E=uk，即对窗内所有像素灰度值进行平均;对于高频区域，线性近似参数ak，bk的求解结果将趋近于ak=1，bk=0，E=D.即保持窗内所有像素的原有灰度值，满足了暗通道图像线性近似的要求.

在求得所有的窗Wk的线性近似解ak、bk以后，由于一个像素可能会同时存在于很多个窗内，在获得最后的平滑结果时，应该取所有包含该点的窗Wk的ak、bk的平均值用于计算，即

平滑后的光照分布图如图2所示.由图2可以看出在保持细节的前提下，不但有效地去除了分块效应，而且对暗通道数值出现错误的区域也进行了修正，获得了可以用于进行低照度图像增强的光照强度分布图.

图2 平滑后的光照强度分布

5 低照度图像的增强

在获得了平滑的光照强度分布图以后，即可以对低照度图像进行增强.与普通的图像恢复不同，对于低照度图像更关注如何使恢复的图像具有良好的视觉效果而不仅仅是恢复所获的图像场景［12］.

5.1 标准光照强度的获得

本文采用的方法是对图像上每个像素点光照强度进行调整.希望把低照度图像恢复到原场景在均匀的强度较高的光照下的图像，来减小场景光照不均匀以及光照不足的影响.恢复后的均匀照射下的场景光照强度称为期望光照强度.

为了获得图像所对应的期望光照强度，对大量低照度图像的光照强度分布图的直方图进行分析，发现他们具有比较类似的分布，即图像像素主要分布于低灰度值区域.并且随着灰度值的增大，像素分布逐渐减少.由于强光照区域的存在，在某些较大的灰度区域存在较多的像素分布.在大量实验中发现，图像中细节清晰且比较容易辨识的区域所对应的光照强度值有如下特点:1)光照强度值大致位于光照强度分布图上接近于低灰度值区域;2)低照度图像中这些低灰度值对应的像素数量约为总像素数量的1%.针对这一特点，使用下面的方法获得期望光照强度Id，即在光照强度分布图的直方图上，所有像素个数小于w×h/100的灰度值中最小的一个灰度值被选择作为期望光照强度(适用条件为w×h＞10 000).

5.2 图像的增强

在获得了期望光照强度以后，根据像素点的光照强度与期望光照强度的比例关系，对低照度图像I中每个像素点的RGB 3个通道的灰度值进行不同大小的放大，即可得到增强后的图像.具体低照度图像增强公式为

其中:J为增强后的低照度图像，P是图像增强的比例系数.P的取值与原场景的光照强度为反比例关系.当原场景中平均光照强度较低时，需要对图像的各通道进行较大系数的放大，这时P应为较大的值.当原场景中平均光照强度较高时，需要对图像的各通道进行较小系数的放大，这时P应为较小的值，即P×Bmeangray为一常值.为了确定这一常值的大小，对8:00至16:00期间获取的300幅室内外自然光照图像的P×Bmeangray值进行了计算，发现实验中P×Bmeangray的平均值大致为9.即P的取值方法为

对于一般的夜间场景(即Bmeangray=1.1～1.2时)P的大小为7～8.

6 实验对比

6.1 实验说明

为了验证本文方法的可行性和有效性，本节将从图像增强视觉效果、峰值信噪比及运算时间等方面与局部直方图方法、Retinex方法、MSRCR方法和HDR方法进行比较.实验用图像大小为600×800.实验平台采用处理器为Inter Core 2.20 GHz、内存为3 GB，运行Windows XP的PC机，编程语言为Matlab2011b.

6.2 实验结果及对比分析

为了获得有效的实验结果，对于室外场景在18:00到21:00的时间范围内每3 min进行一次场景图像采集，并对这60幅图片进行对比实验.对于室内场景也采集了超过100幅图片进行实验.在下面给出了几组具有代表性的例子.图3给出了对于低照度室外场景图像分别采用局部直方图均衡方法、Retinex方法、MSRCR方法以及本文提出的方法进行增强后的对比结果.在图4中给出了针对低照度室内场景本文方法与上述三种方法进行图像增强后的实验对比结果.表1为针对低照度室外场景，本文方法与其他三种方法进行图像增强后的平均峰值信噪比(PSNR)对比结果.表2为针对低照度室内场景，本文方法与其他三种方法图像增强后平均峰值信噪比对比结果.表3为分别针对低照度室内和室外场景，本文方法与其他三种方法进行图像增强平均运行时间的对比结果.

图3 室外场景低照度图像增强的效果

表1 室外场景平均峰值信噪比对比 dB

图4 室内场景低照度图像增强的效果

表2 室内场景平均峰值信噪比对比 dB

表3 室内外场景平均运行时间对比 s

从图3、4可以看出，局部直方图均衡方法很大程度合并了图像的灰度级，一定程度上造成了图像的模糊，而且可以看出色彩失真现象非常明显.采用Retinex方法进行低照度图像增强，增强图像存在着明显的色彩失真和噪声大的问题.MSRCR方法用于低照度图像增强，虽然可以突出图像场景边缘信息，但是也有很明显的色彩失真情况.增强图像中的大部分景物失去了原有的色彩，而且MSRCR方法中用于颜色补偿的参数需要手动设置，设置不当也会影响图像增强的效果.而采用本文的方法增强的图像在色彩保持方面明显优于其他三种方法，丢失的色彩信息较少.

从表1和表2中可以看出本文方法的低照度图像增强结果的峰值信噪比要远高于其他三种方法的峰值信噪比，说明本文方法失真程度远低于其他两种方法.从表3可以看出，本文方法进行低照度图像增强相对其他三种方法在运行时间方面也有了较明显的提高.

图5给出了原始低照度图像分别采用HDR方法及本文提出的方法进行增强后的对比结果，表4为两种方法的峰值信噪比对比结果.

图5 本文方法与HDR方法对比

表4 图5中两种方法的峰值信噪比对比 dB

从图5以及表4中可以看出与HDR方法相比，本文方法对图像增强的结果具有更高的亮度和对比度，而且图像整体颜色更接近于真实图像.在色彩保持的前提下，实现了图像亮度和对比度的提升.同时在进行低照度图像增强时，HDR方法需要连续拍摄3到5幅图片才能完成图像增强的工作.在此期间如果摄像器材发生轻微移动都会导致图像增强的结果出现模糊，从而对于摄像器材以及拍摄者的要求都比较高，而本文方法则不存在这一问题.

图6给出了加入暗通道修正前后的对比实验处理结果.从图6中可以看出，在未经白色区域暗通道数值修正之前，白圈内的区域在增强后颜色出现了严重的失真.而经过暗通道数值修正以后，增强后的图像色彩与原图像保持一致，解决了色彩丢失的问题.

图7给出了拍摄图像期间摄像器材发生移动，HDR和本文方法进行低照度图像增强的对比结果.

由图7可以看出，当摄像器材发生移动时，使用HDR方法获得的增强图像出现了极大的图像模糊和对比度低的问题，而本文方法则能在保证图像亮度和对比度的前提下较好地实现图像增强.

图6 加入暗通道修正前后结果对比

图7 摄像器材移动情况下本文方法与HDR方法的对比

7 结语

针对夜间及低光照场景中存在的图像亮度、对比度低的问题，基于暗通道先验原理，本文提出了一种具有色彩保持的可单幅图像实现的低照度图像增强的方法.实验结果表明，该方法不但可高质量的增强低照度图像，而且具有运算速度快和易于实现的特点，恢复后的图像更方便人眼以及机器进行识别.本文方法可以用于智能视频监控系统以及可见光成像导弹夜间目标捕捉，对于提高夜间环境下的目标检测识别准确率具有重要作用.

［1］WAKIMOTO K，KANAZAWA Y，OHTA N.Color image enhancement for Dichromate by additive image noise［J］.IPSJ Transactions on Computer Vision and Applications，2013，5(1):45－49.

［2］许欣，陈强，孙怀江，等.基于梯度域融合的图像视觉效果改善［J］.中国图象图形学报，2011，16(2):278－286.

［3］王守觉，丁兴号，廖英豪，等.一种新的仿生彩色图像增强方法［J］.电子学报，2008，36(10):1970－1973.

［4］张晓宇，胡士强.基于同态滤波抑制光照变化的视频分割算法［J］.模式识别与人工智能，2013，26(1):99－105.

［5］刘松涛，王维，殷福亮.基于动态广义直方图均衡的红外图像增强方法［J］.系统工程与电子技术，2010，32(7):1411－1414.

［6］汪荣贵，朱静，杨万挺，等.基于照度分割的局部多尺度 Retinex算 法 ［J］. 电 子 学 报，2010，38(5):1181－1186.

［7］JANG C Y，LIM J H，KIM Y H.A fast multi-scale Retinexalgorithm using dominantSSR in weights selection［C］//The 2012 InternationalSoC Design Conference (ISOCC). Piscataway: IEEE，2012:37－40.

［8］WANG G Z，HE G J.A modified multi scale retinex with color restoration algorithm for automatic enhancement of landsat-5 remote sensing image［J］.Advanced Materials Research，2012，341:893－897.

［9］BYOUNG-JY YuN， HEE-DONGH. A contrast enhancement method for HDR image using a modified Image formation model［J］.IEICE Transactions on Information and Systems，2012，95(4):1112－1119.

［10］HE K，SUN J，TANG X.Single image haze removal using dark channel prior［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33(12):2341－2353.

［11］HE K M，SUN J，TANG X O.Guided image filtering［J］.IEEE Transactionson Pattern Analysisand Machine Intelligence，2013，35(6):1397－1409.

An improved low illumination image enhancement algorithm with color preserving

DI Xiaoguang，QU Youyang
(Control and Simulation Center，Harbin Institute of Technology，150080 Harbin，China)

To solve the problem of color distortion existing in low illumination image enhancement method，a novel low illumination image enhancement method based on dark-channel prior with the capability of preserving scene color is presented.First，the intensity of every image pixel with dark-channel prior is estimated directly，and for dealing with wrong dark-channel values in white region，the regions with wrong grey values by calculating the minimum difference value of the RGB channels and correct the dark-channel values of the regions are founded.Then，a linear smoothing method is used to refine the block effect caused by darkchannel prior，and the enhanced image is achieved by scaling up the pixel intensity according to its value in dark-channel image.Finally，by comparing with the existing low illumination image enhancement method，the effectiveness of our method with better color preserving capability and higher PSNR is proved.

low illumination image enhancement;dark-channel prior;color preserving;image smoothing

TP394.1

A

0367－6234(2014)03－0001－07

2013－09－27.

国家自然科学基金资助项目(61174202);中央高校基本科研业务费专项资金资助项目(HIT.NSRIF 201163);黑龙江省博士后科研启动金资助项目(LBHQ10078).

遆晓光(1972—)，男，博士，副教授.

遆晓光，dixiaoguang@hit.edu.cn.

(编辑 张 宏)