单幅夜间低照度车载视频图像的增强算法

孙淑杰，董燕成，汤春明，商大伟，匡 澄，常继英

(天津工业大学 电子与信息工程学院,天津 300387)

1 概 述

现在一些国内外的汽车制造公司为一些顶配车辆装配了HUD(head up display)平视显示系统。配备了HUD系统的车辆，驾驶者的视线完全不必离开车前，仪表盘上的信息便直接从车前获得，而车前的道路情况也尽在眼前，即使有突发情况，驾驶者仍有时间进行制动或其他规避操作，保障自己和他人安全。而在无照明设施的路段等情况下行车，能见度急剧下降，存在着巨大的安全隐患，对安全驾驶产生了巨大影响，最容易发生交通事故。此时也是最需要视觉辅助的时候，急需HUD系统做出改进，实时路况采集，并进行增强处理，凸显感兴趣的目标，再通过HUD系统投射到前挡风玻璃，有助于驾驶者更好地把握路况，极大地提高了行车安全性，具有极其重要的现实意义。

目前的图像增强算法主要分为三类：第一类是基于直方图的增强方法[1-6]。文献[1-2]提出的算法是空域中的经典算法，易实现且效果明显，目的是让增强后图像的直方图形状较为理想，但可能导致过增强，或者噪声较大。为此，研究者们陆续提出一些改进的基于直方图的增强算法。例如，Arici T等[3]提出了基于图像特性的自适应直方图增强算法，但是并未考虑像素间的关系；Celik T等[4]提出由像素间的相互关系绘制二维直方图，并寻找映射关系强调差异大的灰度级以实现图像的增强；Lee C等[5]提出使用二维直方图的分层差表达对文献[4]的算法进行改进。邸男等[6]提出一种结合直方图紧凑均衡的图像增强算法，将稀疏的直方图分布紧凑化，构造自适应平台阈值选取方法来增强图像细节和抑制噪声。但是这些基于直方图的算法仅考虑图像的直方图，所以易产生边缘效应，且出现过增强或欠增强的问题。

第二类是基于大气散射模型的图像增强方法。将夜间低照图反转看作白天有雾图，基于大气散射模型去雾之后再反转作为增强后的图像[7-9]。Dong等[7]直接将低照图反转带入去雾模型，再将去雾结果反转得到增强后图像，其增强结果噪声较大，颜色失真。尽管Li[8]和胡茵萌等[9]进行了改进，反转去雾之前先采用不同的方法去噪，但由于低照图反转仅近似于有雾图，并非真正的有雾降质图，另外透射率和大气光的估计也不准确，导致最终的增强结果仍不尽人意，主要表现为颜色失真，增强的程度较低。

第三类是基于Retinex理论[10]的增强算法。Retinex算法通过模仿人眼的视觉特性，对低照度图像的照射图进行估计，获得图像中场景的反射分量，进而实现对图像的增强[11-16]。其中，段群等[11]使用的同态滤波算法是依据Retinex理论并从频域的角度增强图像。秦绪佳等[12]将Retinex理论应用到HSV空间，增强模型中的V分量。李益红等[13]提出一种多分辨多尺度的Retinex图像增强方法，对原始MSR算法中的中心/环绕函数进行改进。Wang等[14]提出保持图像自然特性的增强方法，先是设计了亮通滤波器将图像分为反射层和照射层，然后提出双对数变换法来求取照射光，以保持图像的自然特性。但是由于对照射层估计不准确，最终的图像增强程度较低，且颜色失真严重。Fu等[15]提出将已估计好的初始照射光的不同处理结果融合为增强后的照射光，据Retinex理论重建图像得到增强结果，由于融合结果不够理想，导致增强结果中细节丰富的区域易产生失真。Guo等[16]估计出初始照射光后再加入图像结构信息优化照射光，进而得到复原图。复原效果与其他算法相比，图像的细节信息明显丰富了很多，但同时放大了很多噪声，因此，该算法又加入了BM3D滤波器[17]去噪等后处理过程。另外，该算法对车载视频图像的处理会产生过增强现象。

针对上述夜间算法中出现的问题，文中将加权L1正则化的方法用于照射光的优化，依据Retinex理论提出一种新的夜间低照度视频图像的增强算法。该算法既能突出感兴趣区域，又不会放大暗区域噪声，也不会导致图像高亮区域过增强。增强算法的结构如图1所示。

图1 增强算法结构

2 背 景

根据Retinex理论，车载HUD系统采集到的低照度图像由反射光和照射光相乘得到，如式(1)。

I(x)=L(x)R(x)

(1)

其中，I(x)为当前退化图像；L(x)为照射光；R(x)为反射光；x为像素的位置。

由式(1)可得式(2):

R(x)=I(x)/L(x)

(2)

由上式可知，如果能通过退化图像I(x)合理地估计出其照射光L(x)，那么就可以根据式(2)得到其反射光R(x)，也即增强后的图像。可见照射光L(x)的估计对反射光R(x)的求取非常重要，需要具有显著的保边缘特性[18]。

3 文中算法

文中先对照射光进行初始估计，再将传统去雾模型中透射率的估计方法-加权L1正则化方法应用到反射光的优化上，得到可以反映场景变化趋势的反射光，再根据Retinex理论进一步得到增强后的图像。

3.1 照射光初估计

对退化图像I(x)的增强需要合理估计照射光L(x)，受文献[19]中暗通道理论的启发，取RGB三通道中的最大值作为初始照射光L(x)的粗略估计。

(3)

为了保留照射光L(x)的结构且使其局部细节足够平滑，并尽量反映场景的变化趋势，下面将对初估计的照射光L(x)进行优化。

3.2 加权L1正则化照射光优化

文中将传统去雾模型中求取透射率的方法[20]应用到照射光L(x)的估计上。基于已估计的照射光L(x)，构建下列L1正则化目标函数对照射光进行优化。

(4)

其中，第一项为保真项；第二项为约束项。·为点乘符号；*为卷积符号；Di为滤波算子，其中包含8个Kirsch边缘检测算子和1个拉普拉斯算子，目的是为了保持图像的边缘特性。Wi为权值矩阵，对照射光L(x)的优化效果取决于对权值矩阵Wi的设计。

(5)

其中，σ取0.5。

为了求解式(4)，引入辅助变量ui来分离变量。式(4)可转化为：

(6)

(7)

根据收缩定理[21]，式(7)的解为：

(8)

其中，sign为符号函数。

(9)

式(9)为最小二乘问题[22]，可用快速傅里叶变换(FFT)根据下式求解。

(10)

其中，F()为快速傅里叶变换(FFT)；F-1()为逆变换；F*(Di)为Di傅里叶变换的复共轭。

3.3 求取反射光

(11)

其中，R(x)为增强后的图像；ε避免分母为0。

3.4 强光及噪声抑制

(12)

(13)

在图像亮度值几乎为0的区域，m的取值应使得权值W1(x)也接近0，但对于其他需要增强的区域，m的取值应使得权值W1(x)接近1；同样，在图像亮度值几乎为1的区域，n的取值应使得权值W2(x)也接近0，对于其他需要增强的区域，n的取值应使得权值W2(x)接近1。

将W1(x)和W2(x)相乘得到总权值W(x)：

W(x)=W1(x)·W2(x)

(14)

(15)

图2 过增强及暗区域抑制结果

4 实验结果及分析

通过对多幅车载视频图像进行测试，并与多种主流算法的处理结果进行比较来验证文中算法的有效性。从主观视觉评价和客观定量分析两个角度对增强后的图像进行评价。

4.1 主观分析评价

文中算法的增强结果与文献[7,14-16]的增强结果对比如图3所示。文献[7,14-16]对车载视频图像的增强效果均有过增强现象，暗区域的噪声被放大。而文中算法增强后的结果对暗区域的噪声没有过多放大，对需要凸显的目标有明显的增强，并且没有过增强现象，辅助驾驶的同时不会使驾驶员产生晕眩。

4.2 客观分析评价

(1)无参考图像质量评价。

由于文中处理的夜间低照度车载视频图像无法获取相应的真实图像，故采用A Mittal等[24]提出的基于自然场景统计的无参考图像质量评价算法(NIQE)，该算法通过计算失真图像与无失真图像的多元高斯模型距离来衡量图像质量。NIQE值越低，图像质量越高，越接近自然图像。表1列出了NIQE算法对低照度车载视频图像增强的评价结果。其中图3(a)为原图，(b)～(f)分别为文献[7,14-16]和文中算法的增强结果。图结果表明，文中算法的增强结果大多数情况下具有更好的效果。

表1 车载视频图像增强结果的质量对比(NIQE)

图3 各种算法对车载视频图像的增强结果

(2)运行时间评价。

图4列出了文中算法和主流算法的耗时比较。其中，文献[15]的方法耗时最少，文中算法的时间主要消耗在对照射光的优化上，但与其他算法相比速度较快。

图4 各种算法耗时比较

5 结束语

提出了一种针对单幅夜间低照度车载视频图像的增强算法，该算法在初步估计了照射光的基础上，采取了一种既能保持照射光结构，又能反映场景变化趋势的优化方法对照射光进行优化，然后根据Retinex理论求取退化图像的反射光，获得增强后的图像。实验结果表明，该算法对车载视频图像的增强能够有效避免现有主流增强算法存在的欠增强、过增强、噪声大以及颜色失真等问题，对车载HUD系统的补充及改进有助于驾驶者更清楚地把握路况，提高行车安全性，极具现实意义。

参考文献:

[1] KIM Y T.Contrast enhancement using brightness preserving bi-histogram equalization[J].IEEE Transactions on Consumer Electronics,1997,43(1):1-8.

[2] CHENG H D,SHI X J.A simple and effective histogram equalization approach to image enhancement[J].Digital Signal Processing,2004,14(2):158-170.

[3] ARICI T,DIKBAS S,ALTUNBASAK Y.A histogram modification framework and its application for image contrast enhancement[J].IEEE Transactions on Image Processing,2009,18(9):1921-1935.

[4] CELIK T,TJAHJADI T.Contextual and variational contrast enhancement[J].IEEE Transactions on Image Processing,2011,20(12):3431-3441.

[5] LEE C,LEE C,KI M C S.Contrast enhancement based on layered difference representation of 2D histograms[J].IEEE Transactions on Image Processing,2013,22(12):5372-5384.

[6] 邸 男,田 睿,付东辉.结合直方图紧凑均衡的图像增强算法[J].计算机技术与发展,2013,23(12):34-36.

[7] DONG X,WANG G,PANG Y,et al.Fast efficient algorithm for enhancement of low lighting video[C]//IEEE international conference on multimedia and expo.[s.l.]:IEEE,2011:1-6.

[8] LI L,WANG R, WANG W,et al. A low-light image enhancement method for both denoising and contrast enlarging[C]//IEEE international conference on image processing.[s.l.]:IEEE,2015:3730-3734.

[9] 胡茵萌,尚媛园,付小雁,等.大气模型与亮度传播图相结合的低照度视频增强算法[J].中国图象图形学报,2016,21(8):1010-1020.

[10] LAND E H.The retinex theory of color vision[J].Scientific American,1977,237(6):108-128.

[11] 段 群,吴粉侠,李 红.双通道分块同态滤波彩色图像增强算法[J].计算机技术与发展,2016,26(1):82-85.

[12] 秦绪佳,王慧玲,杜轶诚,等.HSV色彩空间的Retinex结构光图像增强算法[J].计算机辅助设计与图形学学报,2013,25(4):488-493.

[13] 李益红,周晓谊.一种多分辨多尺度的Retinex彩色图像增强算法[J].计算机工程与应用,2017,53(16):193-198.

[14] WANG S,ZHENG J,HU H M,et al.Naturalness preserved enhancement algorithm for non-uniform illumination images[J].IEEE Transactions on Image Processing,2013,22(9):3538-3548.

[15] FU X,ZENG D,HUANG Y,et al.A fusion-based enhancing method for weakly illuminated images[J].Signal Processing,2016,129:82-96.

[16] GUO X,LI Y,LING H.LIME:low-light image enhancement via illumination map estimation[J].IEEE Transactions on Image Processing,2016,26(2):982-993.

[17] DABOV K,FOI A,EGIAZARIAN K.Image denoising with block-matching and 3D filtering[J].Proceedings of SPIE,2006,6064:354-365.

[18] 戴 霞,李 辉,杨红雨,等.基于虚拟图像金字塔序列融合的快速图像增强算法[J].计算机学报,2014,37(3):602-610.

[19] HE K,SUN J,TANG X.Single image haze removal using dark channel prior[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(12):2341-2353.

[20] MENG G,WANG Y,DUAN J,et al.Efficient image dehazing with boundary constraint and contextual regularization[C]//IEEE international conference on computer vision.Washington DC,USA:IEEE Computer Society,2013:617-624.

[21] YANG J,ZHANG Y I N.Alternating direction algorithms for compressive sensing[J].SIAM Journal of Scientific Computing,2011,33:250-278.

[22] SHAN Q,JIA J,AGARWALA A.High-quality motion deblurring from a single image[J].ACM Transactions on Graphics,2008,27(3):1-10.

[23] LIN H,SHI Z.Multi-scale retinex improvement for nighttime image enhancement[J].International Journal for Light and Electron Optics,2014,125(24):7143-7148.

[24] MITTAL A,SOUNDARARAJAN R,BOVIK A C.Making a “completely blind” image quality analyzer[J].IEEE Signal Processing Letters,2013,20(3):209-212.