采用暗态点光源模型的夜间去雾算法

张竞阳，严利民，陈志恒

采用暗态点光源模型的夜间去雾算法

张竞阳，严利民，陈志恒

（上海大学 微电子研究与开发中心，上海 200444）

针对夜间雾、霾场景下的去雾图像存在颜色失真、纹理损失、亮度低等缺陷，本文提出了一种采用暗态点光源模型的夜间去雾算法，通过构建夜间雾、霾场景的暗态点光源模型，利用联合双边滤波、限制对比度自适应直方图均衡化等算法对降质图像进行处理，结合大气散射模型得到去雾图像。实验结果表明，该算法的处理速度快、夜间去雾效果较好，较对比算法在对比度、平均梯度以及信息熵上均有一定程度地改善，有效解决了去雾图像的颜色失真、纹理损失、亮度低等缺陷。

夜间去雾；暗态点光源模型；联合双边滤波；限制对比度自适应直方图均衡化；大气散射模型

0 引言

近年来，日益加剧的雾、霾天气严重干扰了户外视觉采集系统的正常工作与运行，降低了所获图像、视频的信息质量。此类天气情况下采集得到的图像、视频往往存在画面模糊、对比度低、细节丢失严重等问题[1-3]。目前面向白天降质环境的去雾算法研究已经日益成熟，而对夜间降质图像的去雾算法研究则相对较少。因此，研究如何在夜间雾、霾场景下对降质图像进行有效去雾，具有一定的研究意义和应用价值。

为实现夜间降质图像的有效去雾，Zhang J.[4]提出了一种基于最大反射率先验理论的快速夜间去雾算法，利用最大反射率先验理论来对夜间降质场景下的大气光分布进行有效估计，然后结合夜间去雾模型实现去雾，该算法去雾效果较好、纹理损失少，但去雾图像存在一定颜色失真；同时，Li Y.[5]提出了一种全新的大气光模型用于夜间图像去雾，通过线性计算剥离降质图像的辉光项，利用局部编码估算大气光分布，结合散射模型实现去雾，该算法具备一定的去雾效果，但去雾图像存在一定的纹理细节损失；而Yu T.[6]则提出了一种结合像素级alpha混合算法的夜间去雾算法，以亮度感知权值为导向，对夜间降质场景下的非光源与光源区域的透射率估计进行有效融合，利用信号差分引导滤波来有效估算大气光分布，结合大气散射模型进行去雾，该算法去雾效果较好、颜色一致性强，但场景亮度较低。

针对现有夜间降质图像去雾算法存在的颜色失真、纹理损失、亮度低等缺陷，本文在He K.M[7]的暗通道先验去雾算法的基础上，提出了一种采用暗态点光源模型的夜间去雾算法，利用最小值滤波、伽马变换等算法建立暗态点光源模型，然后使用暗态点光源模型与联合双边滤波等算法有效估计夜间降质图像的大气光分布、透射率分布，最后结合大气散射模型实现去雾。实验结果表明，该算法处理速度快、去雾效果好，有效减少了去雾图像的颜色失真、纹理损失、亮度低等缺陷。

1 基于暗通道先验理论去雾算法

在数字图像处理领域，McCartney的大气散射模型被广泛应用于去雾处理，其数学表达式为：

(,)＝(,)(,)＋[1－(,)] (1)

式中：(,)为图像的横纵坐标；(,)为降质图像；(,)为去雾图像；(,)为透射率分布；为大气光值。推导数学公式(1)，即可得到透射率分布(,)的数学表达式为：

He K. M.[7]等人在对不包含天空区域的无雾图像观察统计中发现，无雾图像某一颜色通道下的像素值总是接近于零的现象。基于该观察结果，他提出了暗通道先验理论，即对于任意无雾图像的非天空区域，至少存在一个颜色通道下的像素值是接近于零的，该理论的数学表达式为：

式中：d(,)为(,)的暗通道图像；c(,)为颜色通道各自对应的灰度值；(,)为滤波窗口。假设大气光值已知，则透射率分布(,)的获取方式为：

式中：d(,)为(,)的暗通道图像；为雾气权值系数，用作在去雾图像中保留少量雾气以保持图像的视觉真实性，一般取作0.95，为大气光值，一般取为(,)像素值降序排列前0.1%的像素平均值。

结合求得的透射率分布(,)、大气光值以及公式(1)，即可得到去雾图像：

该算法对白天雾、霾天气下的降质图像具备较好的去雾效果，但直接应用于夜间降质图像，则会因为降质场景亮度过低等因素，出现算法失效的情况。

2 本文去雾算法

为解决夜间降质图像去雾算法存在的颜色失真、纹理损失、亮度低等缺陷，本文基于He K. M.[7]的暗通道先验去雾算法，提出了一种采用暗态点光源模型的夜间去雾算法。算法流程为：首先，利用最小值滤波、伽马变换、高斯滤波算法建立暗态点光源模型，利用最大值滤波获取降质图像(,)的亮度分布b(,)；再使用暗态点光源模型、亮度分布b(,)和联合双边滤波算法有效估计降质图像(,)的大气光分布(,)；然后根据已知的大气光分布(,)和暗通道图像d(,)获取降质图像的透射率分布(,)，并利用联合双边滤波对其进行纹理细化；最后结合改进后的大气散射模型进行去雾处理，并利用限制对比度直方图均衡化算法进行图像增强。算法实现过程如图1所示。

图1 本文算法的实现过程

2.1 暗态点光源模型

为有效估计夜间雾、霾天气下降质图像的大气光分布(,)，本文提出了一种暗态点光源模型。暗态点光源模型的获取流程如图2(a)所示：首先，对降质图像(,)进行最小值滤波获取暗通道图像d(,)；然后用伽马变换对暗通道图像d(,)进行灰度矫正，处理公式如下：

式中：a称为灰度缩放系数，用于整体拉伸图像灰度，通常取值为1；g为伽马值，伽马变换可以有效增强图像的明暗对比，进一步增强暗通道图像的明暗对比，进而有效地分割降质图像的光源区域与非光源区域；Vp(x, y)为暗态点光源模型，对其再进行高斯滤波即可得到估算大气光分布所需的最终点光源模型。多数伽马变换都是手动设置伽马系数，为全局变量，对于夜间图像的增强效果并不理想。所以本文采用文献[8]中的方法，首先，采用多尺度高斯函数的方法来提取光照不均匀场景中的光照分量，对各个光照分量进行加权，得到光照分量的估计值。然后利用图像的光照分量的分布特性自适应地调整二维伽马函数的参数，提高光照不均匀图像整体质量。

在获取了暗态点光源模型p(,)后，即可根据公式(7)获取降质图像(,)的亮度分布b(,)：

考虑到夜间雾、霾天气情况下，降质场景的光源多为点光源，与白天的面光源不同，点光源的照射条件决定了夜间去雾的主要对象为点光源光线覆盖范围内的降质场景。如果简单地将亮度分布作为大气光分布用于降质图像的去雾，会导致去雾图像出现图像失真、去雾场景过暗等问题，所以如何得到一个合理的点光源模型，用于大气光分布的估计，成为了夜间去雾算法的一个难点。

由于联合双边滤波器具备与引导滤波器相同的滤波效果，即可通过输入引导图像对目标图像进行引导滤波，而且滤波后的图像具备更好的边缘保持效果。因此本文将暗态点光源模型p(,)作为目标图像，将亮度分布b(,)作为引导图像，利用联合双边滤波器的引导特性[9]，模拟生成夜间点光源的光线照射路线，从而对夜间的大气光分布进行有效估计，处理过程如图2(b)所示。根据公式(7)得到降质图像亮度分布b(,)，再对亮度分布b(,)进行高斯滤波处理，最后以暗态点光源模型p(,)为目标图像、以亮度分布b(,)为引导图像进行联合双边滤波处理，即可得到最终所需的大气光分布(,)。此时的大气光分布(,)中所保留的亮度信息主要为点光源及其光线覆盖范围内的亮度信息，将该大气光分布用作后续降质图像的去雾处理，可以有效解决图像失真、去雾场景过暗等问题。

2.2 透射率分布的精确估计

根据2.1节得到的大气光分布(,)，结合暗通道图像d(,)即可改进透射率估计公式(4)为：

式中：t′(x, y)为I(x, y)的粗透射率分布；w为雾气权值系数；Id(x, y)为I(x, y)的暗通道图像；A(x, y)为I(x, y)的大气光分布。粗透射率分布的处理结果如图3(b)所示，由图可知，此时的粗透射率分布t′(x, y)纹理细节损失严重，若用该透射率分布对降质图像（图3(a)）去雾，处理结果会因为透射率的不准确估计，而存在纹理细节缺失、光晕效应、颜色失真等缺陷。考虑到联合双边滤波具备细化图像纹理的作用，本文利用其对粗透射率t′(x, y)进行精细化处理，得到的细透射率分布如图3(c)所示，记作t²(x, y)。该透射率分布估值准确、细节明显，可以有效解决纹理细节缺失、光晕效应、颜色失真等缺陷。

2.3 夜间降质图像去雾

在得到细透射率分布²(,)以及大气光分布(,)以后，即可对公式(5)进行去雾改进处理得到：

式中：(,)为去雾图像；(,)为降质图像；(,)为大气光分布；²(,)为细透射率分布；0为防止分母为零而引入的系数，本文取作0.1。

3 实验结果与分析

本文算法的所有实验均在CPU为Intel(R) Core i7-9700K @3.60GHz、内存为32GB、操作系统为Windows 10的计算机上运行所得，开发语言为C＋＋和OpenCV 3.4.6，开发软件平台为Visual Studio 2019，测试软件平台为Matlab 2018。实验所用的夜间降质图像为本实验室自行建立的降质图库。为验证本文算法的去雾效果和处理速度，本文将从主观对比和客观对比两个角度进行实验对比。

3.1 主观对比

本文从降质图库中随机选取了4幅具有夜间雾、霾天气代表性的降质图像，分别采用不同的夜间去雾算法进行去雾处理，得到的实验结果如图4所示。

由图4可知，相比于白天有雾图像的去雾算法和专门针对夜间有雾图像的去雾算法，本文所提的算法清晰化效果比较明显，在对比度、色彩和细节信息等方面都做了适度增强。

3.2 客观对比

为了进一步对比不同算法的处理效果，本文使用信息熵（Information Entropy, IE）、平均梯度（Average Gradient，AG）和对比度（Contrast）对图4中4张图各个算法的处理结果进行客观评价，如表1所示。可以看出，经过本文算法处理过后的图像的质量普遍有较为明显的改善，主要表现在信息熵值的提高，说明处理后的夜间图像所包含的信息量比较丰富；平均梯度的提升说明处理后的夜间图像在清晰度提高了；对比度的提高说明有效增强了夜间图像的明暗对比度。由此可见，本文所提算法在夜间有雾图像的去雾效果上取得了比较好的结果。

表1 图4的客观评价结果

4 结语

为有效解决现有夜间降质图像去雾算法存在的颜色失真、纹理损失、亮度低等缺陷，本文提出了一种采用暗态点光源模型的夜间去雾算法。该算法通过引入暗态点光源模型，结合联合双边滤波、高斯滤波、最大值、最小值滤波等算法对夜间降质场景的大气光分布、透射率分布进行了有效估计，最后改进大气散射模型对夜间降质图像进行有效去雾。实验结果表明，该算法的处理速度快、夜间去雾效果好，能够有效减少去雾图像的颜色失真、纹理损失，且去雾场景亮度得到一定程度的保留，同时在对比度、平均梯度以及信息熵上均有一定提高，可应用于城市交通监控系统的夜间去雾。

[1] 余顺园, 朱虹. 夜间有雾图像的光照模型构建及去雾[J]. 光学精密工程, 2017, 25(3): 729-734.

YU S Y, ZHU H, Illumination model construction and defogging of night foggy image[J]., 2017, 25(3): 729-734.

[2] 郭璠, 邹北骥, 唐琎. 基于多光源模型的夜晚雾天图像去雾算法[J]. 电子学报, 2017, 45(9): 2127-2134.

GUO P, ZOU B J, TANG J. Defogging algorithm of night fog image based on multi light source model[J]., 2017, 45(9): 2127-2134.

[3] 左健宏, 蔺素珍, 禄晓飞, 等. 基于雾线暗原色先验的红外图像去雾算法[J]. 红外技术, 2020, 42(6): 552-558.

ZUO J H, LIN S Z, LU X F, et al. Infrared image defogging algorithm based on fog line dark primary color prior[J]., 2020, 42(6): 552-558.

[4] ZHANG J, CAO Y, FANG S, et al. Fast haze removal for nighttime image using maximum reflectance prior[C]//, 2017: 7418-7426.

[5] LI Y, TAN R T, Brown M S. Nighttime haze removal with glow and multiple light colors[C]//, 2015: 226-234.

[6] YU T, SONG K, MIAO P, et al. Nighttime Single Image Dehazing via Pixel-Wise Alpha Blending[J]., 2019(7): 114619-114630.

[7] HE K, SUN J, TANG X. Single image haze removal using dark channel prior[J]., 2010, 33(12): 2341-2353.

[8] 刘志成, 王殿伟, 刘颖, 等. 基于二维伽马函数的光照不均匀图像自适应校正算法[J]. 北京理工大学学报, 2016, 36(2): 191-196, 214.

LIU Z C, WANG D W, LIU Y, et al. Adaptive correction algorithm for uneven illumination image based on two dimensional gamma function[J]., 2016, 36(2): 191-196, 214.

[9] 陈志恒, 严利民, 陆斌. 一种快速高效的实时视频去雾算法[J/OL]. 激光与光电子学进展: 1-12. [2020-11-24]. http://kns.cnki.net/kcms/detail/ 31.1690.TN.20191217.1447.008.html.

CHEN Z H, YAN L M, LU B. A fast and efficient real time video defogging algorithm[J/OL].: 1-12. [2020-11-24]. http://kns.cnki.net/kcms/detail/31.1690.TN.20191217.1447. 008.html.

Nighttime Fog Removal Using the Dark Point Light Source Model

ZHANG Jingyang，YAN Limin，CHEN Zhiheng

(Microelectronics R & D Center, Shanghai University, Shanghai 200444, China)

Toaddressimage distortion, texture loss, and low brightness in nighttimefog scenes, this paper proposes a nighttime defoggingalgorithm based on a dark point light source model. The dark point light source model was first constructed and the degraded image was processed by analgorithm that utilizes both bilateral filtering and limited contrast adaptive histogram equalization. Then, the defogging image was obtained by combining with the atmospheric scattering model. The experimental results show that this algorithm has a fast processing speed, a better effect of nighttime fogging, and a certain degree of improvement in terms of contrast, average gradient, and information entropywhen compared with the contrast algorithm. This model can therefore effectively address image distortion, texture loss, and low brightness of fogging images.

nighttime fog removal, dark point light source model, combined bilateral filtering, limited contrast adaptive histogram equalization, atmospheric scattering model

TP391

A

1001-8891(2021)08-0798-06

2020-11-24；

2020-12-25.

张竞阳（1996-），女，安徽省亳州市人，硕士研究生，研究领域为数字图像处理。E-mail: Azjy5566@163.com。

严利民（1971-），男，博士，副教授，研究领域为集成电路设计及系统集成、新型显示技术和计算机视觉。E-mail: yanlm@shu.edu.cn。

国家自然科学基金（61674100）。