基于雾线暗原色先验的红外图像去雾算法

左健宏，蔺素珍，禄晓飞，李大威，李 毅

〈图像处理与仿真〉

基于雾线暗原色先验的红外图像去雾算法

左健宏1，蔺素珍1，禄晓飞2，李大威1，李 毅2

（1. 中北大学 大数据学院，山西 太原 030051；2. 酒泉卫星发射中心，甘肃 酒泉 735000）

红外图像去雾算法的主要任务是解决红外图像因米氏散射引起的低可见性和模糊。但是当前红外图像去雾算法对红外图像暗处透射率估计欠佳，针对这一情况，研究了基于雾线暗原色先验的红外图像去雾算法。首先，利用霍夫变换估计大气光照；然后，针对雾线去雾方法在部分场景中失效的现象，采用雾线暗原色先验方法，通过假设雾线较暗端为真实颜色估计透射率，获取透射率图；最后为去除透射率图中噪声，对透射率图全变分正则化进一步优化透射率图。以公开红外数据库LTIR作为测试对象，实验结果表明，本文去雾算法在增强红外图像清晰度的同时未破坏红外辐射分布，对各种场景的红外图像有较好去雾效果。透射率估计准确，有较好红外图像去雾能力。

红外图像增强；图像处理；图像去雾；全变分；图像增强

0 引言

红外图像反映的场景温度分布信息，对图像融合、目标检测和视频监控任务有着重要作用[1-3]。尽管红外成像具有全天候的优势，但在雾霾天气下，米氏散射会削减红外图像的对比度和可见性，像质退化不可避免。因此，研究红外图像去雾算法不但需要增强其对比度和细节，同时不能破坏红外图像像素分布信息，避免出现过增强现象[4-6]。

单帧红外图像去雾方法可分为基于红外图像增强去雾和基于大气散射模型去雾两类。直方图均衡化是基于红外图像增强去雾的典型代表[7]。该方法通过修正和合并像素值等变换使原图像灰度直方图近似均匀分布，增强过程中细节信息丢失，区域亮度不均匀。近年来出现的其他基于红外图像增强的去雾方法还有变分图像增强算法、Retinex图像增强算法等[8]。这些算法不可避免地会破坏场景原有的温度分布信息，对后续的目标检测和场景理解等任务带来不良影响。基于大气散射模型的去雾算法建立在大气物理模型基础之上，保留温度分布信息。此类方法逐渐成为研究热点。Zheng[9]借鉴He[10]提出的暗通道先验和暗通道去雾算法，同时依托红外图像成像原理，提出红外交通图像去雾算法，加入伽马校正达到了较好的红外图像去雾效果，但由于深空等区域普遍温度低，未被散射而图像中低灰度值像素大量存在，利用这类暗区域估计出的透射率不准确是这一类方法的共性问题，去雾结果存在严重的过增强和光晕现象。董浩伟[11]对暗通道去雾结果使用Retinex算法进行对比度增强，提高了去雾结果的对比度和信噪比，但未完全解决暗区域透射率估计不准确的问题。

为提升红外图像暗区域去雾效果，针对大气散射模型下暗区域透射率估计不佳的问题，本文以室外场景红外图像为研究对象，提出基于雾线暗原色先验的红外图像去雾算法。首先，本文通过霍夫变换，以球参数空间中点是否落在候选区域内和候选大气光照是否大于当前像素值为投票条件，投票选出最优大气光照；然后，将有雾红外图像转换至球参数空间得到雾线，依据本文提出的暗原色先验初始化透射率图；再采用全变分方法优化透射率图，抑制噪声干扰，减少误差；最后，通过求解无雾图像实现去雾效果。

1 基于暗原色先验的红外图像去雾算法

1.1 大气散射模型

Narasimhan提出的大气散射模型（如图1）[12]认为光进入大气层时，相机接收到的辐射能量实际来源于两部分：①场景受太阳光反射或场景本身辐射的能量，这部分能量因场景深度，大气干扰而有所衰减。②光被散射后形成的大气光。根据此模型，图像可以表达为：

()＝()()＋(1－()) (1)

式中：对应着像素位置＝(,)；()为衰减前图像；()为透射率；为全局大气光照；()为雾霾图像。

假设地表大气是均质的[13]，透射率可表示为：

()＝exp[－()d()] (2)

式中：()代表场景深度；代表波长；()为大气散射系数。

单帧图像去雾问题中，大气散射模型中()作为已知量，同时求解()、()、三个未知量是一个欠适定问题。需利用各种先验知识从雾霾图像()估计大气光照和透射率()，才能求解无雾图像()，如公式(3)所示：

在热红外成像的地-气辐射传输中，地面与大气吸收太阳能，成为热红外辐射的辐射源，辐射能量又被大气多次吸收和散射。因此，受到大气干扰的红外图像与可见光雾图呈现出相似的视觉效果。在红外图像中，假设地表和大气为朗伯体，红外辐射衰减与大气二氧化碳水蒸气吸收、大气中微粒的散射和雨雪影响相关。文献[11]中红外波段大气辐射衰减为：

图1 大气散射模型

对比式(4)与式(2)可以看出，红外成像和可见光成像在雾霾场景下大气透过率估计方法相近，可以认为大气散射模型近似适用于红外图像去雾。

1.2 雾线

Berman提出非局部图像去雾方法[14]，假设无雾图像可以由远少于颜色空间数的颜色数来近似表达。从RGB空间来看，一幅图像中像素会聚集成数百个簇。在雾霾图像中，像素建模为原始像素值与大气光照的凸组合，原先紧致的簇以直线的形式分布在RGB空间中，Berman将这些线称为雾线，认为雾线中远离圆心一端代表原始像素值。

红外图像服从颜色可压缩假设，可以用较少的颜色近似表示红外图像，满足Berman非局部去雾方法假设。因此可将非局部图像去雾方法应用于红外图像去雾。如图2所示，(a)为原图，图2(b)～(f)分别采用聚类数为8、16、32、64、128的均值聚类对红外图像进行颜色量化。颜色量化后红外图像可以近似表示原图像。聚类数为8、16颜色量化结果图2(b)，图2(c)与图2(d)～(f)（聚类数为32、64、128颜色的量化结果）相比，视觉信息损失较大，可以明显看出阴影和墙面的不协调。图2(g)为对7个红外场景100张红外图像颜色量化后PSNR统计图。

为加快聚类速度，减少运行时间，本文采用聚类数为32的均值聚类对红外图像提取雾线。

为获取雾线，首先将单通道的红外图像转换至RGB颜色空间中，红色分量，绿色分量，蓝色分量相同，图像视觉信息不发生改变。

式中：infrared()为单通道红外图像，将单通道红外图像复制到红色分量，绿色分量，蓝色分量中；()为转换至RGB颜色空间后的红外图像。

之后回归至以大气光照为空间原点的新坐标系下。将式(1)变换得：

式中：I()为雾图减去大气光照后图像；J()为无雾图像减去大气光照。联立公式(6)、(7)、(8)得到：

I()＝()J() (9)

将I()转换为球坐标空间：

式中：()为天顶角；()为方位角，天顶角和方位角与聚类的结果，即簇一一对应；()为径向距离，代表像素点到原点距离；径向距离仅由透射率()决定。

雾线如图3所示，可以发现，属于这个簇的像素点分布在整个图像中。簇中像素点辐射波长相近，深度各不相同。

1.3 大气光照估计

大气光照可用众多方法进行有效估计，本文借助霍夫变换估计大气光照[15]。通过对参数空间点进行投票，选出能形成所需几何形状的最佳参数。将红外图像变换至球参数空间，在球面上根据天顶角和方位角采样，采样总数为，得到采样集{,}＝1，以能形成雾线的参数作为最佳参数，此参数即为大气光照。投票规则为，判断在当前候选大气光照下：①采样结果是否落在候选区域内。②当前候选大气光照是否大于()。迭代求解对应的最优大气光照：

(a) 红外图像 (b)＝8，颜色量化 (c)＝16，颜色量化 (d)＝32，颜色量化 (e)＝64，颜色量化(f)＝128，颜色量化 (g) PSNR

(a) Infrared image (b)=8color quantization (c)=16 color quantization (d)=32color quantization (e)=64color quantization (f)=128color quantization (g) PSNR

图2 红外图像颜色可压缩验证

Fig. 2 Verify the compressibility of infrared image color

图3 红外图像雾线

1.4 雾线暗原色先验下的透射率估计

由式(9)可知，径向距离()的不同意味着透射率的不同。对于一条给定的雾线，径向距离()由无雾图像()，大气光照和透射率()共同决定：

研究中发现，对于红外图像中一条给定的雾线，亮度更高的像素受散射影响变暗落入此簇，因此提出用雾线暗原色描述红外图像中的原始大量的暗区域，同时不会对亮区域造成影响。

对透射率()取最小值：

式中：min代表此雾线最小径向距离；min()代表最小透射率。联系公式(13)、(14)，得出透射率：

此时，求透射率问题转换为估计雾线最小透射率问题。根据暗通道先验，由公式(1)可知，对于每条雾线，最小透射率min()可表示为：

式中：line()为雾线内元素在有雾红外图像中的像素值，通过最小化暗通道先验的透射率估计，计算每条雾线的最小透射率。

将式(16)代入式(15)，透射率可进一步写为：

1.5 透射率优化

为了取得更好的去雾结果，使用全变分正则优化透射率图，对求得的透射率进行保边平滑，抑制噪声干扰，减少误差：

式中：tv为正则项参数；Ñ()为梯度算子，refine()优化后透射率，迭代求解公式(16)，得到优化后的透射率refine()。tv调整图像平滑程度，tv越大，图像平滑程度越高，降噪效果好，但破坏图像结构信息；反之，tv值越小，降噪效果不明显，无法优化透射率图，不同tv优化结果如图4所示。

将refine()、代入公式(3)中求得去雾图像()，将去雾结果转为灰度图即为最终去雾结果（如图5）。

图4 透射率优化

2 分析与讨论

为了验证本文提出算法的有效性，选取林雪平大学热红外数据库[16]（Linkoping Thermal InfraRed, LTIR）中3个不同场景的图像进行分析，包含远景，近景，浓雾，昏暗等情况，“行人”，“挖掘机”，“公园”分别对应图6中场景1～场景3。

在所有实验中，依据本文1.2节所述，在聚类数为32时，红外图像颜色量化效果较好，能有效降低聚类所消耗的时间，因此本文算法的球面空间采样数＝32。式(12)中阈值参数作用限制采样区域，依据经验设置＝0.02。在透射率优化部分，式(18)中正则项参数过小时降噪效果不佳，过大时透射率图过度模糊，经过实验后设置tv＝0.01。

本文算法与直方图均衡化图像增强算法[7]，红外交通图像去雾算法[9]、大气散射模型和Retinex增强去雾算法[11]和Berman非局部去雾算法[14]进行比较。

2.1 主观评价分析

主观分析实验结果，图6各个场景中，(a)为原始红外图像，(b)为文献[7]提出的直方图均衡化算法，(c)为文献[9]中Zheng提出的红外交通图像去雾算法，(d)为文献[11]中董浩伟提出的基于大气散射模型和Retinex增强的去雾方法，(e)为文献[14]中Berman提出的非局部去雾方法，(f)为本文方法。

对比结果如图6所示，可以看出，直方图均衡化算法通过灰度级合并增强图像对比度，对有雾红外图像增强有限，在远景场景1和场景2中由于行人、挖掘机中灰度相近，灰度合并后丢失的细节信息，同样的，场景3处理结果中树木纹理模糊，过增强现象严重。Zheng通过对暗通道去雾结果进行伽马校正来优化去雾结果，但伽马校正鲁棒性较差，同一伽马参数无法适用于不同场景。在场景1中伽马校正后有效突出行人，但削弱了背景。昏暗场景2和3中，图像整体较暗，透射率估计错误，伽马校正后，挖掘机、行人过增强严重，丢失场景细节。董浩伟通过对暗通道去雾后的红外图像进行Retinex增强。一定程度上改善了图像昏暗的问题，在场景1中有效突出了草地和灌木丛的对比度，视觉效果较好，但破坏了红外图像的辐射分布。在场景3中，由于去雾结果不好，在Retinex增强后放大图像噪声，视觉效果较差。Berman基于颜色可压缩假设提出非局部去雾算法，将图像转换至球参数空间获取雾线，利用雾线估计透射率。Berman实验结果对比度有所提高，去雾效果较好，细节得以突出。由于Berman的方法将雾线中亮端假设为真实颜色，认为此处透过率为1，导致在近景场景1中树干纹理等较亮处过增强现象明显，破坏了红外图像辐射分布。本文方法实验结果中，由于用雾线中最小径向距离和最小透射率估计透射率，在场景1草坪区域中，场景2沟壑中，场景3椅子中有更多细节，透射率估计准确，对红外图像中暗区域处理更佳，保留较多的细节信息，改善图像的视觉效果。对场景1中树木和草地、场景2中挖掘机、场景3中公园设施都得到有效增强。但在场景1中，去雾不完全，可以看出背景中仍含有一层薄雾未去除。

2.2 客观评价

由于难以获取与有雾红外图像相对应的无雾红外图像，无法通过对无雾红外图像与去雾结果比较进行直接评价，为客观评价实验结果，从提高图像清晰度和尽可能保留原始红外图像辐射分布的角度对去雾结果进行评价。

由香农提出的信息熵（information entropy, IE）是衡量图像清晰度的有效指标，能有效衡量图像信息丰富程度，判断是否较好地保持了原图像细节信息。信息熵越大，图像所含信息量越大。

结构相似性（structural similarity index, SSIM）通过对比图像的对比度、亮度和结构信息的相似性来评价图像质量，能有效判断结果图像与原图像辐射分布是否一致。

图5 红外图像去雾

因此，使用结构相似性（structural similarity index, SSIM）作为评价指标，衡量实验结果的清晰度和保留原图红外辐射分布的能力，结果如表1所示。可以看到本文算法在场景1中增强了行人的对比度，在场景2中，本文去雾不完全导致信息熵较低，而文献[7]方法有效增强背景中土坡和沟壑的对比度，但挖掘机过增强现象严重。总体来看，本文算法取得了较好的去雾效果，去雾图像提升清晰度的同时，保持了和原图像相似的辐射分布，不会对后续工作造成阻碍。总体上，本文方法效果更佳，与主观评价结果一致。

表1 红外图像去雾定量评价

3 结论

本文提出基于暗原色先验的红外图像非局部去雾算法，通过霍夫变换估计大气光照，针对红外图像含深空场景时透射率估计不佳这一问题，采用暗原色先验方法，利用雾线估计透射率，提升去雾能力和场景适应能力。研究了全变分正则化方法优化透射率图，来降低噪声对估计透射率的影响。实验结果表明，暗原色先验能够对红外图像暗区域更好的建模，使用本文算法能有效处理较暗红外图像雾霾，去雾结果细节纹理清晰，具有较好视觉效果。但在部分场景下去雾不完全，需要进一步改进。

[1] YU Z, WANG X, BI X, et al. A light dual-task neural network for haze removal[J]., 2019, 25(8): 1-1.

[2] 曹慧, 张宝辉, 陈磊, 等. 基于伪暗原色的红外增强技术研究[J]. 红外技术, 2016, 38(6): 476-480.

CAO H, ZHANG B H, CHEN L, et al. Research of infrared images enhancement technique based on pseudo dark channel prior[J].,2016, 38(6): 476-480.

[3] 杨元庆, 张志利, 侯传勋. 一种近地背景下红外弱小目标检测预处理算法[J]. 红外技术, 2018, 40(8): 812-817.

YANG Y Q, ZHANG Z L, HOU C X. A preprocessing algorithm for infrared small-target detection in the near-earth background[J].2018, 40(8): 812-817.

[4] 丁畅, 董丽丽, 许文海. 海面目标的红外景象增强技术研究[J]. 光学学报, 2018, 38(6): 0610001.

DING C, DONG L L, XU W H. Enhancement technique for infrared scene with maritime target[J]., 2018, 38(6): 0610001.

[5] BAI X. Morphological infrared image enhancement based on multi-scale sequential toggle operator using opening and closing as primitives[J]., 2015, 68:143-151.

[6] Hassan H, LUO B, XIN Q, et al. Single image dehazing from repeated averaging filters[C]//20198(ITAIC), 2019: 1053-1056.

[7] WANG Q , Ward R K . Fast image/video contrast enhancement based on weighted thresholded histogram equalization[J]., 2007, 53(2): 757-764.

[8] TENG L, XUE F, BAI Q. Remote sensing image enhancement via edge -preserving multiscale retinex[J]., 2019, 11(2): 1-10.

[9] ZHENG L , SHI H, GU M. Infrared traffic image enhancement algorithm based on dark channel prior and gamma correction[J]., 2017, 31(19-21): 84-92.

[10] HE K, SUN J, TANG X. Single image haze removal using dark channel prior[J]., 2011, 33(12): 2341-2353.

[11] 董浩伟, 陈洁. 一种基于大气散射模型和Retinex的红外图像去雾算法[J]. 红外技术, 2019, 41(4): 347-356.

DONG H W, CHEN H. Infrared image defogging algorithm based on atmospheric scattering model and Retinex[J]., 2019, 41(4): 347-356.

[12] Nayar S K, Narasimhan S G. Vision in bad weather[C]/, 1999, 2: 820-827.

[13] ZHANG W, LU J, XU X, et al. Estimation of atmospheric light based on Gaussian distribution[J]., 2019, 78(11): DOI: 10.1007/s11042-019-7401-2.

[14] Berman D, Avidan S. Non-local image dehazing[C]//, 2016: 1674-1682.

[15] Berman D, Treibitz T, Avidan S. Air-light estimation using haze-lines[C]//2017y (ICCP), 2017: 1-9.

[16] Berg A, Ahlberg J, Felsberg M. A thermal object tracking benchmark[C]//12th(AVSS), 2015: 1-6.

Use of Dark Primary Color Priors for Haze-line-Based Infrared Image Dehazing

ZUO Jianhong1，LIN Suzhen1，LU Xiaofei2，LI Dawei1，LI Yi2

(1.,,030051,; 2.,735000,)

The main task of infrared image dehazing algorithms is to solve the problems of low visibility and blurring in infrared images; these problems arise from Mie scattering. However, current infrared image dehazing algorithms poorly estimate the dark transmittance of infrared images. Hence, in this study, an infrared image dehazing algorithm is developed based on the dark primary color prior of the haze-line. First, the Hough transform was employed to estimate the atmospheric illumination. Second, a dark primary color prior was employed to address the failure of the haze-line dehazing method in some scenarios. The transmittance was estimated by assuming that the dark end of the haze-line corresponds to the real color, and a transmittance map was obtained. To remove noise in the transmittance map, total variation regularization was used; thus, the transmittance map was optimized. The experimental results obtained using LTIR, a public infrared dataset, as the test dataset show that the proposed algorithm can enhance the clarity of infrared images without affecting the distribution of infrared radiation; in addition, the results show that the proposed algorithm enhances infrared images corresponding to various scenes. The proposed method accurately estimates transmittance and effectively dehazes infrared images.

infrared image enhancement, image processing, image dehazing, total variation, image enhancement

TP751

A

1001-8891(2020)06-0552-07

2019-11-27；

2020-01-20.

左健宏（1995-），男，硕士研究生，主要从事图像处理，红外目标检测方面的研究。E-mail：gaoda00123@163.com。

蔺素珍（1966-），女，教授，博士，硕士生导师，主要从事影像大数据处理，信息融合，文物虚拟修复方面的研究。E-mail：lsz@nuc.edu.cn。

山西省应用基础研究项目（201701D121062），中北大学第十五届科技立项资助项目（2018514）。