交通图像大气加雾模型设计与评价*

黄 鹤，李战一，杨 澜，王会峰，高 涛，陈 婷

（1.长安大学电子与控制工程学院，西安 710064；2.西安市智慧高速公路信息融合与控制重点实验室，西安 710064；3.长安大学信息工程学院，西安 710064）

前言

随着智能网联汽车技术发展，车载视觉系统对车辆安全的辅助作用越来越重要，但雾霾的出现会增加视觉系统设计的难度，数字孪生技术的快速发展可以为其提供有效的解决方案。交通雾霾图像的采集受天气限制，数据库获取比较困难，样本不够充足。为了满足数字孪生技术所需要的大量雾霾数据，加雾获取数据成为一种有效的获取途径［1］。

目前，图像加雾技术的研究文献较少，主要思路是利用相对较成熟的图像去雾技术，反向推导实现，去雾效果会影响反推加雾效果。现有图像去雾技术可分为3 类，分别是图像增强去雾［2-3］、神经网络去雾［4-6］和物理模型去雾［7-12］。其中，图像增强方法处理速度高但是效果不佳，不适合反推应用到加雾。因此，加雾主要分两类方法：一类是基于神经网络的方法，如肖进胜等［13］提出了一种基于对抗生成网络场景转换方法，但该方法无法调节加雾浓度，所加的雾对原始图像在细节方面覆盖不到位，与实际不符；另一类则是基于物理模型的加雾方法，主要根据大气散射模型反推，进行雾霾合成，如Wang 等［14］提出基于大气散射模型的合雾方法，但获得的含雾图像主观效果不够真实。因此，本文在大气散射模型基础上提出一种新的大气加雾模型，估计全局大气光并进行区域方差补偿。利用颜色衰减先验估计场景深度求解初始透射率，设定雾霾系数获取加雾透射率。最终将大气光估计与大气加雾透射率代入加雾模型，生成不同浓度的含雾图像。

1 大气加雾模型

1.1 大气散射模型

McCartney 等［15］提出了大气散射模型，经过Narasimhan 和 Nayar［16-17］进一步推导，从成像角度分析图像组成，模型如下：

式中：x为像素点所在位置；I（x）为有雾图像；J（x）为无雾图像；t（x）为透射率；A为大气光；β为大气散射系数；d（x）为图像场景深度。其中，I、J和A均为RGB 色彩空间的三维向量。大气散射模型如图1 所示，在已知含雾图像I时，通过先验条件估计大气光和透射率可以得到去雾图像。该模型为基于物理模型的图像去雾方法的依据，应用广泛。由于模型中大气光A和透射率t均基于含雾图像特征设定的各种先验条件求得。在仅已知清晰图像J时，不能满足这些先验条件，且并不能对雾霾浓度控制，难以反推含雾图像。因此需要进一步改进设计。

图1 大气散射模型

1.2 大气加雾模型的设计

对于已知无雾图像J，同一场景下深度d（x）固定不变，雾霾通过改变大气散射系数大小影响图像质量。因此，可以通过调整散射系数来实现对清晰图像加雾。大气加雾模型透射率为

式中：β0为初始大气散射系数；t0（x）为初始透射率；α为雾霾系数，通过设置雾霾系数大小控制加雾浓度。根据已知先验条件求出图像场景的大气光A和初始透射率，令k=e-α，设计的大气加雾模型（图2）可以描述为

图2 大气加雾模型

2 大气光估计

2.1 暗特征提取

根据式（4），在求大气光估计时，参照去雾领域的暗通道方法进行暗特征提取，通过补偿的方法得到无雾图像的大气光估计。暗通道先验理论［7］是He等通过统计大量室外无雾图像而提出的一种先验方法。通过统计大量无雾图像，发现图像中任意局部区域内的像素点在RGB 颜色通道中，至少存在一个通道的像素灰度值趋近于0。提取暗特征结果如图3 所示，图像大小为1280×720，其中（a）、（c）和（e）为清晰原图、对应暗特征图和暗特征直方图，（c）、（d）和（f）为雾霾图像、暗特征图和暗特征直方图。可以看出清晰图像其暗特征几乎趋近于0，而雾霾图像的暗特征明显大多数大于0。

图3 暗特征图及直方图

暗特征的求取公式如下：

式中：J为输入的无雾图像；c为RGB 3个通道中任一颜色通道；Ω（x）表示以x点为中心的邻域；y为邻域Ω（x）内的像素点；Jdark为求得暗特征图像。

2.2 全局大气光估计

定义暗特征中亮度前0.1%的像素点对应像素值的平均值为全局大气光值：

式中：Idark为含雾图像对应的暗特征图；xt为前0.1%像素值所对应像素点；A1为所求的全局大气光估计；n为前0.1%像素点数量，即xt的个数。

从图3（c）可以看出，虽然无雾图像暗特征中大多数像素值趋近于零，但总存在一部分较亮的像素点，根据式（6）和式（7）全局大气光估计仅考虑前0.1%像素的位置。由图3（c）和图3（d）可以看出，两图中明亮像素位置上近似。所以在无雾图像可以用该方法近似表示全局大气光。但由于雾霾图像受大气散射影响时，大气光值会稍高于清晰图像，且该方法并不考虑局部信息，对图像中含有天空区域的会造成图像的失真。因此，需要对大气光进行补偿。

2.3 基于区域方差的大气光补偿估计方法

针对现有暗特征理论求大气光时仅考虑全局信息而没有考虑局部信息，以及对含有天空区域的处理存在明显失真等问题，提出了一种基于区域方差的大气光补偿估计方法。由于暗特征由区域内最小值决定，无法充分考虑天空区域，尤其是蓝色天空区域特征，因此补偿采用明通道方法。首先，根据暗特征的方法求明通道：

式中：J为输入的无雾图像；c为RGB 3个通道中任一颜色通道；Ω（x）表示以x点为中心的邻域；y为邻域Ω（x）内的像素点；Jb为求得明通道图像。对明通道进行区域方差运算，得到区域方差图A2：

式中：Ω（x）为以像素点x为中心的邻域；y为邻域中一点；m为区域大小，本文中取m=5；-Jx为明通道在x为中心的邻域内均值。考虑车载图像会含有较多蓝色天空，为了加强对蓝色区域的敏感度，定义敏感因子ψ：

式中Jblue、Jred、Jgreen分别为J图像对应的RGB 图通道。当像素点在平滑区域内，像素值波动较小；当在纹理较丰富区域内，像素值波动较大。因此，针对含天空区域的交通图像，天空区域的区域方差较小，近景区域的区域方差较大。这里对大气光进行补偿：

式中γ为补偿系数，经大量实验，γ取0.1。大气光估计效果如图4 所示。在图4（a）中，各像素点大气光值均为0.753。图4（b）中，各像素点大气光值因场景光强差异在［0.810，0.879］区间内取值。可以看出，补偿后大气光图明显提高，且不同区域像素点对应大气光值受局部影响而变化，弥补补偿前不兼顾局部信息的缺陷。

图4 大气光估计效果

3 透射率估计

3.1 颜色衰减先验

颜色衰减先验（color attenuation prior，CAP）［10］是一种基于局部统计的先验理论，指在HSV 色彩空间中，随着含雾图像的场景深度和雾霾浓度变化，局部区域内像素点对应的亮度及色彩饱和度也发生显著变化，如图5所示。

图5 不同景深位置上亮度与色彩饱和度变化

式中：d（x）为像素点x的景深；c（x）为像素点x的雾霾浓度。

3.2 初始透射率估计

同一场景图像的深度固定，根据大气散射模型雾霾仅影响大气散射系数，由式（3）可知，大气加雾模型的初始透射率与场景深度相关。由CAP 理论可知，对于有雾图像，场景深度与亮度和色彩饱和度之差正相关。而对于无雾图像，场景深度与亮度和色彩饱和度之差也呈正相关，因为雾霾仅影响大气散射系数，并不影响变化关系，CAP 同样可以适用。因此初始透射率可表示为

式中β0为初始大气散射系数。

3.3 大气加雾模型

图6 大气加雾模型的加雾效果

4 算法流程

结合设计的大气光估计方法及加雾透射率求解方法，并代入大气加雾模型，计算得到加雾图像。整个算法流程如图7所示。

图7 算法流程图

具体步骤如下：

（1）将清晰图像进行暗特征提取，求全局大气光估计，并求解明通道，根据基于区域方差的大气光补偿估计对大气光进行补偿，得到大气光；

（2）将RGB 图像转换为HSV 图像，根据颜色衰减先验进行场景深度估计，求得初始透射率，设定雾霾系数后得到加雾透射率；

（3）将步骤（1）和步骤（2）求得大气光和加雾透射率代入加雾模型，得到加雾图像。

5 实验结果

实验采用GPU 硬件平台NVIDIA GeForce RTX 3080 Ti，软件平台采用Matlab 2020b。使用Apolloscape 自动驾驶公开数据集进行图像加雾，从算法和应用测试两个方面评价。算法测试中，对不同图像进行不同浓度加雾，通过无参评价指标信息熵、平均梯度、FADE（fog aware density evaluator）［18］，有参评价指标PSNR、SSIM、模糊系数以及SIFT 算子、ORB 算子检验图像特征点数来评价。性能测试则用α取值0.9 的加雾图像，利用DCP（dark channel prior）、CAP（color attenuation prior）、DehazeNet 及FVID（fusion-based variational image dehazing）对图像去雾，通过客观评价指标反向评价加雾效果。

5.1 算法测试

（1）加雾主观评价

对交通视频数据进行加雾实验，如图8～图15所示，分别为对第11 帧、第41 帧、第71 帧、第101 帧和第191帧、第281帧、第371帧以及第461帧清晰图像及其在添加不同浓度雾霾后得到的加雾图像，其中，雾霾系数α取值分别为0.1、0.3、0.5、0.7、0.9。

图8 第11帧清晰图像及其加雾图像

图9 第41帧清晰图像及其加雾图像

图10 第71帧清晰图像及其加雾图像

图11 第101帧清晰图像及其加雾图像

图12 第141帧清晰图像及其加雾图像

图13 第281帧清晰图像及其加雾图像

图14 第371帧清晰图像及其加雾图像

图15 第461帧清晰图像及其加雾图像

（2）客观评价指标

从数据集中取4 组图像，每组4 张，求各图客观指标后取均值，对客观指标进行分析，如图16 所示。图16（a）和图16（c）为图8～图15 中对应无参评价指标信息熵、平均梯度和FADE 值。其中，信息熵数值越大信息量越多，雾霾相对较少；平均梯度反映纹理信息，数值越大表示图像纹理细节越清晰，雾霾浓度越低。FADE 通过计算不同浓度下的雾霾来评价图像的加雾质量，数值越大表示雾霾浓度越大。图15（d）～图15（f）为图8～图15对应的有参评价指标PSNR、SSIM 和模糊系数。PSNR 为峰值信噪比，可以衡量图像质量，越大代表着图像质量越好。SSIM是结构相似度，表示两图结构相似程度，值越接近1，两图像越相似。模糊系数表示图像模糊程度，雾霾含量越多，模糊系数越大。图16（g）和图16（h）通过SIFT算子和ORB算子检验图像特征点数来对加雾图像进行评价，特征点越少，雾霾浓度越大，信息损失越多。

图16 算法测试客观指标评价

表1 为综合客观指标评价，将不同雾霾系数的评价指标取均值，可以得到各客观指标的影响。由表1 和图16 可以看出，随着α的变大，对应的信息熵、平均梯度、PSNR、SSIM 逐步减小，模糊系数、FADE 随之近似线性变大，同时，特征点也随之逐渐减少。因此，本算法处理后，加雾图像中信息的损失受控于雾霾系数，可有效实现不同的加雾浓度。

表1 算法测试综合客观指标评价

5.2 应用测试

为了充分证明本文算法具有良好的实用性，对雾霾系数为0.9 的加雾后图像进行去雾实验，分别采用DCP 算法、CAP 算法、DehazeNet 算法［4］和FVID算法［19］，结果如图17～图20 所示。对去雾后图像采用信息熵［20］、FADE、平均梯度［21］的客观评价指标进行评价，结果如图21所示。

图17 第11帧不同算法的去雾效果

图18 第41帧不同算法的去雾效果

图19 第71帧不同算法的去雾效果

图20 第101帧不同算法的去雾效果

图21 应用测试客观指标评价

由图17～图20 可以看出，本文方法得到的加雾图像，再经多种经典去雾算法处理后，图像的细节信息从主观看能够较好地复原，这说明本文算法加雾处理后与实际含雾图像的特征比较接近。图17～图20 中图（b）～（e）分别为4 种去雾方法得到的复原图像，图（f）为未加雾图像，通过对比发现去雾后图像清晰度并不完全能和未加雾图像完全一致。这是由于去雾算法本身的缺陷也会导致去雾图像效果和未加雾效果存在一定差距，但可以看出，基本的纹理细节等信息都得到有效复原。从图21 可以看出，图像各客观指标经过去雾后得到了明显提升。这些客观指标主要从信息、纹理、特征等方面评定图像质量的变化趋势，这也间接验证了本文算法加雾效果正是去雾的反推，与实际含雾图像相似。

5.3 多场景测试

为了进一步展现算法的效果，分别对不同场景进行测试，图22～图24分别对航拍的村落、道路和城市图像进行加雾实验。图中雾霾系数α取值分别为0.1、0.5、0.9。通过对比几组图像原图及加雾效果可以看出：当雾霾系数α取0.1 时，图像对比度明显降低，但是加雾量较少，主观上影响并不大；当雾霾系数α取0.5 时，图像较原图明显模糊，细节处不够明显；当雾霾系数α取0.9 时，图像的基本轮廓还存在，但是细节纹理已经模糊不清。通过对不同场景的加雾测试，充分地证明了该算法多不同场景都有良好的应用效果。

图22 航拍村落图像及其加雾图像

图23 航拍交通图像及其加雾图像

图24 城市交通图像及其加雾图像

6 结论

本文针对车载视觉系统中数字孪生技术应用时所需要的大量数据，而现实中雾霾图像的采集受各种条件制约，提出了一种新的大气加雾模型，通过提取暗特征求得全局大气光，基于区域方差对其补偿，利用颜色衰减先验获得景深信息，求得初始透射率。同时模型可实现对加雾浓度的控制，通过设定雾霾系数得到对应加雾透射率及加雾图像。实验表明，提出的加雾模型在主观上可使图像细节纹理等信息逐渐模糊，客观上在PSNR、SSIM、FADE等指标均随雾霾浓度增加而衰减，与真实雾霾对图像质量的影响相似。文中提供的可控加雾模型，可以有效地补充和扩展的雾霾数据集，应用价值明显。