自适应高斯融合双通道的去雾算法

杨 燕 李 翔 张雯波 王志伟

（1.兰州交通大学电子与信息工程学院，甘肃兰州 730070；2.国网兰州供电公司，甘肃兰州 730070）

1 引言

在户外视觉系统中，由于雾、霾等介质对光的吸收和散射，导致雾霾天气下捕捉到的图像出现对比度下降、颜色失真等问题，目标的可辨识度大大降低。因此，对在雾天条件下退化图像进行清晰化处理具有重要的研究意义。

目前，图像去雾算法主要分为图像增强、图像复原和深度学习3类。图像增强方法主要提高了图像对比度，视觉上改善了图像质量，但并未考虑图像退化原理，使得恢复的图像出现颜色偏移，代表性的算法有小波变换［1］和Retinex算法［2］等。

图像复原方法从图像的退化机制出发，利用雾天退化模型来反映有雾图像的退化过程，即用先验知识得到无雾图像中参数的最优估计值。Tan 等人［3］发现相比有雾图像，无雾图像的对比度更高，从而最大化局部对比度来恢复无雾图像，但缺点是当输入图像的雾浓度较高时，恢复图像容易过饱和。He 等人［4］通过观察发现有雾图像的非天空区域至少有一个颜色通道的强度值非常低，由此提出了暗通道先验，并用Levin等人［5］提出的软抠图算法对透射图进行滤波，该算法取得了较好的去雾效果，但不适用于有大面积天空区域和高亮物体的图像。Wang 等人［6］建立线性传输模型来表示有雾图像和清晰图像之间的线性关系，从而恢复清晰图像，该算法对存在高亮区域的图像复原效果较好，颜色自然，且不会产生光晕效应，但是在白云和天空区域会产生块效应。Sun 等人［7］为了避免全局大气光估计错误导致的偏暗和过饱和问题，提出了局部大气光算法，该方法去雾彻底，去除了光晕效应，但部分图像会产生偏色现象。Xu 等人［8］提出了一种结合暗通道和亮通道先验的去雾算法，该算法提出有雾图像的局部区域至少有一个颜色通道的灰度值非常高，将该值取为大气光值，当图像中出现大量白色物体时也能较好地估计出大气光，但是恢复的无雾图像会出现光晕效应。Suresh 等人［9］提出了基于非线性边界函数的透射率边界算法，将透射率估计转化为对有雾图像和无雾图像最小颜色通道差异的估计，并建立了一种非线性边界函数估计模型，从而估计出较为准确的透射率。Li 等人［10］提出了浓度尺度先验算法，建立了具有指数参数的伽马变换模型，该模型不依赖传统的大气散射模型，因此减少了对中间变量的估计，但是去雾效果不佳。基于复原的图像去雾算法［11-13］考虑了雾图形成的原因，通常可以获得质量较高的复原图像，然而这类算法难以对未知参数精确估计。

近年来，基于深度学习的方法引起了广大学者的注意，Ren等人［14］提出了多尺度卷积神经网络，去雾效果较好，但对夜间图像失效。Cai 等人［15］提出了端对端卷积神经网络，并用双边整流线性单元来提高无雾图像的质量。Li 等人［16］将透射率和大气光合并为一个参数进行训练，从而提出了一种多合一卷积神经网络。Liu 等人［17］设计了一种新的残差网络结构，将先验知识与雾霾分布信息相结合来估计透射率。基于深度学习的算法［18］可自主学习图像特征，且学习能力强，数据集越大其表现力越好，但这类算法缺乏真实数据集，大都只在合成数据集上表现良好，处理真实雾图存在缺陷，而且其巨大的计算量对硬件设备要求较高，增加了成本。

为获得高质量的无雾图像，本文提出了一种基于自适应高斯融合双通道的去雾算法。利用大气光与有雾图像颜色通道之间的关系，提出中通道估计大气光。分别用有雾图像的最小通道和最大通道估计清晰图像最小通道和最大通道，将二者自适应加权融合，以对清晰图像最小通道进行补偿，进而得到透射率的最优估计，最后通过大气散射模型复原无雾图像。实验结果表明，本文算法恢复的无雾图像可有效避免颜色偏移和光晕效应，时间复杂度低，运行速度快。

2 背景

2.1 大气散射模型

在计算机视觉领域，雾天图像的形成机理通常用大气散射模型来描述：

其中I(x)为有雾图像，J(x)为无雾图像，t(x)为透射率，A为大气光。J(x)t(x)表示直接衰减，描述了光从场景点到观测点的衰减；A(1 -t(x))表示大气光幕，描述了光在传播过程中被大气中的介质粒子散射对成像造成的影响。当雾气均匀时，透射率可表示为：

其中，β为大气散射系数，d(x)为景深，即场景点到观测点的距离。

2.2 线性传输理论

由于有雾图像与无雾图像的最小通道之间存在一定的线性关系，Wang等人［6］提出了线性传输模型来估计透射率。根据式（1），透射率可写为：

对其进行最小滤波：

其中a为斜率，b为截距，参数a和b使得方程难以计算，将上式写为二次函数：

其中Min和Max分别表示的最小值和最大值。

结合式（4）和式（6），并引入变量δ来调整变化率，即可得到透射率：

3 本文算法

本文所提基于自适应高斯融合双通道的去雾算法流程图如图1 所示。首先，利用实际大气光小于最大通道值而大于最小通道值的关系，通过亮度控制因子将二者自适应决策融合，提出中通道大气光，并对其进行形态学闭操作与交叉双边滤波处理得到实际大气光；其次，在线性传输基础上，用有雾图像最小通道和最大通道分别估计清晰图像最小通道和最大通道，再用亮度控制因子构造高斯函数对二者赋予自适应权重，通过双通道线性传输得到清晰图像最优通道，进而获得透射率最优解；最后，结合大气散射模型恢复出无雾图像。

3.1 大气光估计

大气光的估计很大程度上影响着恢复图像的色彩和亮度。暗通道先验算法［4］选取暗通道中最亮的前0.1%的像素处的原图像素值求平均作为大气光值，容易受白色物体影响。亮通道先验算法［8］通过对有雾图像进行两次最大滤波选取大气光，在估计大气光时用固定权重，使得大气光鲁棒性降低。局部大气光算法［7］将全局大气光转化为局部特性，避免了全局大气光估计不准导致的偏暗或过饱和问题，但是易产生颜色失真，为了消除此种影响，本文提出利用中通道计算大气光。中通道的值介于有雾图像最大通道和最小通道之间［19］，故在有雾图像中存在以下关系：

将最小通道与最大通道融合，并引入亮度控制因子λ(x)进行校正，即可得到中通道

其中λ(x)为有雾图像的亮度均值，λ(x) ∈[0，1]，对不同的图像，λ(x)有不同的值。λ(x)的变化可调节最小通道与最大通道在中通道中的权重，进而调节图像亮度。换言之，当图像中存在天空及高亮物体时，将最亮区域定位为大气光会使大气光估计过高，此时λ(x)值较大，中通道大气光可减小最大通道所占权值，从而避免将大气光选为高亮物体；当图像中没有天空及高亮物体时，λ(x)值较小，中通道大气光自适应增大最大通道所占权值。

其中imclose(⋅)为形态学闭操作，BF(⋅)为交叉双边滤波。

不同通道的对比如图2 所示，通过观察可以发现利用中通道得到的大气光介于最小通道与最大通道之间，不会过亮或过暗，具有更好的鲁棒性。

将局部大气光算法与本文算法的大气光及复原图像进行对比，如图3 所示，可以看出：本文大气光在窗户和树叶位置的细节信息更加丰富，并且复原出的图像亮度适宜、颜色自然。

3.2 透射率估计

由大气散射模型可知，透射率的估计对图像的去雾效果起着至关重要的作用。当一幅有雾图像中有大面积高亮区域时，Wang等人［6］提出的线性传输导致清晰图像最小通道的估计值出现局部区域过小，透射率t(x)偏小，去雾图像产生局部过饱和与偏色现象。在户外有雾图像中，普遍认为景深越大雾浓度越高，由于天空区域的景深趋于无穷，因此在含有天空的有雾图像中，天空区域的雾浓度较高，导致Wang 算法对式（4）中清晰图像最小通道估计偏小。针对这一不足，本文在线性传输的基础上提出了双通道线性传输，即：

其中σ为图像标准差，σ∈[0，1]。当仅用清晰图像最小通道估计透射率时，局部区域易出现色彩偏移且雾气无法完全去除，这主要是由于透射率估计偏小导致的，故需要增加式（12）中清晰图像最大通道的权重进而增大透射率。

如式（13）所示，通常情况下图像的λ(x)值较小，但是当图像中存在大面积天空区域时，λ(x)可以随着场景的变化而自适应增大，具有自动调节功能。所提双通道线性传输可对天空区域偏小的透射率进行自适应补偿，解决复原图像在天空区域出现的光晕效应及颜色偏移等问题。

用曲线图来更直观地阐述本文所提双通道线性传输的补偿作用，如图4 所示。实线为最小通道变化的曲线，点划线为最大通道变化的曲线，虚线为本文所提双通道线性传输曲线。结合图4 与图5 可以看出：当采用无雾图像最小通道时较小，曲线稍平缓，恢复的图像去雾不彻底，且在天空区域失真；当采用无雾图像最大通道时，较大，曲线稍陡峭，恢复的图像对比度过高，在亮区域出现了严重的颜色失真；双通道线性传输将高斯加权融合，弥补了仅用清晰图像最小通道估计透射率方法存在的不足，可恢复出去雾效果良好、色彩自然的无雾图像。

为了证明本文算法的有效性，分别求取Wang算法与本文算法透射率与复原结果进行比较，如图6 所示，通过对比可以看出：Wang 算法获得的透射率在远景处偏低（红框内区域），所恢复图像局部过亮。由于本文算法的补偿作用，远景区域透射率有了明显提高，且本文算法估计的清晰图像最优通道值更加精确，因此恢复的无雾图像细节信息更加丰富，颜色自然，得到了较好的处理结果。

3.3 图像复原

估计出透射率t(x)与大气光A(x)后，即可根据大气散射模型复原无雾图像：

其中t0为t(x)的下界，通常取t0=0.1。

4 实验结果及分析

为了证实所提算法的有效性，选取具有代表性的8 幅有雾图像进行复原，包括不含天空区域与含天空区域两组有着不同特征的图像，并从主客观两个方面对各算法的去雾效果进行分析和对比，所选对比算法为He 等人［4］、Wang 等人［6］、Xu 等人［8］、Yang等人［11］、Ren等人［14］、Cai等人［15］所提算法。

4.1 主观评价

主观评价能直观地展示出算法的去雾效果，图8～图9分别为两组采用上述算法对8幅经典有雾图像复原后的效果实例，通过对比发现：如图8（b）与9（b）所示，He 算法对近景区域的处理效果优异，复原图像细节丰富，但是远近景交替处会产生光晕现象，在天空区域颜色失真，并有光晕效应；如图8（c）与9（c）所示，Wang 算法能基本去除雾气，但是在高亮区域失真严重，且恢复的浓雾图像存在残雾，在含有天空图像中出现了轮廓效应，在图9（c）第一幅图像较为明显；如图8（d）与9（d）所示，Xu 算法对存在高亮物体的图像处理效果较好，恢复的图像颜色自然，但在天空区域和非天空区域都易出现光晕效应；如图8（e）与9（e）所示，Yang 算法对天空区域处理效果较好，但易出现色彩过饱和与远景去雾不彻底的问题；Ren算法与Cai算法都是基于卷积神经网络架构的算法，容易产生颜色失真，且在浓雾区域去雾不彻底；本文算法基于自适应高斯融合双通道来恢复无雾图像，复原图像清晰度较高，对于远近景的雾气都能有效去除，对包含天空区域的图像也有较高的复原效率，不会出现光晕效应及颜色偏移，且能保留丰富的细节信息。

4.2 客观评价

主观评价方法并不能全面衡量去雾算法的优劣，本文加入客观评价来更全面地评测去雾算法，用经典的可见边边缘梯度法［20-21］中的新增可见边之比e、可见边梯度比rˉ，饱和黑色或白色像素点百分比σ以及算法运行时间t四个指标进行评测，这些指标为无参考指标，用于真实场景下去雾效果的评价。其中e和rˉ越大越好，表明复原的图像边缘细节数量多、强度大，σ和t越小越好，表明复原图像中全黑或全白的像素点少，运行速度快，其数学表达式可分别表示为：

其中n0和nr分别表示有雾图像和复原图像的可见边数目分别为有雾图像和复原图像的平均梯度，ns为图像中全黑和全白的像素点个数，dimx和dimy分别为图像的宽和高。各算法客观指标对比如表1 所示（表中数值为均值），从表1 可以看出：由于本文算法复原的图像细节丰富、轮廓清晰，因此在指标e和rˉ上表现良好。本文算法恢复出的图像颜色自然，所以指标σ值更小。算法复杂度是度量一个算法是否高效的重要指标，通常较好的复原效果往往伴随着高复杂度，理想的去雾算法应在保证复原效果的同时降低算法复杂度，本文算法在t指标上排名第2，表明本文算法恢复出的图像运行速度快、算法复杂度更低。本文算法在各指标上表现优异，证明了本文算法的有效性和可行性。

表1 各算法客观指标对比Tab.1 Comparison of objective indicators of various algorithms

4.3 测试集验证

为验证本文算法对测试集图像同样有效，随机选取RESIDE 数据集中的4 幅图像进行实验分析，如图10所示。从复原结果可以看出He算法复原的图像整体偏暗，且由于在边缘高估了透射率，存在光晕效应；Wang 算法由于对透射率的估计偏小，导致复原的图像过饱和；Xu 算法复原的图像出现了严重的光晕效应；Yang 算法恢复的图像整体效果良好，但是在远景部分存在轻微残雾；Ren 算法与Cai 算法是基于深度学习的去雾算法，整体复原效果较好，但是在雾浓度较高区域去雾不彻底，不适用于浓雾图像；本文算法对远景和近景的雾气都能有效去除，能较好地保留细节信息，对存在高亮和天空区域的有雾图像也能复原出质量较好的无雾图像，不会出现颜色失真，综合来看整体去雾效果良好。

测试集图像客观评价通常用全参考指标峰值信噪比（PSNR，Peak Signal-to-Noise Ratio）和结构相似度（SSIM，Structural Similarity Index Measure⁃ment），PSNR 和SSIM 越大表示算法的复原效果越好。各算法客观指标对比如表2 所示（表中数值为均值），从表2可以看出，本文算法在测试集的PSNR指标排名第2，说明本文算法复原图像失真较少，该指标落后于Cai算法，但Cai算法复原的图像去雾不彻底；SSIM 指标领先于其他算法，说明本文算法复原图像与清晰图像相似度更高，质量更好。

表2 各算法的PSNR和SSIM指标对比Tab.2 Comparison of PSNR and SSIM indicators of each algorithm

5 结论

雾霾场景下的图像存在对比度下降等问题，本文提出了一种基于自适应高斯融合双通道的去雾算法。根据大气光与有雾图像通道值之间的关系，提出中通道计算大气光，通过参数调节有雾图像最大通道与最小通道在大气光中所占权重，使得大气光能随着图像的不同而自适应变化，且能自动调整图像亮度；针对线性传输对透射率估计偏小导致的图像过饱和、去雾不彻底与偏色问题，提出双通道线性传输对清晰图像最优通道进行估计，并构造高斯函数加权使其可以自适应调整；实验结果表明，本文算法可对雾霾图像处理得到较好的复原效果，处理含有大面积天空区域以及高亮区域的图像时也有优越的表现，色彩自然且不会出现光晕效应及颜色偏移，在主客观评价上也有明显优势。