基于雾气浓度估计的图像去雾算法

鞠铭烨　张登银　纪应天

基于雾气浓度估计的图像去雾算法

鞠铭烨1张登银1纪应天1

根据雾气浓度的视觉特征，提出一种雾气浓度估计模型.在此基础上，结合大气散射模型，提出一种新的图像去雾算法.首先，基于雾气浓度估计模型计算出雾气浓度量化图，利用模糊聚类算法在量化图中识别出雾气最浓区域并估计出全球光；然后，对量化图中的“非雾气最浓”区域再次进行聚类处理，根据文中所提最优透射率评价指标估计出每个聚类单元的透射率，将全球光与透射图以及有雾图像导入散射模型，便可达到去雾的目的；最后，针对去雾后图像较实际场景偏暗，提出一种基于小波域的多尺度锐化算法进行增强处理，以改善其主观视觉质量.实验结果表明，本文算法与现有主流算法相比，具有更好的去雾效果，并且其计算速度也相对较快.

图像去雾，模糊聚类，雾气浓度估计模型，导向滤波器，大气散射模型

引用格式鞠铭烨，张登银，纪应天.基于雾气浓度估计的图像去雾算法.自动化学报，2016，42（9）：1367-1379

在有雾天气时，成像设备由于受到空气中悬浮颗粒的影响，从而导致采集图像的颜色、纹理等特征受到严重的衰弱，故此类图像的清晰度往往较低，色调趋于灰白（图1（a），1（e），1（i）），严重影响了机器视觉系统的正常工作.因此，有雾图像的清晰化研究具有极为重要的现实意义.目前，主流的去雾算法一般可分为三类：对比度拉伸算法［1-3］、基于Retinex模型的图像增强算法［4-5］和基于大气散射模型的去雾算法［6-10］.通常情况下，后者的去雾效果优于前两者，这是由于前两者未曾考虑有雾图像的降质退化机理，而后者基于降质模型，利用先验知识进行逆向还原，对于大多数图像都能够较好地去除雾气，但这三类算法均存在自身的局限性，鲁棒性不强.如Tan［6］最大化其邻域的对比度来计算出每个像素的最佳透射率组合，且在该组合内利用马尔科夫随机场决策出最优透射率，其本质上仍是对比度拉伸算法，恢复图像的色彩过于鲜艳（图1（b））；Nishino等［7］利用贝叶斯后验概率模型，通过充分挖掘图像中潜在的统计特征进行去雾处理，该方法能够较好地处理浓雾，但处理薄雾时，其色彩也过于鲜艳，缺乏真实感（图1（c））；Fattal［8］假设邻域内的色度与透射率是不相关的，依据颜色的统计特性去雾，故处理特征不明显的区域效果较差（图1（f））；Tarel等［9］利用中值滤波器估计消散函数，而中值滤波器不具备边缘保持特性，致使恢复图像在深度突变处会残留少量雾气（图1（j））；He等［10］首次提出黑色通道先验知识，利用此先验知识可取得不错的去雾效果（图1（g）），但由于其抠图处理具有极高的时空复杂度，因而该算法不具备实时性.近年来，诸多研究者对He算法提出相应的改进策略［11-13］，虽然在去雾效率上得到了实质性的提升，但均是以牺牲去雾质量为代价的（图1（k））.除此之外，几乎所有基于散射模型去雾算法在处理天空区域时或多或少都会存在过增强现象，致使恢复图像的主观视觉质量较差（图1（b），1（c），1（j））.为此，文献［14-15］利用天空检测法识别出天空区域，并对错误透射率加以修正，但现有的天空检测法识别精度并不高，因而该思路还处于探索阶段.

图1　现有去雾算法的局限性（（a），（e），（i）有雾图像；（b）Tan算法；（c）Nishino算法；（f）Fattal算法；（g）He算法；（j）Tarel算法；（k）Pang算法；（d），（h），（l）本文算法）Fig.1The limitations of the existing algorithms（（a），（e），（i）Hazy image；（b）Tan；（c）Nishino；（f）Fattal；（g）He；（j）Tarel；（k）Pang；（d），（h），（l）Proposed）

本文提出一种基于雾气浓度估计的图像去雾处理新方法.首先，依据浓雾的视觉统计特征，提出一种雾气浓度估计模型；然后，利用该模型分别给出单幅图像全球光与透射图的估计方法，并基于散射模型进行去雾处理；最后，提出一种基于小波域的多尺度图像锐化算法，以改善恢复图像的主观视觉质量.文中所提方法与现有主流去雾算法相比具有以下优点：1）在估计全球光时，本文方法不依赖于固定阈值进行全球光定位，而是基于雾气浓度估计模型将浓雾区域粗糙地勾勒出来，并根据浓雾的平坦特征进一步缩小全球光搜索范围，使得该方法鲁棒性更强；2）就目前而言，基于散射模型的去雾算法大多是采用邻域法进行透射率估计（假设邻域内的透射率为恒定值），而本文方法将图像中雾气浓度近似的区域聚合为一类，且假设每一聚类单元的透射率是恒定值，既避免了透射率估计所带来的冗余计算，又可以解决邻域信息量较少、估计不精确等问题；3）在估计每个聚类单元透射率时，文中所提最优透射率评价指标不仅考虑了对比度因素，而且还引入了饱和度分量，并自适应分配其权重系数，以使得该算法能够更好地处理不同类型的有雾图像（图1（d），1（h），1（l））.

1　背景

在计算机视觉与图形学中，通常使用大气散射模型来描述图像受到雾气的干扰［16］，有雾图像的退化过程可表示为

式中，p=｛（x，y）|1≤x≤lw，1≤y≤lh｝为像素索引（lw和lh分别为图像的宽与高），I和J分别为有雾图像和期望得到的无雾图像，L∞为全球光，表示无穷远处的环境光照，在单幅图像中一般视其为恒定值，t为介质透射图，表示物体反射光穿透介质的能力，表达式为

其中，β，d分别为消光系数与场景深度图.若透射图t与全球光L∞已知，分别将其代入下式便可复原出无雾图像

式中，max（·）和min（·）分别表示取最大值函数和取最小值函数.单幅图像去雾的关键就是从有雾图像中估计出全球光与透射图，其实质是一个病态问题，诸多学者提出先验知识对该问题进行约束，虽取得了一定的突破，但都具有自身缺陷.下文将介绍一种雾气浓度估计模型，利用该模型不但可以提高透射率估计的精确性，而且能够降低计算复杂度，更重要的是还可以提高其他先验知识的鲁棒性.

2　雾气浓度估计模型

通常情况下，雾气越浓的区域，其物体反射光受到悬浮颗粒的影响就越严重，全球光参与成像的比重就越大，从而导致该区域具有亮度高、纹理模糊等特征.据此，本文根据图像的亮度特征分布QL和纹理特征分布QT，定义一种基于雾气浓度估计的线性模型

模型中，权重系数α越大，表明纹理特征对雾气浓度的影响程度越高，反之亦然，D为粗糙雾气浓度量化图，特征分布QL和QT可由局部亮度均值和“调节后”的局部梯度均值来表征，即

式中，Ω（pi）表示以像素索引pi为中心的邻域，|Ω|表示邻域内的像素个数，▽I和LI分别为有雾图像I的梯度图和亮度图（已归一化处理），γ为伽马系数，其引入目的是将梯度值调节至与亮度值具有近似的大小.经反复测试，得出当α=1，Ω（pi）邻域尺寸为21，γ=0.5时能取到较为精确的雾气浓度估计（图2（b））.

图2　雾气浓度估计（（a）有雾图像；（b）粗糙雾气浓度量化图；（c）雾气浓度量化图）Fig.2Haze thickness estimation（（a）Hazy images；（b）Rough haze thickness quantitative maps；（c）Refined haze thickness quantitative maps）

但是我们注意到粗糙量化图D中的量化值在深度近似区域是不连续的，具有较多的纹理噪声，而雾气浓度在场景深度相同处是基本恒定不变的，故量化图D不能准确地反映出真实雾气浓度分布情况.因此，有必要对量化图D进行保边平滑处理，旨在保留其原始深度信息的前提下，尽可能地消除纹理细节.导向滤波器具有良好的去噪保边功能［17］，本文将其用于D的平滑操作，即

式中，Drefine为平滑后的雾气浓度量化图，Wpipj为导向滤波核，根据文献［17］的定义，可表示为

式中，ωk表示尺寸为rs的移动窗口，|ω|为窗口内的像素个数，µk和分别为LI中移动窗口ωk内像素的均值和方差，εs为惩罚项，k：（pi，pj）表示k个核函数的坐标.

图2（a）所示图像均来源于现有图像去雾相关文献，其对应的雾气浓度量化图如图2（c）所示.不难看出，雾气浓度量化图中量化值较大的区域，大多对应着浓雾，量化值较小的区域，也普遍对应于薄雾，故雾气浓度量化图可作为雾气浓度的粗估计.

3　基于雾气浓度估计模型的全球光估计方法

全球光估计的精确性对于去雾效果有着密切联系，Namer等［18］简单地将图像中最大亮度值作为全球光，若图像中含有高亮物体或高亮噪声，便会引起错误估计；He提取黑色通道图中前0.1%的最亮灰度，并在其相应位置处找出最大亮度值作为全球光，由于黑色通道图是经过固定尺寸的腐蚀模板计算得到的，小于此尺寸的高亮物体能被滤除（天空区域亦是如此），但对于大于此模板的高亮物体，则仍会存在错误估计；Kim等［19］提出四叉树搜索法，通过建立基于均值与方差的得分机制，将得分最高的分块作为全球光候选区域，一般情况下均能作出准确估计，然而当候选区域含有高亮噪声时，仍会造成错误估计.为此，本文基于雾气浓度估计模型，采用逐步筛查策略，提出一种新的全球光估计方法.

首先，利用聚类算法粗糙地识别出雾气浓度量化图中雾气最浓的区域，而目前常用的聚类算法主要包括：自组织神经网络聚类算法（Self-organizing feature map，SOFM）［20-21］、层次聚类算法［22］、K-means聚类算法［23］、模糊聚类算法（Fuzzy c-means，FCM）［24］，其中SOM聚类算法具有一定的学习与容错能力，然而其算法复杂度过高，实时性较差；层次聚类算法无需事先确定目标聚类数，而是通过合并或分裂的方式进行聚类，由于此过程是不可逆的，故聚类质量通常一般；K-means算法虽然具有较快的处理速度，但其聚类质量过分依赖于初始聚类中心的选取，因而该算法的稳定性偏弱；相比而言，FCM算法通过建立对类别的不确定描述，使得聚类准确性与算法稳定性得到了较大的提高，且其计算效率也相对较高，因此我们选择FCM算法对量化图进行聚类处理，其聚类准则函数可表示为

式中，uci为隶属度函数，m=2为加权指数，cn为目标聚类个数（自然图像依据深度划分至多区分为近景、远景以及天空，故此处设置cn=3），vci为聚类中心，l=lh×lw为图像的像素个数；为Drefine的模糊划分矩阵.聚类处理后，将雾气最浓的聚类单元作为全球光预选区域Apre.

然后，根据浓雾的平坦特征，对亮度图进行平坦性划分，即利用边缘算子对亮度图LI进行梯度检测（梯度阈值Tedge=0.015），得到边缘二值图Bedge，并对二值图Bedge进行闭运算与取反运算

式中，Bflat为平坦分布二值图，Λdilate和Λerode分别是尺寸为20的膨胀运算结构和腐蚀运算结构，此处实行上述运算的目的在于连接边缘点，区分出纹理区域和平坦区域.将预选区域Apre中满足平坦特征的像素集合作为全球光候选区域A.

最后，设置候选区域A中最大亮度值作为全球光，但倘若候选区域A为空，将以预选区域Apre内前30%较大亮度的平均值作为全球光.

图3　全球光定位中间过程（（a）有雾图像；（b）雾气浓度量化图；（c）预选区域；（d）平坦分布图；（e）候选区域）Fig.3The intermediate process of global light localization（（a）Hazy image；（b）Refined haze thickness quantitative map；（c）Pre-selected region；（d）Flat distribution map；（e）Candidate region）

图3给出了本文方法全球光定位的中间过程，显而易见，通过逐步筛查策略，最终的候选区域恰好位于图像中的浓雾区域，且其中不存在高亮噪声或高亮物体，这是因为高亮物体或高亮噪声其边框部分对应的梯度值必定较大，通过边缘检测以及闭运算可进一步缩小全球光估计范围，以提高估计的精确性.图4（a）为各算法估计的全球光所在位置示意图，从图中可以看出，Namer算法与He算法均误认为高亮物体（白鹅）为全球光，Kim算法虽然能够较为准确地判断出浓雾所在位置，但不幸的是浓雾中包含了一个细小高亮物体（路灯），致使全球光估计错误，而本文方法有效地避免了此类情况，准确地估计出了全球光.为体现公平性，将各算法所估计出的全球光统一利用He算法进行去雾处理，对应的恢复图像如图4（b）～4（e）所示.比较可发现，本文方法估计出的全球光能够得到更为清晰的恢复效果.

图4　不同全球光对应的去雾效果比较（（a）位置示意图；（b）Namer算法；（c）He算法；（d）Kim算法；（e）本文算法）Fig.4Dehazed images by different global light estimation methods（（a）Location schematic diagram；（b）Namer；（c）He；（d）Kim；（e）Proposed）

4　基于雾气浓度估计模型的透射率估计方法

4.1最优透射率评价指标

图像去雾的本质是提高有雾图像的对比度，但这并不意味着对比度越高，去雾效果越好.图5（a）为卫星图像，图中场景深度一致，故所有像素具有相同的透射率tfix，可将该图像关于式（3）的去雾过程简写为

式中，全球光L∞可由第3节所述方法估计得到，有雾图像I为已知量，仅透射率tfix未知.因此我们通过改变tfix，利用式（10）对图5（a）进行去雾处理，得到了一系列相应的去雾效果，且采用标准差来度量恢复图像的对比度信息，经测试得到恢复图像的标准差与其对应参数tfix的变化关系如图6中实曲线所示.依据最大对比度先验［6］，选择最大标准差所对应的透射值tfix=0.52作为最优透射率，其对应的恢复图像如图5（b）所示，可以看出此时的去雾效果较差，颜色显得并不真实.事实上，饱和度也是衡量去雾效果的一个重要指标［25］，饱和度越高，说明信息丢失越明显，去雾效果越差.据此，本文定义最优透射率评价指标

式中，φ（·）和φ（·）分别表示标准差计算函数和饱和度计算函数，λ为正则系数，通常其取值越大，去雾力度越为柔和，反之亦然.这里以λ=1为例，在上述卫星图像实验中，测得恢复图像的饱和度与指标Ψ随参数tfix的变化关系如图6中另两组虚曲线所示，选择最小指标Ψ对应的透射值tfix=0.66进行去雾处理（指标Ψ越小，表明去雾效果越好），去雾后的图像如图5（c）所示.不难看出，指标Ψ相比于最大对比度先验所估计出的透射率精确性更高，去雾效果更为真实.

4.2结合雾气浓度估计模型与评价指标Ψ的透射率估计方法

考虑到场景深度一致的图像较少，通常不能直接对整幅图像设置相同的透射率，现有文献大多是采用邻域法解决此问题.事实上，对于雾气浓度近似的区域应当具有相同的透射值，因此邻域估计法存在大量的冗余计算；另外，由于邻域的信息量较少，透射率估计值的误差往往较大，从而使得去雾效果不佳.一方面，为解决邻域估计法的局限性，另一方面，为进一步提高透射率估计的精确性，本文结合指标Ψ与雾气浓度估计模型，提出一种新的透射率估计方法，详细步骤如下：

步骤1.雾气浓度聚类处理.在第3节的基础上，将雾气浓度量化图中全球光预选区域Apre作为一个聚类单元，对其余区域再次利用FCM算法进行聚类处理（目标聚类个数cn=14，其余参数与式（8）一致）.为便于描述，对各个聚类单元作如下定义：

图5　卫星图像去雾实验（（a）有雾图像；（b）对比度最大；（c）本文所提指标Ψ）Fig.5Satellite image dehazing experiment（（a）Hazy image；（b）Maximum contrast；（c）Index Ψ）

图6　标准差、饱和度以及指标Ψ的变化曲线Fig.6The curves of standard deviation，saturation，and index Ψ

1）聚类单元所在位置.Ωci=｛p1ci，p2ci，···，plci｝，其中1≤ci≤15为聚类标签，lci为聚类单元中的像素个数.

2）聚类单元在有雾图像I中对应的像素集合

其中，R，G，B为颜色分量标签.

步骤2.聚类估计法.假设聚类单元内的透射率为恒定值，则每个聚类单元可看成诸如与图5（a）类似的雾气浓度相同的图像，因而可选用不同方法对各聚类单元进行透射率估计.在此，为提高透射率估计的精确性，采用文中所提指标Ψ来估计出每个聚类单元的透射率，即

式（12）为一维最小搜索问题，本文使用斐波那契法进行最优值求解，并设置最终区间≤0.05.显然，正则系数λci的选取对于去雾质量有着关键性作用，在保证去雾力度与避免过增强现象的前提下，本文给出自适应选取公式

式中，µci，σci分别为像素集合Ici的均值和标准差，lA为候选区域A中的像素个数，lA/l表示候选区域在图像中的覆盖比例，当其比值大于经验阈值T= 0.2时（从互联网中随机选取至少800张有雾图像，测得不同阈值的天空识别准确率如图7所示），则认为该图像是存在天空的，且假设预选区域Apre即天空所处位置.分析式（13）可知，天空的平均亮度与正则系数取值呈正比关系，而对于其他区域，正则系数与标准差有关，标准差大（即纹理细节丰富），正则系数则会适当提高，否则正则系数将会减少，这样便可以更好地处理浓雾、薄雾以及天空区域.利用式（12）遍历所有聚类单元，可得到粗透射图，但聚类操作不具备边缘保持性质，需利用导向滤波器对粗透射图进行细化操作，该过程与第3节中的保边平滑处理类似.

4.3对比分析

依据指标Ψ，分别采用邻域估计法与聚类估计法进行透射率估计（未细化处理），估计后的透射图及其恢复效果如图8（a）～8（d）所示.从图中可以看出，即使评价指标考虑了饱和度分量，邻域估计法仍不能准确地估计出天空区域的透射率，还是无法避免过增强现象，其余区域的清晰度也并不高；在计算效率方面，聚类估计法也具有明显优势，估计时间仅为邻域估计法的6%.

图7　识别天空准确率Fig.7Sky recognition accuracy

此外，对于其他先验知识采用聚类估计法也同样会具有更好的去雾效果，以黑色通道先验为例［10］，则聚类单元的透射率估计公式为

式中，ρ为经验阈值，文献［10］中取值为0.95.图8（e）～8（h）为依据黑色通道先验，采用两种不同方法估计出的透射图及其对应的去雾效果.显而易见，采用聚类估计法能够在保证去雾质量的前提下，有效避免过增强现象，取得此结果的本质原因在于聚类单元存在黑体的概率远大于邻域，从而黑色通道先验成立的可能性更大，鲁棒性更强.

图8　对比分析（（a）基于指标Ψ与邻域估计法得到的透射图；（b）基于指标Ψ与聚类估计法得到的透射图；（c）透射图（a）对应的去雾效果；（d）透射图（b）对应的去雾效果；（e）基于黑色通道先验与邻域估计法得到的透射图；（f）基于黑色通道先验与聚类估计法得到的透射图；（g）透射图（e）对应的去雾效果；（h）透射图（f）对应的去雾效果）Fig.8Comparative analysis（（a）Transmission map with neighborhood and index Ψ；（b）Transmission map with cluster unit and index Ψ；（c）Dehazed image using（a）；（d）Dehazed image using（b）；（e）Transmission map with neighborhood and dark channel prior；（f）Transmission map with cluster unit and dark channel prior；（g）Dehazed image using（e）；（h）Dehazed image using（f））

5　基于小波域的多尺度锐化算法

由于受到雾气的干扰，全球光成分参与了成像过程，使得去雾后的图像较实际场景偏暗.图像增强算法较多，如伽马校正、直方图均衡、图像锐化等；其中伽马校正虽然能够提高图像的整体亮度，但是以牺牲高亮区域的纹理细节为代价的；直方图均衡算法在处理色调单一的图像时，易出现色偏现象，鲁棒性较弱；而图像锐化算法是以突出纹理细节为主要目的，故不会出现上述缺陷.受文献［26］和文献［27］中纹理分布估计法的启发，本文提出一种基于小波域的多尺度图像锐化算法来对恢复图像进行增强处理，其具体步骤如下：

步骤1.纹理细节估计.当同一幅图像受到两种不同程度的平滑操作时，其细节纹理区域差异较大，而平坦区域差异较小，因而可通过数据间的差异来预估图像中的纹理分布情况［26-27］.基于此，本文通过下式对恢复图像的亮度图LJ进行纹理细节检测：

式中，⊗为卷积符号，W为式（7）得到的导向滤波核，εe1，εe2（εe1＜εe2）为惩罚项，re1=re2为滤波尺寸.

步骤2.多尺度锐化.采用小波域分析法［28］对纹理细节分布图Δ和亮度图LJ进行多尺度分解，得到LJ和Δ在不同尺度下的低频分量LF1，LF2和高频分量HF1，HF2（包括水平、垂直、斜对角分量），利用下式进行锐化处理：

式中，ξ=4表示尺度索引，θ=3为锐化强度调节因子，µI和µJ分别为有雾图像I和去雾后图像J的平均亮度.由式（16）可看出，对于尺度越小的高频分量，即变化越剧烈的纹理细节，其锐化力度越低；相反，对于变化缓慢的纹理细节，其锐化力度越高，这样可有效地突出层次感，同时也能避免全局锐化与光晕效应.

步骤3.同比增强.将锐化后的分量进行小波重构，得到亮度图LJ-sharpen.为保持恢复图像的原有色调，将对各个颜色分量进行同比增强

图9给出了不同去雾后处理算法的增强效果对比，从方框局部放大图可以看出，Tian算法［29］处理后的图像在高亮区域信息丢失严重，增强效果不明显；张登银算法［30］虽然提高了图像的整体亮度，但局部对比度仍然较低；本文算法在提高恢复图像整体亮度的同时，可进一步消除图像中的雾气，视觉质量得到明显提高.

6　实验结果与比较

在普通计算机上，利用Matlab（R2010b）仿真本文算法，运行环境为Windows 8，计算机配置为Intel（R）Core（Tm）i5-4210U CPU@1.70GHz，8GB RAM，参数设置包括：惩罚项εs=1，εe1= 0.0005，εe2=0.005，导向滤波窗口尺寸rs=51，re1=re2=3，其余参数已在文中给出.

6.1处理效果

为验证算法的有效性，基于以上参数设置，对Fattal个人主页1上的所有有雾图像利用本文算法进行去雾测试，图10为部分测试结果.经本文算法处理后，图像的清晰度和整体对比度都得到了较大程度的提高，恢复图像的颜色十分逼真，作为附加产品的透射图基本能够刻画出原始图像的深度结构.

6.2主观比较

为进一步说明算法的优势所在，从Fattal个人主页选取6幅不同类型的有雾图像作为实验对象，将其去雾结果与现有主流去雾算法相比较，如图11所示，其中每组实例从左往右依次为有雾图像和Ancuti算法［2］、Zhu算法［31］、Tarel算法［9］、Meng算法［32］、Tan算法［6］、He算法［10］以及本文算法的处理效果.从图11（a）～11（d）组实验可以看出，Ancuti算法去雾效果不明显，而且在处理图11（c）组图像时，出现了轻微的色偏现象，这是因为Ancuti算法是由白平衡图像以及对比度增强图像融合而来，由于白平衡过程在处理色调单一的图像时，极有可能会导致色偏现象，因此融合后的图像也会引入此问题；Zhu算法去雾效果并不稳定，当处理图11（a）和11（c）组图像时，去雾力度明显不够，这主要是由于所构造的深度线性模型过于简单，有限个训练参数并不能满足所有图像而导致的；Tarel算法能够突出目标场景的纹理细节，然而在视觉效果上具有明显的过增强现象，这是因为Tarel算法估计出的大气消散函数是黑色通道图的一种特殊情况［10］，其腐蚀模板尺寸越低，恢复色彩将越为失真，另外由于中值滤波器不具备边缘保持性质，使得该算法在处理深度剧变的图11（c）组图像时出现了少量Halo效应；Tan算法由于没有严格按照散射模型进行去雾，且是以最大化图像的对比度为目标，因此该算法虽然能够突出大量纹理细节，但恢复色彩也会显得过于饱和；He算法总体去雾效果较好，能够有效改善图像的主观视觉质量，但由于黑色通道先验不适用于与全球光近似的目标场景，因此经处理后的这类场景往往会存在失真情况，如图11（d）组图像中岩石部分所示；Meng算法的恢复效果与He算法非常近似，这是因为Meng算法仅仅是在He算法的基础上增加了边界限制条件，并没有根本解决先验知识的不适用性；相比而言，本文算法去雾更为彻底，色彩保真度也更高，恢复图像在视觉上更加令人愉悦.此外，从图11（e）组实验可以得出，除Zhu算法和本文算法之外，其余基于散射模型去雾算法由于先验知识的局限性，在处理天空区域时，或多或少都会有一些过增强现象，而本文算法通过最优评价指标，有效避免了该问题，处理后的天空十分接近于真实场景；在图11（f）组实验中，本文算法几乎未出现任何失真现象，而其他算法均遭到了不同程度的损伤，这也进一步说明了本文算法具有极强的适应能力.

图9　各后处理算法的增强效果对比（（a），（e）去雾后的图像；（b），（f）Yan算法；（c），（g）张登银算法；（d），（h）本文算法）Fig.9Comparison of enhanced images by different post-processing algorithms（（a），（e）Dehazed images；（b），（f）Yan；（c），（g）Zhang；（d），（h）Proposed）

图10　本文算法去雾效果（上：有雾图像；中：透射图；下：去雾效果）Fig.10Dehazed images by proposed method（Top：hazy images；Middle：transmission map；Bottom：dehazed images）

图11　综合比较Fig.11Comprehensive comparison

6.3定量分析

与此同时，我们还采用Hauti´ere等［25］提出的图像恢复前后可见边梯度比、Wang等［33］提出的结构相似性S以及Jobson等［34］所提的统计特征参数H作为去雾效果的客观评价指标，其中可见边梯度比用于权衡恢复图像的对比度信息，结构相似性S用于度量过增强或Halo效应等现象的严重程度［35］，统计特征参数H用来衡量色彩保真度［36］；一般情况下，值越高，说明去雾能力越强，S值越大，表明去雾效果越柔和，H值越低，意味着色彩保真度越高.图11中各组实例的评价指标值如表1所示.从表1中可以看出，Ancuti算法和Zhu算法获得了较高的S值，但其对应的值较小；Tarel算法和Tan算法虽然具有较大的值，但对应的H值过于偏大；相比而言，He算法、Meng算法以及本文算法在各方面显得比较均衡，但本文算法较He算法和Meng算法大多具有更高的值和S值，以及更低的H值，这一结论与上述各算法的主观比较是一致的.在去雾效率方面，限于本文篇幅，我们仅给出图11中前两组实例在不同分辨率下的各算法去雾所需时间，如图12所示.从曲线走势可以看出，Ancuti算法和Zhu算法具有较快的处理速度，本文算法次之，但综合去雾质量和去雾时间两方面因素，本文算法应具有更好的应用前景.

表1　图像质量评价指标Table 1Image quality evaluation parameters

图12　计算速度曲线Fig.12The curves of computing speed

6.4失效情况

通过以上实验结果可以得出，对于绝大多数图像，本文算法都可以获得较好的处理效果.然而，本文算法与现有的基于物理模型去雾算法具有一个共同的局限，即大气散射模型假设了大气同质且均匀这一理想情况，若该条件得不到满足，去雾效果将会不够理想，如图13（a）所示.除此之外，本文算法还存在两个缺陷：1）当图像中预选区域包含有尺寸大于20的光滑高亮物体时，闭运算将无法完全剔除此物体，从而致使全球光错误估计，即便使用了文中所提锐化算法，最终恢复效果的整体对比度仍然偏低，如图13（b）所示；2）由于本文算法的出发点是基于雾气浓度特征的，故对于大面积平坦且高亮的物体，极易将其视为浓雾，进而引起过增强现象，如图13（c）方框所示.

7　总结与展望

目前，图像去雾是机器视觉领域的研究热点，本文首次提出雾气浓度估计的基本概念及其数学模型，并在此基础上，结合大气散射模型提出一种新的去雾算法.该算法摒弃传统的全球光与透射率估计方法，基于雾气浓度估计模型，在雾气最浓区域依据其自身特征估计出全球光；随后，通过所提评价指标估计出雾气浓度近似区域的最优透射率，将全球光与透射图以及有雾图像导入散射模型，便可得到清晰无雾图像；最后，提出一种基于小波域的多尺度锐化算法，改善了去雾图像的主观视觉质量.实验结果表明，本文算法能够有效解决现有主流去雾算法的过增强、颜色过艳以及去雾不完全等一系列问题，在去雾能力和算法普适性方面较现有算法大多具有更为出色的表现.尤为重要的是，雾气浓度估计模型可以在其他先验知识上进行应用，不仅减少了透射率估计带来的计算量，还能够一定程度提高估计的准确性.但本文算法在进行第二次雾气浓度聚类操作时，设定的目标聚类个数为较大的固定阈值.对于场景深度变化缓慢的图像，可适当减少聚类个数，这样可进一步提升去雾效率.因此，本课题组未来的工作主要包括以下三个方面：1）如何自适应设定目标聚类个数；2）提出一种鲁棒性更强的全球光估计方法，尽可能满足所有类型的图像；3）提出一种普适性更强的大气散射模型，以解决大气不同质且不均匀的情况.

图13　失效例子Fig.13Failure case

References

1 Yadav G，Maheshwari S，Agarwal A.Contrast limited adaptive histogram equalization based enhancement for real time video system.In：Proceedings of the 2014 International Conference on Advances in Computing，Communications，and Informatics.New Delhi，India：IEEE，2014.2392-2397

2 Ancuti C O，Ancuti C.Single image dehazing by multiscale fusion.IEEE Transactions on Image Processing，2013，22（8）：3271-3282

3 Farid H.Blind inverse gamma correction.IEEE Transactions on Image Processing，2001，10（10）：1428-1433

4 Yu Jing，Li Da-Peng，Liao Qing-Min.Color constancy-based visibility enhancement of color images in low-light conditions.Acta Automatica Sinica，2011，37（8）：923-931（禹晶，李大鹏，廖庆敏.基于颜色恒常性的低照度图像视见度增强.自动化学报，2011，37（8）：923-931）

5 Li Jian-Qi，Yang Chun-Hua，Zhu Hong-Qiu，Cao Bin-Fang，Liu Jin-Ping.A new bubble image enhancement algorithm based on improved directionlet transform.Journal of Central South University（Science and Technology），2013，44（3）：1030-1036（李建奇，阳春华，朱红求，曹斌芳，刘金平.基于改进方向波变换的泡沫图像增强新方法.中南大学学报（自然科学版），2013，44（3）：1030-1036）

6 Tan R T.Visibility in bad weather from a single image. In：Proceedings of the 2008 IEEE Conference on Computer Vision and Pattern Recognition.Anchorage，USA：IEEE，2008.1-8

7 Nishino K，Kratz L，Lombardi S.Bayesian defogging.International Journal of Computer Vision，2012，98（3）：263-278

8 Fattal R.Single image dehazing.ACM Transactions on Graphics，2008，27（3）：Article No.72

9 Tarel J P，Hauti´ere N.Fast visibility restoration from a single color or gray level image.In：Proceedings of the 12th IEEE International Conference on Computer Vision.Kyoto，Japan：IEEE，2009.2201-2208

10 He K，Sun J，Tang X.Single image haze removal using dark channel prior.IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33（12）：2341-2353

11 Wang J B，He N，Zhang L L，Lu K.Single image dehazing with a physical model and dark channel prior.Neurocomputing，2015，149：718-728

12 Chen Shu-Zhen，Ren Zhan-Guang，Lian Qiu-Sheng.Single image dehazing algorithm based on improved dark channel prior and guided filter.Acta Automatica Sinica，2016，42（3）：455-465（陈书贞，任占广，练秋生.基于改进暗通道和导向滤波的单幅图像去雾算法.自动化学报，2016，42（3）：455-465）

13 Zhang Xiao-Gang，Tang Mei-Ling，Chen Hua，Tang Hong-Zhong.A dehazing method in single image based on doublearea filter and image fusion.Acta Automatica Sinica，2014，40（8）：1733-1739（张小刚，唐美玲，陈华，汤红忠.一种结合双区域滤波和图像融合的单幅图像去雾算法.自动化学报，2014，40（8）：1733-1739）

14 Jiang Jian-Guo，Hou Tian-Feng，Qi Mei-Bin.Improved algorithm on image haze removal using dark channel prior. Journal of Circuits and Systems，2011，16（2）：7-12（蒋建国，侯天峰，齐美彬.改进的基于暗原色先验的图像去雾算法.电路与系统学报，2011，16（2）：7-12）

15 Li Jia-Yuan，Hu Qing-Wu，Ai Ming-Yao，Yan Jun.Image haze removal based on sky region detection and dark channel prior.Journal of Image and Graphics，2015，20（4）：514-519（李加元，胡庆武，艾明耀，严俊.结合天空识别和暗通道原理的图像去雾.中国图象图形学报，2015，20（4）：514-519）

16 KoschmeiderH.Theoriederhorizontalensichtweite. Beitr¨age zur Physik der Freien Atmosph¨are，1924，12：33-53

17 He K M，Sun J，Tang X O.Guided image filtering.IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35（6）：1397-1409

18 Namer E，Schechner Y Y.Advanced visibility improvement based on polarization filtered images.In：Proceedings of the 2005 Polarization Science and Remote Sensing II.San Diego，USA：SPIE，2005.36-45

19 Kim J H，Jang W D，Sim J Y，Kim C S.Optimized contrast enhancement for real-time image and video dehazing. Journal of Visual Communication and Image Representation，2013，24（3）：410-425

20 Uchiyama T，Arbib M A.Color image segmentation using competitive learning.IEEE Transactions on Pattern Analysis and Machine Intelligence，1994，16（12）：1197-1206

21 Chang Fa-Liang，Liu Jing，Qiao Yi-Zheng.Color image selfadapting clustering segmentation based on self-organizing feature map network.Control and Decision，2006，21（4）：449-452（常发亮，刘静，乔谊正.基于自组织神经网络的彩色图像自适应聚类分割.控制与决策，2006，21（4）：449-452）

22 Duan Ming-Xiu.Research and Application of Hierarchical Clustering Algorithm［Master dissertation］，Central South University，China，2009.（段明秀.层次聚类算法的研究及应用［硕士学位论文］，中南大学，中国，2009.）

23 Hartigan J A，Wong M A.A K-means clustering algorithm. Applied Statistics，1979，28（1）：100-108

24 Bezdek J C，Ehrlich R，Full W.FCM：the fuzzy c-means clustering algorithm.Computers and Geosciences，1984，10（2-3）：191-203

25 Hauti´ere N，Tarel J P，Aubert D，Dumont E.Blind contrast enhancement assessment by gradient ratioing at visible edges.Image Analysis and Stereology，2008，27（2）：87-95

26 Xiao C X，Gan J J.Fast image dehazing using guided joint bilateral filter.The Visual Computer，2012，28（6-8）：713-721

27 Li J F，Zhang H，Yuan D，Sun M G.Single image dehazing using the change of detail prior.Neurocomputing，2015，156：1-11

28 Burrus C S，Gopinath R A，Guo H T.Introduction to Wavelets and Wavelet Transforms.New Jersey：Prentice Hall，1998.

29 Tian Y，Xia D，Xu Y P.Single foggy image restoration based on spatial correlation analysis of dark channel prior.Journal of Systems Engineering and Electronics，2014，25（4）：688-696

30 Zhang Deng-Yin，Ju Ming-Ye，Wang Xue-Mei.A fast image daze removal algorithm using dark channel prior.Acta Electronica Sinica，2015，43（7）：1437-1443（张登银，鞠铭烨，王雪梅.一种基于暗通道先验的快速图像去雾算法.电子学报，2015，43（7）：1437-1443）

31 Zhu Q，Mai J，Shao L.A fast single image haze removal algorithm using color attenuation prior.IEEE Transactions on Image Processing，2015，24（11）：3522-3533

32 Meng G，Wang Y，Duan J，Xiang S，Pan C.Efficient image dehazing with boundary constraint and contextual regularization.In：Proceedings of the 2013 IEEE International Conference on Computer Vision.Sydney，Australia：IEEE，2013.617-624

33 Wang Z，Bovik A C，Sheikh H R，Simoncelli E P.Image quality assessment：from error visibility to structural similarity.IEEE Transactions on Image Processing，2004，13（4）：600-612

34 Jobson D J，Rahman Z U，Woodell G A.Statistics of visual representation.In：Proceedings of the 2002 Visual Information Processing.Orlando，FL：SPIE，2002.25-35

35 Ling Z G，Li S T，Wang Y N，Shen H，Lu X.Adaptive transmission compensation via human visual system for efficient single image dehazing.Visual Computer，2016，32（5）：653-662

36 Liu Hai-Bo，Yang Jie，Wu Zheng-Ping，Zhang Qing-Nian，Deng Yong.A fast single image dehazing method based on dark channel prior and Retinex theory.Acta Automatica Sinica，2015，41（7）：1264-1273（刘海波，杨杰，吴正平，张庆年，邓勇.基于暗通道先验和Retinex理论的快速单幅图像去雾方法.自动化学报，2015，41（7）：1264-1273）

鞠铭烨南京邮电大学物联网学院博士研究生.主要研究方向为图像去雾与图像增强.

E-mail：2014070245@njupt.edu.cn

（JU Ming-YePh.D.candidate at the School of Internet of Things，Nanjing University of Posts and Telecommunications.His research interest covers image dehazing and image enhancement.）

张登银南京邮电大学物联网学院教授.主要研究方向为信号与信息处理，网络信息安全技术.本文通信作者.

E-mail：zhangdy@njupt.edu.cn

（ZHANGDeng-YinProfessor at the School of Internet of Things，Nanjing University of Posts and Telecommunications.His research interest covers signal and information processing，networking technique and information security.Corresponding author of this paper.）

纪应天南京邮电大学物联网学院硕士研究生.主要研究方向为图像处理，压缩感知和分布式视频编码.

E-mail：jiyingtian@foxmail.com

（JI Ying-TianMaster student at the School of Internet of Things，Nanjing University of Posts and Telecommunications.His research interest covers image processing，compressed sensing，and distributed video coding.）

Image Haze Removal Algorithm Based on Haze Thickness Estimation

JU Ming-Ye1ZHANG Deng-Yin1JI Ying-Tian1

This paper proposes a haze thickness estimation model based on visual characteristics of haze thickness，and combines this model with atmosphere scattering model to present an innovative image dehazing algorithm.First，a haze thickness quantitative map is calculated via the haze thickness estimation model，from which the thickest area is identified by the fuzzy clustering algorithm and global atmospheric light is estimated.After that，the algorithm carries on clustering processing towards the non-thickest area in the quantitative map，and estimates the transmission of each cluster unit according to the optimized transmission evaluation index mentioned in this paper.The haze-free image can be restored from scattering model with global light，refined transmission map and original hazy image.At last，we propose a multiscale sharpening algorithm based on wavelet domain to make up for the defect that the haze-free image is dark-look so as to improve the visual effect.Several numerical experiments demonstrate that the proposed method outperforms the mainstream dehazing algorithms in daze removal effect at a much lower implementation cost.

Image daze removal，fuzzy clustering，haze thickness estimation model，guided filter，atmosphere scattering model

Manuscript August 19，2015；accepted March 20，2016

10.16383/j.aas.2016.c150525

Ju Ming-Ye，Zhang Deng-Yin，Ji Ying-Tian.Image haze removal algorithm based on haze thickness estimation. Acta Automatica Sinica，2016，42（9）：1367-1379

2015-08-19录用日期2016-03-20

国家自然科学基金（61571241），江苏省高校自然科学研究重大项目（15KJA510002），江苏省产学研前瞻性联合研究项目（BY2014014）资助

Supported by National Natural Science Foundation of China（61571241），Key University Science Research Project of Jiangsu Province（15KJA510002），andProspectiveJointResearch Project of Jiangsu Province（BY2014014）

本文责任编委刘跃虎

Recommended by Associate Editor LIU Yue-Hu

1.南京邮电大学物联网学院南京210003

1.School of Internet of Things，Nanjing University of Posts and Telecommunications，Nanjing 210003