基于色彩空间和暗原色先验图像融合去雾算法

王 超， 刘文超， 翟海祥， 何 涛， 王正家

(1.湖北工业大学机械工程学院，武汉 430000; 2.现代制造质量工程湖北省重点实验室，武汉 430000)

0 引言

随着计算机技术的快速更新[1]，计算机视觉广泛应用于各个领域，例如航空领域、智能驾驶领域、车辆交通领域等。受雾霾天气[2]的干扰，图像采集设备采集的图像画质模糊，对图像特征提取和识别造成一定的难度，严重影响了人们的正常生活。因此，对于图像去雾的研究具有一定的实用价值。

目前图像去雾算法分为两类，一类是在非物理模型基础上，另一类是在物理模型基础上。基于非物理模型的去雾算法侧重去除图像噪声，然后复原无雾图像，代表性方法有Retinex[3]算法、同态滤波[4]、直方图均衡化(HE)、小波变换等。由于图像增强处理未能从雾霾产生的本质入手，因此不能达到真正意义上的去雾。基于物理模型的图像去雾由于考虑雾霾成像的机理，因此可以实现真正意义上的去雾。文献[5]在暗原色先验基础上提出了去雾算法，首先估计出透射率，然后利用软抠图技术优化透射率，从而实现更好的去雾效果。但是采用软抠图技术会大大增加算法的复杂度，并且在明亮的天空区域时，该算法会失效，造成严重失真。为了获取较好的透射率图，文献[6]又提出导向滤波的方式。此方法主要集中于简单的方框模糊，并不会受到模糊程度和半径的影响，所以实时性有了较大的提升。为了进一步提高算法执行的效率，文献[7]提出基于单幅图像的快速去雾算法，该算法基于图像退化的物理模型，仅利用均值滤波对环境光和全球大气光进行估计，执行效率明显提高。但是执行后图像偏黑，色彩暗淡，通过单纯的图像增强往往很难实现图像亮度均匀增强。在此基础上，大量学者提出新的算法，如双边滤波[8]或联合滤波[9]代替软抠图来细化透射率，提高图像清晰度，且具有一定的保边性，但是算法复杂度较高，落地困难。伴随着深度学习的快速发展[4]，基于深度学习的图像去雾也逐渐成为广大学者研究的对象，通过学习和估计有雾图像与霾层图像之间的映射关系，进而估计透射率等，从而复原图像。但深度学习[10]需搭建复杂的网络模型，训练周期长，数据集采集困难，并且对硬件设备要求高，训练成本高。

综上所述，针对目前图像去雾算法效果欠佳、效率低的问题，提出一种基于HSV色彩空间和暗原色先验的图像融合快速去雾算法，首先对雾图进行下采样处理，减小图像尺寸，然后进行色彩空间转换，避免后续处理通道之间相互干扰，导致图像色彩饱和度失真。接着对转换后的色彩空间分量进行适当调整，使用改进的暗通道算法去雾、直方图拉伸、图像融合以及重采样，最终输出无雾图像,实现去雾。

1 理论基础

1.1 HSV模型

RGB是常见的三基色[11]空间，该色彩空间表明，任何一种颜色都可以由3种基色R，G，B按不同的比例混合而成。HSV模型[12-13]由色彩、深浅、明暗组成，其中，H是色彩，S是深浅，V是明暗，HSV模型根据颜色的直观特性创建一种颜色空间，如图1所示。

图1 HSV模型

RGB转换HSV公式为

v=max(r，g，b)

(1)

(2)

h=

(3)

其中，r，g,b为色彩空间的3个分量。

本文在RGB色彩空间转换到HSV色彩空间的过程中，保持h分量不变，分别对s和v分量进行处理(线性调整、亮度增强等)。

1.2 大气散射物理模型

大气散射物理模型[5]描述了光在大气传输过程中的物理特性，可由衰减模型和大气光模型两部分构成，在图像视觉领域，通常表达为

I(x)=J(x)t(x)+A(1-t(x))

(4)

式中：I(x)为采集的有雾图像；J(x)为经过处理后的图像；A为全球大气光，A>0；t(x)为透射率。已知I(x)，需要求出J(x)，显然该方程有无数解，所以还需要对其变量进行约束。

1.3 暗原色先验理论去雾原理

HE等[5]通过观察大量的户外无雾图片得出，在绝大多数非天空领域，某些像素总会有至少一个颜色通道具有极低的像素值，即所谓的暗原色。

(5)

(6)

因此，可得

(7)

代入得

(8)

(9)

输出图像为

(10)

结果表明，HE等提出的暗原色去雾算法，在符合暗原色先验理论的非天空领域往往具有较好的去雾效果；但是，在天空领域也有不足之处，在大面积高亮区域，透射率估计值较高，并且在有雾或者无雾情况下，所表现的视觉效果基本一致，由式(9)可知，这时估计出的透射图的灰度值会很低，因此求出的透射率很小，这与该区域的真实透射率差异较大，所以图像处理后视觉效果较差。

2 改进的暗原色去雾算法

本文基于文献[5]的暗通道先验理论和文献[7]提出的单幅图像的快速去雾算法进行改进。首先，文献[7]的算法对于透射率的估计比较粗略，采用近似处理，对于大气光的选取也不严谨。虽然降低算法复杂度换取时效性，但是处理后的图像在色彩上偏暗，整体效果不如文献[5-6]提出的导向滤波。通过对文献[5-7]提出的去雾算法进行深入研究，发现在保证图像质量的基础上，可进一步提高去雾的实时性。

2.1 去雾算法构建

本文基于HSV色彩空间和暗原色先验理论，提出一种图像融合[14-17]去雾算法。对户外采集的图像进行去雾处理，去雾流程如图2所示。

图2 图像去雾流程图

2.2 雾天退化物理模型

雾天退化物理模型[7]为

H(x)=F(x)e-r′d(x)+A(1-e-r′d(x))

(11)

式中:H为雾图；F为待恢复的无雾图像；r′为大气散射系数；d为拍摄景物的深度；A为全球大气光。对式(11)采用L(x)来替换A(1-e-r′d(x))可得

L(x)=A(1-e-r′d(x))

(12)

(13)

由式(4)，式(13)可表示为

H(x)=F(x)t(x)+A(1-t(x))

(14)

由式(14)得出

A(1-t(x))≤H(x)

(15)

基于HE的暗通道先验原理，取R,G,B通道中的最小值，即

(16)

由式(15)可得

(17)

由式(12)可知，t(x)随着景物深度d的增大而减小，t(x)越大，表示像素x处景物反射光衰减的程度越小。分析可知，透射率t(x)与场景深度具有一致走向。

对式(17)采用高斯滤波，对其透射率进行估计

(18)

式中，Ga为高斯滤波窗口的尺寸，为了保证其平滑效果达到最佳，取高斯函数为

Σ(ksize)=0.3*((ksize-1)*0.5-1)+0.8

(19)

式中，ksize为高斯内核大小。

高斯滤波的结果能够较好地反映t(x)的大致趋势，但存在一定的偏差值，为了更好地计算出高斯滤波后t(x)，需要进行偏差值补偿，即

(20)

(21)

(22)

θ=αma

(23)

式中，0≤α≤1/ma，ma为M(x)中的均值。为了约束θ值，本文设置上限为0.85，如

(24)

由式(17)，(22)和式(24)可得

(25)

2.3 大气光估计

HE等提出的暗原色理论，首先提取暗通道前0.1%像素值，将全球大气光设为A。对于非天空等明亮区域真实有效，但无法保证实时性。基于文献[7]的算法，为了更好地调整视觉效果，本文对其参数优化，并基于HE等提出的任何图像都有一定景深，选取0.95作为A值的估计，基于此，本文将参数由文献[7]的0.5调整为0.95，可得

(26)

由此，可以更加合理地选取大气光值，且可在一定程度上提高算法执行效率。另外，为了防止计算后的图像出现增益等问题，本文将计算后的图像像素值中高于前1%的像素点定为242，低于后1%的像素点定为13，这样处理后的图像能够更加均匀地落在像素值均匀的位置，处理效果更佳。

2.4 HSV色彩空间处理

为了降低算法的复杂度，先对雾图进行下采样处理，利用样条函数，对图像尺寸进行约束。实验结果表明，当下采样4/5时，图像去雾综合效果较好。然后将降采样图像进行色彩空间转换，将RGB色彩空间转换到HSV色彩空间上，将转换的图像分成两部分，在第一部分h，s分量保持不变的基础上，对v分量进行0.85倍降低处理，这样在一定程度上能够克服图像较亮区域模型失真问题；第二部分h分量不变、v分量进行自适应增强，s分量进行线性拉伸。为了防止拉伸过度，本文采用自适应尺度的线性拉伸算法[18]，对拉伸后的s分量进行0.95倍缩小，即

(27)

2.5 改进去雾算法及查表处理

对经过v分量降低后的第一部分图像进行去雾，由于采用了高斯滤波，图像可有效消除高斯噪声，能够保留更多的图像细节，同时过渡平滑，可较好地去除图像中的雾霾。

由实验结果发现，处理后的图像偏暗，一方面是由于图像对v分量进行亮度降低，另一方面是基于大气物理模型进行去雾时，图像整体亮度偏黑。目前广泛采用伽马变换[19]的方法增强，通过线性变换，使图像中较暗的区域得到增强，图像中较亮的区域得到降低。虽然经伽马变换处理后的图像在整体细节表现中会得到增强，但是处理后的图像也会出现不均等问题，并且处理实时性得不到保证。综合考虑后，采用查表直方图进行图像拉伸[20]，无论是图像质量还是处理时间都有一定的优化和提高。首先创建一个一维、256数组的表，然后对像素点灰度值进行变换，例如：假设原图像灰度值为i，查表转化后假设负片效果，灰度值为255-i。然后通过直方图均衡化进行对比度增强，将直方图中非零项的最低值设置为0，最高值设置为255，其中间值按这种规律转化，最后输出增强后的图像。

2.6 图像融合

图像融合[21]一般有特征级融合、像素级融合和决策级融合。通过图像融合可以实现图像增强，突出细节，提升边缘信息，并且可以在一定程度上去除噪声和冗余，本文采用的融合算式为

T(x)=(1-γ)F1(x)+γF2(x)+ϑ

(28)

式中：T(x)为融合后的图像；F1(x)为融合前第一部分图像；F2(x)为融合前第二部分图像；γ为权重因子；ϑ为修正系数。

将处理后的第一部分及第二部分图像进行加权融合，实验结果表明，取0.7倍处理后第一部分图像，即γ为0.3时，能够最大可能地保证图像边缘信息和去雾效果；取0.3倍处理后的第二部分图像，色调饱和度得到调节，使得处理后的图像视觉效果更佳，同时，将修正系数ϑ 设置为0.5，图像融合效果有较大改善。

3 实验结果分析

实验测试本文算法在图像去雾中的效果，实验环境为Intel®CoreTMi5-6500 CPU@3.20 GHz，Windows 10操作系统，8G环境下的Pycharm软件，解释器Anaconda Python3.7。分别与HE算法[6]、刘算法[7]、FATTAL算法[22]以及Retinex算法进行效果对比。为了充分验证本文算法的效果，选择不同情况下多组图像进行实验，结果如下。

3.1 主观评价

图3为雾霾天气下民航飞机去雾对比实验结果。通过对比可知：HE算法[6]处理后图像整体失真严重，在天空区域出现色彩失真现象；刘算法处理后效果明显，但图像处理后整体偏暗，且在物体与天空过渡区域，有明显的过渡痕迹；FATTAL算法处理后，天空区域过曝，物体区域过黑，图像失真严重；Retinex算法处理后，图像整体亮度提高，但是图像色彩出现失真现象，天空区域存在明显的振铃现象；经过本文算法处理后的图像，过渡平滑，因此图像破坏程度小，且处理后轮廓清晰、色彩鲜艳，实现较好的图像去雾。

图3 雾霾天气下民航飞机去雾对比实验结果

图4为城市建筑图像去雾对比实验结果。与其他算法相比，本文算法处理后， 图像色彩鲜艳，图像自然度、饱和度明显，比较清楚地复原了图像的本质，且细节明显，图像效果更好。

图4 雾霾天气下城市建筑去雾对比实验结果

图中，HE算法，基于大气散射模型，结合暗通道先验原理，首先估计出图像的透射率，进而求出大气光，最后求出无雾图像。该算法在一定程度上实现了真正意义上的去雾，但是由于参数的选取不定，会造成图像偏暗且在天空区域容易出现失真现象，有待进一步研究。刘算法，采用均值滤波对环境光和全球大气光进行估计，方法更加简单，算法效率更高，但是对于透射率和大气光的估计不准确，处理后的图像清晰度有待提升。FATTAL算法，假设在图像的局部区域中，雾气的浓淡与物体本身的几何形状等属性无关，进而估算透射率t，这种方式鲁棒性差，多数场合下不成立，因此需要进一步研究。Retinex算法，通过去除或者降低入射图像的影响，尽量保留物体本质的反射属性图像，但对于公式的简单套用往往导致增强过度而难以把握。本文算法，通过对图像通道进行处理，减少了各个通道之间的干扰，能够更加细腻地进行图像去雾，同时采用图像融合的方式，既能实现快速去雾，又能保证图像的质量，尤其是在航空的天空领域，相比其他算法，本文算法去雾后图像色彩更加符合人眼视觉效果。

3.2 客观评价指标

主观评价受外界因素影响大，不同主体对于不同图像、不同场景等有着不同的评价标准。为了进一步客观验证[23]本文算法的有效性，从以下5个方面中选取4个展开分析，以真实客观评价。

1) 算法的复杂度[24]直接决定算法的实用性，在户外环境下，移动嵌入式设备采集图像较多，但处理器的性能远不如PC机，因此对于图像去雾算法的处理，实时性是至关重要的。

2) 峰值信噪比(PSNR)作为一种评估指标常用来衡量信号失真大小，该值越大，图像差异就越小，失真度就越低，去雾效果就越好。

3) 结构相似性(SSIM)[25]，该指标越大，表明处理后的图像视觉效果越好。

4) 信息熵(IE)对于图像涵盖的信息量有着直观的反映，该值越大，图像细节越丰富。

5) 标准差(SD)对于图像的对比度能够进行客观反映，该值越大，图像则越清晰。

以上2)，3)，4)，5)客观数据指标需要将处理后的图像与原图像进行参考对比，以客观真实地反映出算法的可行性。选取图3中第1行、第3行小图以及图4进行客观指标对比，结果如表1所示。

表1 去雾算法客观指标对比

续表

同样，对图3第1行、第3行小图以及图4的各算法执行时间进行对比，以充分验证各算法的复杂度，具体运行时间如表2所示。

表2 去雾算法运行时间对比

从表1可以看出，本文算法普遍优于其他算法，PSNR，SSIM，IE以及SD客观数据值明显优于其他算法计算的结果，这与主观效果评价保持一致，证明本文算法真实有效。由图2、表2可知，对于算法复杂度来说，由于对图像进行降采样处理，并对改进后的图像进行查表处理，因此本文算法复杂度低于其他算法。综上，从主观评价和客观评价两个方面对比可知，本文提出的去雾算法要优于其他算法，具有较好的去雾表现。

4 结论

针对视觉系统在采集户外图像时，由于雾霾等环境因素的影响，出现效果欠佳、效率不高且色彩失真等问题，本文基于HSV色彩空间和暗原色先验理论，提出了一种图像融合快速去雾算法。评价结果表明，本文算法不仅能保证图像质量，而且还能够实现快速去雾。在接下来的工作中，需要对图像的质量进一步提高，并且进一步降低算法的复杂度，增强算法实用性。同时，可以从不同场景下的雾霾图像入手，针对性去雾，从而达到更好的去雾效果。