基于并联卷积神经网络的图像去雾

陈清江 张雪

雾霾天气情况下,悬浮在大气中的微小颗粒对光线的散射和吸收作用,导致采集到的图像对比度与饱和度降低,色调偏移,严重影响了户外视觉系统的效用.因此,雾天图像的清晰化处理成为计算机视觉领域中的一个重要问题.现有的图像去雾方法主要有两种,其一是基于图像增强的方法,这种方法不考虑图像退化的原因,会造成图像信息的损失.如基于颜色恒常性的Retinex 理论[1−2]、基于路径Retinex 算法[3−4]和迭代形式的Retinex 算法[5],这些算法都存在参数调整困难且算法复杂度高的问题.其二是基于图像复原的方法,此方法利用图像退化的先验知识和假设来恢复图像,去雾图像信息缺失较基于物理模型的图像复原方法少,去雾效果自然.如He 等[6]提出了一种基于暗原色先验知识统计(Dark channel prior,DCP)的方法.但He 的暗通道先验方法过高估计雾的浓度,导致去雾后图像整体亮度偏暗,且天空区域常出现失真现象.Zhu等[7]提出了颜色衰减先验(Color attenuation prior,CAP).尽管上述算法取得了很大的进步,但它们仍然依赖于各种先验知识,具有一定的局限性.

近些年来,随着深度学习理论在语义分割[8]、目标识别[9]、图像超分辨率重建[10]等方面的不断发展,一些学者将该理论用于图像去雾领域也获得了较好的效果.如Cai 等[11]提出的DehazeNet 训练预测的传输图.Ren 等[12]设计了多尺度卷积神经网络(Multi-scade convolutionalneuralnetwork,MSCNN) 估计了场景的透射率.Li 等[13]提出了Cascaded CNN,该网络分别估计大气光值和传输图.由于这几种基于卷积神经网络的方法是分别估计介质传输图和大气光值的,所以增加了恢复去雾图像的累计误差.为此,我们的目标是通过直观地最大化预测图像和无雾图像之间的视觉相似性来训练一个去雾卷积神经网络.

与以往的估计介质传输图方法不同的是,我们直接利用雾天图像和清晰图像训练卷积神经网络.为此,本文提出了一种基于并联卷积神经网络的单幅图像去雾算法.首先,使用雾天RGB 图像YUV变换的Y、U 和V 分量构建并联卷积神经网络,自适应获得雾霾特征;其次,利用多尺度卷积提取雾霾特征与重建,并且跳跃连接减少了网络参数,提高了网络训练速度;最后,采用递归双边滤波,对去雾后的RGB 图像进行滤波,可以得到更加清晰的无雾图像.

1 相关理论

1.1 大气散射模型

在计算机视觉领域中,通常使用大气散射物理模型[14]来描述雾天图像的退化过程,该模型广泛用于图像去雾技术的研究,用公式可表示为

其中,I(x) 为采集到的雾天图像,J(x) 为清晰图像,t(x)为介质传输图,A为大气光值.当大气同质时,介质传输图可以定义为

其中,β为散射率,当大气均匀时,在一定时刻对于整幅图像来说散射率是一个定值,d(x) 为场景对象到传感器的距离,即场景深度.

1.2 理论分析

由式(1)可知,传输图可表示为

雾霾天气的大气光照导致RGB 色彩空间发生一定的变化,近似认为RGB 色彩空间存在白色雾霾.在向量空间中,它表示为

结合式(1)可知

为了使 ∆H(x) 主要集中在同一通道上,将∆H(x)从RGB 颜色空间转换为YUV 颜色空间.它们之间的传递函数可以表示为

其中,

由于区域内均匀介质 ∆H(x) 的存在,使得RGB 颜色空间中容易出现纯白色,因此 ∆H r(x) ,∆H g(x),∆H b(x)三个平衡分量近似相等,接近RGB 颜色空间模型的最大值.因此,近似得到

因此,由式(7)和式(8)知

在YUV 颜色空间中,雾天图像与其对应的清晰图像之间的总误差可表示为

其中,x表示每个像素的位置,N为图像的像素总数.式(10)证明了 ∆H(x) 主要投射在亮度通道上.也就是说,将投影在RGB 颜色空间模型灰度轴线上的H(x) 转换为亮度通道进行除雾.当天气变坏时,H(x) 的三种成分会导致不平衡.因此,一小部分偏差可以投射到另外两个色度通道上.

2 图像去雾算法

经过统计实验发现在雾天图像的RGB 色彩空间中,大气光照对各个分量都具有显著的影响,而在YUV 色彩空间中,有雾区域主要集中在亮度通道,色度通道和饱和度通道较少,并且,随着雾霾浓度的增加,亮度通道变化越明显.因此,本文将主要在亮度通道进行去除雾霾,提出的去雾网络是一个相对简单的网络结构,具有较快的收敛速度,而且恢复的去雾图像具有良好的效果.

2.1 网络结构

并联卷积神经网络的结构设计考虑了雾天图像与清晰图像YUV 各个通道之间的关系,网络主要由两个卷积神经网络组成,较深网络用来预测亮度通道,较浅网络用来预测色度通道和饱和度通道,图1 为本文提出的并联卷积神经网络结构图.

图1 本文网络结构Fig.1 The network structure of this paper

第1 层采用多尺度卷积进行明亮度通道的特征提取,多尺度卷积能够获取更多的与雾相关的特征,捕获更加丰富的统计属性和结构属性,去除多尺度空间下的雾霾影响,得到更好的去雾效果,提高捕获图像内部信息的鲁棒性和有效性.详细参数如表1所示.其中,卷积核尺寸为fi×f i×n i,f i为卷积核的大小,n i为卷积核的数量.

表1 多尺度卷积模型Table 1 Multi-scale convolution model

多尺度卷积操作为

其中,Wsi(i1,2,3,4) 表示第s层的第i组卷积核,Fsi表示第s层输出的第i组特征图,Y表示输入图像,“∗”表示卷积操作.

本文选用参数修正线性单元(PReLU)作为网络结构的激活函数,除了最后一层,其余每个卷积层与反卷积层的末端都接入此激活函数.PReLU 公式为

式中,x i为第i层的正区间输入信号,a i为第i层的负区间的权系数.所以卷积层的最终输出为

其中,Bs为第S层的偏置.

2.2 跳跃连接

中间层部分由两个相同的全卷积结构组成,单个全卷积结构包括三个卷积层和两个跳跃连接.首先,采用3×3×64 的卷积核大小,3×3 的卷积核是最小的能够捕获图像的上下左右和中心概念的尺寸,而且相比于大尺寸,它的参数更少,可降低运算复杂度.接着用1×1×16 的卷积核大小,可以有效降低参数大小和计算复杂度,达到降维的作用,提高训练精度.最后用3×3×32 的卷积核大小进行卷积.将第1 层与第2 层的特征图进行合并,这种连接方式大幅提升了卷积输出特征图的数量,减少了每层所需特征图的数量,且网络层数较浅,能够加快网络训练速度,防止网络陷入局部最优,同时保证图像细节信息的有效传递.

2.3 多尺度重建

多尺度重建在图像超分辨率重建[10]和目标识别[9]、图像去雾[15]等方面都得到了较好的效果,因此,在网络最后一层,采用多尺度卷积进行重建,多尺度卷积不仅能够提取与雾相关的特征,而且能够提高图像的清晰度.

由于雾霾在色度通道和饱和度通道较少,采用三层的卷积神经网络预测清晰图像的色度通道和饱和度通道,网络结构主要由三层卷积和跳跃连接组成,第1 层与第2 层的卷积核大小均为3×3×16,将第1 层与第2 层的特征图进行合并,得到更多的与雾相关的特征图,最后一层的卷积核大小为3×3×1,卷积核参数较少,可以提高网络训练速度,达到较优的去雾结果.

在网络训练过程中,使用均方误差损失函数(Mean square error,MSE)用来计算输入雾天图像与预测的无雾图像两者差值平方的期望值,即

其中,Oi表示第i组清晰图像值,P i表示网络结构第i组的输出值,N为样本训练数目.利用随机梯度下降法(Stochastic gradient descent,SGD)和网络反向传播算法来最小化MSE以调整网络参数,网络权重的更新过程为

其中,∆k为第k层的权重更新值,s为层数,k为网络的迭代次数,η为学习率,为第s层的第k次迭代时的权重.

3 实验与结果分析

本节描述了实验数据的获取、实验设置与实验步骤,并且将本文算法的去雾结果与传统的经典去雾算法:DCP 算法[6]和CAP 算法[7],以及基于卷积神经网络的SRCNN(Super-resolution convolutional neural network)算法[16],DehazeNet 算法[11]和MSCNN 算法[12]分别在合成雾天图像数据集和真实自然雾天图像数据集上进行主观与客观的对比分析.

3.1 实验数据、实验设置与实验步骤

1)实验数据.采用数据集Middlebury Stereo Datasets 和Make3DLaser+Image data,选出160幅清晰图像以及所对应的深度图,将这160 幅图像通过大气散射模型[14]建立雾天图像数据集.其中,散射率随机设置为0.75,1.5,大气光值随机设置为(0.7,1.0).图2 展示了清晰图像,雾天图像与预测的无雾图像的YUV 颜色空间的各个分量的图像.

图2 YUV 颜色空间的各个分量对比图像Fig.2 Each component of the contrast images of YUV color space

2)实验设置.利用Caffe 框架实现网络,每层的权重均采用Xavier 分布进行随机初始化,网络模型采用固定的学习率,设置为0.0001,动量参数设置为0.9,迭代次数为 106次,利用随机梯度下降法(SGD)和反向传播算法进行网络优化,完成网络模型的训练与收敛.

3)实验步骤.

步骤 1.采用数据集Middlebury Stereo Datasets 和Make3D Laser+Image data 通过大气散射模型获取雾天图像数据集;

步骤 2.将雾天RGB 图像数据集与清晰RGB图像数据集转换为YUV 通道的图像;

步骤 3.依照本文提出的并联卷积神经网络,对雾天图像与清晰图像的YUV 各个通道分别进行网络模型的训练与测试;

步骤 4.经过YUV 逆变换恢复出预测的清晰RGB图像;

步骤 5.将卷积神经网络预测的清晰RGB 图像采用递归双边滤波进行增强,得到最终的恢复的去雾图像;

步骤 6.基于合成雾天图像数据集的去雾结果与分析;

步骤 7.基于真实雾天图像数据集的去雾结果与分析.

本文算法流程如图3 所示.

图3 本文算法流程图Fig.3 Algorithm flow chart in this paper

3.2 基于合成雾天图像数据集的去雾结果与分析

为验证本文算法对合成雾天图像的去雾效果,将本文算法与其他算法进行比较.在图4 ∼ 6 中,展示了从数据集中选取的3 幅合成雾天图像的去雾结果对比.

图4 不同算法对雾天图像Dolls 的去雾结果Fig.4 Different algorithms to defog results of fog image Dolls

通过主观评价可看出,DCP 算法去雾图像易产生过度饱和的现象,使得场景不真实;CAP 算法产生了色彩过度饱和的结果;基于CNN 的几种方法都有明显的去雾能力,但是,在某些区域仍然有少量的雾霾.而本文算法的去雾图像更加平滑,细节和纹理更加明显,色彩无偏移,而且更加接近真实清晰图像.

为了定量地评价这些方法,从数据集Middlebury Stereo Datasets 和Make3D Laser+Image data 分别随机抽取15 幅合成雾天图像,使用均方根误差(Root mean square error,RMSE)[15]、信息熵(Information entropy)[15]、色调还原度(Tone reduction)[17]、平均梯度(Average gradient)[15]、结构相似度(Structural similarity index,SSIM)[15]和峰值信噪比(Peak signal to noise ratio,PSNR)[15]重要的图像评价标准来衡量去雾图像的质量,如表2所示.图7 为以上所展示的三幅图像的评价指标对比结果.

各个评价指标的数学公式分别为:

1)均方根误差

其中,n是图像像素总数,Y是清晰无雾图像,X是去雾图像.均方误差越小,表示去雾图像和参考图差异越小,去雾效果越好.

2)信息熵

其中,X表示随机变量,P(X) 表示输出概率函数.变量的不确定性越大,熵也就越大.信息熵反映了图像包含信息量的大小,是衡量图像信息丰富程度的一个重要指标.

3)色调还原程度

其中,L为直方图矢量的维数,q i和s i为归一化值.

4)平均梯度定义

其中,M ×N为图像的大小,和分别表示水平方向和垂直方向的梯度.平均梯度即图像的清晰度,反映图像对细节对比的表达能力.

图5 不同算法对雾天图像Trees 的去雾结果Fig.5 Different algorithms to defog results of fog image Trees

图6 不同算法对雾天图像Reindeer 的去雾结果Fig.6 Different algorithms to defog results of fog image Reindeer

5)SSIM

6)PSNR

式中,fin为清晰无雾图像,fout为去雾图像.峰值信噪比是最普遍和使用最广泛的一种图像客观评价标准,如果PSNR 值越大,图像的失真就越小.这意味着图像质量越高,去雾性能越好.

在客观评价指标中,从表2 以及图7 可看出,DCP 算法的评价指标值相对较差,CAP 算法的评价指标值属于中等,基于卷积神经网络的算法评价指标值相对较高,而本文算法的评价指标值相对是最高的,并且在图像Dolls 中,本文算法的PSNR值达到了25.9057(d B),其他对比算法最高仅有25.8972(d B),SSIM 值达到了0.9506,其他算法最高仅有0.9473,这说明了基于卷积神经网络的去雾算法的有效性,也进一步说明了本文去雾算法的优越性.

图7 不同算法的峰值信噪比和结构相似度的对比结果Fig.7 Comparison results of PSNR and SSIM of different algorithms

表2 30 幅合成雾天图像的RMSE,色调还原度,平均梯度,信息熵,PSNR,SSIM 的平均结果Table 2 The average results of RMSE,tone reduction,average gradient,information entropy,PSNR,SSIM for the 30 synthetic foggy images

3.3 基于真实雾天图像数据集的去雾结果与分析

本文讨论了雾天图像的一些去雾算法,以验证本文所提供算法的有效性.首选现实世界中经常使用的雾天图像,将所提出的方法与其他算法进行比较,如图8 和图9 所示.

图8 自然雾天图像House 的去雾结果对比Fig.8 Comparison of defogging results of natural foggy images House

图9 自然雾天图像Pumpkin 的去雾结果对比Fig.9 Comparison of defogging results of natural foggy images Pumpkin

通过对比以上自然雾天图像数据集的去雾结果,DCP 算法高估了雾霾的厚度,出现了色彩过度增强的现象,因此,恢复的图像颜色存在失真情况,如图像Pumpkin 的去雾结果;CAP 算法、SRCNN 算法和DehazeNet 算法的结果在雾霾区域都有显著改善,但去雾图像仍有一些残留的雾霾;

DehazeNet 算法和MSCNN 算法在图House 中,树叶部分有过度增强的现象;而本文方法的去雾图像更加平滑,细节和纹理更加明显,具有良好的清晰度与对比度,提高了图像的可见性.

为了进一步验证本文算法处理自然雾天图像的有效性,采用图像均值(Av er age)[15],标准差(Standard deviation)[15],信息熵(Information entropy)[15],对比度(Contrast)[17]和平均梯度(Average gradient)[15]五个重要的无参考图像评价标准对自然雾天图像去雾结果进行对比.图像均值反映了图像的平均明暗程度,标准差反映了灰度均值的离散程度.如表3、表4 和图10 所示.

图10 不同算法的对比度和平均梯度的对比结果Fig.10 Comparison results of Contrast and average gradient of different algorithms

表3 图像House 采用不同算法去雾后评价指标结果Table 3 Evaluation indicators results by different defogging algorithms for image House

表4 图像Pumpkin 采用不同算法去雾后评价指标结果Table 4 Evaluation indicators results by different defogging algorithms for image Pumpkin

各个评价指标的数学表达式分别为:

1)均值

其中,M ×N为像素总个数.

2)标准差

其中,M ×N表示图像的大小,I(i,j) 表示第i行第j列的像素值,u表示均值.

3)对比度

其中,δ(i,j)|i −j|,即相邻像素间灰度差,Pδ(i,j)为相邻像素间的灰度差为δ的像素分布概率.

由以上可知,无论哪一个评价指标,本文算法都具有较高的值,表明本文算法对于真实自然雾天图像的去雾处理较好,图像质量高.因此,综合主观评价和客观评价指标值可知,本文提出的去雾算法在视觉方面有一定的提高,清晰度与对比度均优于其他对比算法,并且由表5 不同算法的运行时间对比结果知,本文算法运行时间快,可应用于实际.

表5 不同算法的运行时间对比结果(s)Table 5 The run time comparison results of different algorithms(s)

4 结论

本文提出的基于并联卷积神经网络的图像去雾算法,其网络结构的设计充分考虑了雾天图像与清晰图像YUV 各个通道之间的关系,两个子网络的分别预测有效地提高了网络模型的预测精度,而且无论是在去雾图像色彩自然,具有良好的清晰度与对比度,且运行时间快,能应用于实际.但算法在浓雾区域去雾效果较一般,随后的研究内容将放在浓雾区域的去雾上,以获得更优的去雾效果.