基于亮区域检测的图像去雾增强方法

叶志鹏，贾 睿，宁 雷，付继伟，崔利军

（1. 北京宇航系统工程研究所，北京，100076；2. 太原卫星发射中心，太原，030027）

0 引 言

美国太空探索技术公司（SpaceX）的猎鹰9号运载火箭于2016年首次实现了一级的海上回收。中国也于2019年实现了首次海上发射。与陆上发射和回收相比，海上发射与回收运载火箭具有以下显著优势[1,2]：a）利用海上发射平台在赤道附近进行火箭发射能够最大限度地利用地球自转从而提高运载能力；b）远离人口稠密地区，降低火箭发生故障后落入人口稠密区的风险，能够实现任意轨道倾角的发射；c）显著降低与民用航空器的航线冲突。可见光成像装置是记录海上发射过程最直接的手段之一，能够为事后分析提供可靠证据。可见光成像系统具有抗电磁干扰能力强、频带宽等诸多的优点，可以全面、直观、实时的反映被监测的对象。对于海上发射场景，清晰准确地获取运载火箭首区图像信息是视觉成像系统的基本要求，对于及时准确的故障定位具有重要意义。但是视觉系统的成像质量在使用过程中往往受到海上常见的海雾等气象条件的影响，导致采集的图像产生一定程度的退化，甚至会丢失某些重要的局部特征，导致获取到的监控图像价值降低。因此，图像的去雾增强显得十分重要。

1 去雾方法概述

海雾是由于海洋上低层大气中的水汽凝结，造成水平能见度降低而产生的。海雾主要可分为平流雾、混合雾、辐射雾、地形雾。其中，平流雾是因空气平流作用在海面上产生的雾，是影响可见光成像系统的主要形式。可见光成像系统因受到海雾的影响，导致场景中的目标清晰度下降，降低对目标的分辨能力。因此，研究可见光图像的去雾及增强方法获取高质量的图像，对降低运载火箭对于天气的要求、提高可见光数字成像系统工作的稳定性和可靠性具有积极意义。

可见光图像去雾算法是当前的研究热点。现阶段图像的去雾算法可大致分为两类：图像增强方法和基于物理模型的去雾方法[3]。图像增强方法通过改变图像的灰度动态范围增强图像的对比度，进而提升目标区域的显示效果。这种方法没有考虑雾图的成像机制，处理后的图像存在色彩失真、细节模糊等问题。基于物理模型的方法通过研究可见光在雾气中的传输模型，给出了图像降质的物理过程，通过建立雾图退化模型补偿因退化导致的图像失真，从而恢复出无雾图像的最优估计[4]。目前，常见的基于物理模型的去雾方法主要是He[5]总结归纳的暗通道先验理论模型，通过估计雾图像的透射率和全局大气光强恢复无雾图像，与图像增强算法相比去雾效果更好[6]。宋瑞霞[7]针对暗通道方法易导致图像天空区域色彩失真的问题，提出一种基于天空分割和色调映射的图像去雾算法，在HSI颜色空间中利用图像众数和图像连通区域提出天空识别算法，分割出天空与非天空区域并分别求透射率，最后在RGB空间中利用大气散射模型复原图像。董辉[8]提出了一种基于自适应可变形结构元（Adaptive Deformable Structuring Element，ADSE）中值滤波结合灰度形态学重构精细化透射率的方法。该方法通过有雾图像的显著图计算ADSE，用生成的ADSE对最小颜色通道图像进行自适应中值滤波运算，获得的滤波图像作为模板图像进行灰度形态学重构运算，获得精细化暗通道图像, 继而得到精细化透射率，完成图像去雾。程丹松[9]结合图像融合策略增强可视化区域的视觉效果，利用像素块加权插值法计算每个像素点的暗通道值，并利用高斯模型自适应地恢复天空和其他明亮区域。Fattal[10]通过雾图的颜色和亮度先验信息提高图像的显示效果。汪云飞[11]利用超像素代替传统的滑动窗口以提高透射率估计的准确性。

现有方法通常认为雾图中存在的亮度较高的天空区域是导致暗通道先验方法失效的主要原因，但忽视了场景中可能存在的其他高亮目标影响恢复效果的问题。针对现有方法的不足，提出了一种改进的雾图亮区检测策略。利用场景文字检测及天空分割方法将整幅图像自适应地划分为亮区域和暗区域，分别估计两类区域的透射率，最后根据大气散射模型得到复原的无雾图像。

2 暗通道去雾原理

基于暗通道先验的去雾模型认为多数有雾的退化图像是由以下大气散射获取的：

式中I(x)为有雾图像；J(x)为无雾图像；t(x)为大气透射率；J(x)t(x)为光经过物体散射后形成的入射光衰减模型；A为全局大气光强度；为大气光在物体周围散射的光强。

对式（1）进行变换，有：

RGB图像中每一个颜色通道c，都满足：

暗通道模型认为，在无雾可见光RGB图像中绝大多数非天空的局部区域中存在至少一个颜色通道某些像素上强度值趋于0，即：

因此局部区域Ω(x)透射率可表示为

在实际图像处理的过程中，通常会引入调节系数w∈ (0,1)以保留图像的景深，有：

将估计出的透射率代入式（1），可以求出无雾图像J(x)；同时，为了避免透射率t(x)趋近于0引入噪声，设置下限值t0：

3 基于亮区域检测的去雾模型

暗通道去雾模型自提出以后受到了广泛的关注，但是存在以下问题[9]：

a）暗通道模型基于图像的局部块计算透射率，对于图像中物体的边缘透射率估计不准确，产生“光晕效应”；

针对上述不足，本文提出了一种改进的透射率估计策略，在天空检测基础上，增加了场景中文字信息的识别，从而提高了场景亮区域检测的准确性。针对图像的亮区域和暗区域，分别进行透射率估算，使透射率估计更为准确。

算法的流程如图1所示。

图1 算法流程Fig.1 Process of the Algorithm

3.1 亮区域检测

暗通道先验认为图像中像素点在某个颜色通道强度趋于零，但该假设对于图像中天空等较亮区域并不成立。为解决这一问题，本文引入了文献[12]的亮区域检测方法，将可见光RGB图像转换为灰度图像并进行均值滤波，利用OTSU阈值进行图像分割。图像分割结果如图2所示，其中白色像素区域为亮区域，黑色像素为暗区域。

图2 有雾场景亮区域检测结果Fig.2 Light Area Detection Results of the Fogged Scene

3.2 大气光强度估计

常用的大气光估计方法包括以下几种：

a）全局法。先从暗原色通道中选取最亮的0.1%比例的像素点，选取在相对像素点上有雾图像值最大的点作为大气光的估计值。He方法采用这种方法进行大气光估计。

b）分块递归法。将图像固定平均分为4块区域，分别求取每个子区域的平均亮度值，选取亮度值最大的块，再将这个块进一步平均分为4个块，选取最亮的块并计算每个子区域的平均亮度。重复这一过程直至图像子区域的尺寸小于某一阈值，在子区域中选取亮度最大的点作为全局大气光强度值。

c）亮度最大值法。选取输入图像中亮度最大像素点的灰度值作为全局大气光强度值。

d）位置先验法。该方法认为一般拍摄的有雾图像中，天空部分一般位于图像的上方，因此将图像从上至下平均分为3个子区域，然后在最上方的子区域使用全局法估计大气光强度值。

e）全局平均法。计算输入图像的暗通道图像并进行均值滤波，求取其中灰度值最大的点；接下来求取输入图像RGB三通道中值最大的通道图像，找到灰度值最大的像素点，最后将两个点的灰度值的平均值作为全局大气光A。本文采用此方法进行大气光估计。

3.3 透射率修正

已有研究表明，天空等较亮区域不满足暗通道先验理论，亮区域的像素值与大气光强度A接近，即：

因此由式（7）可知有t(x) → 0，导致透射率的估计值与实际值相比偏低，因此需对透射率进行修正。本文在文献[13]给出的透射率修正方案基础上，对亮区域和暗区域采用不同的透射率计算策略。对于亮区域，在原有的透射率计算基础上，通过比较暗通道图Jdark(x)与A中各通道像素值，取最大值和最小值的商作为补偿系数对透射率进行修正。暗区域的透射率计算方式与传统方法一致。针对亮区域和暗区域分别计算透射率从而使本文方法对于雾图像的亮区域具有更好的适应性。

3.4 双边滤波

双边滤波是一种基于空间分布的非线性边缘保留滤波器，边缘保留原理是通过结合图像的空间邻近度和像素相似度，综合考虑空域信息和灰度相似性，达到去噪的同时保留图像中边缘的效果。滤波器系数由几何空间距离和像素差确定。

双边滤波定义如下：

式中I为输入图像；FB(I)为滤波后图像；和分别表示以(x,y)为中心、半径为w的矩形内点的空间相似度和像素相似度，σs和σr为方差参数。

4 实验结果与分析

本文采用运行环境为Windows 10操作系统、CPU主频为3.4 GHz，将本文方法与图像处理领域具有代表性的直方图增强方法与传统He方法进行了比较，采用Qt 5.14.0和OpenCV 4.2.0开发运行环境。本节将从视觉效果比较本文方法与He方法的处理结果。实验采用的图像数据均为国外公开的火箭及中国自然场景图像。

视觉效果评价主要分为主观评价和客观评价两类。主观评价以视觉评价为主，客观评价采用图像处理领域主流的评价指标。由于动态视频图像通常由多幅静态图像组成，因此本文方法也适用于动态视频图像序列的去雾。

4.1 主观评价

图像去雾结果如图3所示。从图3中可以看出，由于直方图增强算法不属于基于物理模型的方法，因此没有考虑可见光在雾气介质中的传播，因此去雾效果十分有限，同时处理结果出现了明显的色彩偏差；He方法处理后的图像雾霾效果得到了去除，但处理后的图像偏暗；经过本文方法处理后，图像的色彩更加自然，图片的边缘和轮廓信息保存更加完善，整体效果得到了增强，图像的去雾效果较好。

图3 实验结果Fig.3 Experimental Results

4.2 客观评价

主观评价标准可以比较直观的评价图像增强的效果，但是它依赖于个人主观意识的影响，不同个体的评价结果存在偏差，因此本文同时采用客观评价指标包括信息熵（Entropy，E）、峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）、结构相似性（Structural Similarity，SSIM）作为评价指标。

信息熵用于度量图像的平均信息量，是图像质量的重要指标，计算公式如下：

式中P(bi)为bi的概率；L为图像的灰度等级数。图像的熵值越大，信息量越大，图像的细节信息越丰富。

峰值信噪比是图像处理领域使用最为广泛的评价指标，其值越大，代表处理后的图像劣化程度越小，和原图相比失真越少。峰值信噪比计算方法如下：

式中n为采样比特数，对于RGB可见光图像通常设置为8。均方误差（Mean Squared Error，MSE），计算公式为

结构相似性用于评估算法保留结构信息的能力，其值越大越好。给定两幅图像x和y，结构相似性计算公式如下：

式中μx和μy分别为x和y的平均值。和分别为x和y的方差；σxy为x和y的协方差。c1和c2为常数，为常数，L为像素值的动态范围，

各图像的尺寸信息及指标评价结果见表1～3。

表1 客观评价标准ΔE对比结果Tab.1 Comparative Results of the Objective Evaluation on ΔE

表2 客观评价标准PSNR对比结果Tab.2 Comparative Results of the Objective Evaluation on PSNR

表3 客观评价标准SSIM对比结果Tab.3 Comparative Results of the Objective Evaluation on SSIM

从表1～3中可以看出，本文方法处理结果表明各评价指标均有明显提升。结合上述主观评价结果可以看出，基于直方图的图像增强方法处理结果存在较大色差，并不适于人眼观察，且损失部分细节，虽然熵度量指标由于其他两类方法，但此时图像已与原图存在较大偏差。基于暗通道的去雾方法有一定的去雾效果，但去雾后图像较暗，且图像的颜色不够真实。本文算法结合了暗通道去雾和直方图增强的优点，提高了评价指标的同时能够得到更好的图像颜色，提高了复原图像的效果。

表4给出了本文算法实现代码优化前后在普通计算机上运行的时间及空间复杂度，表中结果为程序运行5次取平均值。从表4中可以看出，本文方法的空间复杂度较低，能够适应地面处理计算机的硬件环境。但是优化前本文方法的时间复杂度较高，对于图像4的处理时间达到了378 ms，换算为帧率为2.65帧/s，虽然能够完成地面数据后处理的任务，但是算法实时性尚有较大改进空间。经过分析，原因如下：

a）本文方法的实现代码仅注重实现基本功能，未进行编码优化；

b）本文方法采用双边滤波器，虽然能够提高图像恢复效果，但是耗时较高，约占消耗总时间的90%以上。

根据上述原因，本文从工程实践角度出发，通过以下方式提高运算速度：

a）将二维双边滤波分解为2个一维的双边滤波。先使用一维双边滤波模板对行进行滤波，然后对卷积结果进行列滤波，此步骤在计算值域系数的时候可以使用原图像数据进行计算，从而极大地降低乘法运算次数。根据计算机组成原理理论，乘法运算是影响程序运行速度的重要因素；

b）利用计算机体系结构中单指令多数据流（Single Instruction Multiple Data，SIMD）技术对实现代码进行优化，常见的方式为使用Intel公司的IPP库。SIMD技术在指令译码后执行部件可以同时访问内存从而一次性获取全部操作数进行运算，从而提高代码执行速度。

表4 本文算法实现代码优化前后在普通计算机的时空复杂度Tab.4 Time and Space Complexity of the Algorithm before and after Code Optimization on Ordinary Computer

从表4中代码优化后结果可以看出，经过优化的程序代码运行速度显著提高，已经能够满足实时处理的要求。

5 结 论

本文针对暗通道先验去雾模型的不足，给出了一种自适应透射率估计方法，通过图像亮区域检测自适应地估计全局大气光值，并对透射率进行动态修正，有效地提高了有雾图像的复原效果。实验结果证明了本文方法的有效性。然而，该方法目前存在恢复后亮区域存在光晕效应的问题，将在今后的工作中进一步完善。