一种面向城市道路的视觉图像去雾方法

向巍　钟魁松　张振博

摘要：针对雾天环境的城市道路下自动驾驶车辆视觉感知效果不佳的问题，提出一种基于大气光值的快速图像去雾改进算法，并验证了算法的有效性。首先，制定了大气光动态估算策略，并设计了大气光动态估算的自适应触发函数，通过大气散射模型进行了大气光的估计；其次，利用最小滤波技术获取了雾天图像的暗通道图，并估算了对应的投射图像；再次，制定了大气光计算策略，并优化了去雾系数；最后，利用直方图均衡化算法抑制了残余噪声，进一步提升了无雾图像的对比度。实验结果表明，所提算法相比DCP、CAP等在NIQE和SSEQ性能指标上都有所提升，拥有更好的细节恢复能力和处理性能，更有利于交通信息的提取。

关键词：自动驾驶；图像去雾；大气散射模型；动态大气光；暗通道；直方图均衡

中图分类号：TP391文献标志码：A环境感知技术是自动驾驶领域的重要组成部分［1］，尤其是随着近年来图像处理技术和计算机硬件技术的飞速发展，基于视觉的环境感知技术也有了较为广泛的应用。但视觉环境感知技术对环境可视条件依赖较高，尤其是在我国西南地区频繁的雨、雾等不利视觉条件下，自动驾驶车辆的视觉感知效果不甚理想。因此，针对雾天的图像恢复技术也是环境感知领域面临的难题之一［2］。

目前针对视觉图像的去雾，按照方法机制主要分为三大类［3］。第一类是基于图像增强的方法，通过去除噪声、增强对比度等方法以达到恢复图像的目的，如直方图均衡化、小波变换、Retinex、同态滤波等算法［4］。第二类是基于物理模型的方法，利用大气散射模型对图像进行恢复。如HE等［5］提出的暗通道先验去雾算法，该方法效果良好，但针对天空区域存在较为严重的颜色失真，不适合非均匀天空条件的情况。针对这一问题，HE等［6］再次引入了引导滤波器，该算法在一定程度上解决了天空颜色失真的问题，有效提升了运行效率，但存在去雾不彻底的问题。文献［7］提出雾的浓度与景深变化的关系较大，即浓度越高景深越大，图像的亮度和饱和度相差也越大，基于该发现的颜色衰减先验去雾算法针对单图像去雾取得了较好的效果，但其中的重要参数对景深依赖较高，因此泛化能力不强。文献［8］提出了一种基于伽马校正先验（gamma correction prior，GCP）的去雾算法，采用全局搜索策略，泛化能力强。第三类是基于神经网络的去雾算法，其内涵是使用神经网络建立一个端到端的网络模型，通过有雾图像恢复出无雾图像。目前基于该方法的去雾算法主要有2种思路：一种是使用卷积神经网络（convolutional neural networks， CNN）生成大气散射模型的某些参数，再利用大气散射模型来恢复图像［9-11］；另一种是使用对抗神经网络（adversarial neural network， GAN）直接根据模糊图像生成无雾的清晰图像［12-15］。文献［9］首次提出了一种名为DehazeNet的去雾网络，经过CNN的深层架构估算出有雾图像的透射率，代入大气散射模型恢复出无雾图像。文献［13］提出了一种利用叠加条件GAN的去雾网络，可对RGB各颜色通道独立恢复，具有较好的泛化性。基于神经网络的去雾方法具有效率高的特点，但由于缺乏真实的训练数据或者先验参数，一定程度限制了其去雾性能。

本文立足于此前的工作基础［16］，利用大气散射模型的最小滤波技术与限制，对大气散射模型参数重新进行了优化，提升了算法性能，同时引入了限制对比度的直方图均衡算法并重新设计了对比度增强模块，提升了去雾图像的对比度，并将本文算法在无参考评价指标下进行了测试。

1算法原理

在车辆行驶过程中，短时间内相同场景的光照变化不大，近似认为该条件下大气光值不变。该假设条件下，基于大气散射模型的连续图像去雾算法可在同场景下短时间内变化不大的图像帧上动态估计大气光值。由于大幅减少了大气光值估计频率，此方法可节省处理时间，且对雾天图像的恢复影响不大。在此设计一个自适应触发函数，当触发条件成立时对图像帧进行大气光值估算。为了避免场景过度平缓而导致触发函数失效，规定触发条件未达成的情况下，每20 s强制触发计算大气光值并迭代至下一轮，再依次进行透射图估计和无雾场景的恢复，最后对图像帧进行自适应直方图均衡处理，以提高图像的对比度和亮度，改善图像质量。算法流程如图1所示。

1.1自适应触发函数

1.2大气光估计

1.3透射图估计

1.3.1暗原色先验理论

1.3.2基于引导滤波的透射图估计

1.4无雾图复原

1.5对比度增强

经过上述方法处理后的图像虽然质量有所提升，但由于保留了一定的雾，图像仍存在对比度不足、暗淡等缺点，在此对图像进一步做限制对比度自适应直方图均衡处理［17］，以突出图像的特征和细节。直方图均衡化是一种根据色彩通道的值对像素进行分散以获得更好的图像对比度的图像处理技术［18］，可有效提升去雾后图像的对比度和亮度。

本文为了突出道路特征，提高图像的局部对比度，采用自适应直方图均衡，即将图像分成若干块，分块进行直方图均衡化处理。同时为了限制对比度调整过大，造成图像失真，对局部对比度进行限制，设置ClipLimit颜色对比度阈值，即限制对比度自适应直方图均衡。对比度增强模块算法流程如下：

由图2可知：AOD去雾效果微弱，图像质量提升不明显；CAP在效果上略胜于AOD，但图像质量提升依然不明显；DCP算法处理后的图像暗部对比度不高，细节等特征不清晰，且天空区域有光晕；MSRCR算法色彩对比度不高，整体颜色失真，去雾效果较差，且道路等細节特征不突出；GridDehazeNet处理后的图像整体亮度不高，且图像色调过度不佳，存在晕影的现象；相比而言，本文算法处理后的图像亮度、对比度提升明显，图像细节清晰，道路及车辆特征明显，且最大程度保留了真实色彩。通过对比各算法图像的颜色直方图分布可知：原图像颜色分布呈频率稀疏、频段区间窄，且主要在频段分布上较为极端，而对理想图像的颜色直方图分布特点则是频率密集、频段区间宽，主要分布于中频区间；CAP在颜色频率上相对原始图像密集一些，但依然与之差别不大；相对前者而言，CAP和GridDehazeNet则在颜色频率和频段上都有提升，所得颜色直方图频率更加密集，频段也有了扩展；受算法自身局限性的影响，DCP的光晕实质上是一种高频色调，所体现的颜色直方图频率分布也主要集中于高频；MSRCR处理后的图像频段也有相应的扩展，并且主要偏向于中频，但是由于频率分布稀疏，所对应的图像对比度也不高；本文算法对应的图像颜色直方图无论是在频率、频段和分布上，相比较其他几种算法都更接近于理想分布状态，频率主要集中在中间频段且逐渐向两端递减，在低中、中高频段过度也较为平滑，基本没有上述算法的断崖式的变化，频率分布均匀且密集，在颜色区间上较为全面，因此图像对比度更好，细节信息也更为丰富。

并且，由圖3可知：AOD和GridDehazeNet在检测精度上相比原始图像提升不大，MSPCR和CAP算法增强后的图像检测精度有所提升，DCP则在包含天空的交通场景下检测效果不佳，而本文算法在检测精度上相对较高，在一些小目标上也略胜一筹。因此，增强后的图像对目标检测等下游算法也更加友好。

由于道路环境复杂多变，无法获取无雾条件下某位置的标准图像，因此图像评价的全参考（如PSNR等）指标不适用。本文采用NIQE［20］、Brisque［21］和SSEQ［22］等无参考的客观评价指标进行验证，表2为本文算法与其他几种算法在RTTS数据集下的评价数据，其中最优数据用粗体标出，次优数据用下划线标出。

由表2可知：本文算法处理后的无雾图像在各评价指标下都表现很好， 在SSEQ和NIQE方面表现最优，且与次优数据对比明显，虽然在Brisque评价下不及MSRCR，但二者相差甚小，依然有着较好的数据表现。

为进一步验证算法性能，针对不同算法下，分辨率为1 280×720、720×540的真实雾天视频分别进行了去雾试验，视频时长分别为67 s、54 s，所得性能数据如表3所示。由表3可知：在1 280×720分辨率下，本文算法性能是DCP的2.3倍，CAP的2.9倍；在720×540分辨率下，较DCP提升了1.5倍，较CAP提升了1.8倍；相比其他4种算法中性能最优秀的DCP算法，在分辨率降低2.4倍的情况下，DCP算法性能提升了1.5倍，而本文算法在同样的实验条件下的性能提升了1.7倍，性能优势依旧明显。相比其他几种算法而言，本文算法拥有更好的图像处理性能。

3结论

本文基于动态大气光的暗通道先验理论和直方图均衡化算法，改进了一种快速、有效的图像去雾方法，在NIQE、SSEQ等无参考指标下有着很好的图像性能。在暗通道先验去雾的基础上优化了去雾系数，较好地规避了天空区域的问题。对去雾图像进行了限制对比度的直方图均衡化处理，增强了道路与背景的对比度，凸显了道路信息，更有利于交通目标等信息的提取，对自动驾驶系统做出正确决策具有较大的指导意义。同时，基于大气散射模型的去雾方法，自适应地动态估计大气光值，节省了大量的时间，拥有更好的图像处理性能。参考文献：

[1]CHEN Q P， XIE Y F， GUO S F， et al. Sensing system of environmental perception technologies for driverless vehicle： a review of state of the art and challenges［J］. Sensors and Actuators A： Physical， 2021， 319： 112566. 1-112566. 18.

［2］ JIANG Q Y， ZHANG L J， MENG D J. Target detection algorithm based on MMW radar and camera fusion［C］//2019 IEEE Intelligent Transportation Systems Conference （ITSC）. Auckland： IEEE， 2019： 1-6.

［3］ BABU G H， VENKATRAM N. A survey on analysis and implementation of state-of-the-art haze removal techniques［J］. Journal of Visual Communication and Image Representation， 2020， 72： 102912.1-102912.15.

［4］ BANERJEE S， SINHA CHAUDHURI S. Nighttime image-dehazing： a review and quantitative benchmarking［J］. Archives of Computational Methods in Engineering， 2021， 28（4）： 2943-2975.

［5］ HE K M， SUN J， TANG X O. Single image haze removal using dark channel prior［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2010， 33（12）： 2341-2353.

［6］ HE K M， SUN J， TANG X O. Guided image filtering［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2012， 35（6）： 1397-1409.

［7］ ZHU Q S， MAI J M， SHAO L. A fast single image haze removal algorithm using color attenuation prior［J］. IEEE Transactions on Image Processing， 2015， 24（11）： 3522-3533.

［8］ JU M， DING C， GUO Y J， et al. IDGCP： image dehazing based on gamma correction prior［J］. IEEE Transactions on Image Processing， 2019， 29： 3104-3118.

［9］ CAI B L， XU X M， JIA K， et al. Dehazenet： an end-to-end system for single image haze removal［J］. IEEE Transactions on Image Processing， 2016， 25（11）： 5187-5198.

［10］LI B Y， PENG X L， WANG Z Y， et al. An all-in-one network for dehazing and beyond［DB/OL］. （2017-07-20）［2022-06-15］ https：//arxiv.org/abs/1707.06543.

［11］LIU X H， MA Y R， SHI Z H， et al. GridDehazeNet： attention-based multi-scale network for image dehazing［C］// Proceedings of the IEEE/CVF International Conference on Computer Vision. Seoul： IEEE， 2019： 7314-7323.

［12］LEE B U， LEE K， OH J， et al. CNN-based simultaneous dehazing and depth estimation［C］// 2020 IEEE International Conference on Robotics and Automation （ICRA）. Paris： IEEE， 2020： 9722-9728.

［13］SUREZ P L， SAPPA A D， VINTIMILLA B X， et al. Deep learning based single image dehazing［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops. Salt Lake City： IEEE， 2018： 1169-1176.

［14］ENGIN D， GEN A， KEMAL EKENEL H. Cycle-dehaze： Enhanced cyclegan for single image dehazing［C］// Proceedings of the IEEE conference on computer vision and pattern recognition workshops. Salt Lake City： IEEE， 2018： 825-833.

［15］CHEN D D， HE M M， FAN Q N， et al. Gated context aggregation network for image dehazing and deraining［C］// 2019 IEEE winter conference on applications of computer vision （WACV）. Waikoloa： IEEE， 2019： 1375-1383.

［16］鐘魁松， 冯治国， 张振博， 等. 雾天道路下智能车视觉图像实时快速去雾研究［J］. 汽车技术， 2022（5）： 27-33.

［17］PIZER S M， AMBURN E P， AUSTIN J D， et al. Adaptive histogram equalization and its variations［J］. Computer vision， graphics， and image processing， 1987， 39（3）： 355-368.

［18］毕秀丽， 邱雨檬， 肖斌， 等. 基于统计特征的图像直方图均衡化检测［J］. 计算机学报， 2021， 44（2）： 292-303.

［19］WANG J B， LU K， XUE J， et al. Single image dehazing based on the physical model and MSRCR algorithm［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2017， 28（9）： 2190-2199.

［20］MITTAL A， SOUNDARARAJAN R， BOVIK A C. Making a “completely blind” image quality analyzer［J］. IEEE Signal Processing Letters， 2012， 20（3）： 209-212.

［21］MITTAL A， MOORTHY A K， BOVIK A C. No-reference image quality assessment in the spatial domain［J］. IEEE Transactions on Image Processing， 2012， 21（12）： 4695-4708.

［22］LIU L X， LIU B， HUANG H， et al. No-reference image quality assessment based on spatial and spectral entropies［J］. Signal Processing： Image Communication， 2014， 29（8）： 856-863.

（责任编辑：周晓南）

A Visual Image Dehazing Method for Urban Roads

XIANG Wei ZHONG Kuisong ZHANG Zhenbo

（1.Guizhou Communications Polytechnic， Guiyang 551400， China;

2.School of Mechanical Engineering， Guizhou University， Guiyang 550025， China）Abstract： Aiming at the problems in visual environment perception of autonomous vehicles in the foggy environment of urban roads， an improved fast dehazing algorithm based on atmospheric scattering model and image processing technology is proposed， and the effectiveness of the algorithm is verified by experiments. Firstly， the atmospheric light dynamic estimation strategy is formulated， the adaptive trigger function for atmospheric light dynamic estimation is designed， and the atmospheric light is estimated by the atmospheric scattering model. Secondly， the dark channel map of the hazy image is obtained by the minimal filtering technique， and the transmission map is estimated. Thirdly， the atmospheric light calculation strategy is formulated， and the dehazing coefficient is optimized. Finally， the residual noise is suppressed by the histogram equalization algorithm， which further improves the contrast of the haze-free image. The experimental results show that， compared with algorithms such as DCP and CAP， this algorithm has improvement in NIQE and SSEQ performance indicators， with better detail recovery ability and processing performance， and is more conducive to the extraction of traffic information.

Key words： autonomous driving; image defogging; atmospheric scattering model; dynamic atmospheric light; dark channel; histogram equalization