低照度全景图像增强处理研究进展

王殿伟，韩鹏飞，刘 颖，许志杰，覃泳睿，王 晶

(1.西安邮电大学 通信与信息工程学院，陕西 西安 710121；2.电子信息现场勘验应用技术公安部重点实验室，陕西 西安 710121；3.陕西省无线通信与信息处理技术国际合作研究中心，陕西 西安 710121；4.西安邮电大学 图像与信息处理研究所，陕西 西安 710121；5.哈德斯菲尔德大 学计算机与工程学院，Huddersfield，UK HD1 3DH；6.谢菲尔德哈雷姆大学 计算机学院，Sheffield，UK S1 1WB)

全景图像是展示周围世界新视角的一种方式，与普通图像和三维动画相比较，全景图可以展示360度球型范围内的所有景物，可以由观测者从任意一个角度互动性观察场景，最大限度的保留场景的真实性，更好的带给人们一种全方位、三维立体的空间感觉，使观者如同亲临现场一般[1-3]。近年来，随着全景成像技术的飞速发展，全景图像已广泛地应用在虚拟现实技术、摄影测量学、遥感技术、医学影像等研究和技术领域。

但是，在日常全景图像的拍摄过程中，由于不可避免地受到天气、光照及空气污染等环境因素的影响，可能导致所拍摄全景图像的灰度值总体偏小，对比度低、颜色偏暗和信噪比偏低，使得图像细节不清楚，全景图像质量不够理想，不能满足后续操作及应用，如图像分割，特征提取，目标跟踪和识别等相关领域的要求。低照度全景图像增强处理[4]，就是旨在增强低照度情况下所拍摄的全景图像的视觉质量，使其满足适合人眼观察或机器识别的全景图像的处理方法。因此，低照度全景图像增强处理是全景图像技术的研究热点之一。

近年来，随着计算机及信息技术的飞速发展，全景图像越来越多地应用各种信息技术领域，低照度全景图像增强也取得了一些重要的研究进展。本文将介绍低照度全景图像增强处理典型算法，如低照度全景图像增强算法算法如直方图均衡类算法(histogram equalization, HE)[5-8]、基于Retinex理论的算法[9-16]、基于小波变换类算法[17-19]、基于物理模型类算法[20-21]及机器学习类[22-24]等5类算法的研究现状，并通过仿真实验结果，总结各类典型算法的优点、缺点以及实际应用范围。

1 低照度图像增强的典型算法

全景图像增强技术作为目标跟踪、目标识别、目标检测等图像处理的预处理算法，在虚拟现实、无人驾驶等领域有广泛应用，下面将从算法的增强原理方面概述全景图像增强研究现状。

1.1 基于直方图类的低照度全景图像增强算法

基于直方图类的低照度全景图像增强算法直方图均衡化[5]算法的目的是增大图像动态范围和提高图像对比度，通过使图像灰度级的概率密度函数(probability density function，PDF)满足近似均匀分布来实现的。HE算法具有原理简单，易于实现，实时性好等优点，但是，对于直方图分布呈现双峰的情况下易造成图像细节丢失，出现过增强或欠增强现象。

在HE算法的基础上，又衍生出一些算法，例如，基于亮度均值保持的直方图均衡算法(contrast enhancement using brightness preserving bi-histogram equalization, BBHE)[6]克服了标准直方图均衡算法增强后的图像亮度不均匀问题。自适应直方图均衡化算法[8]是应用自适应直方图均衡方法增图像细节，提高对比度，有效抑制原始图像的噪声，且算法复杂度较低。

直方图类算法对于图像整体亮度偏暗或者偏亮的图像具有很好的增强效果，但是，在进行特定图像增强时，容易出现过增强、欠增强现象，不建议使用。

1.2 基于Retinex类的低照度全景图像增强算法

Retinex类增强算法通过去除原始图像中照度分量的影响，求解出反映物体本质颜色的反射分量，达到了图像增强的目的。Retinex理论[10]是基于人眼视觉感知的颜色恒常性增强算法，可以有效的处理颜色的失真问题，但是容易出现光晕现象。

继Retinex理论之后，又发展地提出了单尺度Retinex(single-scale retinex，SSR)算法[11]、多尺度Retinex(multi-scale retinex，MSR)[12]和带彩色恢复多尺度Retinex(multi-scale retinex with color restore，MSRCR)[13]及其改进算法。例如，基于Retinex模型的基于优化的低光图像增强方法[15]是利用伽玛校正进行光照分量的校正，该算法可以在去除噪声的时保留和增强边缘以及纹理信息，达到较好的增强效果；文献[6]给出一种用于弱照明图像的融合增强方法，该算法基于Retinex理论，利用多尺度融合技术对光照分量进行光照估计，通过将校正后的光照分量与反射分量重构来获得最终的增强图像。该方法使增强后图像的局部对比度得到提升，细节更加清晰，较好地符合人眼视觉特性。

Retinex类算法核心是对光照分量以及反射分量的估计，照度分量和反射分量的计算。若计算结果准确，便可以较好地增强图像的视觉质量效果，解决图像失真问题。但是，此类算法复杂度过大，且对低照度全景进行增强过程中会出现光晕现象和噪声放大现象。

1.3 基于小波变换的低照度全景图像增强算法

基于小波变换的低照度全景图像增强算法是利用小波变换将原始图像分解为不同频率的图像后，采用不同方法针对图像中的不同频率的图像进行增强。该类算法可较好地增强图像中的各个范围内的图像分量，达到对图像中不同尺度图像细节信息的增强，但是，算法较为复杂,且容易放大噪声[17]。

基于Knee函数和 Gamma校正的小波变换图像增强算法[18]，利用Knee传递函数和Gamma调节函数自适应地估计强度传递函数，可以提高图像整体亮度和对比度；基于离散小波变换(discrete wavelet transformation，DWT)和奇异值分解的图像增强算法[19]通过DWT将输入图像分解为4个子带,对低频子带图像的奇异值矩阵进行估计,然后，通过逆DWT重构增强图像,可同时增强图像的分辨率和对比度。

使用小波变换进行图像增强时，既增强了图像细节信息，又增强了图像的亮度信息。但是，小波类算法通常比较复杂，易放大图像噪声，因此，如何有效地抑制图像的噪声，是该类算法需要解决的重要问题。

1.4 基于物理模型的低照度全景图像增强算法

基于物理模型的图像增强算法是利用夜晚图像的亮度特点，根据反转图分布与雾天图像的直方图分布十分接近的特点，对夜晚图像进行增强。该算法效果良好，可以做到实时图像增强，但是，存在过度增强现象。

根据低照度图像与雾天图像的关系，文献[20]利用低照度图像的成像特点,发现反转以后图像的分布直方图与雾天图像的分布直方图非常接近的特点，提出了一种基于图像去雾算法的夜间图像增强方法。该算法效果良好，能够做到实时增强低照度图像，但在一些细节区域，仍存在过度增强的现象；为了解决低照度图像增强过程中颜色信息容易丢失问题，文献[21]给出了一种基于亮通道模型的变分框架低照度图像增强算法，该算法可以较好地抑制Retinex算法中的光晕现象，又可以避免基于暗通道模型中细节区域过增强现象的产生，增强后的图像更加符合人的视角特性，更加自然。

基于物理模型的低照度全景图像增强算法虽然能够对视频图像中的整体信息进行增强,但是，算法结构不灵活,局部信息的增强效果不佳，且算法的可拓展性相对较差。

1.5 基于机器学习的低照度全景图像增强算法

随着机器学习的发展热潮以及其在计算机视觉方面的优越性，使深度学习算法能够运用到图像增强方面。基于深度学习类算法通过深度神经网络对于图像统计特性良好的学习能力实现低照度全集图像的增强。

基于深度学习的深度图像去噪及增强方法[22]，通过构建深度图像去噪及增强卷积神经网络，基于权重图的损耗训练图像增强卷积神经网络，能够自适应地提升网络的学习效率。该方法可以实时地对带噪图像进行黑点填充和去噪，并取得很好的视觉效果和深度值恢复效果；基于机器学习的低分辨率图像增强和细节匹配方法[23]，通过建立一个间隔最大的超平面来得到最小二乘支持向量机分类器，然后将选择一幅低照度，将图像的每一个3×3邻域像素看成一个样本数据进行训练，得到增强后的像素点。再使用复数小波对图像的特征进行描述，利用最小二乘向量机来得到最优判定准则函数，得到最优的目标图像。测试结果表明，基于机器学习的低分辨率图像增强和细节匹配方法能够很好地增强细节信息，减弱边缘模糊，提高图像对比度。

与传统方法相比较，基于机器学习的低照度全景图像增强算法具有更好地增强细节信息，有效地处理了颜色的失真和祛除了光晕现象等优点。但是，其训练过程需要海量的数据样本，训练成本较高，不能够直接学习知识，且不善于解决某些特定的问题[24]。为此考虑把强化学习、迁移学习等算法应用到低照度全景图像增强方面，将传统算法与机器学习算法相结合，以达到更好的增强效果。

2 典型算法实验结果分析

2.1 典型算法实验结果分析

2.1.1 主观分析

为了能够清楚地比较典型低照度全景图像增强算法的效果，采用主观分析方法，对部分具有代表性的低照度全景图像增强算法及衍生算法进行了仿真实验。实验中，采用4种不同的低照度全景图像，如图1所示，其增强效果如图2所示。

图1 实验图像

图2 典型算法对低照度全景图像增强结果

从图2可以看出，文献[6]算法可很好地提高图像的对比度，但出现了过增强现象，且造成图像信息丢失；文献[11]算法和文献[13]算法虽然可以很好地处理颜色失真现象，但图像有光晕现象产生；文献[15]算法较好地避免了光晕现象的产生，但是图像对比度不如HE算法，图像整体偏暗；基于Retinex理论的融合算法[16]，其增强后的图像提高了图像对比度，避免了光晕现象，增强后的图像颜色也比较自然，但细节信息不够清晰。基于亮通道模型的变分框架低照度图像增强算法[21]，能够较好地提取出图像的光照信息及反射信息，其增强后图像的细节信息以及颜色信息较好。

2.1.2 客观评价

为了客观的评价各种低照度全景图增强算法的增强效果，本文分别采用标准差(standard deviation, SD)、信息熵(information entropy, IE)和平均梯度(average gradient, AG)等3个图像客观评价指标[25]对增强后的全景图像进行评价。其中，标准差反映图像对比度，标准差增大，则有效的增强了图像的对比度；图像信息熵反映图像中包含信息量的多少，其熵的值越大，表明图像所包含的信息越丰富；平均梯度则反映的是图像的清晰程度，平均梯度值越高，图像就越清晰。典型的低照度增强算法的客观评价指标分别如图3所示。

图3 典型低照度全景图像增强算法 4种图像的客观评价指标

由图3结果可以看出，直方图均衡化类算法具有较高的标准差与平均梯度，说明直方图均衡化类算法具有较好地增强图像对比度与清晰度，但是，易造成图像信息的丢失。基于Retinex理论类算法所获得图像信息熵以及平均梯度较为适中，说明增强后图像对比度和清晰度较好，图像色彩较自然。基于物理模型类的算法所获得图像的对比度虽不如直方图均衡化类算法，但是具有更好的信息熵，说明增强后的图像较为清晰，图像信息也较为丰富。

2.2 典型算法效果对比

就典型低照度图像增强算法的实验结果及相关进展情况对比分析发现，5种典型算法各有优点和缺点，适应于不同用途或场景。5种典型算法的优缺点如表1所示。

表1 低照度全景图像增强算法优缺点对比

3 结语

针对低照度全景图像增强算法中直方图均衡类算法、基于Retinex理论的算法、基于小波变换类算法、基于物理模型类算法机器学习类等5类典型算法的研究进展进行了综述，结合仿真实验对比，总结了各类算法的优点、缺点以及实际应用范围。各类算法在一定程度上保证了增强后的图像具有较好的图像质量，但在实际的应用之中仍存在许多问题，如在全景图像增强过程中，难以同时兼顾增强算法的实时性、有效性以及自适应性等性能。未来研究应该着重考虑到算法对亮度提升、图像去噪以及细节增强相结合，提高算法的有效性、实时性与自适应性。

随着全景成像技术的迅猛发展和广泛应用，全景图像增强技术已经成为图像处理领域十分重要技术，低照度全景图像增强算法的研究是图像处理技术的一个重要的研究领域。