基于人眼视觉的多尺度融合图像增强算法

王改云，郭智超+，路皓翔，陆家卓，张 琦

(1.桂林电子科技大学 电子工程与自动化学院，广西 桂林 541004；2.桂林电子科技大学 计算机与信息安全学院，广西 桂林 541004)

0 引 言

图像处理技术被广泛应用于生活的各方面[1-3]。现阶段被广泛应用的图像增强方法主要有两类，直接增强方法和间接增强方法。第一类直接增强法将图像的亮度通过某些指标定量表示，并提出相应算法来改进这些指标。代表算法有基于Retinex模型增强算法。该算法指出相机捕获的图像由反射分量和照明分量组成，通过去除影响原始图像的反射分量，实现增强图像真实影像的目的。李佳等[4]通过单尺度Retinex方法调整图像中过曝光和欠曝光的灰度级。然后将图像分为细节层和基本层，并用不同的直方图处理方法进行增强，从而在增强图像亮度的同时增强了图像细节信息。Qu J H等[5]引入多尺度Retinex算法整合图像的空间信息，并利用基于梯度的加权融合方法融合HSI和PANI的空间细节，从而更好地模拟真实图像的特征。第二类间接增强法将图像亮度特性投影到直方图上，并在直方图上调整图像的亮度。芦碧波等[6]将RGB图像转换至XYZ颜色空间，提取其亮度信息，并将其分为高、中、低3个区域，利用对数色调映射对这些区域进行直方图均衡化处理，同时采用双边滤波进行细节补偿。该算法能在增强图像细节的同时有效模拟真实场景的亮度特性。Acharya U K等[7]使用了两个最优约束参数，减少直方图均衡过程中的信息丢失，该方法很好地构造了原图的亮度同时减少了其细节的丢失。

为了进一步改善增强算法颜色失真和细节模糊的问题，本算法在HSV空间上利用人眼的敏感特性增强图像的亮度，从而在增强图像亮度时有效地避免了颜色失真的问题，并通过引导滤波在过滤图像噪声的同时增强了图像的细节信息。

1 算法原理

图1是算法的流程，算法总体分为颜色空间转换、图像亮度增强、图像细节提升3部分。首先对输入图像进行颜色空间转换，将其从RGB空间转换至HSV空间[8]，分离图像的颜色信息和亮度信息，从而达到在改变图像亮度时图像颜色不会失真的目的；然后提取H、S通道的信息Image H和Image S作为增强权重图对V通道的信息Image V进行增强从而提升图像的亮度；最后利用引导滤波[9]增强图像的细节信息，并将增强后的Image V1和Image H、Image S转换为细节丰富且亮度得到增强的RGB图像。

图1 算法流程

1.1 亮度增强

算法将从HSV空间对低照度图像进行增强，HSV模型通过H、S、V这3个通道的信息Image H、Image S、Image V来表示图像，其中Image V描述的是图像的亮度，Image S、Image V则描述了图像的颜色和颜色的深浅。但是学者们利用HSV模型增强图像亮度时通常会忽略H、S两通道信息的重要性。人类通过区分颜色和辨别光照强弱来感知周围的环境，当一束光投射在人眼的视网膜上时，生物学将视网膜刺激中的模糊光谱信息与观察者的感知联系起来进行研究，将人们对刺激的评判分为3种心理性向度。在此框架中，从感觉背后的物理属性的条件概率分布中得出累积密度函数，预测经典色度中的光谱刺激所产生的色调、饱和度和亮度。为了方便科学研究，光波被科研工作者赋予3种可以被量化理解的物理量，即波长、波幅和纯度。Fuhui Long等[10]通过对比实验证明色调、饱和度和亮度的感知特性是由自然界中光的物理特征的统计共变性决定的，从而得到了与之对应的色彩模型为HSV色彩模型，图2是HSV模型。其中H代表H通道的色相(Hue)，S代表S通道的饱和度(Saturation)，V代表V通道的亮度(Value)。

图2 HSV模型

(1)色相：表征物体色彩的颜色属性，它的取值范围为0°～360°，其中0°代表红色、120°为绿色、240°为蓝色，它们的补色分别为60°的黄色、180°的青色和300°的品红色。

(2)饱和度：是指色彩的纯度，饱和度越高代表色彩越纯，饱和度越低则色彩越趋近灰色，其取值范围为0～100%。

(3)亮度：是指颜色中掺入黑色或白色的量，其取值范围为0～100%。

RGB空间和HSV空间之间相互转换的公式如式(1)～式(3)所示，其中R、G、B、H、S、V分别代表同一图像在不同模型中的不同通道

V=max(R,G,B)

(1)

(2)

(3)

并且，人眼对不同颜色的敏感度不同，其主要原因是人眼在可见光谱范围内的视觉灵敏度分布不均匀，通过实验和研究[11]可以发现。对比敏感度函数(contrast sensitivity function，CSF)是对比度检测阈值的倒数，是以模拟人类视觉和预测视觉表现为基础测量的。它描述的是空间频率和对比度灵敏度之间的关系。图3(a)～图3(c)分别是10只眼睛红色、绿色和蓝色机制的CSF数据。

图3 10只眼睛对红、绿、蓝的CSFs平均值曲线

图3中每个特殊符号代表一只眼睛，实线拟合了10只眼睛单一颜色机制中心频率平均值的变化规律。表格纵坐标是以对数标度的对比敏感度，横坐标为空间频率。结果表明，人眼红色机制的CSF高于绿色机制的CSF，蓝色机制的CSF在整个空间频率上最低。红色和绿色机制的CSF峰值出现在6.4 c/deg，蓝色机制的CSF峰值出现在4.8 c/deg的较低频率。由此表明，人眼对不同波长的颜色敏感度不同。Schiller Florian等[12]通过利用7种颜色模型CIECAM02、HSV、DKL、LAB、LUV和CIE1931xyY测量了人眼对颜色空间中不同颜色在不同饱和度下的敏感度。实验发现人眼对不同饱和度的颜色敏感度不同。Fuhui Long等[10]为了预测亮度对色相和饱和度的影响函数，将图像从RGB空间转换至HSV空间从而统计图像的色相、饱和度和亮度3个物理属性的联合概率分布。实验通过计算并均衡化亮度、色相和饱和度的物理相关共生频率得到了：①色相和饱和度的物理相关性P(HP,SP)； ②色相和亮度的物理相关性P(HP,BP)； ③饱和度和亮度的物理相关性P(SP,BP)。 根据这些分布，直接确定每个物理属性的一维条件概率分布，以及几种属性的关系。然后，通过累积相关概率值，从这些一维条件概率分布中计算用于预测色度函数和饱和度函数的累积密度函数。通过实验研究证明，亮度的提升能够增强人眼对饱和度和不敏感波段颜色的敏感度。因此，在增强图像的视觉效果时，图像饱和度和图像颜色两个因素必须都要考虑。综上所述，为了提升人眼对整体图像的敏感度，通过对人眼不敏感区域进行亮度增强，进而更有针对性地提升人眼对整体图像敏感度。算法利用人眼的这一特性，将低照度图像H、S颜色通道的信息Image H和Image S作为权重图对其V通道的信息Image V进行增强，从而提升人眼对图像的敏感度。

1.2 细节增强

qx=akIx+bk∀x∈ωk

(4)

通过式(4)可以看出qx与Ix具有线性关系，且输出图像与原图的相似程度可由ak和bk决定。式(5)描述了输出图像与原图的相似程度，其中Ix代表引导图像中编号为x像素的像素值，px代表输入图像中编号为x像素的像素值

(5)

为防止ak过大，式(5)还引入了正则化参数ε， 引导图像选用原图像时ε将被舍弃。由式(5)可知，找到合适的ak和bk就可使输出图像很好地还原输入图像，通过化简得

(6)

(7)

(8)

2 算法实现

2.1 亮度增强

由文献[11]可知人眼对黄绿色的敏感度最高，对蓝色光和红色光的敏感度较差。同时人眼对饱和度低的颜色也不敏感。因此，算法通过增强这些人眼敏感度较低区域的图像亮度来提升人眼对整体图像的敏感度。具体做法为，在算法亮度提升阶段将增强Image H中241°～360°区域的权重值即人类视觉系统不敏感的波长区域，和Image S中40%～80%区域的权重，人类视觉系统不敏感的饱和度区域。并将这些图像作为权重图对V通道的信息Image V进行增强，从而更有效地提升图像的亮度。由于HSV模型3个通道信息互不影响，这也保证了增强后的图像不会产生色彩的偏差。具体的步骤如图4所示，图中Input为输入的RGB图像。Image H为色相通道权重图，其灰度值与人眼对颜色的敏感度成反比，Image S为饱和度通道权重图，其灰度值与颜色饱和度成反比，Image V为图像的亮度图，Image V1为增强后的Image V。

图4 亮度增强流程

2.2 细节增强

图5 引导滤波使用不同参数的效果

3 增强效果分析

该图像增强算法的实验环境为：CPU 3.40 GHz (4 CPUs)，Intel core i7-8 550U 1.8 GHz，内存为8192 MB，Windows 10 操作系统，在Matlab 2018b软件平台实现相关算法。实验图像采用同时存在过曝光和欠曝光的细节信息丰富的建筑物和目标单一的人物RGB图像进行增强实验，从定量分析和定性分析两个方面对本算法性能进行评估，并与Patch-net(Platform：Tensorflow,CPU)[13]、FBBF(Platform:MATLAB,CPU)[14]、Zero-dce(Platform:Tensorflow,CPU)[15]、FFM(Platform:MATLAB,CPU)[16]和FBM(Platform:MATLAB,CPU)[17]增强算法进行了对比，进而验证了算法的优越性。

3.1 定性分析

图6给出了不同算法对边缘轮廓明显的建筑物RGB图像增强的结果，图6展示了原图和近几年出现的增强算法的处理结果。通过对比可看出，对比算法和优化算法均能增强低照度图像，但FBBF和Zero-dce处理后的图像存在伪影，使得图像轮廓信息变的模糊，Patch-net增强图像的天空部分出现了明显的分块现象，FFM和FBM对图像的亮度增强效果不够明显。本算法将图像由RGB颜色空间转到HSV颜色空间，将图像的亮度和图像的颜色完全分离，并利用HSV空间H和S通道能够提升图像质量的信息Image H、Image V转换为权值图，对V通道的亮度信息Image V进行增强，使得增强后的图像更接近实际光照环境同时避免了图像颜色失真。

图6 不同算法对图像的增强轮廓效果对比

图7给出了细节纹理特征丰富的建筑物和人物的RGB图像在不同算法增强后的效果，通过对比可看出，由Patch-net、FBBF、FFM和FBM增强后的图像人物头发纹理部分出现了颜色失真的现象，Zero-dce增强后图像的对比度整体偏低，这使得人物发梢、地面部分丢失了许多细节信息。而优化算法处理后图像人物的面部和头发部分的亮度、对比度均得到了提升，同时还保留了图像原本的颜色信息，并还原了图像的细节信息，这是由于该算法在增强图像细节阶段，利用引导滤波增强了图像的细节信息。

图7 不同算法对图像增强的细节效果对比

3.2 定量分析

本文主要利用平均梯度(AG)、信息熵(EN)、熵增强(EME)3个衡量指标对算法增强效果进行评估。平均梯度可以评判图像细节的丰富程度和图像的亮度，图像包含的细节越丰富AG的值越大，其表达式为

(9)

信息熵可以评判图像所包含的信息量，其中i表示图像中像素灰度值的大小，h(i) 是整幅图像中出现灰度值为i像素点的概率。一般信息熵越大说明图像质量越好，表达式为

(10)

熵增强能够评判图像中像素的最大灰度值与最小灰度值间的差异即图像的对比度，熵增强的值越大图像的对比度越大，即增强算法的增强效果越显著，其表达式为

(11)

为验证算法的可行性。表1展示了10张图像以不同取值范围Image H作为增强权重增强Image V得到增强结果的平均值。随着H通道取值角度的增加，图像的AG值先减小后增加。当H通道角度为1°～180°时，图像质量提高不明显，对应图像的En也不高，当H通道选取241°～360°时增强的效果最明显，由此可以表明，增强Image H中241°～360°区域的权重值更能提升图像的整体质量。

表1 H通道不同取值范围增强图像的AG、EME和EN

从表2中可以看出，随着S通道角度的增加，图像的AG逐渐增加，但当取值范围为0～40%或80%～100%时，图像质量提高不明显，对应图像的EN也不高，由此可以看出用不同波长作为亮度增强的权重图对图像的影响也不同。为了提升图像的整体质量，需要提升Image S中40%～80%区域的权重。

表2 S通道不同取值范围增强图像的AG、EME和EN

综上所述，算法在亮度提升阶段，通过提升Image H中241°～360°区域(人类视觉系统不敏感的波长区域)的权重值以及Image S中40%～80%区域(人类视觉系统不敏感的饱和度区域)的权重值并对Image V进行增强处理，可以有效地提升图像的亮度，同时，有效地增强人眼对图像的敏感度。

为验证该算法的优越性，将不同场景下的低照度图像进行了对比实验，表3中第一行数据为原始图像的客观评价值，其它行分别为通过不同增强算法增强后，图像的各项客观评价值。通过对比可以发现，几种增强算法均可以增强图像的AG、EN和EME。本算法增强的低照度图像的指标分别由原来的2.87、36.25和6.32增加到了5.58、70.50和8.20，并且增强效果优于几种传统增强方法，由此可知该算法具有更好的增强效果。

表3 不同算法的增强效果对比

4 结束语

本文算法适用于增强含有丰富细节的低照度图像，改善了传统亮度增强算法增强结果容易出现颜色失真和细节增强不明显的问题。该算法利用被学者忽视的图像的H、S通道信息Image H和Image S，结合人眼视觉对不同频段可见光灵敏度不同的特性，将Image H和Image S作为增强权重对图像的V通道信息Image V进行增强。最后，算法利用引导滤波算法增强图像的细节信息。最终达到提升图像整体质量的目的。由于该算法细节增强的增强系数是根据经验人为设定的。因此下一阶段将对算法的自适应调参进行优化，进一步提升算法的普适性。