一种基于灰度映射与融合技术的微光图像增强模型

2022-03-30李炎炎刘寿鑫

四川大学学报（自然科学版） 2022年2期

何磊，龙伟，李炎炎，刘寿鑫

(四川大学机械工程学院, 成都 610065)

1 引言

随着计算机视觉技术的迅速发展，数字图像处理系统已经广泛应用于许多领域[1-6].然而，在图像采集的过程中，总会存在一些不可控制的因素导致图像质量的缺陷，尤其是在室内、夜间以及阴天等[7，8]光照条件较差的情况下.在这类环境拍摄的图片具有低亮度、低对比度以及灰度范围狭窄等特征.这使得图像内的细节难以区分，严重降低了它们的主观视觉效果，并极大地限制了各类视觉系统的功能[9-11].因此，研究低照度图像的增强算法以提高成像设备的性能具有重要意义和实用价值.

灰度变换是一种常用的低照度图像增强方法，其主要原理是运用数学函数对像素进行逐点增强，因此又被称为基于映射的方法[12].其中Gamma函数应用最为广泛.通过调节参数γ值的大小，可以选择性地对图像的不同灰度区域进行拉伸或压缩，以获得更好的增强效果.Huang等提出了一种自适应Gamma校正算法，该算法根据累积概率分布直方图自适应获取Gamma校正参数[13].Cheng等构造了自适应映射函数，并根据光照图的分布特征进行调整，从而提高了低亮度区域的灰度值，同时抑制了局部高亮度区域的灰度值[14].灰度映射类方法能够突出感兴趣的灰色区域，具有实现简单、速度快等优点.然而，这些方法没有考虑图像的整体灰度分布导致其增强能力有限、适应性差[15].

本文提出了一种全新的低照度图像增强算法.首先，我们对图像像素含极少的灰度区域进行线性映射增强来提升图像的整体亮度.然后，我们利用图像的灰度分布特征自适应调整图像暗区像素的灰度值分布，以避免因过度拉伸导致的图像色彩失真.最后，我们将直方图方法分别用于动态映射函数增强前后来产生两条增强路径，并把通过两种路径增强后的图片进行融合来进一步提升图像的整体色彩表现.实验结果显示，本文算法在视觉效果、定量评价以及运行速度方面均优于对比算法.

本文贡献有以下几点：(1) 提出了一种针对极少像素灰度区域压缩的线性压缩处理模型;(2) 设计了一种能够根据图像的灰度分布特征来进行调整的动态灰度映射函数;(3) 利用图像的平均灰度值自适应地提升图像的亮度和对比度;(4) 结合经典直方图均衡化方法与融合机制进一步提升了图像的色彩表现.

其余部分组织如下：第2节对经典灰度映射函数进行了简要的介绍；第3节详细描述了本文所提出的方法；第4节给出了实验结果，并与近5年最新的方法进行了比较；第5节给出了本文的结论.

2 典型的灰度映射方法

灰度映射类算法具有实现简单、运行速度快的优点.经典灰度映射方法包括对数函数、Gamma函数以及其他各种改进函数.对数变换函数意味着输出图像中每个像素的值与输入图像中相应像素的值之间存在对数关系.其归一化后的表达式如下.

(1)

其中，c为调节参数.与对数变换函数类似且得到广泛应用的还有Gamma变换函数，其表达式如下.

gout(x,y)=gin(x,y)γ

(2)

其中，γ表示为校正系数.图1显示了以上两种经典灰度映射方法取不同参数时的曲线形状.

图1 经典映射函数(a) 伽马映射函数； (b) 对数映射函数Fig.1 Classical gray transformation methods(a) Gamma transformation; (b) logarithmic transformation

3 本文算法

经典灰度映射方法未能考虑到图像的整体灰度分布特征导致其增强能力有限、适应性差.针对这一问题，我们提出了一种能够根据图像灰度分布特征进行自适应调整的动态映射增强算法，算法流程如图2所示.

由于RGB色彩空间中的三个颜色分量(R、G和B)具有强烈的相关性，在增强过程中容易产生严重的色彩偏差.我们首先将图像由RGB色彩空间转换到了HSV色彩空间，并提取出与图像色彩信息无关的V(亮度)分量单独进行增强，以保证不改变原图像的色彩信息.此外，为了确保增强后的图像拥有较大的灰度动态范围，我们在增强前使用经典直方图均衡化方法对原图像的V分量进行了对比度拉伸.

图2 本文方法流程图Fig.2 Algorithm flow chart of this paper

3.1 模型I：亮度增强模型

为了使图像获得最好的增强效果，我们把图像的亮度增强划分为了针对微量像素灰度区域的线性压缩增强以及基于灰度分布特征的动态映射增强两个部分.线性压缩增强的主要目的是为了在微量提升图像亮度的同时，将图像中像素数量极少的灰度级区域解放出来，为之后的动态映射函数提供更多可使用的灰度空间.

3.1.1 极少像素灰度区域的线性压缩处理模型为了提升后续动态映射函数的增强效果，我们对图像的极少像素灰度区域进行了线性压缩处理.具体细节如图3所示.首先，我们对待增强图片的灰度值(如图3a)按照其包含的像素数量由少到多进行排序得到了图3b.将图3b中像素数量极少且累计数量占比不超过总像素数量t%(本文取5%)的前n个灰度级被定义为极少像素灰度区域.为了在图像原灰度图中确定此区域，我们将图3b中排列在第n个位置的像素数量定义为阈值T，通过T可将原图的V分量划分为极少像素压缩区域和不变区域，如式(3)所示.

V=Vc∪Vu

(3)

其中，Vc、Vu分别为极少像素压缩区域和不变区域.当图像中灰度值为i的像素数量g(i)≤T时，则i∈Vc；否则i∈Vu.然后，我们根据所需要的压缩量m(0≤m

(4)

通过式(4)可以得到图3c中的压缩映射函数P(i)，如下式.

(5)

将原图像的V分量代入式(5)可以得到压缩处理后的Vm，如下式.

Vm=P(V)

(6)

图3d显示处理前后的灰度直方图变化.经过对比可以发现，该方法能够在维持图像灰度分布特征基本不变的前提下有效地提升了图像的整体亮度，从而达到了提升后续动态映射函数增强效果的目的.

图3 灰度压缩过程(a) 原始图像灰度直方图；(b) 按像素数量排序后的灰度图；(c) 压缩映射函数；(d) 压缩映射前后的灰度直方图对比Fig.3 Compression process(a) Gray image of the original image; (b) grayscale image sorted in ascending order according to pixel amount; (c) compression mapping function; (d) comparison of compression effects

3.1.2 动态灰度映射函数为了避免图像像素之间的灰度反差过大导致图像色彩失真，我们使用了动态灰度映射函数对图像进行调整.首先,我们对图像暗区内各个灰度值的像素数量比例进行计算得到图4a上；然后，将灰度值按照其像素数量比例由大到小进行排列，并将排列好的像素数量比例数列按照倒序重新赋予给相应的灰度值(如图4a中)；最后，将拉伸区的各个灰度值进行排序得到了归一化后的指数增量Δγ(i)(如图4a下).我们通过Δγ(i)可以得到动态指数γdyn的表达式.

γdyn(i)=

(7)

其中,i为像素灰度值；γ1、γ2分别为γdyn的上、下限阀值(1>γ1>γ2≥0)；b为动参数截止点，其值可通过下式进行计算：

(8)

经过反复实验对比，我们把γdyn的动态区间确定在了0.76～0.45之间，即γ1=0.76，γ2=0.45.接下来把式(7)带入到式(2)中，C取255便得到了动态映射函数.

fdyn(i)=255×(i/255)γdyn

(9)

图4b显示了增强截止点为m时，图3a的动态函数映射曲线.可以清楚地看到，曲线在像素占比较大的灰度区域变化较为平缓，有效地避免了像素集中的灰度区域因灰度反差过大而导致的色彩失真现象.最后，我们通过调节m使增强后图像的平均灰度值尽可能地接近灰度中值128来确保图像的整体亮度.

图4 动态映射函数(a) 动态增量Δγ(i)的生成； (b) 图3a的动态增强曲线Fig.4 Dynamic enhancement function(a) Generation of dynamic increment Δγ(i); (b) dynamic enhancement function ofFig.3a

3.2 算法模块II：权函数融合模型

为了进一步提升图像的色彩表现，我们使用了图像融合技术来使增强后的图像占有更多的灰度级.如图2所示，我们通过改变直方图均衡化方法的使用位置产生了一条新的增强路径.通过融合两条路径增强后的图像，我们得到了色彩表现更加自然的融合图像，具体公式如下.

Vmix=ω×V1+(1-ω)×V2

(10)

其中,V1、V2分别为经过路径1、路径2增强后的亮度分量；ω为权重系数(本文取0.34)；Vmix为融合后的亮度分量.图5显示了同一幅图像分别经过路径1、路径2进行处理以及融合后的效果对比图与灰度直方图.经过对比可以发现，融合后的图像不仅亮度方面表现良好，色彩表现也有着十分自然.

图5 权函数融合前后的效果对比(a) 原始图像及其灰度直方图； (b) 通过路径1生成的图像及其灰度直方图； (c) 通过路径2生成的图像及其直方图； (d) 通过路径1和路径2融合后生成的图像及其直方图Fig.5 Comparison of effects before and after fusion(a) Original image and its grayscale image; (b) effect after being processed by path 1; (c) effect after being processed by path 2; (d) effect after the fusion of path 1 and 2 using weight function

我们使用了MATLAB R2020a和Windows10操作系统，在Intel (R) Xeon (R) E-2176M CPU @ 2.70 GHz和32 G RAM的PC上进行实验.所选用的比较算法包括LECARM方法[16]、FFM方法[17]、RRM方法[18]、JIEP方法[19]以及JED方法[20].在测试中，我们在公共数据集中选取了33幅低照度图像作为对比评价的数据集(其中23幅测试图像源来自文献[21]，剩余部分为实地拍摄的低照度图像).所有的图片都归一化为8位，即0 ～ 255.测试图像的大小为(256×384 )～(1200×1200).此外，由于篇幅有限，我们仅在测试数据集中挑选了10幅图像作为本文实验视觉效果的对比展示，如图6所示.

图6 视觉效果对比中使用的原始微光图像：船，城市，零食，民房，庭院，教堂，走廊，起重机，学院，轿车Fig.6 Test images for visual contrast display: Boat, City, Snacks, Bungalow, Courtyard, Church, Corridor, Crane, College and Car

4.1 视觉效果比较

图7～图16为6种方法增强结果的视觉对比图.图17和图18提供了部分图像的细节放大对比图.此外，图18c和图18d还在相应图像的右侧额外给出了目标对比区域的边缘轮廓图以便进行更直观的边缘细节对比.由于高斯拉普拉斯算子(LOG)具有边界定位精度高、抗干扰能力强以及连续性好的优点，我们使用了该算子来完成图像区域轮廓图的提取工作.对比算法FFM与LECARM是两种基于单图像融合理论的算法.FFM在色彩表现方面十分突出且亮度一致性较好(如图15a与图18c)，但由于其在融合过程中加入了原图片的光照分量导致整体亮度偏低.与FFM方法相比，LECARM算法在保持色彩的同时更加注重整体亮度的提升，但由于其曝光率机制的引入，很容易产生全局光照不均的现象(见图15d).JIEP方法是基于Retinex理论的改进算法，其增强效果与FFM方法十分相似.JIEP方法虽然在亮度一致性方面不如FFM方法(见图15与图18c)，但它具有一定的边缘细节保持能力，能够在增强的过程中很好地保护图像的轮廓细节(图18d).尽管JIEP方法在色彩与轮廓细节方面表现良好，但其在亮度方面提升较小导致图像整体偏暗，甚至部分暗区在增强后的亮度依然很低(见图18c与图15c).JED与

图7 图像“船”的实验结果(a) FFM方法； (b) JED方法；(c) JIEP方法； (d) LECARM方法； (e) RRM方法； (f) 本文方法Fig.7 Experimental results in Boat(a) FFM; (b) JED; (c) JIEP; (d) LECARM; (e) RRM; (f) the proposed method

图8 图像“民房”的实验结果(a) FFM方法； (b) JED方法；(c) JIEP方法； (d) LECARM方法； (e) RRM方法； (f) 本文方法Fig.8 Experimental results in Bungalow(a) FFM; (b) JED; (c) JIEP; (d) LECARM; (e) RRM; (f) the proposed method

RRM是两种基于降噪模型的Retinex改进算法.这两种算法在大部分情况下色彩表现较好，且亮度相对较高.但由于其在降噪过程中对图像的反射分量进行了处理，因此会导致增强后的图像对一部分颜色的表现过于强烈.当原图像中有大量此类颜色出现且色彩对比较为强烈时就会产生严重的色彩失真现象(见图18a与图18b的红色部分).相对于这些算法，本文算法不仅亮度提升效果明显且整体亮度分布较为均匀(见图18c与图18d).在增强色彩变化强烈的低照度图片(如图9和图11)时，不但能够大幅度地提升图像的亮度而且还能够保持较好的图像色彩表现(见图18a与图18b).此外，本算法对各种类型的低照度图片(图14为夜晚,图9为室内,图10为白天,图15为全局低照度图像,图16为局部低照度图像)都具有较好的处理效果，应用场合较为广泛.因此，相对于以上5种对比方法，本方法无论是在视觉效果上还是在应用范围上都具有一定的优越性.

图9 图像“零食”的实验结果(a) FFM方法； (b) JED方法； (c) JIEP方法； (d) LECARM方法； (e) RRM方法； (f) 本文方法Fig.9 Experimental results in Snacks(a) FFM; (b) JED; (c) JIEP; (d) LECARM; (e) RRM; (f) the proposed method

图10 图像“城市”的实验结果(a) FFM方法； (b) JED方法；(c) JIEP方法； (d) LECARM方法； (e) RRM方法； (f) 本文方法Fig.10 Experimental results in City(a) FFM； (b) JED； (c) JIEP； (d) LECARM； (e) RRM； (f) the proposed method

图11 图像“起重机”的实验结果(a) FFM方法； (b) JED方法； (c) JIEP方法； (d) LECARM方法； (e) RRM方法； (f) 本文方法Fig.11 Experimental results in Crane(a) FFM; (b) JED; (c) JIEP; (d) LECARM; (e) RRM; (f) the proposed method

图12 图像“教堂”的实验结果(a) FFM方法； (b) JED方法； (c) JIEP方法； (d) LECARM方法； (e) RRM方法； (f) 本文方法Fig.12 Experimental results in Church(a) FFM; (b) JED; (c) JIEP; (d) LECARM; (e) RRM; (f) the proposed method

图13 图像“走廊”的实验结果(a) FFM方法； (b) JED方法； (c) JIEP方法； (d) LECARM方法； (e) RRM方法； (f) 本文方法Fig.13 Experimental results in Corridor(a) FFM; (b) JED; (c) JIEP; (d) LECARM; (e) RRM; (f) the proposed method

图14 图像“学院”的实验结果(a) FFM方法； (b) JED方法； (c) JIEP方法； (d) LECARM方法； (e) RRM方法； (f) 本文方法Fig.14 Experimental results in College(a) FFM; (b) JED; (c) JIEP; (d) LECARM; (e) RRM; (f) the proposed method

图15 图像“轿车”的实验结果(a) FFM方法； (b) JED方法； (c) JIEP方法； (d) LECARM方法； (e) RRM方法； (f) 本文方法Fig.15 Experimental results in Car(a) FFM; (b) JED; (c) JIEP; (d) LECARM; (e) RRM; (f) the proposed method

图16 图像“庭院”的实验结果

图17 部分实验图像放大区域示意图Fig.17 Schematic diagram of the enlarged area of some experimental images

4.2 客观评价

为了进行更定量的测量，我们选择了4种图像质量评价指标来对增强图像的质量进行评价.这4个指标分别为：Contrast (C)、Average Gradient (AG)、Maximum Contrast with Minimum Artefact (MCMA)以及Perception based Image Quality Evaluator (PIQE).

(1) Contrast：C指标描述图像灰度对比度的大小.其值越大，图像越清晰[14].

(11)

其中，I(u,v) 代表图像坐标(u,v)处的灰度值.

(2) Average Gradient：AG指标反映了图像的细节表现能力.其值越大代表图像的细节纹理表现越好[22].

(12)

(3) Maximum Contrast with Minimum Artefact：MCMA指标主要用于衡量增强算法在提升图像感官质量的同时带来的副作用大小. 其值越小代表增强算法在提升图像感官质量的同时带来的伪影、噪声、模糊等增强副作用越小[23].

(13)

其中，PDRO、PHSD和PPU是从图像中提取的三个子度量，分别代表动态范围占用(DRO)、直方图形状变形(HSD)和像素均匀性(PU).

(4) Perception based Image Quality Evaluator：PIQE指标是从人类感知行为的角度设计的图像质量评价模型. 其数值越小代表图像的失真度越低，图像的感知质量越好[24].

(14)

其中，NSA是给定图像空间中活动块的数量；Nt是防止分母为0的正常数；Dsk是活动块的失真量.

表1显示了各个算法在不同指标下客观评价的实验结果.表中数据代表的是33幅测试图像的实验数据的均值.其中最好的结果用粗体突出显示.实验数据表明本算法在C、AG、MCMA以及PIQE的表现上均优于其他对比算法.这说明相对于对比算法，经过本文算法增强后的图像不仅清晰度更高、细节表现力更好，而且由算法增强带来的图像失真、伪影、噪声等副作用最小.此外，根据PIQE的数据可知，经过本文算法增强后的图像具有最佳的感官质量.综上所述，本文算法在数据上明显优于其他对比算法.