基于HSV色彩空间的低照度图像增强

刘寿鑫，龙 伟，李炎炎，程 鸿

(四川大学 机械工程学院，四川 成都 610065)

0 引 言

在摄像设备进行图像采取的过程中，会因为周围环境光照不足、光源不单一等环境因素导致所采集到的图像存在亮度低、色彩偏暗等问题。

对此，有不少的低照度图像增强算法被提出。从总体上来说，低照度图像增强算法分为基于物理模型的增强算法和非物理模型增强算法两大类[1,2]。Retinex算法[3]是使用最为广泛的物理模型增强算法，该算法由Land等于1971年提出，后来以Retinex理论为基础又有不少的改进算法被提出[3,4]，如多尺度Retinex算法MSR以及针对MSR算法易出现色彩失真的问题又提出了带色彩恢复的多尺度Re-tinex算法MSRCR和自动色阶调整的MSR算法[5]、融合暗通道先验理论的MSRCR算法[6]，但是此类算法的光照估计基础是光照缓慢变化的，而并不是所有低照度图像都满足此假设。非物理模型算法主要有空域增强算法和滤波增强算法两大类，空域增强算法以直方图均衡化算法及改进算法[7]为代表，如双边直方图均衡化算法[8]，限制对比度的直方图均衡化算法，此外还有不少学者将幂律函数融入其中，提出了很多自适应伽马矫正增强算法[9-11]，但是经该类算法处理后的图像色彩饱和度较低。而滤波类的增强算法处理结果往往会导致图像发生色彩失真和丢失细节特征[12,13]，此外，传统的滤波函数还存在对图像亮度的提升上限较低的缺陷。

对此，本文提出了一种基于HSV色彩空间的非物理模型低照度图像增强算法，首先利用低照度图像增强的重点区域为图像中较暗区域为依据，对亮度V分量进行分层预处理，将其分为高亮度层和低亮度层；然后再使用引入自适应权重值的巴特沃斯滤波器进行灰度等级的拉伸，并利用本文所提出的亮度控制方法对拉伸范围过大的灰度等级区域进行等级重新映射，以此来防止图像出现过度增强区域；其次对V分量的融合结果进行卷积平滑操作；最后提出了基于权重值和映射调节系数的色彩饱和度自适应调整函数对图像色彩饱和度进行调整。最终的实验结果表明，经本文算法处理后的图像亮度提升大、色彩逼真无光晕现象且未出现过度增强区域，图像增强结果符合主观视觉感受。

1 本文算法

HSV色彩空间的色彩三分量相互独立，对其中任意的一个色彩分量进行增强处理都不会对其它两个分量造成任何影响[14,15]，因此相较于直接在RGB三原色色彩空间进行低照度图像增强获得的增强结果图像，经HSV色彩空间处理后的结果图像具有色彩失真度小、颜色更加逼真的特点从而更易于获得研究人员所预期的图像增强效果。故以此为基础提出了一种基于HSV色彩空间的低照度图像增强算法，实现该算法的具体流程如图1所示。

图1 算法流程

1.1 HSV色彩空间

H、S、V分别是色调(Hue)、饱和度(Saturation)以及亮度(Value)3个单词的缩写，即HSV色彩空间是一种通过色调、饱和度以及亮度3种色彩分量来表示彩色图像的色彩空间，它是由RGB三原色色彩模型空间衍生而来的一种面向对象的主观色彩模型空间，因为其色彩表现比三原色色彩表现更加符合人眼视觉特性，近年来得到了较为广泛的关注，HSV色彩空间的3个色彩分量与RGB三原色色彩空间的3个色彩分量的转换关系如式(1)～式(3)所示

(1)

(2)

(3)

1.2 V分量的分层处理

相对于正常清晰的图像灰度等级分布而言，低照度图像的灰度等级分布主要集中分布于灰度级较低的区域，且灰度等级动态范围较小，因此低照度图像增强算法的重点在于图像中的低灰度等级区域，并使用有效的方法对灰度等级动态范围进行扩展。而利用全局增强算法的策略在对低灰度等级区域增强的同时也会对高灰度等级区域进行增强处理，则易导致原有的高灰度等级区域出现过度增强的情况。本文算法以这一特点为依据，为避免原图像的高灰度等级区域出现过度增强，在进行V分量的增强处理之前，以非全局图像增强处理的方式，首先对亮度V分量进行分层预处理。以灰度值0.8为V分量分割阈值点，利用单次分层将V分量分为低灰度等级层VL和高灰度等级层VH两层，V分量的分层表达式如式(4)所示

(4)

式中：VL表示低灰度等级区域，VH表示高灰度等级区域，V(i,j)表示在图像中位于位置(i,j)处的灰度等级大小。

现以“Campus”图的V分量为例来说明本文所提算法对V分量的预处理结果，V分量分层结果如图2所示。

图2 V分量预处理

1.3 引入权重值的巴特沃斯低通滤波

低照度图像的低照度区域会导致大量的图像信息被黑暗所掩盖，从而丢失实际拍摄的物体信息，低照度图像增强的主要目的便在于提高低照度区域的亮度，从未使被掩盖的图像信息暴露。将巴特沃斯低通滤波器应用于图像低照度VL分量中，以此来提高图像的灰度等级，达到图像亮度提高的目的，但是由于传统的巴特沃斯低通滤波器的增强上限较低，从而易导致增强效果较差。针对此问题，本文算法基于不同低照度图像存在灰度等级最大值与最小值互不相同以及灰度均值与梯度值大小亦不相同的思想，在传统的巴特沃斯低通滤波器中引入了自适应权重值w，以此来解决传统巴特沃斯滤波器增强上限较低的问题。引入权重值后的巴特沃斯低通滤波器表达式如式(5)所示

(5)

式中：符号“·”表示取乘积操作，D0为改进后巴特沃斯低通滤波器的截止频率，D(u,v)表示在大小为M×N的图像中，频率点(u,v)与频域中心之间的距离，其表达式如式(6)所示，w为本文算法为解决传统巴特沃斯低通滤波器存在对图像亮度V分量提升上限较低问题所设计的自适应权重值，其表达式如式(7)所示

(6)

(7)

其中，Vmax表示图像V分量中的最大灰度，Vmean表示图像V分量的平均值，VGmax和VGmin分别表示图像V分量的梯度最大值和最小值，VGmean表示图像V分量的梯度平均值，b为权重值微调因子，本文此处取该因子的大小为0.085，VG表达式如式(8)所示

(8)

1.4 亮度抑制

在利用巴特沃斯滤波器对低灰度等级层VL分量进行亮度增强处理时，无可避免的会造成原来的低灰度等级区域出现部分过度增强，为解决在整个算法流程中出现的这种局部过度增强的情况，提出了一种如下所述的亮度控制办法。首先利用正弦函数的周期性，对VL增强结果中出现过度增强的灰度等级进行压缩，(若图像VL分量中的某一像素灰度等级大于0.8，本文则认为该点像素已经出现了过度增强)，经灰度等级压缩后的VL分量灰度等级范围变小，有利于之后的灰度等级重新映射，此步骤中，对灰度等级的压缩操作表达式如式(9)所示。在灰度等级压缩之后，再利用式(10)所示的灰度等级映射函数对其进行重新映射，由于此步骤的主要作用在于过亮抑制，即新的图像灰度等级不能超过V分量的最大值，故新的映射函数的取值上限不能超过1。此方法的优势在于：在对亮度增强处理后的分量层实施亮度抑制操作时，能够仅对图像的过度增强区域进行操作，不会对非过度增强区域产生任何影响，从而不会降低图像整体的亮度

(9)

式中：VC(i,j)表示位于图像上的位置点处(i,j)的灰度级压缩结果，Vw(i,j)表示VL分量中出现过度增强像素点的值大小，N表示出现过度增强像素点的总和，当n的取值为0时，S0=0

(10)

式中：VM表示新的灰度等级映射结果，α为灰度等级映射范围调节系数，本文在此处取调节系数α的值为2.73。

以“Campus”图为例，该图像的过度增强区域控制对比如图3所示，图3(a)为出现过度增强的图像，图3(b)为使用所提亮度控制方法对图像过度增强区域进行亮度控制后的结果图像，结合两对比图可以看出，该方法对于图像中过度增强区域的处理效果较为理想，不仅能够实现对过度增强区域进行有效的亮度控制而且还保持了非过度增强区域的原有亮度。

图3 对过度增强区域的处理

1.5 平滑卷积算子

在对V分量进行全局卷积滤波处理之前，首先利用下式，将低灰度等级VL分量的最终处理结果与原高灰度等级VH分量进行融合，得到V分量的最终增强结果图像，分量融合表达式如式(11)所示

(11)

(12)

VR=V1⊗H

(13)

其中，H表示卷积滤波器的卷积核，VR表示V1分量的卷积结果，符号“⊗”表示卷积操作。

以“Campus”图为例，V分量的对比如图4所示，其中图4(a)为未处理的原始V分量，图4(b)为V分量的最终增强处理结果，对比图4(a)以及图4(b)可以看出该低照度图像的亮度得到了较好的改善，视觉效果提升明显，被原较低灰度等级区域所掩盖的图像信息得以暴露。从图像亮度V分量的对比图4(c)可以看出，原V分量的灰度等级主要集中于低灰度等级，经过本文所提算法处理后的V分量亮度有了非常明显的提升，如图4(d)所示，其灰度的等级分布主要集中于较高灰度等级。

图4 初始V分量与结果V分量

1.6 色彩饱和度S分量的自适应调整

低照度图像除了存在整体灰度等级较低和光照不均等问题以外，还存在其色彩饱和度值也较低的问题，而较低的色彩饱和度值会造成图像的色彩暗淡，逼真度较差，不符合主观视觉感受。针对此问题，本文设计了一种基于表达式(7)中引入的权重值w和表达式(10)中的灰度级映射调节系数α的自适应图像色彩饱和度值拉伸函数，该函数的表达式如式(14)所示，通过对色彩饱和度S分量进行自适应非线性拉伸来解决低照度图像色彩饱和度较低的问题

(14)

式中：S1表示拉伸后的图像色彩饱和度分量，S表示原图像色彩饱和度分量。

同样以“Campus”图为例来进一步说明该函数对S分量的作用结果，“Campus”图的S分量拉伸结果统计直方图对比如图5所示，对比图5(a)和图5(b)可以看出，相较于未拉伸的原S分量，经过自适应函数调整后的S分量表现出了明显的拉伸效果，“Campus”图像的最终增强结果原始输入图像的对比如图6所示，其中，图6(a)原始输入图像，图6(b)为最终的增强结果图像。

图5 初始S分量与结果S分量

图6 输入图像与最终增强结果

2 实验结果与分析

为验证本文所提算法的有效性与先进性，采用了4种图像增强对比算法进行对比实验，所采用的4种算法分别为：具有代表性的基于幂律函数的自适应Gamma矫正图像增强算法AGCWD，位于空域直接对图像进行处理的基于直方图均衡化的经典改进算法CLAHE，最近受到广泛关注的新型曝光图融合框架EFF算法以及采用了子图像多曝光直方图均衡化ESIHE算法[16,17]，4种对比算法与本文所提算法的最终实验结果对比如图7～图12所示。本文所提算法以及所有对比实验算法的实现均在MATLAB 2018b软件环境下完成，实验平台的操作系统为Windows 10，硬件系统运行内存为8 GB RAM，处理器型号为Intel(R)Core(TM)i5-5200U CPU@2.20 GHz。

图7 Square图增强结果对比

图8 Street图增强结果对比

图9 Ornament图增强结果对比

图10 Interior图增强结果对比

图11 Coastline图增强结果对比

图12 Capmus图增强结果对比

2.1 主观评价

就所有算法的增强结果对比图而言，4种对比算法和本文所提算法均取得了较好的增强结果，然而相较之下，AGCWD算法、CLAHE算法和ESIHE算法的亮度提升效果相对较低，其中AGCWD算法在色彩饱和度的控制方面表现较好，色彩失真度小，图像增强结果符合第一主观视觉感受，但是该算法对近景处的亮度提升效果不佳，经其处理后的图像近景处依旧存在大量的低亮度区域，该现象在图7以及图8的底部区域表现明显；CLAHE算法对图像色彩的处理效果较差，导致结果图中部分色彩出现了少许的色差，有色彩过于浓重的视觉感受，尤其是在图7、图11以及图12的天空区域，除此不足之外，在图7和图8的天空与建筑的相邻部分还出现了光晕现象；而ESIHE算法在近景处的提升效果大于远景处的提升效果，但是图像整体色彩偏灰，色调饱和度较差，图7、图8以及图12的天空区域色彩失真严重，与原图色彩具有较大偏差，且位于图11右上角的天空区域还出现了亮度不均的现象。相对来说，EFF算法与本文算法在图像的亮度提升方面总体表现较好，亮度提升幅度大，将两种算法的增强结果图进行对比可以看出，由于本文单独对图像的色彩饱和度进行了调整，故经本文所提算法处理后的图像色彩更加饱满，逼真度较高，更加贴合于图像中所表现物体的原有色彩，而EFF算法的整体色彩风格偏冷色调，色彩对比度较低。就主观评价来说，本文算法总体表现较好，其增强结果符合主观视觉感受。

2.2 客观评价

为从客观方面进一步验证本文所提算法的有效性，选取了两种基于无参考图像的图像质量评价指标PIQE、NIQE以及图像信息熵值ENT[18-20]共3种客观评价指标对本文的所有实验对比图进行质量评价，其中，评价指标PIQE、NIQE的测定结果值与图像质量成反比，即无参考图像质量评价指标PIQE、NIQE的测定结果值越小，图像质量越高，此两种无参考图像评价指标的测定值范围均在0～100之间；而信息熵值ENT的数值大小则与图像质量成正比，单幅图像的信息熵值测定值越大，表明该图像所包含的信息量越多，图像质量越高。3种图像质量评价指标的测定结果见表1(测定结果值均保留两位有效数字)，无参考图像质量评价标准PIQE和NIQE的折线图统计如图13、图14所示。

表1 客观评价结果

图13 NIQE折线图

图14 PIQE折线图

从表1中的数据统计结果可以看出，本文算法增强结果图像的3种评价指标值均取得了较好的测定结果值。两种无参考图像质量评价指标PIQE和NIQE的测定结果值表明，本文算法的图像处理结果相对4种比较算法的处理结果来说具有更好的数值测定结果，即本文算法的图像增强结果具有更好的色彩效果和较高的亮度，图像整体表现自然，更加符合人眼主观视觉感受；结合二者的折线统计图看来，本文所提算法结果图像的PIQE、NIQE测定值相对波动最小，说明该算法对低照度图像的增强效果较稳定。除此之外，综合所有增强结果图的ENT测定值可知，本文算法的最终测定结果值相对较高，没有位于测定结果值末尾的数据出现，该结果表明经本文算法处理后的图像相较于其它4种对比算法保有更多的图像信息。就客观评价而言，本文算法是一种较好的、有效的算法。

3 结束语

本文提出了一种类属于非物理模型的低照度图像增强算法，并采用了4种低照度图像增强算法与所提算法进行对比实验，以此来验证所提算法的有效性。最终，对比实验的主观评价结果和客观评价结果均表明本文算法是一种对低照度图像进行增强处理行之有效的方法，经本文算法增强处理后的图像色彩逼真、亮度提升幅度大、客观评价指标测定值较好，增强结果符合人眼主观视觉感受。相较于4种比较算法的增强结果，本文算法增强结果综合表现最优，能够满足低照度图像的增强要求。