基于非凸约束和噪声抑制的图像增强算法

黄福珍, 周 益, 王 奎

(上海电力大学自动化工程学院,上海 200000)

0 引言

高能见度的图像能够反映目标场景的清晰细节,作为视觉信息的主要载体,对于物体检测与跟踪等基于视觉的技术至关重要。然而,在低光照目标场景下,摄像机传感器的输出图像往往会产生退化,噪声的内在原因是不可避免的,因此,通过图像增强技术提升图像质量具有重要的研究价值。

目前图像增强方法主要包括直方图均衡化(Histogram Equalization,HE)[1]、深度神经网络[2]和Retinex模型等。直方图均衡化主要是通过扩大动态范围来提高对比度从而获得更好的可视性,但是会降低边界处的清晰度;深度神经网络是图像增强中的一种有效工具,它可以学习正常光和低光照图像对之间的映射函数。然而在有监督的情况下,大多现有方法高度依赖于成对的训练数据集,这是不容易大规模收集的,即便是无监督的生成式对抗网络[3],随着模型复杂度的提升,同样会产生高额的运算成本。

模拟人类视觉机理的Retinex理论,由于其模型具有高效、简洁的特点,在图像增强任务中得到了学者们的广泛研究。单尺度Retinex算法[4]、多尺度Retinex算法[5]和带颜色恢复的多尺度Retinex算法[6]用高斯函数作为中心环绕函数,在对数域中剔除光照,得到增强的反射图像。由于高斯函数估计的照度无法满足光照分布情况,因此,增强结果常常会存在边缘泛灰和细节模糊现象。于是,有学者将具有平滑保边特性的双边滤波[7]、引导滤波[8]和加权最小二乘滤波[9]等分别引入中心环绕函数,但粗糙的照度使得增强结果往往不能令人满意。GUO等[10]通过施加一个结构先验来细化光照图,采用了三维块匹配去噪算法(Block-Mat-ching and 3D filtering,BM3D)进行去噪后处理,但图像高光区存在过曝现象。文献[11]提出鲁棒Retinex模型(SRLLM),使用范数来约束照明的分段平滑度,采用反射率梯度保真项来突出图像的细节,并首次尝试从鲁棒Retinex模型中估计噪声,最后用增广拉格朗日乘子交替方向最小化算法来优化模型。但对于低照度图像,增强图像时会因为光照不均匀导致局部过度增强。张红颖等[12]提出HSV空间的Retinex-Net模型,该模型将RGB图像转换成HSV分量,通过对V分量增强图像照度,相关系数调整饱和度分量,以增强图像;黄辉先等[13]提出AM-Retinex-Net模型,该模型将低照度图像分解为缓变平滑性光照图和不变性反射图像,利用注意力机制增强图像空间与局部信息,进而实现图像增强处理,但处理后图像易出现颜色失真,增强图像整体光照分布不均、视觉不佳,无法满足照度不均场景;苏康友等[14]通过引入颜色恢复因子调节三原色比例关系,调整图像三原色通道内的像素数值,并利用Gamma校正方式替换直方图拉伸时的线性映射,提升增强后的图像对比度,但在图像色差不明显的情况下处理效果不显著,容易导致图像增强过度或不足、细节不明显、噪声等问题出现。

针对上述不足,提出了一种基于非凸约束和噪声抑制的图像增强算法。利用重新定义的Retinex模型,分别在HSV和RGB空间下构建了照度估计和噪声抑制的目标函数。为了解决非凸约束问题,采用了交替变量分裂法求解照度估计函数。在分离噪声时,采用一种基于增广拉格朗日乘子的交替最小化算法求解噪声抑制函数。同时,为了提升计算效率,采用二维快速傅里叶变换加速求解过程,将经Gamma调整后的照度图像与反射图像组合,并叠加输入图像的Laplace图像,得到输出的增强图像。最后,通过实验验证了本文算法的有效性。

1 模型构建

一幅输入图像可在Retinex模型下分解为反射图像和照度图像,反射图像反映图像的固有属性,照度图像决定图像的动态范围,由于增强低能见度图像的同时会放大噪声,于是考虑噪声的影响,Retinex模型中被引入噪声项N[15],表达式为

I=R∘L+N

(1)

式中:I为原始输入图像;R为反射图像;L为照度图像;∘表示元素的乘积。

在照度足够准确的条件下,噪声项可以继续分解,即噪声是可以独立于照度图像而存在的。换句话说,式(1)中的噪声项N应该来自于反射图像的噪声借助照度图像映射而成。因此,本文重新定义了带有噪声项的Retinex模型,为了方便表述,将原始图像的噪声记为NI,反射图像中的噪声记为Nn,表达式为

(2)

2 算法设计

本文算法将输入图像转换到基于人类视觉系统的HSV空间,提取图像亮度分量,并通过构造照度估计非凸目标约束获得照度图像。在RGB空间,建立了一种噪声抑制目标约束函数,从反射图像中剔除噪声。Gamma调整照度图像,与经过抑噪的反射图像组合,并叠加输入图像的Laplace图像,得到输出的增强图像。本文算法流程如图1所示。

2.1 照度估计

一幅准确的照度图像应当符合光照变化的分布特性,具有保留灰度变化较大处的整体结构,同时平滑掉弱小纹理的特点。为此,本文基于梯度最小化的平滑滤波器[16],构造了一种照度估计的目标约束,表达式为

(3)

(4)

式(4)为有等式约束的最小化问题,可写成

(5)

式中,λ3和λ4为正常数参数。对式(5)中各个变量进行迭代更新,同时将在之前迭代中计算的其他变量视为常量,从而可以求得等效目标函数的解。本文推导了以下各个子问题的t次迭代解。

1)W子问题。

从式(5)中去掉不涉及W的项,得到一个光滑的凸函数为

(6)

直接对其求导并进行二维快速傅里叶变换得

(7)

2)Ud子问题。

去掉式(5)中不包含Ud的项,得到非凸函数为

(8)

(9)

(10)

(11)

与式(6)的推导类似,对式(11)求导,合并同类项得

(12)

解得

(13)

保持参数λ1值为0.02,λ3的初值为0.04。通过改变附加参数对(λ2,λ4)发现,随着λ2的增加,图像会平滑且越来越暗;当λ4增加时,图像结构纹理会越来越突出。

为了使图像纹理得到平滑的同时,获得良好的边缘效果,将λ2,λ4分别设置为0.005和2。不同附加参数对下的照度图像如图2所示。

2.2 噪声抑制

接下来,在RGB空间中提取输入图像的红色、绿色和蓝色三通道,利用式(13)获得的照度图像,计算每个通道上的反射图像。为了抑制图像噪声,直接从反射图像中分离噪声,建立一种可以抑制噪声的目标函数,表达式为

(14)

(15)

迭代更新式(15)各个变量,将前一次迭代更新后的变量作为常数,从而可以求得等效目标函数的解。本文推导了以下各个子问题的次迭代解。

1)R子问题。

只考虑与R有关的项,可以优化得到一个经典的最小二乘问题,即

(16)

令其导函数等于零求解并经过二维快速傅里叶变换得

(17)

2)Nn子问题。

忽略与Nn无关的项,得到光滑的凸函数,

(18)

求得

(19)

3)G子问题。

去除不包含G的项,优化得到

(20)

通过迭代阈值收缩,解得

(21)

Sε(x′)=sgn(x′)max(|x′|-ε,0)

(22)

其中,Sε表示软阈值收缩算子,可扩展到矩阵按元素处理。

4)Z和μ更新为

(23)

不同正则化参数对(μ1,μ2)下的反射图像见图3。

图3 不同正则化参数对下的反射图像

由图3可以看出,当μ1增加时,反射图像趋于平滑。当μ2较大时,由于其约束了噪声的强度,反射图像保留了较多的噪声。为了达到较好的噪声抑制效果,将正则化参数对初始化为(10,0.1)。在大多数情况下,预设的正则化参数对能产生良好的结果。

2.3 图像重构

(24)

式中,经验值γ设置为2.2。

3 实验与分析

本文使用的笔记本电脑配置为64位Windows10系统,6 GiB RAM,主频2.20 GHz,搭载Intel i5处理器。

为了证明本文算法的有效性与通用性,分别选取真实生活场景中的图像和低照度(Low Light,LOL)公共数据集,将本文算法与LIME[17],Retinex-Net[18],KinD++[19],DRBN[20]等当下流行的几种算法进行定性与定量比较。

3.1 定性比较

选取真实生活场景中的低照度图像,并挑选其中3幅分别为逆光、不均匀光和夜间图像,将本文算法与LIME,Retinex-Net,KinD++,DRBN算法进行对比,不同算法下的低照度图像增强结果分别如图4、图5、图6所示。

图4 不同算法下的逆光图像增强效果

图5 不同算法下的不均匀光图像增强效果

图6 不同算法下的夜间图像增强效果

从图4～6能够看出:LIME算法使得图像较亮区域产生了过增强现象,特别是图6(c)的室内光源处,过高的亮度使得发光源难以区分;图6(d)经过Reti-nex-Net算法增强的结果不够自然,表现在图6(d)的地面上;KinD++算法增强的图4(e)面部轮廓不够突出,下颚周围较为模糊。DRBN算法增强效果不显著且图像的噪声抑制效果不佳,具体表现在图5(f)的树枝周围;而本文算法在3幅图像上都有较好的增强效果,更加接近于真实场景。

同时,为了验证所提算法的通用性,选择典型的LOL公共数据集进行对比实验。LOL数据集是典型的在一定光照条件下的低照度数据集,选择其中3幅图像将本文算法与上述几种典型算法进行对比分析,具体结果如图7所示。图7(a)～7(c)从左至右分别为原图,LIME,Retinex-Net,KinD++,DRBN,本文算法。

图7 LOL数据集中低照度图像增强实验对比

从图7可以看出,针对LOL公共图像数据集,不管是低光条件下的彩带,还是略显黑暗的书桌和洗衣房,本文算法在光照和噪声抑制上都能有一定程度的提升。对比结果表明,本文算法不但使得图像可视性提高,而且在抑制图像更多噪声的同时,很好地保证了图像的自然度,增强结果更加接近于真实场景,取得了更令人满意的视觉效果。

3.2 定量比较

在图像质量领域中,峰值信噪比(PSNR)是图像空间域统计特性评价标准,可以用来衡量图像失真程度,其值越大,表明失真越少。结构相似性(SSIM)是用来衡量两幅图像相似度指标,在[0,1]范围内,其值越大,表示两幅图像的结构相似性越好。

通过这些指标可以证明图像重建任务是否更加有效,但近些年人们发现高的PSNR或SSIM不一定能代表更好的重建质量,因为在高PSNR或SSIM的图像中其纹理细节并不一定符合人眼的视觉习惯。因此,NIQE(Natural Image Quality Evaluator)也逐渐成为有效的评判图像质量的指标之一,NIQE的数值越大,表示增强效果越差。

综上,在定性比较的基础上,采用PSNR,SSIM,NIQE这3大客观指标平均值来评估本文算法的性能。首先,在自选的生活场景下低光照图像实验性能指标见表1。

表1 自选数据集性能指标

由表1可以看到,在自选图像下本文算法的性能相比其他算法均有不同程度的提升。

在LOL数据集上进行对比实验,3项性能指标平均值的结果如表2所示。

表2 LOL数据集性能指标

由表2可以看出,本文算法在3项指标上均有所改进。综上,经过多次主客观对比实验,验证了本文算法的有效性、通用性以及优越性。

4 结束语

本文提出了一种基于非凸约束和噪声抑制的图像增强算法,改进并求解了一种照度估计的目标约束,能够有效地保留图像的边缘结构,以获取更为准确的照度图像。通过对噪声分解,重新构造了带有噪声项的Retinex模型。在此基础上,设计了一种噪声抑制的目标约束,并采用基于增广拉格朗日乘子的交替最小化方法对其闭式解进行了推导,经过图像重构输出最终的增强结果。

为了证明本文算法较其他算法有着更好的效果,本文做了大量对比实验,验证了本文算法的增强结果不但失真程度最低,能够保持图像的色彩,而且在兼顾噪声抑制效果的同时,具备较高的信息丰富度,同时在SSIM,PSNR,NIQE性能指标也均有所提升。