结合注意引导网络的弱光图像增强算法①

黄 磊, 黄文准

(西京学院电子信息学院,陕西 西安 710123)

0 引 言

由于客观光照条件差和相机设备的限制,弱光成像在现实世界中是不可避免的。弱光图像整体亮度低,图像质量退化严重,如噪声、模糊等,不能充分表达自然拍摄场景中的信息,限制了图像的实际应用价值[1]。

近年来,研究人员关注于采用深度学习框架进行弱光图像增强。Liu等人[2]基于Retinex理论设计了RetinexNet,该网络结合了图像分解和照度映射,并引入了去噪工具BM3D[3]来处理反射分量,但增强后的图像颜色失真严重。为了获取更多的弱光图像信息,Zamir等人[4]提出了一种基于全卷积神经网络架构的弱光增强模型MIRNet,其结合了多尺度特征学习架构来提取图像深层语义,同时也引入了大量的计算量,导致模型的效率急剧下降。随后,Guo等人[5]提出了一种无监督模型Zero-DCE,其通过神经网络拟合亮度映射曲线来实现图像增强,这有效地改善了复杂神经网络架构对模型性能产生的影响,然而,这种架构在图像色彩恢复和亮度增强上仍然没法与有监督模型相比。为了实现高质量的图像增强,Wu等人[6]提出了URetinexNet,其整合了初始化,展开优化和光照调整三个模块来实现噪声抑制和细节保留。然而,引入大规模网络进行图像增强,不仅参数量庞大,在实际应用中,可能会导致巨大的延迟。

针对上述问题,提出了一个注意指导弱光增强网络来实现高质量的弱光图像增强。相比之前的工作,为了学习深层细节特征纹理引入了复杂的多尺度神经网络架构,削减了网络性能的同时也引入了昂贵的计算量。为此,通过引入注意指导网络来协助弱光增强网络有效学习多尺度特征,减少了冗余的上下采样多尺度架构。通过指导网络生成的照度-注意映射进行补偿,引导高分辨率分支生成精细的局部细节。噪声等退化信息的分布与环境信息密切相关。在聚合多尺度特征后,将来自不同尺度的特征作为输入连接到多尺度色彩校正模块MCRM,该模块从通道角度对多尺度特征进行再校准以实现高质量的色彩恢复并消除伪影。如图1所示,所提出的AGNet可以产生高质量的结果同时包含自然的视觉效果和局部细节。

1 方法论

1.1 整体架构

从弱光输入中恢复高质量图像的任务是一个挑战,因为在弱光条件下捕获的图像通常是暗淡和噪声的。想要得到高质量的弱光图像增强效果,不仅要有适当的亮度水平、还要有清晰的纹理,同时消除噪声和模糊等固有的退化。为此,提出了一个注意指导弱光增强网络AGNet以实现高质量的弱光图像增强,进一步提出了多尺度色彩矫正模块MCRM以增强图像色彩恢复。

AGNet的总体网络架构如图1所示。其中,弱光RGB图像同时作为注意指导网络和弱光增强网络的输入。在注意指导网络中,通过编码器-解码器来提取弱光图像的深层语义以生成对应的色彩照度映射Xref∈RH×W×3,并提取其RGB通道最大值得到照度-注意映射图Xbright∈RH×W×1。在弱光增强网络中,由多尺度卷积构成的特征金字塔架构被用来提取弱光图像细节和纹理,并在其解码部分引入生成的Xbright来引导图像色彩增强和实现图像噪声去除。为了进一步增强输出图像的颜色和对比度,在多尺度特征融合之后引入了一个MCRM以实现图像色彩再校准。最后,通过多个卷积模块对图像进行色彩重建,输出最终增强结果Xout∈RH×W×3。

综上,提出的AGNet通过引入注意引导网络不仅减少了冗余的上下采样多尺度架构,而且引入的照度-注意映射能够有效地引导图像色彩恢复,去除噪声干扰,从而得到更高质量的弱光增强图像。

1.2 多尺度色彩矫正模块

多尺度特征图包含了高级语义信息和低级细节信息,因此,通过聚合这些特征,能够有效增强弱光图像的细节和纹理信息的提取。然而,由于卷积的核大小是固定的,即使是高纬分支也无法捕捉全局信息。此外,处理这些多尺度特征的简单直接的网络结构甚至可能将噪声退化,看作成原始图像固有的特征,从而降低图像增强效果,导致生成低质量的增强结果。为此,提出了一种多尺度色彩校正模块MCRM来感知和利用合适的信息,如图2所示。

图2 MCRM结构

(2)

其中Concat(·)表示特征通道连接,MCRM(·)为MCRM模块。

1.3 损失函数

最小化损失函数可以拉近重构的图像与相应的真实图像之间的距离,从而实现训练过程。为得到高质量的重构图像和更贴近真实图像的重构效果,需要在训练中加入合适的损失函数。考虑到图像的结构信息、上下文信息和区域差异的存在,设计的损失函数由3部分构成:

Ltotal=Lperceptual+Lssim+Lmse

(3)

(1)感知损失:通过VGG网络计算高级特征,感知损失在上下文语义和结构信息的输入和输出之间架起桥梁,有助于获得高质量的视觉结果。感知损失定义为:

Lperceptual=‖Φij(Ipred)-Φij(Igt)‖1

(4)

其中Φij表示VGG-16网络中第i块的第j个卷积层计算得到的特征图。‖·‖1表示L1损失函数。

(2)结构损失:弱光图像增强时,经常会出现结构失真,如模糊等,从而降低了输出的质量。为了保证结构的一致性和高质量的输出,引入了结构损失。结构损失定义:

(3)均方误差损失:为了衡量生成图像和原始图像之间的像素级差异,引入了均方误差损失来计算生成图像和原始图像每个像素值的平方误差,以提高图像质量和视觉效果。

(6)

2 实验评估

实验使用Pytorch深度学习框架在NIVIDIA GTX 3080 GPU上完成。初始学习率被设置为5×10-4,每50个epoch下降1.2倍。选取了目前主流的LOL数据集作为模型训练样本,并分别在LOLv1[2]和LOLv2-synthetic[7]数据集上进行了验证测试。训练阶段,采用Adam作为优化器,对总计为600个epoch的所有参数进行优化。

2.1 主观视觉评价

2.1.1 LOLv1数据集的视觉比较

在LOLv1数据集进行了视觉对比实验,并选取了代表性结果如图2所示。从实验结果可以看出,大多数图像增强方法可以在一定程度上提高图像的亮度和对比度。然而,由于光线调节不够理想,图像中噪声干扰和颜色失真等严重视觉缺陷仍然存在,导致图像质量不尽人意。相比之下,提出的方法在这些方面表现突出,还能有效地减少伪影和其他退化现象的出现,从而获得更好的视觉效果。

图3 LOLv1数据集下的视觉对比

图4 LOLv2-synthetic数据集下的视觉对比

2.1.2 LOLv2数据集的视觉比较

为了更加全面地验证提出算法的增强效果,方法还在LOLv2-synthetic数据集上进行了测试。如图3给出的代表性实例所示,通过对比其他方法和本方法增强后的图像,可以看出,其他方法存在亮度过高、色彩失真、亮度增强不足、噪声严重等问题。而本方法面对这些问题表现得更好,可以更好地处理这些问题,使得增强后的图像更加接近自然,具有更高的真实感和良好的视觉效果。

2.2 客观指标评价

为了定量比较,选择了图像增强领域主流的评价指标PSNR,SSIM作为客观指标,还引入了LPIPS指标来进一步反映图像增强效果。LPIPS分数越低,预测图像与真实图像越相似,图像质量越高。为了进一步反映本文算法的有效性,选择分别在弱光数据集LOLv1和LOLv2-synthetic进行了评估测试。如表1和表2所示,与最先进的方法比较,方法所有指标下都取得了领先的性能。

表1 LOLv1数据集的定量比较

表2 LOLv2-synthetic数据集的定量比较

2.3 模型性能评价

为了证明方法的优越性,对模型的性能进行了评估。RetinexNet[2],MBLLEN[8],TBEFN[9],Zero-DCE[5],URetinexNet[6],SCI[10]和MIRNet[4]被选择作为比较模型,并且所有的模型均在LOLv1数据集上训练得到。如表3所示,无监督模型SCI表现出了极致的轻量化和高效的性能,然而其在弱光图像增强表现并不出色,相比之下,所提出的模型在弱光图像增强方面给人留下了深刻的印象。此外,在模型参数量和计算量上也得到了明显的优化,并且能够保证实时性。

表3 输入图像分辨率为600×400下模型性能比较

3 结 语

提出了一个注意指导弱光增强网络AGNet,该网络可以合理地增强弱光图像的亮度,实现像素特征在输入和输出上的精确映射,获得良好的纹理。特别注意的是引入注意指导网络来协助网络训练,其有效避免背景噪声的干扰,减少了将伪影识别为固有特征的概率。此外,引入多尺度色彩校正模块MCRM来重构和融合多尺度特征,进一步增强了弱光图像色彩恢复。在主流数据集上的实验结果表明,该方法优于现有的方法。在未来的工作中,计划将其应用于弱光场景下目标检测任务。