基于双频域特征聚合的低照度图像增强

徐胜军，杨 华*，李明海，刘光辉，孟月波，韩九强

1 西安建筑科技大学 信息与控制工程学院，陕西 西安 710055；

2 西安市建筑制造智动化技术重点实验室，陕西 西安 710055

1 引言

道路监控是智慧交通领域的重要组成部分，然而在低照度条件下的夜间场景中，摄像头采集到的图像亮度、对比度较低，且存在较多噪声颗粒，这为交通监管领域重要目标检测、识别等视觉任务带来了难度。低照度图像增强可以有效改善图像视觉效果，然而原始图像画质较低，不合理的降噪策略容易造成纹理模糊等图像退化问题，使得低照度图像增强任务具有较大的挑战性[1]。

已有低照度图像增强算法分为传统方法和基于深度学习的方法两类。传统低照度图像增强方法主要以直方图均衡化(histogram equalization，HE)和基于Retinex 理论的方法为主。Li 等[2]针对低画质图像难以保留细节信息的问题，提出了一种基于融合的QCFs低照度图像增强方法，将全局QCFs 图像和局部对比度受限HE 图像相融合来提高图像画面质量。Pan 等[3]基于Retinex 理论利用亮度增强函数(BEF)和自适应对比度增强(IACE)进行多尺度融合，使用高斯拉普拉斯金字塔对增强估计的光照图进行改善。李平等[4]设计了单尺度Retinex 自适应增强方法，通过引导滤波对图像照度分量进行评估，再经过Gamma 矫正光照图以实现自适应图像增强。

由于深度学习发展迅速，在低照度图像增强领域的应用也越来越广泛。Zhao 等[5]受到Retinex 理论的启发，提出了一种基于视网膜的光照注意力网络(retinex-based illumination attention network，RIANet)，采用多分支结构来提取不同感受野下的光照特征，构建照明注意力块来缓解图像光照不均、对比度低等问题。Wu 等[6]提出了一种基于视网膜的深度展开网络(retinex-based deep unfolding network，URetinexNet)，通过隐式先验正则化模型设计迭代学习模块，循环分解图像实现噪声抑制和照度调整。Jiang 等[7]针对分解得到反射图存在较多噪声的问题，提出了一种无监督分解与校正网络(unsupervised decomposition and correction network，UDCN)，通过无监督噪声降噪网络(noise remove network,NRN)以HE 增强图像为参照对象，在内部一致性约束、混合无参考质量感知损失函数的指导下去除阴影噪声。虽然基于Retinex 理论和卷积网络通过调整分解光照分量的方式实现了低照度增强，但是基于Retinex 理论和卷积神经网络的结构中，空间域的卷积堆叠操作容易损失图像结构信息，不合理的降噪策略难以区分高频信息与噪声信号，导致光照图对图像空间信息表征能力减弱，反射图在降噪过程中容易丢失纹理结构。

为解决上述问题，研究者们通过二维傅里叶变换(fast Fourier transform,FFT)将空间图像分解为不同频率、方向复平面波之和的形式，并用复数矩阵存储平面波的波动大小和平移量，利用卷积神经网络学习复平面信息分布以抑制异常峰值点，从而提高网络区分噪声信号和纹理信息的能力。Li 等[8]提出了一种超高清傅里叶低照度增强网络(embedding Fourier for ultra-high-definition network，UHDFour)，构建傅里叶卷积模块对振幅图和相位图进行分离处理，在傅里叶频域通过振幅图调整低照度图像亮度值，融合后的增强图像避免在增强亮度的同时放大噪声。Zhang 等[9]为避免图像数据非线性映射到RGB 色彩空间引入额外的噪声和伪影，提出了一种基于空间到光谱的跨尺度低照度增强网络，通过在三分支上嵌入快速傅里叶卷积块(FFC)和Transformer 块，以扩大感受野范围和聚合多尺度特征。Hai 等[10]提出了R2RNet 网络实现低照度图像增强，利用空间信息提高图像亮度、对比度，同时通过FFT 提取频域特征来保留图像细节信息。Lin 等[11]为解决弱光环境下的增强过程中，容易造成过度曝光和局部模糊的问题，提出了一种基于退化特征向量引导的低照度网络，在提取到暗区和亮区上退化特征向量的基础上，设计快速傅里叶残差注意力块(FFR-DG)，指导网络恢复图像细节特征。然而，频域卷积是通过引入快速傅里叶变换将RGB 图像信号映射到频域向量空间并进行处理的方法，频域特征图上很小的扰动都会影响空间域全局图像的变化，容易导致低照度增强图像纹理细节模糊和空间结构信息损失。

小波变换(wavelet transform，WT)能够实现对图像全局空间信息的局部分析，通过伸缩平移运算对特征图逐步进行多尺度细化，区分高、低频率特征以避免相互之间的干扰影响，从而聚焦到任意频率特征细节处进行分析，提高网络恢复低照度图像细节方面的能力。Xu 等[12]为充分利用光照信息改善图像质量，提出了一种基于光照引导的小波注意力网络(illumination guided attentive wavelet network，IGAWN)，通过注意力小波变换层(attention wavelet transform layer，ADWT)对图像高、低频率进行分离，增强图像小波域的重要特征的表达并抑制冗余的噪声信号。Fan 等[13]提出了一种M-Net 的半小波注意力网络(half wavelet attention M-Net，HWMNet)，在不同尺度的特征层上使用半小波注意力块以丰富小波域的特征，通过融合不同分辨率图像来丰富特征图的上下文信息，改善下采样造成的空间信息损失。胡聪等[14]为改善空间域卷积运算造成结构信息损失，提出了一种融合半波注意力模块的低光照图像增强算法，利用半波注意力模块获得采集小波域特征的能力，提高网络恢复图像细节特征的能力。Chen 等[15]提出了一种基于注意力的广义引导网络(attention-based broad self-guided network，ABSGN)，在小波域的低分辨率特征图上利用全局空间注意力块(GSA)关注上下文信息，采用多级引导密集块(MGDB)融合多尺度特征图，提高特征映射重用性，但是直接在小波域进行图像降噪任务需要网络具有较好的特征表征能力，以充分提取全局和局部的特征，导致网络运算成本的增加。

综上所述，虽然深度学习实现低照度图像增强已取得一定的效果，但在增强亮度、对比度的同时，容易放大阴影噪声，不合理的降噪策略常导致图像信息损失严重，出现不同程度的细节模糊，尤其对于画面质量较差的低照度图像，往往难以恢复丢失的纹理结构。为解决上述问题，提出一种基于双频域的特征聚合网络(dual frequency domain feature aggregation network，DF-DFANet)。首先，设计频谱光照估计模块(FDIEM)，通过傅里叶域频谱特征图提取低照度图像全局特征，在频域拉升图像亮度的同时减少对噪声信号的响应。其次，提出多谱双注意力模块(MSAM)，利用空间、通道注意力机制使得网络关注小波特征子图上重要特征，提高网络恢复图像细节信息的能力。最后，构建双域特征聚合模块(DDFAM)自适应学习不同像素级特征调整权重参数，并通过复数域卷积促进融合特征信息，增强图像色彩表现的自然性和纹理细节的丰富性。

2 基于双频域的特征聚合网络

为了解决低照度图像增强过程中容易出现噪声放大、纹理模糊等退化问题，提出了一种基于双频域的特征聚合网络，该网络主要由傅里叶域分支、小波域分支和双域特征聚合模块构成。其中傅里叶域分支，通过快速傅里叶变化使得浅层特征图具有全局感受野信息，由频谱光照估计模块(FDIEM)构建共轭约束条件提取丰富语义信息，逐层融合不同尺寸特征图并得到精细化的光照图；小波域分支主要由空洞卷积和多谱双注意力模块(MSAM)组成，结合通道和空间维度强化子空间特征纹理细节信息；双域特征聚合模块(DDFAM)自适应融合分支特征图，引导不同维度特征图之间相互信息互补，进一步提升融合图像颜色纹理特征的表达能力。所提DF-DFANet 网络结构如图1 所示。

图1 DF-DFANet 网络结构Fig.1 DF-DFANet network structure

2.1 频谱光照估计模块

针对空间域卷积神经网络在低照度图像增强过程中，提升图像亮度、对比度的同时容易放大阴影噪声的问题，提出一种频谱光照估计模块(frequency domain illumination estimation module，FDIEM)，首先，在傅里叶分支上低照度输入图像通过快速傅里叶变换从空域转换到频域表示，频域特征矩阵中实部表示为振幅，虚部表示为相位，则分解得到振幅图和相位图分别包含图像的亮度和噪声信息[8]，对其各自进行复数卷积运算[16]可有效避免图像亮度提升对噪声放大的影响。此外，傅里叶域特征图具有覆盖全局图像的感受野[17]，使得浅层网络获得包含全局上下文信息的特征图，提升网络对低照度图像的提取和表征能力。二维图像连续傅里叶变换、离散傅里叶变换和离散傅里叶逆变换计算表达式如下：

式中：x、y表示图像空间域像素点坐标，u、v表示傅里叶频域特征图点坐标，M、N表示分别图像长、宽，f(x,y)表 示输入的低照度图像，F(u,v)表示傅里叶频域特征图。

其次，通过频谱光照估计模块分离频谱特征图复数矩阵的实部与虚部，获得包含颜色纹理信息的振幅图和包含语义信息的相位图。根据傅里叶变换的共轭对称性，任意一个信号序列都可由其共轭对称序列与共轭反对称序列和的形式表示，利用复数卷积层构建二维傅里叶共轭对称约束条件对，从而实现频谱光照估计模块。在经过卷积网络反向传播求导更新权重参数后，实现利用相位图的语义信息引导振幅图关注重要频率特征，并抑制无关噪声信号响应以达到图像降噪效果。频谱光照估计模块构建的共轭对称约束条件对计算表达式如下：

式中：FP为原始相位特征，FA原始振幅特征，φ (·)、ϕ(·)为 互不相关的卷积运算，为相位特征增强结果，为振幅特征增强结果。

最后，高分辨率特征图和低分辨率特征图具有相似的振幅图，从而实现通过获取低分辨率的振幅图来调整高分辨率的亮度值，降低网络计算成本，所以将不同尺度的特征图采用逐步上采样组合的方式[18]获得亮度增强后的照度图，提高网络特征图的融合效率[19]。频谱光照估计模块如图2 所示。

图2 频谱光照估计模块结构Fig.2 Structure of spectral illumination estimation module

在频谱光照估计模块中，令输入振幅矩阵和相位矩阵分别为FA、FP，并送入各自分支的复数卷积层中，再经过层归一化和激活函数得到共轭约束关系输出结果，并且循环其输出结果作为下一层复数卷积输入，从而获得增强频域特征的振幅和相位图。频谱光照估计模块计算表达式如下：

式中：R表示ReLU 激活函数，N表示层归一化操作，C表示复数卷积层，FAi表示第i个层的振幅特征图，FPi表示第i个层的相位特征图。

2.2 多谱双注意力模块

针对复杂弱光环境下难以提取低照度图像深层特征的问题，常用网络通过空间域卷积层堆叠的方式从而获得更大的感受野范围，但容易导致图像结构信息的损失。为解决此问题，提出一种多谱双注意力模块(multiple spectral attention module，MSAM)，在小波域分支上，通过连续空洞卷积扩大特征图感受野范围，并引入多谱双注意力模块。该分支利用小波变换将图像投影到由尺度函数和小波函数簇构成的子空间，实现对特定信息分量的分离与观测，提高网络对细节特征的表征能力。然而对所得特征图进行简单的相加或拼接操作未曾考虑小波低频和高频特征系数分布的不同，容易造成细节信息丢失，并且在提取高频细节特征操作中容易保留阴影噪声，因此引入注意力机制可以进一步促进有用特征的频率响应，通道和空间注意力机制并联的结构设计有效缓解了不同注意力先后排列顺序造成的特征差异[20]。二维小波变换、离散小波变换和离散小波反变换计算表达式如下：

式中：φ (x,y)表 示二维尺度函数，φ(x)、φ(y)表示一维尺度函数，ψH(x,y)、ψV(x,y)、ψD(x,y)分别表示沿水平、垂直、对角线方向变化的二维小波函数，ψ (x)、ψ(y)表示一维小波函数。i表示方向小波，M、N表示图像长、宽，f(x,y)表 示输入图像，j0表示任意的开始尺度，Wφ(j0,m,n) 表示图像在尺度j0处的近似系数，表示对图像附加水平、垂直和对角方向的细节系数，H、V、D 分别表示水平、垂直、对角线方向。

首先，堆叠多个空洞卷积提取图像结构特征并设置不同大小空洞率的卷积，在扩大特征提取范围的同时避免出现网格伪影。其次，在级联卷积层之间嵌入多谱双注意力模块，对输入图像进行分解得到低频特征和高频特征，并沿其水平、垂直和对角线方向进行重构，所得子特征图是空间域特征在小波组合频段的表示，从而提升网络对图像边缘和纹理结构的特征响应。然后，通过并行注意力机制对特征图在空间和通道维度上进行加权，强化重要目标特征的显著性区域，自适应调整不同通道特征图的权重分布。最后，利用1×1卷积将高频特征系数重构到低频特征图，对其进行逆小波变换形成包含丰富上下文信息的图像轮廓特征图。浅层特征图经过级联空洞卷积和多谱双注意力模块提取小波域细节特征，输入特征先经过单个空洞卷积层获得输出特征图FDi，i∈{1,2,3,···,n}，令其空洞率为d，d∈{1,3,···,2×(n−1)+1}。然后，多谱双注意力模块将空间域特征图转换到小波域进行处理，令模块输出特征图为FWAMi，i∈{1,2,3,···,n}。最后，将级联空洞卷积和多谱双注意力模块各阶段输出特征图进行通道堆叠操作，令卷积融合后的输出特征图为FW。小波域分支计算表达式如下：

式中：Conv为卷积融合操作，Cat为通道堆叠，DConv为 空洞卷积，i为第i个小波注意力块，FWAMi为第i个小波注意力块输出特征，FW为小波域分支部分输出特征图。

由于网络空间域和傅里叶域的卷积操作，容易造成图像空间信息损失，加入多谱双注意力模块实现恢复图像细节信息。首先，可逆的小波变换过程对图像特征具有分离特性，将包含低频信息、水平高频信息、垂直高频信息、对角高频信息的子空间特征图进行通道堆叠。其次，利用空间和通道注意力机制给予不同频率的特征图以相应的权重参数，增强特征图中细节信息的表达，同时抑制不同频率中的噪声信号。最后，将各个维度特征图进行通道堆叠操作，经过卷积融合操作后的特征图与输入特征图逐像素相加，增强特征重用和信息流动。多谱双注意力模块结构如图3所示。

图3 多谱双注意力模块结构Fig.3 Structure of multiple spectral attention module

首先，在多谱双注意力模块中，令模块输入特征为FD，经过小波变换操作后获得小波域的特征图为Ffw，Ffw∈RC×H×W，将其沿水平和垂直方向对其低频、水平、垂直、对角信息子空间特征图做通道堆叠处理，得到堆叠后特征图为Ffwvh，。其次，令经过空间和通道注意力机制的输出堆叠特征图为Fwsca，。最后，利用3×3 卷积对特征图进行降维，并通过残差连接对输入和输出特征图进行逐像素相加操作。多谱双注意力模块计算表达式如下：

式中：FD为 模块输入特征，Conv3(·)、Conv1(·)分别为卷积核大小为3×3、1×1 的卷积运算，DWT[·]为小波变换操作，CatDHVA[·]为按水平、垂直方向堆叠操作，Ffwvh为 子空间特征图通道堆叠输出，SA(·)、CA(·) 分别为空间、通道注意力运算，Fwsca为空间通道注意力输出特征，FWAM为多谱双注意力模块特征输出。

2.3 双域特征聚合模块

虽然融合不同维度的特征图可以互补相关信息，有效增强网络对特征的表达能力，但是特征图逐像素相加或相乘的融合策略难以有效利用不同特征图相关信息的空间映射关系，常导致特征融合操作图像细节增强效果不佳。为解决此问题，提出一种双域特征聚合模块(dual domain feature aggregation module，DDFAM)。由于傅里叶域和小波域的处理过程相互独立，作为该模块输入的光照图和细节图具有不同的特征分布，通过自适应计算两个特征图的权重比例关系以实现在融合过程中的软注意力机制[21]，提高网络在恢复低照度图像光照和细节方面的能力。因此，首先将傅里叶域分支输出光照图和小波域分支输出细节图进行通道堆叠，并利用softmax 激活函数赋予每个像素权重系数，实现特征图之间相关信息的映射。然后通过得到的权重系数对两个特征图进行逐像素相乘与相加操作，对融合特征图进行像素级细节调整。最后结合傅里叶域特征图具有全局感受野的特性[22]，利用复数卷积将实数域特征图映射到复数域空间，提升网络在复数特征空间的表征能力，融合不同分支上特征图可有效增强网络对图像恢复纹理结构的能力，提高增强图像的视觉感知质量。双域特征聚合模块结构如图4 所示。

图4 频域特征聚合模块结构Fig.4 Structure of frequency domain feature aggregation module

在双域特征聚合模块中，令傅里叶域分支和小波域分支输出特征作为模块输入特征FF和FW，按通道维度堆叠后的特征图为FFW。然后，经过softmax 激活函数计算得到参数权重矩阵为wf、ws，其与输入特征图逐像素相乘得到像素级增强后的特征图Ffs和Fws。最后，增强后特征图Ffs和Fws进行相加融合并作为傅里叶域卷积块输入特征Ffcin，分别对其实部和虚部进行卷积运算，在全局范围感受野下增强融合效果，获得双域特征聚合模块输出特征图FM。其计算表达式如下：

式中：Softmax(·)为 softmax激活函数运算，wfs、wws为 激活函数计算结果权重矩阵，⊗为逐像素相乘运算，⊕为逐像素相加运算，Ffcin为像素级增强后的特征图，fFFT、fIFFT为傅里叶变换和傅里叶反变换，FM为模块输出特征。

2.4 损失函数

损失函数使用常用的结构损失函数、感知损失函数和傅里叶损失函数，则网络总损失函数定义为三部分损失函数加权和的形式，如式(12)所示。

式中：根据经验值设置权重α、β分别为0.2、0.1，Lssim表 示结构损失函数，Lperc表 示感知损失函数，Lfourier表示傅里叶损失函数。

结构损失函数为避免逐像素计算差异的方法造成图像模糊，通过将图像属性中的亮度、对比度和结构信息进行分离，用均值作为亮度的估计，标准差作为对比度的估计，协方差作为结构相似程度的度量，排除亮度和对比度对结构相似性的影响，提高网络对纹理结构的重建恢复能力。令Lssim表示结构损失函数，如式(13)所示：

式中：µS、µSˆ分别表示预测图像Sˆ和真实图像S的均值，σS、σSˆ分别表示预测图像Sˆ和真实图像S的方差，σSSˆ表示预测图像Sˆ和 真实图像S的协方差，c1、c2表示维持数值稳定的常数，沿用文献[23]的方法设定c1=(k1L)2、c2=(k2L)2，L表示图像像 素值的动态范围，k1=0.01、k2=0.03。

感知损失函数[24]利用欧式距离计算特征图之间的差值，通过固定VGG19 网络提高对浅层颜色纹理特征和深层高级语义特征的感知能力，使得增强图像具有更好的视觉性能。令Lperc表示感知损失函数，如式(14)所示：

式中：t表示VGG19 预训练权重第t层，Ct、Ht、Wt分别表示VGG19 预训练权重第t层特征图的通道数、宽、高，第t层的特征图的尺寸大小，Pt表示VGG19 预训练权重第t层特征，Sˆ表示预测图像，S表示真实图像，‖ ·‖2表示L2 范数。

傅里叶损失函数通过计算真实图像和预测图像的振幅图和相位图之间平均差[25]，引导网络从频域角度恢复纹理特征实现对空间域特征图的补充，最小化真实图像与预测图像之间的差距，提高网络对频域特征的敏感性。令Lfourier表示傅里叶损失函数，如式(15)所示：

式中：N表示图像像素点，Cat[·]表示特征图拼接操作，Sˆ表示预测图像，S表示真实图像，A、P 分别表示图像的振幅图和相位图。

3 实验和结果分析

3.1 实验数据集及平台参数设置

实验平台采用Intel(R) Xeon(R) Gold 6130 处理器，128 GB 内 存，NVIDIA RTX 2080Ti 11 GB 显 卡，Ubuntu 18LTS 操作系统，环境配置为CUDA10.2+Python3.6.9+Pytorch1.6。低照度图像增强对比实验数据集包括：LOL、MIT-Adobe FiveK。

LOL 数据集是来自于真实场景下的500 对低照度图像，通过改变采集设备的感光度和曝光值，并进行拍摄以获得低照度图像和相应的正常曝光图像。由于LOL 训练数据集数量较少，为避免出现过拟合现象，对正常曝光图像进行亮度调整，得到不同亮度等级的低照度图像10000 张，并对其进行反转、旋转等数据增强处理以达到扩充数据集的目的。MIT-Adobe FiveK 数据集是通过调整相机传感器参数模拟模拟相机曝光过程制作，对5000 张原始RGB 图像调整曝光值，模拟非线性渲染过程实现不同曝光水平的图像，最终得到24330 张具有不同曝光设置的8 位sRGB 图像。实验所用数据集组成图像拍摄场景多样化且内容丰富，图像光照条件多变，使得这些数据集在低照度实验中具有较强的泛化能力和鲁棒性。

网络训练优化器使用Adam 优化器，初始学习率设置为0.0001，在训练任务完成 20 轮之后学习率衰减10 倍，网络迭代次数epoch 设置为200，batch size 为8，patch size 为256。训练过程中，按照8:2划分为训练和测试数据集，对 400×600 原始图像进行随机裁剪选取256×256 图像块作为网络输入。

3.2 评价指标

客观评价评价指标采用峰值信噪比(PSNR)、结构相似性(SSIM)、学习感知图像块相似度(LPIPS)。各类评价指标定义如下：

峰值信噪比(Peak signal to noise ratio，PSNR)是衡量图像含噪声程度的指标，单位为dB，如式(16)所示：

结构相似性(structural similarity，SSIM)是一种基于人眼视觉感知的图像质量评估方法，从亮度、对比度和结构三个维度来评估图像之间的相似度，如式(17)所示：

学习感知图像块相似度(Learned perceptual image patch similarity，LPIPS)是用于衡量增强图像和真实图像之间差异量，如式(18)所示：

式中：x、y分别为真实图像和增强图像，MS E为均方误差计算结果，n为图像存储比特位数，µx和 µy分别为x与y的均值，σx、σy、σxy分别为各自方差和协方差，c1和c2分别为常数，Wl、Hl为第l提取到特征图的宽高，wl为放缩激活通道数。

3.3 LOL 数据集实验与分析

为验证所提网络对低照度图像的增强效果，与其他对比网络进行对比实验，实验结果如图5 所示，图5(a)为低照度输入图像，从图5(b-j)分别为对比网络RetinexNet[26]、Zero-DCE[27]、DSLR[28]、KinD[29]、EnGAN[30]、RUAS[31]、URetinexNet[6]、R2RNet[10]和UHDFour[8]的增强结果，图5(k)为所提网络DFDFANet 的增强结果，图5 (l)为真实图像。

图5 LOL 数据集增强结果对比Fig.5 LOL dataset enhancement results comparison

3.3.1 定性分析

由图5 可知，RetinexNet 增强图像的颜色饱和度过高，如图5(b)所示，第(3)行图像墙体颜色艳丽、明亮度较高，与真实图像视觉差距较大，因其光照分量和反射分量融合过程简单，导致颜色特征出现偏差。Zero-DCE 的增强图像曝光值偏低，如图5(c)所示，第(1)行橱柜的亮度水平较低且存在大面积阴影区域，因为利用简单的亮度调节参数曲线使得网络泛化能力降低。DSLR 利用拉普拉斯金字塔结构提升对局部细节的表征能力，但不同尺寸特征图的简单融合导致图像伪影现象，如图5(d)所示，第(1)行橱柜挡板区域出现图像叠影而显得模糊、清晰度不高。由于KinD的降噪子网络对反射图进行下采样操作导致纹理信息损失，易出现边缘模糊，如图5(e)所示，第(3)行数字时钟区域边缘失去纹理细节而变得光滑。基于生成对抗网络的EnGAN 训练难度较大，增强图像的色彩表现和真实图像存在一定差距，如图5(f)所示，第(3)行数字时钟颜色饱和度过高，边缘出现明显图像阴影。RUAS 是基于Retinex 理论的无参考优化模型，通过搜索空间架构优化网络光照估计和降噪结构，但是其适应不同数据集场景的能力较弱，如图5(g)所示，整体图像亮度值较低。URetinexNet通过设计优化模块迭代细化反射图和光照图的方式，自适应恢复光照和反射率，提高增强图像恢复细节，但其存在一定程度的褪色现象，如图5(h)所示，第(2)行观众席彩色墙体相较于真实图像颜色饱和度较低。R2RNet 通过傅里叶变换提高增强图像细节信息，但基于Retinex理论模型的子空间特征图融合过程，导致图像色彩表现上饱和度、对比度较低，如图5(i)所示，第(3)行数字时钟区域颜色明显鲜艳度较低。UHDFour 通过空间域和频域分离的特征提取方式，降低特征空间的互相作用影响，但空域卷积仍对增强图像纹理结构造成影响，如图5(j)所示，第(3)行数字时钟区域纹理粗糙，且边缘细节结构扭曲。所提网络DF-DFANet利用频谱光照估计模块提升在复杂弱光环境中对深层特征的提取能力，并通过频域特征抑制噪声干扰，多谱双注意力模块有效增强网络图像细节表征能力，双域特征聚合模块自适应融合不同分支特征图，对增强图像进行像素级细节调整，更好保留了增强图像的颜色纹理特征。

3.3.2 定量分析

为进一步验证所提网络的有效性，在LOL 测试数据集上进行对比实验，对比指标结果如表1 所示。由表1 可知，所提网络的增强图像相较于其他对比网络评价指标均有一定的提升。所提网络与基于Retinex 理论的RUAS、RetinexNet、URetinexNet 相比，PSNR 指标分别提升了48.56%、45.29%、14.26%，SSIM 指标分别提升了77.53%、110.28%、7.05%；所提网络与具有较好降噪结构的对比网络DSLR、KinD 相比，PSNR 指标分别提升了62.66%、34.70%，SSIM 指标分别提升了49.84%、15.83%；所提网络与无监督对比网络Zero-DCE、RUAS 相比，PSNR 指标分别提升了63.99%、48.56%，SSIM 指标分别提升了58.90%、77.53%；所提网络相较于频域特征增强的网络R2RNet、UHDFour 相比，PSNR 指标分别提升了20.60%、5.53%，SSIM 指标分别提升了9.52%、2.48%。实验结果验证了所提网络DF-DFANet 的有效性，其对低照度图像增强的效果最佳，PSNR 为24.3714，SSIM 为0.8937，LPIPS 为0.1525，表明所提网络在恢复低照度图像上，增强图像画面质量更高，保留图像细节信息更丰富，与真实图像结构相似性更高。

表1 LOL 真实低照度数据集测试结果Table 1 LOL real-world dataset results

3.4 MIT-Adobe FiveK 数据集实验与分析

为验证所提网络对不同场景的泛化性能，在MITAdobe FiveK 数据集上进行测试实验，对比网络分别为RetinexNet[26]、Zero-DCE[27]、DSLR[28]、KinD[29]、EnGAN[30]、RUAS[31]、URetinexNet[6]、R2RNet[10]和UHDFour[8]。实验结果如图6 所示，从图中可发现，在低照度增强方面，Zero-DCE、RUAS 的增强图像曝光值仍较低，如图6(c)、6(g)所示，第(2)行树丛阴影面积较大，难以识别具体内容，由于无监督网络训练较难，且其特征提取部分网络结构设计过于简单，导致特征图难以精确映射图像不同区域亮度水平，而所提网络在极低照度区域仍能有效提取丰富底层特征，获得精细化的特征图以反应图像光照条件变化。在图像降噪方面，DSLR、KinD、URetinexNet 的增强图像对比度较低，颜色饱和度较低，如图6(d)、6(e)、6(h)所示，第(1)行停车场区域降噪效果优于其他对比网络，但因地面区域纹理结构复杂，降噪后仍存在较多噪声颗粒，而所提网络通过频域自适应学习噪声类型，区分噪声信号和高频纹理细节，使得增强图像纹理细节清晰度更高。在图像颜色恢复方面，RetinexNet、EnGAN 的增强结果存在较为明显的颜色失衡，如图6(b)、6(f)所示，第(2)行花丛区域调整曝光水平效果较好，但颜色饱和度过高，与真实图像存在较大差距，而所提网络通过双域特征聚合模块进行像素级恢复低照度图像颜色、纹理信息，提高增强图像视觉感知质量。在图像细节恢复方面，R2RNet、UHDFour利用频域特征增强图像细节信息，如图6(i)、6(j)所示，与其他对比网络相比，增强图像对比度略有提高，但所提网络通过多谱双注意力模块提取低照度图像细节特征图，获得融合增强图像清晰度更好，视觉效果更具自然性。综上所述，所提网络在MIT-Adobe FiveK 数据集上的效果图主观评价对比，验证了网络具有较好的鲁棒性和泛化能力。

图6 MIT-Adobe FiveK 数据集增强结果对比Fig.6 Comparison of enhancement results of mit-adobe fivek dataset

为进一步定量评价所提网络的泛化性能，采用PSNR、SSIM、LPIPS 作为衡量增强效果的评价指标，对比结果如表2 所示。由表中可知，在MIT-Adobe FiveK 数据集上，由于数据集取景场地室外风景、日常生活较多，采集图像内容丰富且光照变化剧烈，导致对比网络难以适应不同场景的低照度图像，所提网络相比于DSLR、KinD 测试结果的PSNR 指标分别提高了12.24%、40.22%，SSIM 提升了5.27%、11.28%，LPIPS 降低了24.44%、23.03%。数据集中部分低照度低质图像大部分来自室外建筑，其内容细节丰富、复杂弱光条件下的特征密集区域提升特征提取的难度较大，所提网络相比于Zero-DCE、RUAS，PSNR 指标分别提高了42.62%、42.05%，SSIM 提升了13.79%、10.97%，LPIPS 降低了29.99%、17.46%，这是因为对比网络的降噪部分将建筑物边缘细节视为噪声，影响最终还原图像质量，而所提网络利用注意力机制实现在低照度增强过程中抑制了不同类型图像噪声，较好保留物体边缘细节。

表2 MIT-Adobe FiveK 数据集测试结果Table 2 MIT-Adobe FiveK dataset results

3.5 消融实验与性能分析

3.5.1 多谱双注意力模块的消融实验

为进一步验证多谱双注意力模块中的通道和空间注意力之间连接方式的有效性，在LOL 数据集上对所提网络的DDFAM 模块进行消融实验。Baseline 组设置普通卷积层替换通道和空间注意力块，Serial of CA &SA 组设置注意力块组合方式为串行结构，Parallel of CA &SA 组设置注意力块组合方式为并行结构，实验效果如图7 所示，训练过程PSNR 变化曲对比如图8 所示，实验数据结果如表3 所示。从中可看出，DDFAM 模块中的通道和空间注意力采用并行的结构设计时，如图7 (b)、7(d)、7(e) 第(2)行所示，带注意力机制的模块在降噪方面效果更好，铁锈区域纹理颜色特征恢复更接近真实图像的表达效果，且如图7 第一行的三维频谱特征图所示，所提网络采用并行结构的特征图在保留低频和高频部分更具优势；而当模块中注意力组合采用串行结构时，如图7 (c)、7(d)、7(e) 第(3)行所示，由于模块中不同的注意力机制排列方式，使用注意力实现降噪任务的过程中仍造成较多图像的浅层纹理和颜色信息的损失，灯光区域颜色饱和略低于真实图像，且区域纹理过于平滑。如图8 所示，在网络拟合过程中的PSNR 指标略高于模块注意力采用串行结构的设计方式，将两路注意力分支并联的结构设计，实现在通道堆叠后特征图仍能保留较多各自通道、空间维度信息，缓解特征图混合后出现信息丢失的现象，再通过卷积层进行融合的方式能够较多保留原有的图像特征，从而提高增强图像的恢复质量。从表3 可知，和串行注意力结构对比，DDFAM 模块采用并行注意力结构，PSNR 提高了3.25%，SSIM 提高了8.09%，LPIPS 降低了16.98%。

表3 模块注意力结构测试对比结果Table 3 Comparison results of module attention structure testing

图7 模块注意力结构实验效果对比Fig.7 Comparison of experimental effects of modular attention structure

图8 模块注意力结构的PSNR 结果对比Fig.8 Comparison of PSNR results for module attention structure

3.5.2 网络模块消融实验

为验证所提网络各模块对低照度图像增强的有效性，在LOL 低照度数据集上对各模块进行消融实验。Baseline 设置一路分支为U-Net 网络，另一路为标准卷积层堆叠结构，特征融合部分为逐像素相加的操作。FDIEM 表示基于频谱光照估计模块的傅里叶域分支，MSAM 表示嵌入多谱双注意力模块和空洞卷积的小波域分支，DDFAM 表示双域特征聚合模块。实验结果如表4 所示。由表中可知，所提网络选用的Baseline 网络能有效实现低照度图像增强，但是其PSNR 和SSIM 仅为20.8620、0.8515；对比Baseline、Model-1 和Ours 的实验数据，FDIEM 模块有效提升网络对特征的提取能力，逐层融合所提取到的特征信息，扩大多尺度感受野范围的同时有利于丰富增强图像的语义信息；对比Baseline、Model-2 和Ours 的实验数据可知，MSAM 模块对提升图像质量具有较好的效果；对比Baseline、Model-3 和Ours 实验组，表明在图像融合阶段引入激活函数对像素进行权重分配，有利于提升图像色彩的恢复效果，通过频域融合特征有利于提升图像质量；最终，所提网络DF-DFANet的PSNR 和SSIM 分别达到了24.3714、0.8937，各个模块相互作用使得增强图像各项评价指标表现更好，视觉效果更具自然性。

表4 网络模块消融实验结果Table 4 Experimental results of network module ablation

对所提网络各个模块进行消融实验，其效果图对比如图9 所示。对比图9(b)、9(e)、9(f)第(2)行可知，9(b)列图中木质细节纹理保持较好但亮度矫正效果差且存在较多噪声颗粒，验证FDIEM 模块能够有效提取低照度图像轮廓信息，通过频域特征图具有丰富上下文语义信息引导网络提取不同频域信息分量，并且具有较好的图像降噪效果；对比图9 (c)、9(e)、9(f)第(3)行可知，9(c) 列图中场地白线边缘出现局部模糊现象，验证MSAM 模块具有较好的细节特征提取能力，提高网络恢复图像细节信息的能力；对比图9(d)、9(e)、9(f)第(1)行可知，9(d)列中图像细节信息和纹理结构都保持较好，但是三维频谱特征图频率分量与所提网络和真实图像相比仍存在不足，影响增强图像视觉感知效果，验证所提网络加入DDFAM模块后融合特征图能够缓解包含不同信息的特征之间相互作用影响，提高图像融合效果。对比图9(e)、9(f)第(1)行三维频谱图可知，增强图像和真实图像在频域特征上相似性更高，保持低、高频特征更具优势。

图9 模块消融实验效果图对比Fig.9 Comparison of effect diagrams of modular ablation experiments

3.5.3 网络性能对比实验

为验证所提网络的性能，与对比网络在LOL 低照度测试数据集上进行性能测试。低照度图像增强处理单张图像的平均时间、模型大小、浮点运算量与PSNR 对比实验数据如表5 所示。由表5 可知，ZeroDCE 虽然处理速度最快，用时仅2 ms，利用亮度估计曲线实现快速增强处理，且模型大小和浮点运算量最少，仅为0.97 M、5.2112 G，但是其PSNR、SSIM 指标不高，仅为14.8671、0.5624。MBLLEN的模型参数量较小，大小为1.95 M，但通过堆叠式去噪自编码器实现低照度图像增强，导致其单图处理速度最慢，用时为80 ms。GLAD、RetinexNet、RDGAN 等网络处理速度保持在25 ms 左右，且模型大小均在10 M 左右，但是PSNR 和SSIM 指标均较低，同时FLOPs 浮点运算量略有增加。KinD 处理单张处理速度较快保持在10 ms 左右，并且FLOPs 运算量较少，仅为29.1303 G，但其PSNR 指标不高且模型较大为35 M。URetinexNet 增强效果较好，PSNR 和SSIM 分别为21.3282、0.8348，且代码参数量Para ms 仅为0.3401，但是其较高的浮点运算量FLOPs 占用过多的计算资源，达到1801.4110 G。最后，虽然所提网络浮点运算量较大，达到288.3776 G，影响网络训练和推理速度，但是增强图像具有较好的图像质量，PSNR 为24.3714，SSIM 为0.8937。

表5 不同网络的PSNR 和平均处理时间、模型大小和浮点运算量对比Table 5 Comparison of different network average processing time,model size and floating-point operations

3.6 真实场景增强实验

低照度图像增强在视频监控领域有着广泛的应用，对车辆管理、交通安全和车流控制都有着极大的应用价值，为了验证所提网络的实际应用效果，在现实车辆监控场景下进行实验与分析，实验结果如图10 所示。从图中可知，RetinexNet 的增强图像中车辆颜色存在色彩失衡问题，如图10(b)所示，整体图像的车辆颜色饱和度过高，图像色彩扭曲影响检测任务的有效性。ZeroDCE 增强图像的车牌字符较为清晰，边缘纹理保持较好，但增强图像亮度是仍偏低，如图10(c)所示，整体图像与所提网络相比曝光值较低。DSLR 增强图像如图10(d)所示，第(2)行出租车区域出现伪影和模糊现象，图像结构信息损失严重，且从三维频谱图看出，其高频分量与所提网络相比大大降低。kinD、EnGAN 恢复低照度车辆监控图像效果较好，但车辆周围区域存在大面积阴影，影响视觉感官体验，如图10(e)、图10(f)所示，第(2)行出租车周围存在阴影。RUAS、URetinexNet 对车辆监控弱光图像进行增强处理，但图像亮度值难以保持在正常范围内，影响检测任务的准确率，如图10(g)所示，第(2)行增强图像亮度值偏低，但车牌区域出现过曝现象，第(1)行增强图像亮度值过高，车牌区域出现过曝，影响车牌识别精确度，且从三维频谱图可知，图像高频分量损失严重。所提网络调节低照度图像曝光值方面表现优异，图像画面清晰明亮，对车牌字符边缘细节保留较好，提升车牌定位和识别任务准确性，具有较强稳定性和泛化能力。

图10 夜间低照度车辆监控图像测试结果Fig.10 Test results of monitoring images of low-light vehicles at night

4 结论

针对低照度图像增强中出现的边缘模糊、图像噪声等退化问题，提出一种基于双频域特征聚合的低照度增强网络。在傅里叶域分支上通过逐层融合频谱光照估计模块提取的频域特征图，扩大特征图感受野范围，结合丰富的上下文语义信息获得精细化光照图；在小波域分支上嵌入多谱双注意力模块，对小波特征图利用空间和通道注意力，提升网络关注图像高频细节特征的能力；双域特征聚合模块利用激活函数获得图像像素分配权重，实现对增强图像更精细化的调整，提高网络恢复图像颜色、纹理的能力。LOL 数据集对比实验表明，所提网络PSNR 达到24.3714，SSIM达到0.8937。在MIT-Adobe FiveK 数据集上，PSNR、SSIM 分别达到了22.7214、0.8726。此外，本文在实际应用场景进行了实验测试，增强效果稳定性良好且具有较好鲁棒性和泛化能力，但所提网络浮点运算量FLOPs 较大，故降低网络计算量是下一步改进方向。