融合非物理模型的改进AM-RetinexNet图像增强算法

王小芳，徐何方圆，刘嘉琳，郭松铭，邹倩颖，穆 楠

(1.吉利学院 智能科技学院，四川 成都 641423；2.电子科技大学成都学院 计算机学院，四川 成都 611731；3.四川师范大学 计算机科学学院，四川 成都 610066)

0 引言

随着数字经济时代的发展，新基建成为时代发展的重点。地下空间作为新基建的一种主要环境，安全性直接影响基本民生。如何实现智能化地下空间探测成为改造与监控的核心，但地下空间图像往往在图像采集时，出现图像照度低、亮度不均匀、噪声多和细节丢失严重等问题，如何进行地下空间图像增强处理以解决地下空间探测[1]成为智能探测研究热点。

低照度图像增强处理分为非物理模型和物理模型。物理模型增强忽略图像成像，以数据驱动和Retinex理论[2]为代表。其中，Guo等[3]提出了微光图像增强的零参考深曲线估计模型对像素级信息进行有效映射以增强图像；Kim等[4]提出了由编码器、特征融合、全局网络和局部网络构成的颜色转换网络模型，利用再现性颜色变换实现图像增强。Li等[5]提出了可训练卷积神经网络的LightenNet模型，该模型以低光照图像作为输入得到光照图，并利用Retinex模型估计光照映射获得图像增强效果。张红颖等[6]提出了HSV-RetinexNet模型，该模型将RGB图像转换成HSV分量，通过对V分量增强图像照度，相关系数调整饱和度分量以增强图像。黄辉先等[7]提出了AM-RetinexNet模型，该模型将低照度图像分解为缓变平滑性光照图和不变性反射图，利用注意力机制增强图像空间与局部信息，进而实现图像增强处理。以上算法对照度调节和细节处理效果较好，但处理后图像易出现颜色失真，增强图像整体光照分布不均、视觉不佳，无法满足照度不均场景。

非物理模型以滤波增强和空间域图像增强算法为代表[8-9]。其中，Babakhani等[10]提出了Gamma优化模型，该模型利用Gamma曲线对图像和非线性色调进行编辑，将图像暗部和亮部按比例调整以增强图像；罗萍等[11]提出了优化LOG模型，该模型利用各向异性的LOG算子与几何学角度差进行梯度计算，以实现图像增强。直方均衡化HE模型[12]将原始图像灰度值由相对集中的灰度区间均匀分布至整个灰度空间，实现图像非线性拉伸，并重新分配图像的像素值以增强图像；自适应CLAHE模型[13]通过对自适应直方图均衡模型设置阈值限制对比度，结合线性插值/双线性插值方法优化图像块与块间过渡问题，实现图像增强。冯丽等[14]提出了Laplacian模型，该模型使用图像二次微分变形进行锐化处理，利用邻近像素关系处理对比度以增强图像。以上算法虽在图像色彩上保留一定优势，但增强后图像存在整体偏黑、色彩饱和度较低、细节效果和图像降噪效果不佳等问题。

为解决上述问题，研究利用HSV空间图像三分量的相互独立性分别使用非物理模型的直方均匀化和β权值自适应计算方法对S分量的饱和度进行整体视觉色彩修复；使用非物理模型的直方均衡化方法对V分量亮度进行均匀黑预处理，再使用改进AM-RetinexNet进行亮度增强；将处理后的S分量和V分量结果与原始H分量进行融合，并使用自适应色彩恢复因子对增强RGB图像进行修正，得到整体色彩与照度增强的结果。通过构建融合非物理模型的改进AM-RetinexNet低照度图像增强模型，能有效实现地下空间非均匀亮度低照度图像增强，一定程度上解决了现有图像因照度分布不均引起的图像增强整体效果较差的缺陷。

1 改进算法实现

将非物理模型与物理模型融合，使用HSV模型[15]将图像分解为H通道、S通道和V通道变量，利用三通道间相对独立关系，改善增强后图像的颜色失真、处理效果差的问题，实现图像照度增强，其模型架构如图1所示。

图1 改进算法架构Fig.1 Architecture of the improved algorithm

由图1可知，算法核心思路为：

① 将基于非物理模型的直方图均衡化和β权值自适应与物理模型融合实现图像低照度增强；

② 对V分量采用均匀黑思想的改进AM-RetinexNet算法进行亮度增强，依次使用直方图均衡化对V分量进行亮度均匀黑处理，使用改进AM-RetinexNet算法进行亮度增强，增强处理中使用NL-Means模型对V分量进行降噪；

③ 利用自适应色彩恢复方法对S分量和融合图像进行优化，其中，S分量使用β权值自适应调整图像饱和度，融合RGB图像使用颜色恢复因子实现自适应色彩修复。

1.1 HSV色彩空间

为保留图像低照度增强处理过程中细节信息和图像色彩视觉效果，研究采用面向视觉感知的HSV模型将RGB图像转换为HSV分量分别进行增强处理，计算如下：

(1)

(2)

V=Mmax，

(3)

式中，H，H′分别表示低照度图像的色调分量和增强后的色调分量；S表示低照度图像的饱和度分量；V表示低照度图像的亮度分量；Mmax表示低照度图像的R，G，B分量中最大值；Nmin表示低照度图像的R，G，B分量中最小值。

1.2 S分量的自适应调整

为解决色彩饱和度引起的图像失真、色彩暗淡和主观视觉不佳等问题，研究使用β权值自适应拉伸函数[15]对饱和度分量进行自适应，计算如下：

(4)

式中，S1表示自适应后的图像色彩饱和度分量；S表示低照度图像色彩饱和度分量；α表示饱和度调节系数，取值为2.73[15]；β表示V分量计算的权重值。

1.3 V分量的增强处理

1.3.1 直方图均衡化预处理

为避免增强后图像亮度不均、局部增强效果不佳，研究使用直方均衡化[16]对V分量进行预处理，得到均匀黑亮度图，计算如下：

(5)

均匀化处理后的亮度分量V1low需满足像素级动态范围，其计算如下：

(6)

式中，V1low满足在原始图像亮度分量区间；P(V1low)表示均匀黑亮度分量的概率估计值。

通过像素级动态范围调整结果引导V分量进行预处理，得到均匀黑亮度分量图V1low。

1.3.2 优化的AM-RetinexNet模型

为增强图像细节、有效降低图像噪声和模型训练时间，研究使用改进AM-RetinexNet模型进行亮度增强处理。

(1) 优化的AM-RetinexNet网络架构

模型分为分解网络和增强网络，网络在RetinexNet[17]基础上引入注意力机制对特征图进行强化，并使用NL-Means算法[18]进行图像降噪。其架构如图2所示。

图2 轻量型的AM-RetinexNet结构示意Fig.2 Schematic diagram of the lightweight AM-RetinexNet structure

由图2可知，分解网络采用Decom-Net网络对V分量进行分解。网络通过反射率一致性原理共享网络参数，将低照度V分量图V1low和正常V分量图Vnormal分解为低照度图像光照分量V1Ilow、反射分量V1Rlow、正常照度图像光照分量VInormol和反射分量VRnormol，正常分量图用于引导低照度分量训练。

考虑噪声与模型训练时间问题，研究使用NL-Means对反射图像V1Rlow进行降噪。NL-Means利用图像冗余信息，在降噪同时最大限度保留图像细节特征。其处理过程为利用图像中相似邻域结构像素的加权平均值计算像素估计值实现图像降噪处理，计算如下：

V2R(x)=∑y∈Iε(x,y)*V1Rlow(y)，

(7)

式中，V1Rlow为低照度反射图的噪声图像；V2R为低照度反射图的降噪结果；ε(x,y)为降噪处理的权值，计算如下：

(8)

式中，ε(x,y)值由以x,y为中心的低照度图像矩形邻域V(x),V(y)距离‖V(x)-V(y)‖2决定，计算如下：

v(y+z)‖2，

(9)

式中，z表示低照度反射图降噪处理的归一化系数，计算如下：

(10)

式中，h用于控制高斯函数的衰减程度。经过NL-Means处理，得到增强反射图V2R。

增强网络对反射分量V1Ilow进行处理，增强网络在U-Net[7]架构上引入注意力机制(AM层)改善网络结构，实现对亮度空间信息感知。AM层将空间域上的光照分布、空间结构信息引入网络，扩大特征信息，使网络对物体空间信息更加敏感，以增强图像细节信息，减少图像色块和边界扭曲，计算如下：

Fl+1,AM(i,j)=(ωl,AM+1)×[Fl(i,j)×ωl+1+z]，

(11)

(12)

式中，Fl+1和Fl分别表示第l+1层卷积输出和第l层的输入；ωl,AM表示第l层加入AM权重的VIlow(i,j)照度特征；Fl+1,AM(i,j)为第l+1层加入AM层特征图。AM层中图像块距离计算式为：

(13)

式中，xi,xj表示低照度光照图的特征点；f(xi,xj)表示相似系数,当且仅当f(xi,xj)=exp(xixj)可计算待测像素与其他像素点之间的距离。

U-Net架构[19-20]采用上下采样路径对称结构对特征通道数翻倍进而提升特征图分辨率。上下采样层之间设复制与修剪通路实现特征图直接在采样路径间传递，使上采样网络有效推断丢失像素，获得高分辨率光照图像V2I。

下采样使用大小和补偿为2的最大池化层处理，每组下采样块由2层3×3 unpadded卷积层和ReLU组成，使每组下采样块进行一次卷积后，其特征图通道数增加1倍，当网络获取大尺度光照分布后对输入图像依次下采样到小尺度。

上采样处理采用多组调整图像尺寸的卷积层处理，每组上采样先使用2×2 up-convolution将V分量光照图的分辨率翻倍、通道数减半，并与收缩网络中对应位置的编码器进行卷积，输出特征图concatenation。

上下采用处理过程以元素求和从下采样块中引入链接与上采样块映射，强制网络进行残差学习，并通过收缩路径捕获上下文信息。收缩路径交替进行卷积和池化运算，并使用Overlap-tile策略[21]将特征图裁剪后拼接到扩张网络特征图，结合跳跃连接实现上采样特征和收缩路径的高分辨率特征图融合，提高输出图像分辨率。

(2)训练评价参数

模型参考RetinexNet[17]损失函数，分为分解损失和重建损失，其中，分解损失用于控制反射图与光照图的分解效果[7]，计算如下：

Li=‖V1Rlow-VRnormal‖1，

(14)

式中，Li表示图像增强的分解损失函数；‖·‖1表示1-范数。

重建损失用于控制反射图和光照图的增强与重建效果，计算如下：

(15)

式中，Lj表示图像增强处理的重建损失函数；V1Ilow×V1Rlow表示低照度图V1low；(VSnormal)i表示图像归一化处理结果；(V1Ilow×V1Rlow)i表示图像归一化后的结果。为避免像素色彩超出色域范围，将图像归一化至[0,1]，确保像素值有上界。

总损失函数由分解损失函数和重建损失函数构成，计算如下：

L=ωiLi+ωjLj，

(16)

式中，Li，Lj分别表示V分量图像的分解损失函数和重建损失函数；ωi，ωj分别为分解损失和重建损失的权重值，其值设为ωi=2，ωj=1.5最佳[7]。

将处理后的V2I和V2R相乘得到增强亮度分量图像V2，计算如下：

V2=V2R*V2I。

(17)

为避免图像融合过程中边缘不平滑情况，研究利用平滑卷积对V2平滑处理，计算如下：

(18)

V3=V2⊗Z，

(19)

式中，V2为2个亮度分量的融合结果；Z为卷积滤波器的卷积核；⊗为卷积操作；V3为平滑处理后分量图。

1.4 分量融合与自适应色彩恢复

经平滑处理得到V3，将H处理后的S1，V3转换回RGB空间，得到照度和色彩饱和度增强图像。该图像在色彩比例上存在一定的失调和失真，研究使用颜色恢复因子[22]Cδ对图像的R，G，B分量进行进一步色彩修正，计算如下：

(20)

式中，G表示增益参数；λ用于调节图像亮度；c表示R，G，B三种颜色调节比重值；Sδ(n,m)表示输入图像的R，G，B色彩分量。将色彩恢复因子带入色彩恢复公式进行处理，得到自适应R，G，B结果，计算如下：

Fδ(i,j)=Cδ(i,j)Rδ(i,j)，

(21)

式中，Rδ(n,m)表示颜色恢复前增强图像的R，G，B颜色分量；δ取值为(1,2,3)；Fδ(n,m)代表恢复后的颜色分量，将三分量进行融合得到最终低照度增强结果。

2 实验结果与分析

2.1 实验环境

研究采用Intel i7 8700 CPU、32 GB内存和PaddlePaddle平台2 GB GPU资源，使用自建地下空间数据集DCIM、开源数据集LOL以及自建数据集进行模型训练，其中自建数据集1 052张，数据以训练集与测试集7∶3比例进行随机分配，并使用OpenCV，TensorFlow和Pytorch框架进行训练。

2.2 评价模型

研究使用互信息(MI)、标准差(STD)、结构相似性(SSIM)、平均梯度(AG)、空间频率(SF)和峰值信噪比(PSNR)[23]对图像进行评价。其中，MI用于度量低照度增强的2幅图像之间的相似程度值越高，越接近原图，计算如下：

MI=H(A)+H(B)-H(A,B)，

(22)

式中，A，B分别表示原始图像和增强图像；H(A)，H(B)表示对应图像的信息熵；H(A,B)表示联合信息熵。

STD用于度量低照度增强处理后像素分布的分散程度，计算如下：

(23)

式中，N表示x的数量；xε表示图像数据；μ表示算术平均值。

SSIM用于衡量2幅图像的相似度，值越大，越接近原图，计算如下：

(24)

AG用于衡量融合图像的清晰程度，值越大，图像还原越清晰，计算如下：

(25)

式中，H表示融合图像；M与N分别表示图像的高和宽；H(i,j)表示第i行第j列的像素值。

SF反映图像灰度的变化程度，值越大，效果越佳，计算如下：

(26)

PSNR用于衡量图像质量及降噪效果，值越大效果越佳，计算如下：

(27)

式中，MSE为原图像与处理图像之间均方误差。

2.3 不同算法不同数据集性能分析

研究在相同实验环境下对自建数据集、开源数据集DICM和LOL分别采用Laplacian算法[14]、CLAHE算法[13]、LOG算法[11]、Retinex算法[2]、直方均衡化HE算法[12]、RCTNet算法[4]、Zero-DCE算法[3]以及改进算法实现图像全局增强处理和局部增强处理，结果如图3和图4所示。

图3 不同算法不同数据集的全局增强处理Fig.3 Global enhancement processing diagram for different data sets with different algorithms

图4 不同算法不同数据集的局部放大增强处理Fig.4 Local magnification enhancement processing diagram for different datasets of different algorithms

由图3肉眼分析可知，3种数据集使用Laplacian算法进行照度增强无明显增强变化；CLAHE算法、直方均衡化HE算法、LOG算法和经典Retinex算法虽在照度处理上有一定提升，但出现泛白及视觉光照过亮等情况，在增强后图像中餐桌、墙体和车头存在明显噪声，且图像颜色偏蓝、色彩饱和度失真较为严重；RCTNet算法和Zero-DCE算法有一定增强效果，在一定程度上还原色彩饱和度，但增强图像局部过亮、肉眼感官不佳。改进算法的色彩饱和度、图像整体增强效果最符合原图，细节较为清晰，改进算法在全局图像增强的主观评价上具有一定优势。

由图4可知，局部放大增强图像处理中，Laplacian和CLAHE整体照度较低、图像增强效果不明显，LOG，Retinex，RCTNet以及Zero-DCE增前后图像噪声明显、较模糊。LOL和DICM数据集的正常图和改进算法增强图从肉眼观看，色彩饱和度几乎没有差异，整体保留图像的一定细节信息，降噪效果明显。改进算法较传统算法而言，其局部放大图像增强可较好恢复图像色彩饱和度、图像对比度，图像整体亮度感官较均匀，整体色彩、细节和亮度恢复与正常图最为吻合，改进算法在图像局部放大增强处理上具有一定价值性。

2.3.1 不同算法全局图像增强客观评价

为验证各算法性能，研究对自建数据集、开源数据集LOL和DICM在相同实验环境下分别使用Laplacian算法[14]、CLAHE算法[13]、LOG算法[11]、Retinex算法[2]、直方均衡化HE算法[12]、RCTNet算法[4]、Zero-DCE算法[3]以及改进算法对图像全局进行增强处理，处理后采用客观评价指标MI，STD，SSIM，AG，SF和PSNR进行分析，结果保留2位小数，如表1所示。

表1 不同算法对3种数据集图像全局增强处理评价分析Tab.1 Evaluation and analysis of global enhancement image processing for three datasets by different algorithms

由表1可知，自建数据集的全局图像效果最佳为改进算法，图像评价指标MI，STD，SSIM，AG，SF，PSNR值分别为5.97，76.40，0.63，13.25，37.87，38.67；改进算法较效果最佳的低照度图像增强算法而言，整体分别提升1.53%，10.80%，6.78%，45.29%，11.74%和8.13%；较传统算法而言，整体分别提升10.27%，56.32%，41.02%，177.46%，382.39%，25.80%。

DICM开源数据集的全局图像增强处理效果最佳为改进算法，图像评价指标MI，STD，SSIM，AG，SF，PSNR值分别为5.54，74.18，0.61，12.66，35.85，39.27；改进算法较传统最佳的低照度图像增强算法而言，整体分别提升6.74%，13.88%，22.00%，31.19%，17.66%，2.99%；较传统算法而言，整体分别提升31.63%，51.31%，125.80%，207.13%，77.46%，29.60%。

LOL开源数据集的全局图像增强处理效果最佳仍为改进算法，图像评价指标MI，STD，SSIM，AG，SF，PSNR值分别为6.21，56.11，0.66，11.12，35.83，41.89；改进算法较效果最佳的低照度图像增强算法而言，整体分别提升2.81%，4.82%，15.79%，33.65%，17.59%，1.60%；较传统算法而言，整体分别提升19.78%，50.59%，82.29%，131.90%，77.36%，35.43%。

改进算法在自建数据集、开源DICM和LOL数据集的全局图像处理中，较效果最佳的低照度图像增强算法而言，MI，STD，SSIM，AG，SF，PSNR整体分别提升3.70%，9.83%，14.86%，36.71%，15.66%，4.24%。改进算法的细节处理、色彩恢复、图像降噪和照度增强处理整体效果最佳，色偏最小，改进算法在低照度图像增强中有一定优势。

2.3.2 不同数据集不同算法局部放大增强客观分析

为验证各算法性能，研究对自建数据集、开源数据集LOL和DICM在相同实验环境下分别使用Laplacian算法[14]、CLAHE算法[13]、LOG算法[11]、Retinex算法[2]、直方均衡化HE算法[12]、RCTNet算法[4]、Zero-DCE算法[3]以及改进算法对局部放大图像进行增强处理，处理后采用客观评价指标MI，STD，SSIM，AG，SF，PSNR进行分析，结果保留2位小数，如表2所示。

表2 不同算法对3种数据集的局部放大图像处理评价分析Tab.2 Evaluation and analysis of local magnification image processing for three datasets by different algorithms

由表2可知，自建数据集的局部图像增强处理效果最佳为改进算法，图像评价指标MI，STD，SSIM，AG，SF，PSNR值分别为6.07，73.24，0.61，11.24，35.54，37.83；改进算法较效果最佳的低照度图像增强算法而言，整体分别提升1.16%，47.17%，0.33%，35.33%，88.83%，1.67%；较传统算法而言，整体分别提升12.52%，49.26%，35.09%，123.89%，87.38%，47.89%。

DICM开源数据集的局部图像增强处理效果最佳为改进算法，图像评价指标MI，STD，SSIM，AG，SF，PSNR值分别为7.32，87.70，0.45，20.05，36.84，37.83；较效果最佳的低照度图像增强算法而言，整体分别提升5.67%，69.33%，0.67%，3.00%，92.00%，10.00%；较传统算法而言，整体分别提升24.25%，186.68%，145.65%，383.90%，93.16%，44.11%。

LOL开源数据集的局部图像增强处理效果最佳仍为改进算法，图像评价指标MI，STD，SSIM，AG，SF，PSNR值分别为6.02，56.13，0.43，11.43，37.28，39.83；改进算法较效果最佳的低照度图像增强算法而言，整体分别提升0.50%，4.83%，0.33%，6.00%，65.33%，26.50%；较传统算法而言，整体分别提升13.31%，59.14%，113.62%，187.22%，76.52%，50.79%。

改进算法在自建数据集、开源DICM和LOL数据集的局部图像放大增强处理上，较效果最佳的低照度图像增强算法而言，MI，STD，SSIM，AG，SF，PSNR值平均分别提升2.44%，40.44%，0.44%，14.78%，82.06%，12.72%。改进算法在细节处理、图像降噪处理、图像色彩恢复和整体亮度增强最佳，对低照度图像增强处理具有明显优势。

2.4 消融实验分析

本模型在RetinexNet基础上通过改进AM-Retinex架构对HSV空间进行增强处理。为验证本研究相较基础模型对图像增强有更好效果，将研究算法与RetinexNet[17]、AM-RetinexNet[7]以及HSV-RetinexNet[6]模型进行对比实验，实验使用自建数据集、DICM数据集和LOL数据集进行全局处理和局部放大处理验证，结果如图5和图6所示。由图5和图6可知，引入注意力机制的AM-Retinex算法与本文算法，其图像低照度增强处理主观视觉和色差处理效果更佳。此外，改进算法的图像细节效果最佳、降噪效果最明显，最符合正常图。

图5 消融实验全局图像增强效果对比Fig.5 Comparison of enhancement effect for global image in ablation experiment

图6 消融实验局部放大增强效果对比Fig.6 Comparison of local amplification and enhancement effect in ablation experiment

为保证客观性能，实验选用MI，SSIM，AG，PSNR和平均检测时间5个指标对3种数据集低照度图像增强的平均效果进行定量评价，评价数据保留2位小数，如表3所示。

表3 消融实验评价分析Tab.3 Evaluation and analysis of ablation experiment

由表3可知，消融实验的单张图像平均检测时间最佳为RetinexNet，次之改进算法，最长为AM-RetinexNet，改进算法单张图像平均检测时间虽较最佳算法RetinexNet增加了0.72 s，效率降低2.2%。但改进算法在图像增强处理上，3个数据集处理的平均MI，SSIM，AG，PSNR结果最优，分别达到6.18，0.56，13.29，39.22，改进算法较其他消融实验算法而言，平均MI，SSIM，AG，PSNR整体分别提升7.7%，10.0%，75.8%，17.4%。改进算法低照度增强的细节更佳、降噪效果更好，色彩修正以及整体亮度增强更符合正常图，改进算法在整体增强处理上有明显优势。

3 结论

研究针对低照度图像亮度分布不均、增强后图像噪声大和色彩不佳问题，构建了基于HSV空间的改进AM-RetinexNet图像增强算法。为保留图像色彩饱和度，引入自适应β系数进行饱和度自适应；为提升图像分辨率、增强整体视觉效果、降低噪声，利用融合直方均衡化的改进AM-RetinexNet算法进行亮度处理，并利用平滑卷积进行锐化处理；最后为增强整体色彩，对处理后RGB图像进行色彩修正，得到最终低照度增强图像。

在3个数据集上进行全局增强和局部放大增强对比实验。与基础RetinexNex算法相比，能有效修正色偏、降低图像噪声。改进算法在MI，STD，SSIM，AG，SF，PSNR评价指标上表现更佳。与其他传统低照度图像增强算法相比，图像整体亮度增强效果明显，图像分辨率较高、色彩修正效果最佳，且单张图片检测时间无较大增加。

本研究除能很好地应用于地下空间图像增强外，还能应用于夜间图像、水下图像增强领域。研究在实验上依赖大量的数据进行训练，模型训练所花费时间仍较长，有待进一步改进。