基于明亮通道先验和Retinex 模型的弱光照图像增强网络*

2022-10-22顾振飞陈灿陈勇孔令民赵

电子器件 2022年4期

顾振飞陈灿陈勇孔令民赵冉

(1.南京信息职业技术学院网络与通信学院，江苏南京 210023；2.南京龙渊微电子科技有限公司，江苏南京 210000；3.南京邮电大学物联网学院，江苏南京 210003；4.中国人民解放军94826 部队，上海 200020)

在弱光照环境下采集的图像易于呈现纹理模糊、色彩失真、信噪比下降和对比度不足等负面效应，而上述效应严重干扰了机器视觉系统对被测物体的特征提取，从而导致模式识别、目标定位、视觉测量与检测等主流应用的有效性大幅下降[1-3]。因此，对弱光照图像进行增强处理，使其具备与在理想光照条件下所采集的清晰图像相似的主观视觉特征和客观评价指标，已经成为机器视觉领域的研究热点之一，具有一定的理论研究与实际应用价值。

Retinex 模型[4]是弱光照图像增强领域的重要理论基础之一，即图像可以被建模为入射光分量和反射特性分量乘积的形式，且物体的真实色彩不受入射光照干扰而具有恒常性。当前，基于Retinex 模型的弱光照图像增强处理核心流程基本相似，即首先估计出弱光照图像的入射光分量图，进而依据模型在弱光照图像中剥离入射光分量，并以抽取出的图像反射特性分量图作为增强后的弱光照图像。据此可知，基于Retinex 模型的弱光照图像增强方法的核心之处在于对弱光照图像的入射光分量进行准确估计。然而，针对图像入射光分量的估计问题，研究者通常仅利用了入射光的空间平滑性假设，但单一的约束条件必然导致此类欠定问题的估计结果缺乏鲁棒性[5]。针对上述缺陷，基于Retinex 模型的改进策略[6-8]被相继提出，如提高滤波层级并通过考虑各色彩通道分量之间的比例关系以提高增强效果的色彩保真性，但此类策略并不能实质约束光照分量的自由度，因而无法完全避免局部失效问题。通过以能量泛函形式表达Retinex 模型，变分Retinex 模型[5]可以引入更多的图像统计规律作为附加约束条件对入射光分量进行估计，并将入射光分量的估计转化为二次规划问题进行求解。基于变分Retinex 模型，文献[9]因引入了多种面向梯度分量的图像先验知识而具备了较好的纹理细节增强能力，文献[10]利用图像结构先验对所估计出的图像入射光分量进行约束，可以实现保持细节恢复能力的同时大幅改善增强后图像的边缘结构。然而，约束条件增多必然导致模型复杂度增加，并进而导致相关增强方法受制于较高的计算复杂度[11]。总体而言，Retinex 模型复杂度低但却因难以有效约束模型参数的自由度而导致难以对入射光分量进行准确估计，变分Retinex 模型能够通过增加模型约束项来提高估计准确率，但较高的计算复杂度使得相关增强方法普遍缺乏实时性。

近年来，随着机器学习技术的快速发展，卷积神经网络已经被引入了机器视觉领域，如模式识别、雾霾图像增强、图像超分辨率等。在弱光照图像增强领域，文献[12]结合了Retinex 模型和卷积神经网络提出了LNET，该方法利用卷积神经网络估计弱光照图像所对应的入射光分量图，并使用导向滤波对估计结果进行优化处理。文献[13]依据Retinex理论，使用卷积神经网络对弱光照图像的入射光分量图进行调整，并进而利用模型得到增强后的图像。文献[14]利用了基于卷积神经网络的图像去噪框架，提出了一种基于深度自编码器的从低光图像中识别信号特征并自适应增亮图像的方法，证明了堆叠稀疏去噪自编码器可以通过自主学习对弱光照图像进行增强处理。文献[15]提出了一种基于双向生成对抗网络的框架，该方法可以赋予输入图像给定的特征，因此也具备了弱光照图像增强能力。上述方法中，结合图像增强模型和卷积神经网络的方法通常具有较好的增强能力，但对入射光分量图的后期优化处理一定程度上增加相关方法的计算复杂度，而不涉及图像增强模型的方法则受制于复杂的前期预处理或增强力度不足。

据此，本文结合明亮通道先验和Retinex 模型，提出了一种弱光照图像增强网络。相较于现有方法，所提方法结合Retinex 模型基本定义和图像先验知识进行弱光照图像入射光分量估计，克服了单纯依据空间平滑性假设所导致的弱鲁棒性；通过对入射光分量进行多尺度估计再基于卷积神经网络进行融合的方式进一步提高了鲁棒性。

1 背景知识

1.1 基于明亮通道先验的Retinex 入射光分量估计

Retinex 模型[4]具有较为简洁的数学表达，即依据该模型可以将待增强弱光照图像分解为入射光分量图和反射光分量图的乘积形式，具体如下所示:

式中:I是待增强弱光照图像，L和R分别是I所对应的入射光分量图和反射光分量图。

文献[16]提出的明亮通道先验表明:在理想光照条件下所采集的清晰图像中的像素在以其为中心的图像邻域中至少存在一个像素的某色彩通道的强度等于(或接近)为1，其数学表达形式如下:

式中:IHD是在理想光照条件下所采集的清晰图像，c∈{R，G，B}是图像的RGB 色彩通道索引，Ω(x，y)是以像素(x，y)为中心的图像邻域。

基于Retinex 模型和明亮通道先验的基本定义，反射光分量图R可以被视为增强后的图像，因而其必然符合明亮通道先验，以及入射光分量必然具有一定的局部相似性，文献[19]给出了入射光分量的估计方法如下:

1.2 研究动机分析

通过对公式(3)的观察可知，基于明亮通道先验和Retinex 模型，可以对弱光照图像的入射光分量图进行快速估计。然而，公式(3)的有效性需要明亮通道先验和入射光分量的局部相似性在相同的邻域半径下同时成立，因而其有效性存在一定的不确定性。产生上述不确定性的原因在于:(1)明亮通道先验如需成立，则需要确保图像中的每个像素在其一定范围的邻域中存在至少一个像素的某色彩通道的强度近似为1，因而邻域Ω(x，y)的尺度越大则明亮通道先验的鲁棒性越好；(2)入射光分量的局部相似性如需成立，则需要大幅抑制邻域Ω(x，y)的尺度，因为入射光照在较大范围内必然难以保证一致性。据此可知，基于公式(3)的弱光照图像的入射光分量图估计准确性取决于邻域半径，而真实图像中入射光照的复杂性势必导致无法确定出适用于所有图像的邻域半径。

为验证上述推论，在图1 中选取一幅弱光照图像，在邻域半径3 至30 时分别利用公式(3)对其入射光分量图进行快速估计，并依据文献[19]方法获得增强效果。通过对图1 的观察可以发现，在不同的邻域半径下，弱光照图像的增强效果之间存在较大差异，当邻域半径较小时，仅有入射光分量的局部相似性条件得以满足，因此增强效果获得了较强的纹理增强效果，而在明亮通道先验条件不能充分满足的区域却导致了严重的色偏和光晕伪影。当邻域半径较大时，仅有明亮通道先验条件得以满足，因此增强效果获得了较好的色彩保真性，但因入射光分量的局部相似性条件未能充分满足而导致了增强力度显著不足。

图1 不同邻域半径时基于明亮通道先验的Retinex 方法增强效果对比图

2 基于明亮通道先验和Retinex 模型的弱光照图像增强网络

基于上述分析，本文设计了一个端到端的网络框架，该网络的作用是激活输入的待增强弱光照图像，并直接输出增强后的弱光照图像。如图2 所示，网络架构由3 个子模块组成，包括入射光分量多尺度估计模块、多尺度入射光分量融合模块和增强效果生成模块。其中，入射光分量多尺度估计模块将在不同的邻域半径下对输入的待增强弱光照图像进行入射光分量估计，并将其作为输入传递至多尺度入射光分量融合模块；入射光分量融合模块将其学习的清晰图像的基本特征映射到入射光分量估计结果中，将融合后的入射光分量图作为增强效果生成模块的输入；增强效果生成模块基于Retinex 模型，该模块将依据输入的入射光分量图对待增强弱光照图像进行逐像素的像素强度调节，并输出反射光分量图作为增强后的弱光照图像。

图2 网络结构框图

2.1 入射光分量多尺度估计模块

基于公式(3)对弱光照图像进行入射光分量图估计具有计算复杂度低的优势，但估计结果的有效性取决于邻域半径选择的准确性，而图像中入射光照的复杂性决定了并不存在一个适用于所有图像的邻域半径。针对相似的问题，文献[17]使用实验方法大致确定出了实用性较好的邻域半径范围，但并不能实质上解决上述问题。

因此，本文在设计入射光分量多尺度估计模块时采用了一种综合利用不同邻域半径下入射光分量估计结果中的有效增益的策略。依据上述思路，针对输入的待增强弱光照图像，自邻域半径3 起，逐次递增邻域半径1，直至邻域半径30 截止，共进行28次入射光分量估计，并将估计结果分别传递至多尺度入射光分量融合模块。

2.2 多尺度入射光分量融合模块

将28 次入射光分量估计结果独立作为各层分量输入多尺度入射光分量融合模块后，通过下式获得融合后的入射光分量图:

式中:Li=1，…，28表示作为各层独立分量的28 次入射光分量估计结果，Wi=1，…，28是各层独立分量所对应的融合权重。基于公式(4)，设计多尺度入射光分量融合模块如图3 所示。多尺度入射光分量融合模块由多个自适应权重融合模块组成，每个模块由2 个卷积层组成，分别采用Relu 和Softmax 作为激活函数。为了进一步增强自适应性，该网络在卷积层采用可变卷积[20]取代了传统卷积。多尺度入射光分量融合模块在训练后能够学习到在理想光照条件下所采集的清晰图像的基本特征，并将学习到的清晰图像特征映射到入射光分量多尺度估计模块所传递来的入射光分量多尺度估计结果中，并最终生成入射光分量图。

图3 多尺度入射光分量融合模块结构图

2.3 增强效果生成模块

增强效果生成模块基于Retinex 模型设计，该模块的主要作用是依据入射光分量图对待增强弱光照图像进行逐像素式的强度调节，从而生成弱光照图像的反射光分量图。相较于文献[18]，本文所提方法仅需对入射光分量图进行一般性的边缘保持平滑处理，也可以直接将增强效果生成模块所生成的反射光分量图视为增强后的弱光照图像，有效避免了由人为假设或图像先验知识所引入的特定图像特征。

3 实验结果与分析

由于没有专门针对弱光照图像增强的标准数据集，本文利用文献[18]的方法构建包含3 000 个样本的数据集。将数据集随机划分为训练集(80%)，验证集(10%)和测试集(10%)。由于GPU 显存的限制，批量大小设置为32。采用均方误差作为损失函数；采用Adam 优化器来训练网络框架；遍历数设置为5 000；学习率设置为0.000 1。实验硬件环境为:NVIDIA Titan XP GPU；软件环境为:Tensorflow 2.0。为验证本方法的有效性和鲁棒性，将本文方法与以下现有主流方法进行定性和定量对比:自适应直方图均衡类的文献[21]方法、基于多尺度Retinex模型的文献[6]方法、基于先验知识的文献[19]方法、基于全变分Retinex 模型的文献[10]方法。

3.1 客观比较

客观实验采用了3 个广泛使用的客观评价指标，包括新增可见边缘比e、对比度恢复质量r和图像清晰度D。由文献[22]可知，新增可见边缘比可以测量增强后图像中出现的新增边缘的比率，对比度恢复质量验证了增强后图像的平均能见度提升度。由文献[23]可知，图像清晰度可以测量基于人眼视觉特征的图像可视性。通常，新增可见边缘比和对比度恢复质量的数值越高，对应增强方法的效果越好；而图像清晰度的数值越低表示图像清晰度越高。客观比较实验并基于测试集展开，本文所提方法和上述四类对比方法针对测试集所取得的客观评价指标平均值如表1 所示。

表1 客观实验结果

综合新增可见边缘比e和对比度恢复质量r均值可知，本文所提方法具有较好的纹理细节增强能力，且不会为了获得较高纹理增强结果而产生一定的噪声放大效应。此外，本文所提方法未产生显著的色彩偏离现象，因此对比度恢复质量具有较好的可信度。由图像清晰度D可知，本文所提方法在图像可视性增强方面具有一定的比较优势，而这一点也和主观比较的结果是一致的。由文献[23]可知，图像清晰度值能够以较为接近人眼视觉效果的方式综合判断图像的清晰度增强效果，因此上述结果证明本文所提方法能够将学习到的清晰度图像特征映射到最终的增强效果中。

3.2 主观比较

受篇幅限制，从测试结果中挑选了四幅具有挑战性的弱光照图像的实验主观对比用于展示，具体如图4 至图7 所示。通过对比可以发现，改进的直方图均衡类增强方法仍然具有一定的结构盲目性而呈现出了弱鲁棒性，图4 和图7 因全局光照较弱而均未得到有效增强，仅有图5 和图6 因自身具有一定的动态调整范围而具备了一定的增强效果；基于多尺度Retinex 模型的增强方法需要提取并利用待增强图像中原有的各层频域分量，因而在处理频域分量层次丰富的图像(如图4)时具有一定优势，但在处理频域分量相对较为单一的图像(如图7)时增强力度不足且易于引入模糊现象；文献[19]方法基于单尺度明亮通道先验而鲁棒性不足，因而在明亮通道先验在特定的邻域半径内失效的图像时明显效果不佳(如图4)，且后续的各项优化处理易于产生噪声放大现象(见图6 和图7 的增强效果)；文献[10]方法基于变分Retinex 模型大幅提高了光照分量的估计准确性，整体增强效果较好，但无法完全抑制过曝光和色偏现象(如图4 有局部过曝，图5 整体偏红而图6 偏蓝)。相较而言，本文所提方法具有更好的纹理细节增强效果和色彩保真度，且未出现过曝光、过增强或光晕伪影等负面视觉效应。

图4 增强效果比较实验1

图5 增强效果比较实验2

图6 增强效果比较实验3

图7 增强效果比较实验4

为进一步展示本方法的增强效果，选取两幅典型的弱光照图像(全局弱光照图像如图8(a)所示，局部弱光照图像如图9(a)所示)，依据本方法对其进行增强处理，并在图8 和图9 的(b)列中展示了相应的增强效果。

通过对比增强前后的图像可以发现，本方法可以有效提升弱光照图像的整体视觉效果并恢复其中的纹理细节，消除了因像素强度不足所导致的色彩偏移、对比度不足等负面视觉效应，且未出现局部增强力度不足或过增强现象，以及光晕伪影、边缘畸变等现象。此外，在图8 和图9 的(c)列中展示了增强处理后红色通道的像素强度增益空间分布(因为绿色和蓝色通道的增益与红色通道基本相似)，通过观察可以发现本文所提方法能够有效增强弱光照图像，并使其呈现出近似清晰图像的视觉效果。