基于透射先验的弱光照图像增强方法∗

2021-12-15顾振飞陈灿陈勇孔令民赵

传感技术学报 2021年10期

顾振飞陈灿陈勇孔令民赵冉

(1.南京信息职业技术学院网络与通信学院，江苏南京210023；2.南京龙渊微电子科技有限公司，江苏南京210000；3.南京邮电大学物联网学院，江苏南京210003；4.中国人民解放军94826部队，上海200020)

当前，机器视觉系统在国民经济各领域得到了广泛应用，其中目标识别[1]、目标跟踪[2]、安全监控[3]和智能交通[4]等应用的有效性首先取决于输入图像具有较好的可视性。然而，当环境光照强度较低时，由于可见光图像成像设备所捕获的反射光分量中不能包含足够的有效信息，可能导致图像呈现出现纹理细节丢失、色彩偏移、对比度不足等典型的低可视性特征，并进而使得机器视觉系统相关应用失效。因此，对弱光照图像进行增强处理，使其具备与清晰图像相似的主观视觉效果和客观评价指标，具有重要的研究意义和应用价值，并已经成为计算机视觉领域的研究热点之一。

针对弱光照图像增强问题，国内外学者均进行了广泛研究并取得了一定进展。传统的对比度调节策略，如直方图均衡类方法[5－7]，均具有较高的处理效率，能够以直接扩展图像直方图的动态范围的方式增强图像的纹理细节。但是，此类方法在增强处理过程中均忽略了图像内容而具有显著的盲目性，因此通常难以避免低照度区域纹理合并和局部过增强等负面效应。为克服上述缺陷，基于图像增强模型的策略被陆续提出并得到广泛应用，典型模型有Retinex模型[8]、变分Retinex模型[9]、像素强度反转模型[10]、低像素强度图像退化模型[11]等。其中，Retinex模型和变分Retinex模型都基于颜色恒常理论，因而其有效性均取决于对弱光照图像中入射光分量的估计准确性。基于Retinex模型，研究者仅能基于光照空间平滑假设进行入射光分量估计，而在解决此类欠定问题时仅有单一的特定约束条件势必导致鲁棒性欠佳。虽然改进策略被相继提出[12]，但并不能从本质上约束模型参数自由度。文献[9]提出的变分Retinex模型允许引入更多的图像数学统计规律(先验知识)作为除光照空间平滑假设以外的附加约束条件，能够有效克服Retinex模型的固有缺陷。然而，随着约束条件的增多，变分Retinex模型的模型复杂度也势必随之增加。文献[10]提出的像素强度反转模型将雾霾图像增强领域中常用的暗通道先验[13]引入了弱光照图像增强领域，但该模型需要弱光照图像满足一定的约束条件，因而有一定应用范围限制。文献[11]提出的低像素强度图像退化模型[11]由大气散射模型[14]推导而来，并能够利用纯像素比例先验、暗通道先验等多种图像先验来对弱光照图像进行增强处理，理论依据充分且鲁棒性好，但是其技术框架仅能使用单一的特定图像先验进行透射图估计。

近年来，深度学习技术在机器视觉领域得到了广泛应用，如图像分类、图像去噪、雾霾图像增强、图像超分辨率等。在弱光照图像增强领域，单纯利用卷积神经网络的方法[15]能够端到端地由弱光照图像直接生成增强后的图像，但并不能完全避免所输入网络的派生图像中的各类负面视觉效应。而结合图像增强模型和卷积神经网络的策略，则可以在利用模型理论依据充分、适用于真实图像优势的同时，通过神经网络框架摆脱人工设计模型参数、人工提取图像特征等潜在缺陷。例如，文献[16]提出利用卷积神经网络对弱光照图像进行入射光分量估计，并在局部平滑和边缘增强后利用Retinex模型获得增强后的图像。

因此，提出一个基于透射先验的弱光照图像增强方法。相较于现有技术，所提方法具有以下优势:①基于低像素强度图像退化模型，将复杂的光照分量估计问题转化为了透射率的估计问题；②利用两种不同的图像先验分别进行独立的透射图估计，并搭建子透射图融合网络对其进行融合，综合利用了不同透射图中潜在的各类有效增益；③利用子透射图融合网络替代了传统的透射图优化处理，大幅提高了整体计算效率。

1 背景知识

1.1 大气散射模型

低像素强度图像退化模型源于大气散射模型[14]并适用于对弱光照图像进行增强。大气散射模型在雾霾图像增强领域被广泛使用，该模型数学描述了雾霾图像的退化过程，其具体的数学表达形式为:

式中:I(x，y)表示所采集到的雾霾图像，A是全局一致的环境光照，ρ(x，y)是表征场景物体反射背景光照能力的场景反照率，d(x，y)是像素景深，β是大气散射系数。通常，可以将像素景深和大气散射系数的联合关系e－β·d(x，y)记为透射率t(x，y)。结合弱光照图像的退化原理对大气散射模型进行改进，首先通过对大气散射模型的简单推导，增强后的图像可以表示为:

通过对式(2)的观察可知，基于大气散射模型的图像增强效果完全取决于入射光分量和各像素点的透射率，因而仅需进行两项模型参数的估计便可直接得到增强后的图像。但同时可以发现，式(1)中对环境光照全局一致的假设显然不适用于弱光照图像，且如果从待增强弱光照图像中消除一致的环境光照甚至可能导致像素强度溢出现象。此外，基于大气散射模型的图像增强过程本质上是从各像素中消去一定比例的全局环境光照分量。因此，如果保留大气散射模型中的天空光项，则势必导致图像中的绝大部分区域在增强后反而会因像素强度过低而呈现出更为退化的可视性。

1.2 低像素强度图像退化模型

低像素强度图像退化模型[11]保留了大气散射模型的基本定义，并对上述问题进行针对性的改进。首先，考虑到低像素强度图像的退化因素主要是空间分布不均匀的环境光照或热辐射分量，因此将式(1)中的全局环境光照重新定义为空间变量V(x，y)。V(x，y)所表征的是最佳环境光，即可以使像素具有最佳可见性的最合理的入射光照分量。其次，式(1)右侧第二项(天空光项)所描述的是受高密度的大气悬浮粒子干扰而直接参与成像的像素强度分量，而高密度的大气悬浮粒子并不是弱光照图像的主要退化因素，因此需要对此项予以直接移除。据此，适用于弱光照图像增强的低像素强度图像退化模型可以表示为:

由式(3)可知，基于低像素强度图像退化模型对弱光照图像进行增强处理，仅需对弱光照图像进行透射图估计，而避免了复杂的光照分量估计问题。此外，基于图像先验的透射图估计策略已经较为成熟，且均能通过确定最优的像素透射率来使得增强后的图像具备清晰图像的某些统计特征。弱光照图像I(x，y)所对应的透射图t(x，y)一旦确定，便可直接获得增强后的图像V(x，y)ρ(x，y)。

2 基于透射先验的弱光照图像增强方法

所提的基于透射先验的弱光照图像增强方法如图1所示，该方法由三部分组成:①基于暗通道先验的弱光照图像子透射图估计，即利用暗通道先验所具有的纹理细节恢复能力，对待增强弱光照图像进行第一次子透射图估计；②基于纯像素比例先验的弱光照图像子透射图估计，即利用纯像素比例先验所具有的色彩恢复能力，对待增强弱光照图像进行第二次子透射图估计；③子透射图融合网络，即搭建并利用该部分网络对两张子透射图进行融合，从而得到目标透射图，并最终得到增强后的图像。以上三部分为核心，便可组成一个端到端、可学习的卷积神经网络。

图1 基于透射先验的弱光照图像增强方法

2.1 基于暗通道先验的弱光照图像子透射图估计

依据像素强度反转模型[10]，为使用暗通道先验[13]对弱光照图像进行子透射图估计，需要对弱光照图像I(x，y)进行像素强度翻转，并获得翻转后的弱光照图像I′(x，y)如下:

利用翻转后的弱光照图像I′(x，y)与雾霾图像的相似性，将I′(x，y)代入式(1)，可得:

式中:J(x，y)是对I′(x，y)进行增强处理所得的图像，而t′(x，y)是I′(x，y)所对应的子透射图。依据暗通道先验对翻转后的弱光照图像I′(x，y)进行子透射图估计如下:

式中:(x′，y′)是以像素点(x，y)为中心的邻域Ω(x，y)中的像素点，c是RGB色彩通道索引，A是用文献[13]方法获得的全局一致的环境光照，ω∈(0，1]是考虑到空间透视现象的存在，为了保持图像的真实度而引入的调节因子。

获得I′(x，y)所对应的子透射图t′(x，y)后，由于I′(x，y)是由弱光照图像I(x，y)进行像素强度翻转所得，因此可以直接获得弱光照图像I(x，y)所对应的子透射图为

2.2 基于纯像素比例先验的弱光照图像子透射图估计

依据低像素强度图像退化模型[11]，增强后图像的可视性是由最佳环境光和透射率共同支配的，而在此类欠定问题中同时估计两个独立系数的最优解是具有较高的求解复杂度。为提高计算效率，首先通过挖掘像素退化程度的局部相似性对图像进行基于亮度分量的聚类，从而将像素级的透射率估计过程简化为面向聚类区的透射率估计。据此，将低像素强度图像退化模型(式(3))可以记为:

式中:Ωi是通过对弱光照图像I(x，y)聚类所得的场景，V(i)是Ωi所对应的最佳场景环境光，t(i)是Ωi所对应的场景透射率，而V(i)ρ(x，y)则是对弱光照图像I(x，y)进行增强处理所得的清晰图像。

据此，可以将对弱光照图像的增强处理记为一个仅与场景透射率相关的函数，并进而依据纯像素比例先验将场景透射率的估计过程记为:

依据式(9)，可以在由弱光照图像分割所得的各个场景Ωi中搜索出最优的场景透射~t(i)，而搜索的依据是使得增强后场景的纯像素比被约束在0.000 1附近。针对聚类所得全部场景逐一完成场景透射率估计，便可获得弱光照图像I(x，y)所对应的子透射图。

2.3 子透射图融合网络

子透射图融合网络如图2所示，该网络主要由连接层，卷积层和反透射图运算层组成。在连接层中，不同输入在信道维度被连接成一个新的张量，旨在加强特征传播和特征复用；在卷积层中，通过可学习的卷积核挖掘子透射图之间的相关性，并调整特征图的数量；为了预防梯度消失问题，使得网络更容易训练，添加了一条快捷连接[17]。通过对图2的观察可知，在完成对子透射图融合网络的训练后，该网络便可同时接收两幅子透射图作为输入，并自动将其融合为一幅透射图作为输出。进而，依据低像素强度图像退化模型(式(3))可知，一旦获得融合后的透射图，便可直接利用待增强弱光照图像获得增强后的图像。

图2 子透射图融合网络

3 实验结果与分析

由于没有专门针对弱光照图像增强的标准数据集，本文利用文献[15]的方法构建包含7 000个样本的数据集。将数据集随机划分为训练集(80%)，验证集(10%)和测试集(10%)。由于GPU显存的限制，批量大小设置为32。采用均方误差作为损失函数；采用Adam优化器[18]来训练网络框架；遍历数设置为5 000；学习率设置为0.000 1。采用作为衡量增强质量的客观标准，并采用运行时间作为衡量重构效率的客观标准。实验硬件环境为:NVIDIA Titan XP GPU；软件环境为:Tensorflow 2.0。

为验证本方法的增强效果，选取四幅典型的弱光照图像(如图3所示)，并依据本方法对其进行增强处理，增强效果如图4所示。通过对比观察可以发现，本方法可以有效提升弱光照图像的整体视觉效果并恢复其中的纹理细节，消除了因像素强度不足所导致的色彩偏移、对比度不足等负面视觉效应，且未出现局部增强力度不足或过增强现象，以及光晕伪影、边缘畸变等现象。

图3 待增强弱光照图像

图4 增强效果

为进一步验证本方法的有效性和鲁棒性，以及所提方法的比较优势，重新选取四幅具有挑战性的弱光照图像作为实验图像，并与多种类型的现有主流方法分别进行主观和客观对比，具体包括自适应直方图均衡类的文献[19]方法、基于多尺度Retinex模型的文献[20]方法、基于多先验知识的文献[21]方法、基于全变分Retinex模型的文献[22]方法和基于反转大气散射模型的文献[10]方法。

3.1 主观比较

通过对图5至图8的对比分析可知，当图像中存在显著的强光照区域时，文献[19]方法为了避免强光照区域被过度增强而限制了其对弱光照区域的增强能力，因此图5中的草地、图6和图8中的背景区域均未得到有效增强，而这也是多数全局增强类方法的共同缺点；文献[20]方法使用多尺度滤波从退化图像中提取不同的频域分量，并仅基于图像频域分量的特征来判断是否属于待增强目标，但上述判定准则在图像中的高频分量不显著的条件下缺乏鲁棒性，因此图5至图8的局部均出现一定的纹理模糊；文献[21]方法联合使用了多种图像先验知识，但是由于各增强步骤中均需要进行平滑、保边等优化处理，因此整体增强效果不佳且易于引入光晕伪影，特别是图像中存在大量纹理细节时(见图6中的花朵周围)；基于Retinex理论的弱光照图像增强方法均需要对光照分量进行准确估计，虽然文献[22]方法基于变分Retinex模型大幅提高了光照分量的估计准确性，整体增强效果较好，但因难以控制整体亮度而易于过增强，且计算复杂度较高；文献[10]方法的有效性取决于待增强弱光照图像是否能够严格满足约束条件，因此在图6~图8的局部呈现出了一定的暗区域残留。相较而言，本文所提方法具有更好的纹理细节增强效果和色彩保真度，且未出现过曝光、过增强或光晕伪影等负面视觉效应。

图5 增强效果比较实验1

图6 增强效果比较实验2

图7 增强效果比较实验3

图8 增强效果比较实验4

3.2 客观比较

在定量比较实验中，本研究采用了3个广泛使用的指标，包括新增可见边缘比e、对比度恢复质量r和图像清晰度D。由文献[23]可知，新增可见边缘比可以测量增强后图像中出现的新增边缘的比率，对比度恢复质量验证了增强后图像的平均能见度提升度。由文献[24]可知，图像清晰度可以测量基于人眼视觉特征的图像可视性。通常，新增可见边缘比和对比度恢复质量的数值越高，对应增强方法的效果越好；而图像清晰度的数值越低表示图像清晰度越高。图5至图8中各增强结果的评价指标值分别列于表1至表3中，为了方便比较，用粗体表示最优值。

表3 图像清晰度对比结果

由表1可知，本文所提方法对于4幅图像取得了接近最优的新增可见边缘比值以及最优的对比度恢复质量值。这意味着该方法在相关图像中恢复出了较多的纹理细节。虽然，本文所提方法针并为取得一致最优的新增可见边缘比值，但文献[19]方法取得较高纹理增强结果的原因是增强了无效纹理，而这一点可以在表2中得到证实，因为文献[19]方法所获得的对比度恢复质量低于整体平均值。因此，结合表1和表2可以发现，本文所提方法不仅可以恢复出大量的纹理细节，且能同时改善全局对比度。

表1 新增可见边缘比对比结果

表2 对比度恢复质量对比结果

由表3可知，本文所提方法在3幅图像上均取得了最优的图像清晰度值，且对图6的增强结果也是接近次优的，这证明了该方法在图像可视性增强方面的比较优势，而这一点也和主观比较的结果是一致的。上述结果也能间接证明了增强后的图像中的光照结构自然且具有较好的色彩自然度。上述指标均能够较为平衡的判断图像各个方面的增强效果，因此上述结果能够证明本文所提方法的鲁棒性和有效性。