低照度隧道口视觉融合技术研究

马恋，马庆禄，付冰琳，王江华

（1 重庆交通大学 交通运输学院，重庆 400074）

（2 重庆奉建高速公路有限公司，重庆 401120）

0 引言

山区高速公路隧道桥隧的封闭环境中光照强度不足，成像后像素光照强度平均值较低。车载视觉系统中的识别算法可用于像素之间差异较小的情况。单一传感器所获得的数据信息通常是有限的，通过将多传感器数据信息加以融合，可得到更加客观、准确、全面的隧道场景信息。常用的夜视背景增强技术包括红外视觉技术，红外传感器通过采集物体表面的热辐射来获取图像信息，捕捉低照度和黑暗条件下的物体。红外与可见光电磁光谱图像信息进行融合，可获得增强的、更全面的场景信息。

研究人员对低照度下视觉图像处理提出了多种解决方法：1）基于空间域的算法。KUMAR A 等［1］利用典型的直方图均衡化增强以增强图像亮度和对比度；程文傲等［2］为了使融合图像特征更明显，利用加权平均将互补信息进行有机集成融合，然而容易造成局部图片过饱和，产生噪声。2）基于变换域的算法，多尺度变换应用最为广泛。ZHANG S Q［3］利用非下采样轮廓波（Non-Subsampled Contourlet Transform，NSCT）进行分解，根据视觉显著性对不同来源的低频子带赋予不同的权重，通过筛选方法得到高频子带权重图；PARK S 等［4］基于Retinex 理论在变换域算法将图像变换到频域空间再做滤波处理，然后进行反变换获得增强的图片；杨九章等［5］提出了一种基于双边滤波的方法对可见光和红外图像进行非对称处理，去除“光晕”和噪声；陈豪等［6］采用图像金字塔融合以提高图像对比度和清晰度，然而图像增强仍然存在“光晕伪影”、计算效率低等问题。3）基于深度学习的算法。BIANCO S 等［7］采用训练模型参数和卷积神经网络对图像进行编解码提取抽象特征并对图像特征进行分解和增强操作，实现低照度图像增强；LORE K G 等［8］利用深层堆叠稀疏降噪自编码器（Stacked Sparse Denoising Autoencoder，SSDA）构建了低照度图像增强网络（Low-Light Net，LLNet）模型，在增强对比度的同时有效抑制噪声；AMINUDIN M F C 等［9］利用卷积神经网络（Convolutional Neural Networks，CNN）和去噪自动编码器等深度学习架构，提高图像质量；LU H M 等［10］为降低光学图像受到低光照的影响，使用深度卷积神经网络解决光场图像的去散射问题，然而基于RGB 色彩空间模型存在RGB 三原色相关性的影响，增强图像时易造成色彩失真，且数据依赖问题导致利用深度学习算法对低照度场景下增强效果不理想。对于多传感器的融合，混合模型通过结合多重优点以提高图像融合的性能。FALLAH M 等［11］将多尺度变换（Multi-scale transforms，MST）和稀疏表示（Sparse Representation，SR）用于红外与可见光融合，保留热辐射信息的同时改善了空间细节；REN L 等［12］采用引导滤波和红外特征分解的红外与可见光图像融合算法，计算效率高；LIU Y C 等［13］利用方向均匀性和强度分布显著性将增强后的可见光图像作为背景重建融合图像；BUDHIRAJA S 等［14］基于NSCT 分解，利用稀疏表示和聚类字典以获取增强的融合图像。上述方法对图像都有较好的增强效果，但在隧道口低照度条件下会存在前景亮度偏低、颜色偏暗或失真等。本文利用卷积稀疏表示（Convolution Sparse Representation，CSR）、光谱边缘信息（Spectral Edge，SE）以及局部能量（Energy）特征进行图像融合，提出一种公路隧道光环境静态和动态条件下隧道空间信息的智能感知方法（CSR-SE-Energy），同时处理降噪与融合，避免在融合处理时可见光和近红外信息的丢失。

1 预处理

1.1 不同时段注视点

在光线较强的正午时段，由于隧道本身环境封闭，高速公路隧道口比其他路段的注视点更为分散，在低照度时段注视点分布范围更加广泛。选用典型驾驶数据分析，隧道口区域不同区段的注视点分布不同，在水平轴差异大［15］。隧道内利用照度计采集车内外光照差异，如图1 所示。

图1 隧道出入口视觉及车辆内外照度对比Fig.1 Comparison of tunnel entrance vision and vehicle internal and external illumination

1.2 双边滤波图像滤波器

减少光照对于图像的影响，准确提取出图像的光照信息是图像预处理中非常重要的一环。应用普遍的光照信息提取算法主要有高斯滤波算法、双边滤波算法以及Retinex 算法等。高斯滤波会引起图像边缘不清晰，细节信息不完善，基于Retinex 算法对光照突变的信息提取不理想。不同的色彩信息采用双边滤波对多源图像进行滤波反馈，即

式中，i、j表示计算的这一个像素点的位置，k、l为周围像素位置，w(i，j，k，l)代表经过两个高斯函数计算出的值，f(i，j)和f(k，l)分别为像素区域的坐标和相邻区域基本单元的灰度值，是标准的空间域距离的高斯标准差。双边滤波算法［16］提取出可见光彩色图像和红外图像信息，很好地保持图像边缘信息的同时抑制图像噪声，如图2 所示。

图2 双边滤波处理及亮度特征Fig.2 Bilateral filtering and luminance characteristics

1.3 照度层的提取与优化

避免图像增强过程中产生的失真现象，采用伽马（Gamma）校正对光照分量进行校正。首先求取参数a，对Gamma 校正I（x，y）的参数进行自适应调整，即

式中，m、n分别为图像的宽与高。I2（x，y）为经过校正后的光照分量值。Gamma 校正很好地提高图像亮度，丰富暗区域细节信息。为防止曝光区域的增长，隧道入口处可见光与红外图像的校正如图3 所示。Gamma校正提高图像亮度的同时，图像动态范围有所压缩且局部对比度低，因此采用限制对比度的自适应直方图均衡（Contrast Limited Adaptive Histogram Equalization，CLAHE）进行光照分量处理，如图4 所示。

图3 多源图像伽马校正Fig.3 Multi-source images Gamma correction

图4 CLAHE 变换Fig.4 CLAHE transform

在进行CLAHE 变换中利用像素插值将无法对整块进行调整的部分的边缘对称扩充，对x和y利用插值法能够有效填充图像变换时像素之间的空隙。

2 融合步骤

2.1 非下采样轮廓波

为提高隧道可见光所呈现的视觉信息并增强红外像素暗处细节，通过与原始可见光图像融合进一步提高图像中多元化信息的反馈。非下采样金字塔（Nonsubsampled Pyramid，NSP）和非下采样方向滤波器（Nonsubsampled Directional Filter Bank，NSDFB）是非下采样轮廓波（Non-subsampled Contourlet transform，NSCT）的主要部分。若对预处理后的源图像进行k层分解，可得与其大小相同的k+1 个子带图像，包含一个低通子带和多个带通子带，k级NSCT 分解如图5 所示。对于NSCT 分解部分，金字塔滤波器和方向滤波器设置为“pyrexc”和“vk”，分解级别皆设为4，分解级数为［2，3，3，4］。

图5 k 级NSCT 分 解Fig.5 k level NSCT decomposition

本文提出的算法整体流程如图6 所示，双边滤波与光照分量对隧道口低照度红外和可见光源图像进行自适应图像增强；利用非下采样轮廓波对预处理后的图像进行多尺度、多方向分解；对低频系数，采用基于卷积稀疏表示与局部能量特征相结合的方法进行融合；对高频系数，根据底层视觉特征构建新活性度量方法与光谱边缘处理，最后对融合系数进行重构得到融合图像。

图6 算法流程Fig.6 Flow diagram of algorithm

2.2 低频部分融合

算法首先对可见光图像与近红外图像分别使用双边滤波器将k层分解后的单个低频子图Ik分解成低频基础分量和细节特征分量，前者采用局部能量特征融合，细节特征分量采用卷积稀疏表示（Convolution Sparse Representation，CSR）策略融合。

通过式（3）可得。

式中，gx和gy分别表示x，y方向梯度算子，F为范数，*为卷积运算符号，正则化参数η=5。

为求得细节特征分量，对应CSR 模型为

式中，λ为稀疏正则项，λ＞0 表示自定义参数；dm表示滤波字典，m∈{1，2，3，…，M}，{dm}表示M维卷积字典；Ck，m为的系数矩阵，{Ck，m}为特征响应，利用加权局部能量和局部能量比保存隧道入口的红外与可见光图像的低频子带结构细节信息。

加权局部能量（Weighted Local Energy，WLE）可表示为

式中，E(x，y)表示红外图像加权局部能量EI(x，y)或可见光图像加权局部能量EV(x，y)，L(x，y)表示图像位置(x，y)处的NSCT 低频系数，W(m，n)为低频系数的窗口加权系数矩阵，r为矩阵半径，当r=1 时，正则化系数矩阵

加权局部能量保存结构化信息，由于简单加权往往会导致红外目标淡化，为保持融合目标亮度，度量细节提取值采用局部特征能量比，即

式中，R(x，y)表示红外局部能量与可见光局部能量的占比。EI(x，y)相对EV(x，y)越大，其像素越有可能属于目标，但是R(x，y)受EI(x，y)和EV(x，y)共同作用。因此，对于融合图像应尽可能保留红外图像中目标的高亮特征。

式中，mean［］表示均值；std［］表示标准差；k1，k2为经验参数，设k1=0.5，k2=1.5。合并后的低频部分为LF=

2.3 高频部分处理

利用新活性度量方法（New Activity-level Measurement，NAM）对高频信息进行融合，即［17］

式中，α1、β1和γ1取值为1、2、2，Si（x，y）是大小为×滑动窗，K为源图像数目。MNAMi（x，y）≥maxMNAMj i，j∈(1，K)。采用NSCT 逆变换重构得到融合图像，其中IF=LF+HF。边缘信息注入多源图像中，提取高频信息，光谱边缘（Spectral Edge，SE）图像融合表示为

式中，Ihi表示hi通道的信号，1 ≤i≤3，L(λ)为光源的相对光谱功率分布，R(λ)为物体光谱反射率，τL(λ)和τF(λ)分别为镜头和滤光片的光谱透光率，S(λ)为归一化光谱灵敏度。

3 实验与分析

计算机的CPU 采用Intel Core i7-7500U2.5GHz，内存为8GB，Matlab 2018a 环境。针对低照度下隧道出入口行车会车时的实际场景，在实验室自然光照射、隧道灯光及车辆灯光照射等不同情形下，模拟驾驶员的视线进行隧道出入口会车实验。通过内外部路段亮度变化模拟实际路况，光源周围3 辆汽车模型模拟低照度下隧道出入口行驶车辆。对于图像融合程度，选取基于无参考图像的评价指标［18］，包括：融合图像与源可见光、红外图像之间相似程度的互信息量（Mutual Information，MI）［19］；融合图像的空间频率（Spatial Frequency，SF），用于反映梯度分布，从而揭示融合图像的细节和纹理［20］；融合图像清晰程度的指标平均梯度（Average Gradient，AG）［21］；融合图像的边缘信息传递量（The transfer of edge information，QAB/F）［22］；信息熵指标（Information Entropy，IE）［23］；和基于统计概念，反映融合图像信息分布和对比度的标准差（Standard Deviation，SD）［24］。A、B 组为低照度下隧道入口的近红外与可见光图像实验，C、D 组为低照度下隧道出口的近红外与可见光图像实验，A、C 组主要由自然光照射，B、D 组主要由隧道灯光照射。

3.1 主观分析

实验选取了200 组分辨率为1 920×1 080 的隧道口低照度可见光与红外预配准图像，方便实验结果分析，选取4 组典型低照度图像作为结果展示。选用具有对比性的融合算法包括双边滤波算法（Bilateral Filtering，BF）［25］、光谱边缘图像融合（Spectral Edge，SE）［26］、NSCT-BF［27］、SF-Energy-Q［28］、SR-C&L［29］与本文算法进行性能比较。对于SR-C&L，小波融合方法中小波分解层数为3 层，小波基选取bior2.4。

除混合方法外，BF 和SE 算法采用“高频绝对值取大，低频加权平均”的融合规则。其余参数详见对应参考文献。通过主观视觉感受对4 组实验进行分析评价。

图7（a）～（b）为通过模拟驾驶员的视线拍摄到的A 组可见光与红外源图像，融合对比算法结果如图7（c）～（h）。可以看出，BF 融合亮度适中；SE 融合在源彩色可见光图像的对比度更加突出，但是几乎无隧道内近红外信息，视觉效果不理想；SF-Energy-Q 比BF 和NSCT-BF 背景融合结果分辨率高，但是隧道内环境画面不清晰；SR-C&L 对亮度的提升不足，呈现块状阴影；本文基于CSR-SE-Energy 融合算法得到的图像亮度得以提升，很好地去除“光晕”现象和图像噪声，优于前5 种方法，对比度良好。

图7 A 组图像及融合结果Fig.7 Images and fusion results of group A

从图8 主观视觉可以看出BF 融合、NSCT-BF 和SR-C&L 三种方法在亮度方面呈现递增，但是隧道内的车辆色彩偏暗；NSCT-BF 融合方法出现了颜色失真，并伴随着“阴影”；SE 融合方法存在隧道内灯光颜色过饱和；SF-Energy-Q 融合将隧道内车辆灯光照明放大，明暗反差过于强烈；SR-C&L 方法背景较暗，细节纹理损失较多；CSR-SE-Energy 融合方法有较好的主观视觉优势，融合后的整幅图像场景得以凸显。

图8 B 组图像及融合结果Fig.8 Images and fusion results of group B

由图9 可见，C 组隧道出口处车辆驶离隧道，经BF 融合后的图像有亮度不柔和现象；SE 融合方法未呈现近红外信息，隧道外背景图像中还存在噪声干扰；SF-Energy-Q 算法的隧道环境场景稍暗；SR-C&L 算法受“块效应”影响较大；CSR-SE-Energy 算法优于前5 种方法。

图9 C 组图像及融合结果Fig.9 Images and fusion results of group C

由图10 可见，D 组SF-Energy-Q 算法相较于前3 种算法整体的层次感较高，但是局部色彩失真，颜色偏绿；而SR-C&L 算法存在局部对比度过大，分辨率不高；CSR-SE-Energy 算法融合结果辨识度高，体现出良好的图像融合性能优势。

图10 D 组图像及融合结果Fig.10 Images and fusion results of group D

3.2 客观指标分析

A 组融合实验的客观评价指标如表1 所示。与其他5 种方法相比，CSR-SE-Energy 中有5 项指标占据优势，SF-Energy-Q 算法的SF 值高于本文算法，但相差无几。

表1 A 组性能指标评价Table 1 Performance index evaluation of group A

由表2B 组指标可知，车辆由隧道外黯淡的条件下驶入隧道内，亮度条件主要由隧道灯光照射与自身车辆灯光提供。此种情况CSR-SE-Energy 方法仅AG 指标相对略低，其余指标均较优。

表2 B 组性能指标评价Table 2 Performance index evaluation of group B

表3 中，C 组隧道出口处CSR-SE-Energy 算法除了QAB/F指标略低于SF-Energy-Q 算法之外，其余5 项均高于其他5 种对比算法结果，因此该算法具有较好的优越性。

表3 C 组性能指标评价Table 3 Performance index evaluation of group C

由表4，D 组指标可知，与其他5 种方法相比，本文算法仅QAB/F值略低于SR-C&L 算法，其余5 项指标均为最高。

表4 D 组性能指标评价Table 4 Performance index evaluation of group D

表1 至表4 对应的柱状图如图11 所示。图11（a）评价指标柱状图可以看出，CSR-SE-Energy 算法SD 指标占据显著优势。对比图11（a）～（d），CSR-SE-Energy 算法在融合图像信息分布和对比度上具有明显优越性。

图11 评价指标柱状图Fig.11 Histogram of evaluation indicators

为体现算法在运算时间上的优势，50 幅、100 幅、150 幅和200 幅融合图像的运行平均时间对应于Tn1、Tn2、Tn3和Tn4，如表5 所示。可知，CSR-SE-Energy 算法中Tn4与5 种典型算法对比至多减少0.023 2 s，同时视觉效果显著。

表5 不同算法处理低照度隧道口处图像时运行的平均时间（ms）Table 5 Average running time of different algorithms for images at tunnel entrance with low illumination（ms)

4 结论

本文利用光谱边缘图像融合SE 算法提取可见光彩色图像信息，结合CSR 和局部能量特征的特性，提出低照度下CSR-SE-Energy 近红外与可见光融合框架。将NSCT 分解所得的低频基础分量利用局部能量特征的方法进行融合，重点体现在红外亮度信息得到保留，使用SE 方法对可见光色彩信息进行优化，利用CSR 融合低频细节特征分量，并根据活性测度算法提取源图像的特性，对高频部分进行融合。该算法克服了传统的“SR”的“块效应”和“伪吉布斯”效应，弥补了图像之间关联性差的缺陷，保存能量信息与边缘细节信息。与BF、SE、NSCT-BF、SF-Energy-Q、SR-C&L 5 种算法的对比实验结果表明，该算法得到的融合结果图有着良好的视觉特性；结合MI、SF、AG、QAB/F、IE、SD 六种评价指标进行评价，该算法的MI 值、IE 值、SD 值均高于其他算法，分别为7.596 2、7.764 2、82.194 1；在处理低照度隧道出入口处图像时，运算时间至多减少0.023 2 s，降低了总体运算成本，提升了图像的鲁棒性和视觉清晰度。