基于 IHS 与 NSST 的矿井彩色低照度图像融合算法

付 元

中煤科工集团杭州研究院有限公司 浙江杭州 311201

煤矿智能化、智慧矿山建设是煤炭行业未来高质量发展的重要战略方向。在煤矿智能化建设过程中，对现实世界的智能感知主要依托图像和视频数据。近年来，对于视频图像数据的技术研究和应用已经逐步推广到煤矿的各个生产和日常管理中，在目标识别、人员信息识别、矿井图像融合等方面都有着广泛的应用。

有效进行煤矿图像采集，有利于后续分析、响应，进而保证井下安全生产，但是在煤矿视频数据采集过程中，由于煤矿工作面环境复杂，环境条件差，光照差等因素，在可见光条件下，实现图像采集时得到的光谱特征非常弱，导致最终成像非常模糊，进而很难区分工作人员与周围环境[1]。低照度下的矿用图像采集、降噪、去模糊等都是十分困难的，许多研究者提出了很多复杂的降噪方法[2-5]，但是局限于可见光的窄带颜色所导致的低信噪比，往往不能很好地提升对图像中特定特征的提取。随着采集手段的提升，利用多频图像融合算法来提升图像细节成为了一种新的研究方向。

图像融合是对同一场景进行多信息融合形成单个图像的过程，其目的是为了减少冗余信息和干扰信息，最大化地提取有用信息。目前，融合图像的主要方法是灰度融合算法[6]。它主要由空间域和频率域算法组成。空间域算法比较容易实现，但是图像模糊，并且目标不明确[7]；频率域的算法主要有小波变换、拉普拉斯金字塔、轮廓波变换、Shearlet 变换[8]和平稳小波变换。小波变换具有多方向相同的特点，由此导致小波变换不能根据多方位图像提取图像细节信息。NSCT (Non-subsampled Contourlet Transform，非下采样轮廓变换) 作为一种传统算法，主要研究领域在红外光、可见光图像的融合，在分解不同尺度或者各向异性较强的图像上，NSCT 有较好的效果。但是 NSCT 自身结构导致运算花费的时间较长，所以在NSCT 的基础上提出了 NSST 变换。NSST 能够有效地进行多方位几何分解，可以更好地进行图像细节描绘[9]。

针对煤矿实际生产场景需求，根据工人制服与环境在不同波段的反射强度存在本质的差别，利用多谱段的数据融合，最终达到既增强目标细节信息又抑制背景环境的目的。笔者利用 IHS 变换对可见光的光波信息和亮度信息进行了区分，再利用 NSST 多方位几何分解的优点，提出了基于 IHS 和 NSST 的彩色低照度图像融合算法。在对图像进行多方位、多尺寸分解，在空间频率中，低频子带通过构造自适应调节因子完成信息融合，高频子带通过区域能量构建模型完成信息融合；通过有机结合 IHS 逆变换与 NSCT 逆空间变化操作，得到最终的融合图像。

1 IHS 与 NSST 转换方法

1.1 IHS 变换与 RGB 空间转换

IHS 颜色空间的图像是基于颜色、亮度和饱和度三大特征，其中颜色的饱和度与视觉感受直接关联起来，而亮度则与颜色分别独立，使得相对于不同位置的颜色上的特征都可以通过 IHS 转换实现与画面兼容[10-11]。提取流程如图1 所示。

图1 提取流程Fig.1 Extraction process

RGB 色彩空间表达图像信息依靠的是红色、绿色、蓝色 3 个元素描绘图像的彩色信息。它与 IHS 变换不同的是红、绿、蓝 3 个元素相互依赖，这种依赖关系增大了图像解析和信息提取的难度。相较而言，IHS 变换则是 3 个相互独立的元素，因此有利于光谱信息的提取[12]。

变换过程需要中间变量进行操作，给出变量V1、V2，变换过程如下。

变换后，IHS 逆变为 RGB 空间的过程如下。

对多光谱的物体重新取样，使其在空间分辨率下所得的值和全色情况下所得的值一致，再对取的 RGB空间进行颜色变换，转换成 IHS 空间，然后接着将直方图匹配，使多光谱图像的颜色与高分辨率全色图像色调相同，从而获得新的全色图像并与多光谱I的分量颜色非常接近，再将多光谱I的分量置换，使之作为新的亮度成分，最后再逆变换为 RGB 空间。

1.2 非下采样剪切波变换

剪切波结合几何不同尺度原理通过仿射系统，当n＝2 时，有合成膨胀的放射系统

式中：ψ∈L2(R2)；A为 2×2 可逆矩阵，且|detA|=1。

NSST 逆变换重新建立初始图像分为两步：首先生成非下采样金字塔模型，里面的每一个尺寸都是使用剪切波滤波器在多方位经过分解和过滤的操作得到的；然后对图像进行非下采样金字塔重新构造[13-14]。因为 NSST 有多尺寸、多方位和平移相同性的特点，所以可以有效地进行图像的融合操作。当MAB(ψ) 满足条件时，二维仿射系统中的元素称为合成小波，A为膨胀矩阵；Ai为关于大尺度转换的变量；B为剪切矩阵，与Bj几何变换理论密切相关。当时，NSST 是非正交变换，同样是传统剪切波变换的重要发展成果，它由两个方面所构成，分别是基于非下采样金字塔滤波[15]的多尺度分析和基于改进剪切波滤波的多方向分析。不同尺寸分解方法是通过进行K次分解，最后得到一个低频率分量和K+1个高频率分量，对得到的高低频率分量进行多方位分析。目前标准的剪切波滤波器基本都是采用标准伪极化网的平动方式进行的，而采用 NSST 的方式主要是先把标准的伪极化坐标网反映在标准笛卡尔坐标系[16]，然后再使用标准傅立叶逆变换去检验它对二维卷积的作用。NSST 离散化过程如图2 所示。

图2 NSST 离散化过程Fig.2 NSST discretization procedure

2 基于 IHS 和 NSST 的矿井彩色低照度图像融合算法

2.1 图像特征提取

低频率分量含有成像的特性和物体的轮廓特征以及可见光成像的背景特征，笔者运用了局部特征取大原则对不同频段成像进行取样，局部特征取大原则如公式 (6)、(7) 所示。

式中：(i，j) 为图像像素点的位置坐标；M×N为局部尺寸大小；c为低频分量信号。

因为矿井的工人制服对各个频段的反射强度都不同，所以高频谱图像融合就是要结合在可见光下物体纹理方面的特征和声音方面的特征。彩色图像分解后得到的亮度分量，凭借目标的特点不同与邻近的像素之间和系统中图像内部的多可能性，能自动地确定其中的像素点到底是来源于目标的特征信息还是来源于背景环境信息，相应的度函数[17]

式中：β为函数的中心，代表图像的平均值；σ为函数宽度，代表图像标准差。

在结果中，高频率的分量主要映射图像的要点，其中涵盖了图像纹路信息和边缘特性，采用模值取大原则能大概率保留目标的边缘特点，这可以保留图像清晰程度。高频率分量

2.2 图像融合算法

特殊波段描绘了矿下工人的制服在不同波长下的不同反射信号。这些信号整体框架信息很明显，但是比较模糊，并且细节差，利用能记下环境细节特点的可见光图像，可以达到适合人眼视网膜识别观察的目的。SSIM (Structural Similarity Index Measurement) 是用来描述两幅图像相似度的指标[18]。在保持可见光图像低频分量空间对比度信息的基础上，通过基于SSIM 和亮度差异性的稀疏表示，在最优化情况下可注入更多 SAR 图像结构信息和亮度信息。

图像融合流程如图3 所示。图像融合算法步骤如下：

图3 图像融合流程Fig.3 Image fusion process

(1) 选择几组 SAR 图像与可见光图像进行融合；

(2) 对已采样的 SAR 图像与可见光图像通过 IHS和 NSST 进行变换，生产相应的高低频率分量VH1,1，VH1,2，…，VH1,k、SH1,1，SH1,2，…，SH1,k、SL、VL；

(3)L通过 SML 融合对高频分量VH1,1，VH1,2，…，VH1,k和SH1,2，…，SH1,k操作，得到高频融合分量FH，通过 SSIM 和亮度差异性稀疏表示融合原则对低频率分量操作得到低频融合分量F；

(4) 通过 NSST 和 IHS 逆变换将低频融合分量FL和高频融合分量FH进行转换[19]，最终生成 SAR 与可见光融合图像。

将SAR 图像和可见光图像的低频分量用滑动窗口的方法划分为的图像块。假设第p对图像块为 {x，y}，亮度l用图像块的灰度均值 {μx，μy} 来表示，对比度c为灰度的标准差 {σx，σy}，图像的结构记为s，图像块p与图像的亮度l、对比度c以及结构s之间的关系可表示为

每对图像块的亮度相似性信息定义为

Cl、Cs为无限接近于零的常数，以免出现分母为零的情况，即：

融合后，将列向量运用字典转换为图像结构列向量

将列向量全部转换为图像块结构信息和亮度，分别表示为sf、lf，再将之前提取出来的图像低频分量对比信息加入到图像块中，即可得到图像块低频分量融合结果

在融合过程中，SAR 图像结构信息的加入程度由两幅低频分量结构的相似性决定。SSIM 越大，则注入越多的 SAR 图像信息，可以更好地保留图像中的细节信息；SSIM 越小，则可以更多地保留可见光图像的信息，即保留图像的轮廓信息。同样，SAR 图像亮度信息的注入程度也是由亮度相似度决定的。亮度相似度越小，SAR 图像亮度信息注入的越多，可以保留融合图像中感兴趣目标区域的亮度；亮度相似度越大，则 SAR 图像亮度信息注入越少，则可以保留更多的可见光图像亮度信息。

图像细节信息存在于变换域的高频分量中，其本身具有良好的稀疏表示特性。与传统的方差、拉普拉斯能量以及空间频率相比，SML (Standardized Max Logits) 更注重局部图像块区域内像素间的相互联系[20]。定义I l,k(i，j) 为像素 (i，j) 在第l尺度第k方向上的系数。改进的拉普拉斯能量 (ML) 和 SML 可定义为

变量A和B决定着窗口 (2A+B)×(2A+B) 的大小。

也就是进行高频分量比较时，选择 SML 系数较大值作为融合图像的系数。

3 试验结果与分析

试验过程在 PC 端进行，计算机硬件为 Intel i7，Windows10 操作系统，使用 MatLab 语言进行编码。使用基于 IHS 与 NSST 的彩色低照度图像融合算法与基于 IHS 变换、基于轮廓波变换、基于非下采样轮廓变换的融合算法进行对比试验。

3.1 试验评价

采用可见光作为参考图像，使用相关系数(Correlation Coefficient，CC)、光谱角 (Spectral Angle Mapper，SAM)、相对整体误差 (Relative Average Spectral，RAME)、相对平均光谱误差 (Relative Average Spectral Error，RASE) 和通用质量评价指标 (Universal Image Quality Index，UIQI)[21]对融合图像的效果进行客观评价。其中，CC、SAM、RAME 评价融合图像的光谱质量，RASE、UIQI 从光谱质量和空间细节信息整体上对融合图像进行评价。

3.2 试验结果

为验证基于 IHS 与 NSST 的彩色低照度图像融合算法的有效性，采集了彩色低照度图像来进行试验，且彩色低照度图像为井下工人工作时间获得，背景主要是矿井采矿区，采样结果如图4 所示。

图4 矿井采样Fig.4 Mine sampling

对图4 进行基于 IHS 与 NSST 的彩色低照度图像融合试验，图像融合如图5 所示。由图5 可知，矿井工人的身体轮廓信息与周围环境信息之间的对比效应突出，工人制服信息保存纹理特性信号，具有较好的图像融合效果。

图5 图像融合Fig.5 Image fusion

通过收集某个时刻各摄像机拍摄到的矿井采矿区图像，运用基于 IHS 与 NSST 的彩色低照度图像融合算法，将图像融合为具有矿工与背景对比突出特点的图像，解决了由于矿井下图像光线不足、拍摄设备不稳定，导致图像模糊、图像受噪声影响较大等问题，更加方便清晰地观测到煤矿井下采矿区工作的具体情况。对照试验如图6 所示。

图6 对照试验Fig.6 Check experiment

从图6 可以看出，基于 IHS 变换的方法相对基于轮廓变换、非下采样轮廓变化的方法色彩较浅，在视觉效果上没有图6(d) 和图6(e) 更好地保留频谱信息。从全图可以看出，笔者提出的方法在色彩保持和清晰度上都比其他方法较好。对照试验融合质量评价如表1 所列。由表1 可知，基于 IHS 与 NSST 的图像融合算法在各项指标均优于对照组其他方法，且最接近融合结果理想值，证明了该方法在融合结果上的有效性。

表1 对照试验融合质量评价Tab.1 Evaluation of fusion quality in check experiment

4 结语

煤矿井下环境复杂、人员及设备繁杂，作为生产的一线，如何高效、准确地保障工作人员的自身安全与企业生产安全，是一件责任重大且有意义的事。矿井彩色低照度图像融合正是实现这一目的的重要技术手段，可以克服煤矿井下低照度对视频和图像数据的影响，提高生产安全性。笔者利用光谱波段不同，进行信息互补，提出了基于 IHS 与 NSST 的矿井彩色低照度图像融合算法来进行工人检测，低频率分量采取自适应模糊逻辑作为融合原则，高频率分量则采取模值取大的原则将融合图像的特征波段多级融合，增强了融合图像的工人信息，增大了目标与背景的对比度，提高了目标的检测精度，最终得到的图像融合效果良好，具有较大的应用价值。