结合多尺度循环卷积和多聚类空间的红外图像增强

路皓翔，刘振丙，张 静，王子民

（1. 桂林电子科技大学计算机与信息安全学院，广西桂林 541004；2. 桂林电子科技大学商学院，广西桂林 541004）

1 引言

红外成像技术以红外探测器和光学成像系统为核心，将目标区域物体温度转换为可见图像，即红外图像［1，2］. 该技术是一种被动成像技术不受环境因素影响，弥补了可见光成像系统的不足，被广泛应用于军事、人防、工业及海上搜救等领域［3～5］. 然而，由于探测器可探测范围大而目标区域物体温度范围小以及大气环境对热辐射传导的影响，造成红外图像的亮度较暗、细节模糊和对比度低，降低了红外图像的质量［6］. 故而，采用图像增强的方式改善图像质量、凸显图像细节信息、增强图像对比度对于拓宽红外成像技术的应用极为重要［7～9］.

当前，对于红外图像增强技术主要包括：（1）基于直方图的图像增强法. 该方法通过改变红外图像直方图在整个灰度区间的分布达到改善图像质量的目的［10，11］. 但由于其会合并图像的灰度级且灰度值映射函数单一等因素，导致图像的细节丢失、轮廓模糊及块效应等问题突出. 因此，以合适阈值分解图像直方图为两个或多个区间的子直方图技术如子双区间直方图均衡化技术［12，13］、递归直方图均衡化技术［14］和动态直方图均衡化技术［15，16］等，解决了图像灰度级减少及亮度较低的问题. 通常，红外图像频率较低的灰度级会合并而频率较高的灰度级区域易增强过度，故产生了修正原始图像直方图频率的修正直方图均衡化技术，如直方图剪切技术［17］、直方图频率加权技术［18，19］. 为了解决直方图均衡化导致的图像细节丢失，文献［20～22］等提出了局部直方图均衡化技术，通过在空间上将原始图像划分为若干子块并在各块进行均衡化处理. 此外，结合直方图均衡化和最优化理论、泛函分析等数学理论的直方图变分技术可实现预设条件下的红外图像增强［23］.（2）基于图像分层的图像增强法. 该方法根据图像特征将图像进行分层，通过融合不同方法增强处理后的子层获取高质量图像. 如文献［24，25］中将图像的细节层和结构层进行分离、文献［26］将图像的目标区域和背景区域进行分割可很好的解决图像细节模糊、对比度低的问题，但图像亮度较低.（3）基于变换域的图像增强法. 该方法主要是将图像灰度值转换到梯度域或小波域进行增强操作. 其中在梯度域中图像灰度值可以等可能的显示，更好的显示图像细节信息，如文献［27］中结合梯度域和直方图均衡化进行图像细节增强. 在小波域中高频小波系数对应图像边缘、细节和纹理信息、低频小波系数对应图像的背景及轮廓信息，如文献［28］将图像转换到小波域，通过增强小波系数实现图像增强. 该方法可实现图像细节及纹理细节的有效提升，但图像整体质量并未得到很好的改善.

在文中提出了一种融合细节特征的多尺度循环卷积多层次均衡化的单个红外（灰度）图像增强方法，它能够在提升图像亮度的同时增强图像对比度、凸显图像纹理细节信息，输出高质量的红外图像. 该算法首先采用多尺度循环卷积提升图像细节信息；然后利用Kmeans 对图像灰度值聚类分析，在不同的聚类空间进行均衡化操作，提升图像亮度且保持图像细节信息；接着按照线性融合策略与多角度组合滤波器提取的图像纹理细节进行融合，最后利用灰度等间距均衡化进一步对融合后的图像处理，增加图像清晰度和细节. 实验结果表明，该方法较对比方法均表现出了较优的性能，更适合用于多种场景下的红外成像技术中.

2 增强算法

本文图像增强方法的框架如图1所示，主要包括五个部分：多尺度循环卷积（Multi-scale Cyclic Convolution，MCC）、多聚类空间混合均衡化（Multi-cluster Spatial Mixing Equalization，MSME）、多角度组合滤波器（Multi-angle Combination Filter，MCF）、线性融合（Linear Fusion，LF）和图像层次化处理（Hierarchical Processing，HP）.

图1 本文算法框架

2.1 多尺度循环卷积

深度学习中，图像深层特征主要依赖于卷积进行提取［29，30］. 传统的神经网络中仅层与层间进行连接，而Densenet 网络［31］采用密集连接的方式将所有层连接起来充分利用图像信息进行细节信息提取. 也就是说若网络存在L层则传统的神经网络存在L个连接，而Densenet 网络则存在L（L+1）/2个连接.本文借鉴Densenet网络这一思想，设计了多尺度循环卷积模块并将每一层均连接起来，充分利用图像的信息达到提取图像细节信息的效果. 其实现图像细节信息提取如图2所示.

图2 MCC提取细节框图

该模块包含两个卷积层，每个卷积层中包含6个大小为3*3 的高斯卷积核且卷积半径分别为0.1、0.3、0.5、0.7、0.9 和1. 此外将原始图像I与第一层卷积提取的特征F1进行融合并作为第二层卷积层的输入I1，经第二层卷积层处理后将其特征F2与原始图像I和第一层卷积提取的特征F1进行融合求解出较高质量的图像I2. 然而图像的亮度不均匀且对比度较低，故在第二层卷积层进行融合时首先采用自适应直方图均衡化（Adaptive Histogram Equalization，AHE）对第一层卷积提取的特征进行对比度拉伸.

图3给出了图像经多尺度循环卷积处理后的效果，从图中可以看出，MCC可以有效的增强图像的细节信息、改善图像的视觉效果，但是处理后的图像仍然存在亮度较暗且对比度较低的问题. 从图3的局部细节图中可以看出，MCC处理后图像的细节信息更加丰富且对比度更高.

图3 MCC处理前后的图像及其直方图（第1行是原图和处理后的图像，第2行为对应的3D直方图，1、3列为原图，2、4列为处理后的图像）

2.2 多聚类空间混合均衡化

MSME 主要为了提高图像局部对比度同时凸显图像的细节，分为图像灰度值聚类分析和图像均衡化两个阶段，具体的：

Stage I：灰度值聚类分析

传统的K-means 通过随机选取灰度值作为聚类中心，然而图像P的灰度值pij分布通常较为密集，若随机选取的聚类中心重合或距离较近时，会导致最终求解的聚类中心不是最优解［32］. 因此，对图像聚类分析时首先采用最大贡献率法选取初始聚类中心.

步骤1：初始聚类中心计算

假设图像P中灰度值pi与pj之间的余弦距离Dpi为

图像P中灰度值pi与灰度值pj距离的最小值定义为di，即

图像P中灰度值pi与灰度值pj距离为di的累计数定义ρi为，即

那么，图像P中灰度值pi的贡献率φi为

按照从大到小的顺序依次排列，即，

选取贡献率最大的前K个灰度值，即选取C={φmax，φmax-1，···，φmax-k+1，φmax-k}所对应的图像P的灰度值={pmax，pmax-1，···，pmax-k+1，pmax-k}作为K-means聚类算法的初始聚类中心.

步骤2：灰度值类别划分

将距离聚类中心最近的灰度值归为一类，即，

步骤3：迭代精度评估

计算不同类别中每个样本的迭代精度，即

其中，sp表示图像中任意灰度值h表示聚类中心.λph为权重，若sp属于以h为聚类中心的类别其取值为1，否则取值为0，即

若迭代精度不满足设置的阈值，那么进行聚类中心的更新.

步骤4：聚类中心更新

求解出不同类别的均值，并作为新的聚类中心，重复进行步骤2、3，直至迭代精度满足设置的阈值. 第m+1次迭代第h类的聚类中心um+1i为

其中，T表示以为聚类中心的类别中灰度数目.

Stage II：均衡化

经过Stage I 对图像灰度值聚类分析后，将图像灰度值划分为多个聚类空间，按照各聚类空间所包含的图像信息的占比确定图像均衡化后图像的直方图范围，达到增强图像的目的. 假设图像P的灰度数为N，某一聚类空间q包含的灰度数为Mq，则该聚类空间均衡化后的直方图范围为

本算法将图像划分为三个聚类空间，由于第一个聚类空间主要包含图像中暗区域信息，采用自适应直方图均衡化对图像进行均衡化操作；由于第二个聚类空间包含图像大部分信息，故采用伽马函数对图像亮度进行校正；由于第三个聚类空间包括了图像少量的亮区域信息，故而采用线性校正的方式在指定的区间范围内对图像的灰度值进行线性拉伸.

图4 给出了原图及经MCC 和MSME 处理后的图像及其对应的直方图. 表1给出了图4中各图像对应的灰度范围、平均灰度、图像A 和B 方框区域内对应的局部对比度和局部EME. 从图像A 和B 中可以看出，经过MSME 处理后，图像的亮度得到明显提升，表1 中对应的图像A和B平均灰度分别从19提高到了60、108提高到了135. 在细节增强方面，从图像A 和B 方框区域可看出，经MSME 增强处理后，图像细节更清晰、对比度更高.

图4 图像A、B经MCC和MSME处理后增强效果(a)原图；(b)MCC增强后的图像；(c)MSME增强后的图像.第二、四行为第一、三行图像对应的直方图

表1 各算法对图像A、B方框区域增强处理图像质量客观评价

2.3 多角度组合滤波器

MSME处理后的图像对比度得到明显的提高，而且提高了图像较暗区域的图像细节信息，但图像轮廓不够清晰且图像亮区域的细节信息存在丢失. 为了解决这一问题，采用MCF提取图像的轮廓及细节信息. 该滤波器采用二维高斯函数作为模板核函数实现图像轮廓及细节信息的提取，为提取图像不同角度的轮廓及细节信息，采用旋转矩阵γi构建第i个角度的核函数. 设θi为核函数的旋转角度，则第i个角度的旋转矩阵γi为

若P(x，y)为X-Y坐标系下核函数上一点，经旋转处理后第i个角度U-V坐标系下点为

为了对图像背景进行均匀滤除同时提取图像的轮廓及细节信息，即经过模板滤波后背景区域（即，非轮廓和细节信息）的响应为0，定义第i个角度的滤波器核函数(x，y)为

其中，λ为权重，文中取值为λ=0.6；属于邻域Q={|u| ≤3ε，|v| ≤L/2}；K为第i个角度下邻域Q 中的灰度值；N为邻域Q 中灰度值的个数；表示取整；Lap 为Laplace算子，用于提取图像各个角度的细节信息.

图5给出了Laplace算子以及MCF处理后图像的轮廓和细节信息. 从图中可看出，与Laplace 算子相比，MCF提取的图像轮廓更为清晰且细节信息更为丰富.

图5 不同算法提取的图像细节信息(a)原图；(b)Laplace 算子提取的细节信息；(c)MCF提取的细节信息

2.4 线性融合

融合策略主要是为了将两幅或多幅特征各异的同一图像按照一定的权重融合在一起实现提高图像对比度、凸显图像细节同时改善图像亮度的目的，进而改善图像质量. 本文按照不同权重将多角度组合滤波器提取的图像轮廓及细节图像与经多聚类空间均衡化处理后的图像融合在一起得到细节丰富、轮廓清晰、对比度高的高质量图像. 具体融合公式为

其中，λ为权重，文中取值为λ=0.6，IMFHE为多聚类空间混合均衡化处理后的图像，IMCF为多角度组合滤波器提取的细节及轮廓. 图6 给出了线性融合前后的图像，从图中可看出，经线性融合后的图像轮廓清晰、细节信息丰富，较原图像质量有了较大的提高.

图6 融合前后的图像对比(a)原图；(b)融合后的图像

2.5 图像层次化

经过多尺度循环卷积、多聚类空间混合均衡化、多角度组合滤波器及线性融合处理后图像的对比度、亮度及纹理得到了显示提升，但图像某些区域存在过增强且图像的层次感较差，因此在上述处理的基础上对图像进行图像层次化处理.

首先，对线性融合处理后图像IOut中不同灰度级的个数C进行统计，

接着，对图像IOut中非0 灰度值用f(x)进行层次化处理，则处理后图像IOut的灰度值Ti为

其中，IOuti为未经过层次化处理的图像IOut的灰度值，变化函数f(x)=

图7给出了自然场景和海面场景下原图像、线性融合后的图像和层次化处理后的图像. 从图中可看出，与原图像及线性融和后的图像相比，经层次化处理后两种场景下的图像层次更加分明、对比度更高且不存在过曝光，图像的视觉效果更好、整体质量也更高. 尤其在原图像对比度极低的情况下如海面场景下的图像，线性融合后图像中天空部分层次分明且水面的波纹更明显.

图7 灰度等间距均衡化前后对比

3 实验方法与结果

实验平台：CPU Intel（R）Core（TM）-i7 9700K 8 核3.6 GHz、内存为16 GB；软件为Matlab R2014a，Windows 10操作系统. 本文随机选取自然场景和海面场景进行实验，并 与BF&DRP［25］、Retinex［33］、Homo［34］、BBHE［35］、GFBE［36］和DOTHE［37］方法进行对比，从定性和定量两方面评估本文算法的有效性，其中在定量分析方面，选取熵增强（Enhancement by IE，EME）、平均梯度（Average Gradient，AG）和信息熵（Information Entropy，IE）作为评价指标. 其中，EME反应了图像的对比度变化，其值越大说明图像对比度越大；IE反应了图像所包含的信息量，其值越大说明图像质量越好；AG衡量图像的灰度变化及图像整体亮度，其值越大说明图像亮度越高且图像所包含的细节信息越丰富.AG、IE和EME的计算公式为

3.1 自然场景增强效果评价

首先选取自然场景下的一组图像进行增强实验对本文方法的有效性进行评估，图8 分别展示了BF&DRP、Retinex、BBHE、Homo、GFBE、DOTHE 与本文方法处理后的图像及其对应的直方图. 表2 给出了每个方法对应的定量评估指标结果.

从图8 可以看出，GFBE 处理后的图像存在严重的局部过曝光、图像轮廓模糊且细节信息丢失严重，降低了图像的质量，从图像对应的直方图中可以看出，虽然拓宽了直方图的灰度级，但是图像的灰度级在低灰度级和高灰度级个数最大.BF&DRP 处理后的图像，虽然细节信息丰富，但亮度较暗且对比度较低，从图像对应的直方图中可看出，BF&DRP 压缩了图像的灰度级且灰度值分布在灰度值较小的区域.Retinex和Homo均是以人为感知为依据的图像处理方法，经这两种方法处理后的图像亮度得到了明显的提高，图像对应的直方图主要分布在灰度值较大的区域，但图像的对比度较低.BBHE处理后的图像亮度较暗、视觉效果较差，与原图像相比增强效果不明显，图像对应的直方图存在明显高低分界点且图像的平均灰度值较小.DOTHE 处理后的图像与原图像相比，图像的亮度和对比度能够提升，但增强后的图像存在细节模糊的问题，从图像对应的直方图可看出，DOTHE能够拓宽图像的直方图分布区间，提高图像的平均灰度值.与BF&DRP、Retinex、BBHE、Homo、GFBE 和DOTHE 方法相比，本文方法处理后的图像在提高图像亮度的同时能够显著增强图像的对比度、丰富图像的细节信息. 从图像对应的直方图可看出，本文方法能够拓宽图像直方图的分布范围，表明本文方法的性能较对比方法更优.

图8 BF&DRP、Retinex、BBHE、Homo、GFBE、DOTHE和本文算法的增强效果及其对应直方图

从表2 中可看出，经BF&DRP、Retinex、BBHE、Homo、GFBE、DOTHE 和本文算法处理后图像的AG 较原图像均有提高且本文方法增强后图像的AG 均较大，这说明不同的图像增强方法均能够不同程度的提高图像的亮度，且与对比方法相比本文方法处理后的图像亮度均较高. 在对比度增强方面，Retinex 和Homo 处理后图像的EME 较原图像较小，说明经这两个方法处理后的图像对比度较低，BF&DRP、BBHE、DOTHE、GFBE 和本文方法处理后图像的EME 较原图像均较大，且本文方法最大、BBHE 次之，说明BF&DRP、BBHE、DOTHE、GFBE 和本文方法均可以提高图像的对比度且本文方法最优. 在细节增强方面，BF&DRP、Retinex、BBHE、GFBE 和DOTHE 方法处理后图像的IE与原图像相比较小，说明这些方法处理后的图像存在细节丢失，Homo和本文方法处理后图像的IE 较原图和对比方法均较高且本文方法处理后图像的IE更高，说明Homo和本文方法可以丰富图像的细节信息. 综合以上分析，在选取的四张自然场景下的图像上，与BF&DRP、Retinex、BBHE、Homo、GFBE 和DOTHE 相比，本文方法处理后图像的EME、IE 和AG 均最高，说明本文方法不仅能够提高图像的亮度，而且能够在提高图像对比度的同时增强图像的细节信息.

表2 经BF&DRP、Retinex、BBHE、Homo、GFBE、DOTHE和本文算法处理后图像的EME、IE和AG

3.2 海面场景增强效果评价

海面场景的图像通常目标单一、对比度较低、直方图分布较窄，选取海面场景下的红外图像进一步验证本文方法的有效性. 图9 分别展示了对比方法与本文方法处理的结果及其对应的直方图. 从图中可看出，GFBE 和BF&DRP 方法在海面场景图像的性能较差，其中GFBE 处理后的图像存在严重的过曝光且细节信息丢失严重，其对应的直方图的灰度值的分布主要集中在两端；BF&DRP 处理后的图像亮度较暗且细节模糊，其对应的直方图主要分布在灰度值较小的区域且较原图像进行了压缩.Retinex 算法处理后的图像亮度得到了显著提升，其对应的直方图主要分布在灰度值较大的区域，但其处理后的图像轮廓较模糊. BBHE、Homo和DOTHE 方法均可提高图像的对比度但图像亮度变化不明显且轮廓及细节模糊，其中DOTHE 方法效果最好、BBHE次之、Homo最差. 与对比方法相比，本文方法处理后的图像亮度较亮且对比度较高、轮廓及细节清晰，其对应的直方图分布范围相比于原图像直方图的分布范围更广，明显优于对比算法.

图9 BF&DRP、Retinex、BBHE、Homo、GFBE、DOTHE和本文算法的增强效果及其对应直方图

表3给出了每个方法对应的定量评估指标AG、EME和IE的结果. 从表3中可以很明显的看出，经BF&DRP、Retinex、BBHE、DOTHE和本文方法处理后图像的AG均比原图像的AG 高，说明图像经以上算法处理后均可以提高图像的亮度，且本文方法处理后较对比算法效果最好；在IE和EME指标上，经本文方法处理后图像的IE和EME 与经BF&DRP、Retinex、BBHE、DOTHE、Homo 和GFBE处理后图像的IE和EME相比均较大，说明本文方法能够在增强图像对比度的同时，能够提高图像的轮廓和细节信息. 综合以上分析，在选取的四张海面场景的图像上，与BF&DRP、Retinex、BBHE、Homo、GFBE和DOTHE 相比本文方法处理后图像的EME、IE 和AG 均最高. 这说明本文方法不仅能够提高图像的亮度，而且能够在提高图像对比度的同时增强图像的细节信息且性能较对比算法更优，能够用于改善图像的质量.

表3 经BF&DRP、Retinex、BBHE、Homo、GFBE、DOTHE和本文算法处理后图像的EME、IE和AG

4 结论

文中提出了一个对比度拉伸、亮度提升和细节增强的方法，该方法主要包括五个部分：多尺度循环卷积、多聚类空间均衡化、多角度滤波器、线性融合和图像层次化，其通过多聚类空间均衡化的对比度拉伸解决了图像亮度较暗、对比度较低，通过多尺度循环卷积提取图像的深层细节特征和多角度滤波器提取图像多个角度的细节及轮廓信息解决了图像轮廓和细节模糊的问题，通过图像整个区间的层次化处理解决了图像层次化较差、清晰度较低的问题. 与对比方法相比，该方法在自然场景和海面场景图像中均表现出了最优的性能，说明该方法不仅有效提高了图像对比度、增强了图像的细节，还提高了图像的亮度和清晰度. 但该方法在线性融合阶段需要手动调节融合权重，故而该算法的灵活性较差.