基于改进分割算法的红外图像温差计算研究

赵晓枫，魏银鹏，侯 飞，杨佳星，蔡 伟

(1.火箭军工程大学兵器发射理论与技术国家重点学科实验室，西安 710025;2.中国航空工业集团公司洛阳电光设备研究所，河南 洛阳 471000)

0 引言

现代战争中，红外侦测打击系统能够全天时、全天候对战场进行探测，近年来，随着无人机技术的快速发展，搭载红外侦察设备的无人机近地低空侦察越来越普遍，无人机的使用方便了对军用和民用目标红外图像的探测，有效处理采集的红外图像对于目标信息获取非常重要。

红外图像本质上是实际景物的温度分布图像，所以，温度是红外图像最重要的特征。由斯蒂芬—玻尔兹曼定律可知，温度的变化能够反映辐射量的变化，因此可以将温差作为一项指标进行分析。目前，基于温差特性的方法广泛应用于基于图像处理的红外目标探测，该方法通过对红外图像的目标和背景提取灰度，计算红外图像的目标和背景温度差，结合约翰逊准则以及系统的最小可分辨温差(MRTD)，可得到一定探测距离处目标的发现、识别、认清概率，实现目标探测[1-6]。

在基于温差特征的目标探测中，目标分割是目标探测的关键环节，分割准确性的好坏直接影响到后续目标探测精度。传统的阈值分割法[7-9]能够较好地完成目标红外图像提取，但对红外图像边缘信息分割不理想。基于稀疏矩阵的谱聚类[10]图像分割方法(SCSSM)能够改善图像边缘信息提取，但聚类耗时较长。

针对上述问题，本文通过引入卷积神经网络[11-14]缩小聚类样本空间，提出一种新的谱聚类红外图像分割方法，来改进传统阈值分割法中存在的边缘信息提取问题及SCSSM方法中存在的耗时长问题，提高目标分割效果，提升红外目标探测的准确性。

1 基于温差特性的红外目标探测原理

温度的改变也可以反映红外辐射的差异，温差特征反映到灰度图像上就是目标与背景亮度对比度的改变。因此，温差特征不仅可以表示红外图像在区域形状上的特征，也可以反映目标和背景在辐射度上的特征。而用像素所代表的温度之和代替等效面积温度可以让数字图像的计算变得简单，这种方法可以更加细致地体现温度的改变。等效的温差模型表示为

(1)

ΔT=Tt-Tb=A·ΔG+B

(2)

T=AG+B

(3)

式中：G表示灰度；Nt为目标像素数；Pt,i为第i个目标像素点的温度；Nb为背景像素数；Pb,j为第j个背景像素点的温度；T为温度(单位，℉)；A为增益因子；B为偏移因子。可以通过实验测得红外成像系统的参数A，B。

经大气衰减到达探测器的等效温差与物体本身和背景的温差存在差异，实验研究表明，视在信噪比与人眼通过热像仪观察目标时的识别概率有密切关系，识别概率越大，所需要的视在信噪比就越大。若想以信噪比(Vs/Vn)探测到目标，须使等效温差满足

ΔT′=(Vs/Vn)·ΔT。

(4)

统计表明，识别概率为50%时，所需视在信噪比为2.8；当识别概率为90%时，所需视在信噪比为4.5。在红外目标探测模型中，通常利用图像的目标和背景温差特性，结合系统的最小可分辨温差(MRTD)和约翰逊准则，计算红外目标的发现、识别、认清概率。

根据约翰逊准则可知，等效条带的参量为等效条带的空间频率和目标与背景的平均温差。目标的等效条带数n可由下式计算得出

ΔT=Dh(fh)

(5)

ΔT=Dv(fv)

(6)

(7)

(8)

为了通过目标等效条带数准确计算探测概率，美国热成像系统静态性能模型FLIR92采用简化公式

(9)

式中，

E=2.7+0.7N/N50。

(10)

结合式(9)、式(10)可以得到不同探测级别的目标传递概率函数曲线(如图1所示)，根据等效条带数n可计算出目标的发现、识别、认清概率。

图1 不同探测级别的目标传递概率函数曲线Fig.1 The target transfer probability function of different detection levels

2 改进的谱聚类分割算法

对红外图像温差特征的提取，最重要的步骤是对图像目标和背景的分割。为解决阈值分割效果不佳的问题，通常采用基于稀疏矩阵的谱聚类图像分割方法，但该算法在进行聚类时耗费时间过长，因此，本文提出了基于卷积神经网络的谱聚类分割算法(CIS-CNN)以提高谱聚类分割算法的聚类速度。

2.1 基于卷积神经网络的红外图像特征提取

卷积神经网络可以完成红外图像的特征提取。卷积的过程是对输入特征提取的过程，不同于多层神经网络的全连接计算，卷积计算可以极大缩小计算空间。在一个卷积神经网络模型中，神经元可分为两类：一类是抗形变的C元，对应卷积神经网络的卷积层，另一类是用于特征提取的S元，对应卷积神经网络的池化层。图2为卷积神经网络的结构图。

图中，卷积层的输出是通过卷积核来卷积上一层的输入得到的，卷积的算式为

(11)

式中：Mij为二维输入向量；Cij为卷积核；b1为训练偏置；f为激活函数；得到的卷积特征图为矩阵F。

本文设计的网络共采用5个卷积层，卷积采用步长为1、大小为3×3的卷积核；每个卷积层后都使用步长和大小均为2的最大值池化层。

池化是对卷积得到的每一个特征图进行采样操作，这样极大地缩小了样本空间，降低了特征维数，同时能保持特征的局部不变性，池化得到的特征图有效降低了图像的分辨率和维度。

图2 卷积神经网络结构图Fig.2 Diagram of CNN structure

2.2 基于卷积神经网络的谱聚类图像分割算法流程

基于卷积神经网络的谱聚类图像分割算法流程如下所述。

1) 将原始红外图像的像素压缩为224×224，输入压缩后的图像。

2) 将输入图像与卷积核进行卷积，通过ReLU激活函数映射得到卷积层C1的特征集X1。

3) 对卷积得到的特征集X1进行池化，得到子采样层S1的特征集X2。

4) 重复2)，3)得到子采样层S5，可视化得到子采样后的特征集X10；可视化后的部分图像如图3所示，提取最终特征映射对应的一个特征矩阵作为特征信息矩阵V。

5) 利用K-means对特征矩阵V进行聚类，确定特征图中像素点的类别数K。

6) 完成图像分割。

图3 卷积神经网络训练过程Fig.3 CNN training process

3 实验分析

为验证基于卷积神经网络的谱聚类分割算法的效率和准确性，分别进行了图像分割实验和目标与背景温差计算实验。

3.1 图像分割实验

3.1.1 CIS-CNN分割效率实验

在SCSSM方法中，由于对小轿车原始红外图像进行操作，其特征矩阵维度高导致聚类过程耗时长，因此，引入卷积神经网络，在进行聚类过程中，改进的CIS-CNN方法极大缩小了样本的空间维度，减少了聚类过程耗时。图4是两种分割方法在聚类过程中的价值函数值(CFV)随K值变化的曲线。

图4 价值函数随K值的变化曲线Fig.4 The change of CFV with the K value

由图可知，当K=7时，图4a价值函数值近似收敛，图4b价值函数值下降为0，因此，两种方法得到的聚类中心数是相同的，在聚类数相同(K=7)的情况下，基于卷积神经网络的聚类图像分割算法运行时间为1 442.81 s，基于稀疏矩阵的谱聚类图像分割算法的运行时间为23 218.124 s，分割算法的聚类速度提高约16倍。

3.1.2 CIS-CNN分割效果分析

实验以灰度图中小轿车为研究目标展开分割效果的研究，利用FLUKE TiX640/660热像仪在冬天采集了室外探测距离R分别为13.53 m，28.27 m，37.93 m，53.36 m和300 m的红外图像。

传统的阈值分割常采用最大类间方差(OTSU)法，分别用CIS-CNN法与OTSU法完成红外图像中小轿车的分割，两种分割法对采集的红外图像分割结果如图5所示。

图5 图像分割结果Fig.5 Image segmentation results

从人眼视觉角度分析， CIS-CNN法的分割结果能够保证目标轮廓的完整性，当R=13.53 m时，CIS-CNN法较OTSU法能够更好地反映目标不同区域的边缘特征。随着探测距离增加，当R=37.93 m时，能够较清楚地判断出目标小车的外形轮廓；当R=53.36 m和R=300 m时，CIS- CNN法较OTSU法目标区域图像分割更准确，但此时目标的轮廓信息均已不能辨识。

3.2 目标与背景温差计算实验

根据式(1)～式(4)计算5种探测距离下目标与背景的温差，结果统计如表1所示，将温差数据用折线图表示，如图6。

表1 不同分割方法不同距离情况下温差计算统计表

图6 不同分割方法实现温差计算数据统计Fig.6 Data statistics of temperature difference calculation by different segmentation methods

已知图像中目标与背景的温差值是固定不变的，但随着探测距离增加，大气衰减使到达探测器的等效温差与物体本身与背景的温差存在差异，从图6可以看出，当探测距离增加时，成像目标变小，图像中目标和背景的温差随之减小，CIS-CNN与OTSU两种方法得出的温差计算结果也越来越接近，当R=300m时，CIS-CNN法计算的温差为46.08 ℉，OTSU法计算的温差为47.46 ℉，两种方法温差计算结果近似相等，此时仅根据温差已经不能从背景中辨认出小轿车。

实验照片由冬季室外红外成像仪拍摄，室外低温能为汽车表面提供较好的“降温罩”，这将极大地缩小汽车表面同环境之间的温差，提升探测难度。温差计算结果同时可以作为评价两种分割效果的评判依据，由图6可以得出OTSU法的温差值大于CIS-CNN法的温差值，根据温差计算原理可知，OTSU法分割出的目标区域面积大于CIS-CNN法分割出的目标区域面积，再结合人眼视觉角度分析可知，CIS-CNN法分割效果优于OTSU法。

4 结论

本文针对红外图像分割不准确而引起的探测效果不佳这个问题，提出了基于卷积神经网络的谱聚类红外图像分割方法；实验结果表明该方法能够很好地提取目标的特征信息，提高红外图像分割的准确性；与传统基于稀疏矩阵的谱聚类图像分割方法相比，该方法的聚类速度提高了约16倍，在一定探测距离下，本文方法能更好地实现目标与背景的温差计算，为完成目标探测打下基础。