基于鲁棒特征匹配的热成像全景图生成方法

刘 欢，谷小婧，顾幸生



基于鲁棒特征匹配的热成像全景图生成方法

刘 欢，谷小婧，顾幸生

（华东理工大学化工过程先进控制与优化技术教育部重点实验室，上海 200237）

热成像技术能够探测不可见的长波红外辐射并以图像的形式显示，在科学研究、安防刑侦及国防军事中有着举足轻重的地位。如果可以用全景图的方式显示所观测场景的大视场热成像则能够极大地扩大观测者的视野、提升场景感知能力。然而，由于热辐射成像模糊、信噪比低，图像特征提取往往存在着较大误差，进而导致特征点匹配不稳定，图像拼接失败。针对这一问题，改进了匹配过程，提出了一种基于鲁棒特征匹配的热成像全景图像生成算法。在增加特征匹配鲁棒性方面的改进主要包括2方面：第一，利用PCA（主成分分析）对SIFT算子进行降维以降低算子相关性，提高特征向量的鉴别能力；第二，利用快速搜索密度峰聚类算法预先筛选匹配点集以剔除错误匹配点，提高特征点的匹配准确度。实验结果表明，本文提出的算法可有效且稳定地生成热成像全景图，具有实用价值。

热成像；图像拼接；SIFT算法；PCA降维；快速搜索密度峰聚类

0 引言

随着智能制造与国防工业的发展，红外热成像技术越来越受到人们的重视。热成像的成像机制是通过探测并显示目标与背景的辐射等级差异来成像，它可以在完全无光线的条件下成像。由于热成像所用波段属于红外长波，因此具有很强的穿透性，它能够在雨、雪、雾霾等极端天气下成像，并且不受伪装的影响。热成像在科学研究，安防刑侦，国防军事、尤其是在夜间作战中有着举足轻重的地位。热成像技术能够在完全无光以及天气情况恶劣的情况下为使用者提供目标及周围环境的可视信息，并且设备便携性高。更重要的是热成像设备属于被动式红外成像，具有极强地隐蔽性、不增加使用者的暴露风险，这使得其在军事应用中具有重要的意义。

然而，与可见光图像相比，红外热成像的分辨率非常低。这一方面是由于热成像是长波成像，采集的信息缺少细节；另一方面是由于热辐射探测元件的灵敏度较低所致。因此，在同样尺寸的显示中，热成像所呈现的信息容量大大少于可见光成像，不利于观测者对场景进行感知及判断。这一问题可以通过扩大成像视角的方法得到缓解。扩大成像视角可以让单幅图像包含更广阔的视野，令观测者在同一时刻中获得更多的场景信息，降低热成像缺少细节的劣势。在硬件设计上通常有两种扩大成像视角的访法：一种是增加热辐射探测元件的面积，但这会极大地增加设备成本；另一种是为设备添加广角镜头、扫描镜头等特殊镜头，但在镜头变换时，会引起分辨率和焦距的变化，引起图像畸形失真。

本文研究通过软件算法，借助全景技术来扩大单幅热成像的视野。全景技术能够将两幅或多幅图像通过数字处理的方式拼接在一起，在不改变硬件的前提下为观察者提供更广的观察视角，使观察者可以通过拼接之后的全景图像获取更多的信息。全景技术，这个命题的最早提出是在1965年IFIP国际会议上，当时由计算机图像视觉的创始人Ivan Sutherland提出了名为“The Ulimate Display”的研究性课题，一经提出，引起了各国科研工作者的广泛关注。1975年，MILGRAM[1]发表了将卫星拍摄的图像进行拼接的文章并进行了实验。同年，Kuglin和Hline[2]提出利用傅立叶变换的方法，实现频域变换，计算相位移动，实现拼接。Harris在1988年提出Harris兴趣点检测器，使算法在对空间变换具有鲁棒性的同时对噪声以及光照影响具有更强的适应性；1996年，Richard和Szeliski[3]提出利用迭代算法估计参数模型，通过几何变换完成拼接，也被称为基于运动的拼接算法。2000年，Peleg、Shmuel对Richard的算法进行了改进，使其可以自适应的选择模型[4]。2004年British Columbia大学的Lowe教授，在前人的工作之上总结现有的基于不变量的特征提取办法，提出了SIFT（Scale-invariant feature transform，尺度不变特征变换）算子[5]。此算子具有对缩放旋转仿射不变的特性。使用SIFT算子的全景拼接技术是目前使用最为广泛的标准技术[6]，在航天，军事，医学以及地质勘测等领域以发挥重要作用。很多学者都基于文献[6]提出了改进算法。改进思路主要分为两类：一是提高特征提取算法的性能，二是在特征提取算法不变的前提下提高特征点的匹配精度。针对第一种思路：胡海清，谭建龙提出使用二值化图像代替原SIFT算法中使用的灰度图像作为输入，以增加提取的特征点数目[7]；Tang C M提出通过统计以极值点为中心的不同像素半同心圆的梯度大小和方向降低描述子的维数，提高匹配精度[8]。针对第二种思路：刘焕敏，王华提出的利用双向匹配的方法，将待匹配图像特征点集相双向匹配，取交集，提高匹配精度[9]；刘贵喜，刘冬梅提出利用相似测度归一化互相关，通过计算最大相关系数确定匹配关系[10]。

然而，适用于可见光图像的拼接技术并不能很好地应用于红外热像。首先，由于相对可见光的成像设备，热成像设备的分辨率和对比度等都相对较低，使得生成的红外图像模糊、缺少细节，轮廓、纹理等都不明显。其次，热成像都是单色的，缺少色彩信息。另外，红外热像还有一个特点就是噪声大，性噪比低。这些噪声可能来源于成像环境，也有可能来源于热成像系统本身内部的噪声源。以上这些特点就导致红外热像的特征提取结果无法避免地存在较大误差，这使得后续的特征点匹配过程很不稳定，难以正确生成全景图。

针对热成像拼接的难点，本文提出了一种基于鲁棒特征匹配的热成像全景图像生成算法，该方法在特征提取存在较大的误差的情况下，仍能保持特征点匹配的准确性。首先，利用PCA（主成分分析）对SIFT算子进行降维，提取有效信息，特别是降低从模糊图像中提取的特征描述子相关性；然后，再使用特征匹配算法之前使用快速搜索密度峰聚类算法筛选待匹配点集，通过聚类的方法预先去除可能的误匹配点，提高正确匹配点在待匹配点集中的概率。实验结果表明，改进后的算法可有效地提高红外热像特征点匹配的准确性，提升热成像全景图的拼接质量。

1 基于特征点匹配的图像拼接技术

本节以2006年Richard Szeliski在文献[6]中提出的经典匹配算法为基础，介绍图像拼接算法的步骤。

1.1 SIFT特征提取

首先利用高斯核函数(,,)与图像(,)进行卷积运算，形成图像尺度空间(,,)。接下来是图像金字塔的建立：采用降采样处理，构建一幅图像的不同尺度来形成高斯金字塔。为了使检测到的特征点具有稳健性，使用DOG（高斯差分算子）金字塔，它是由高斯金字塔每层图像之间相减得到。

为了寻找DOG函数的极值点，在形成差分金字塔的基础上检测局部极值点。为确保关键点为极点的稳健性，被检测的点要与其相邻的上下两层以其为中心的3×3的正方体面上的27个点作比较。

每个特征点的描述子由4个种子点描述子组成，每个种子点统计了2×2×8维的向量表征，也就是2×2范围里点的方向的统计，以45°为间隔分8个方向，然后用直方图进行统计，统计完的结果作为一个种子点的描述子，最后由4个种子点描述子组成特征点描述子。

1.2 特征点匹配

当利用SIFT算法提取了特征点并形成描述子之后，建立关键点描述子集合。Lowe在他的算法中计算第一个描述子集中的点在第二个描述子集中的最近点的欧式距离和次最近点距离的比值，如果距离比值小于给定的阈值，算作匹配成功。

1.3 RANSAC精匹配

在完成利用聚类算法去除误匹配点之后，再将剩余的匹配点作为样本利用RANSAC进行精匹配，具体步骤如下：

1）从原始匹配点中选出4对，作为局内点，并估计出图像变换矩阵；

2）将原始数据中除1）中所选之外的点带入模型中进行检测，如果符合模型，就把这些点也归入局内点；

3）设定阈值，当符合模型的局内点数量大于阈值，则认为此模型合理；

4）以上个步骤合理模型的局内点作为新的原始数据，再从中重新选取局内点进行模型估计；

5）最后通过局内点和模型之间的正确率对模型进行评价，如此往复，旧的模型不断被更合理的模型取代，迭代次数认为设置，最后得到的模型就是本次RANSAC算法找到的最优模型。

1.4 图像融合

完成上步之后，图像的拼接已经完成，但由于拼接原图的分辨率和亮度存在差异，导致拼接后接缝处存在明显的接缝，需要通过图像融合，消除接缝。常用的是加权平均法。算法将两幅拼接图像的像素乘以加权系数并相加得到的像素值作为拼接后图像的像素值。记加权系数为，则融合后的图像为：

(,)＝1(,)＋(1－)2(,) (1)

式中：加权系数满足0≤≤l。若＝0.5，则融合图像的像素为两幅图像像素平均值；若为定值，当从，图像从1到0变化，实现了图像1(,)到2(,)的平滑过渡，消除了拼接留下的接缝。

2 基于鲁棒特征匹配的图像拼接方法

鲁棒特征匹配的图像拼接方法的基本流程为：计算出SIFT算子；利用PCA（主成分分析）算法对算子进行降维处理；先对降维后的算子使用快速搜索密度峰聚类算法进行误匹配筛选，再利用RANSAC算法进行精匹配；最后完成图像拼接。下面对本文改进的两点进行详细论述。

2.1 PCA特征降维

由于红外热像的噪声大，虽然SIFT算法在提取特征时已经进行了抑制，但当图像分辨率低、特征不明显、描述子相关性高时，在特征点匹配时还是会造成较大误差。本文利用PCA将SITF算法的128维描述子进行降维，使降维之后的描述子更为精确，增强算法鲁棒性，步骤如下：

1）将两幅图像提取好的个128维SIFT描述子作为输入，样本矩为[1,2, …,x]。

2）计算样本矩阵的协方差矩阵，得到的矩阵大小为×。

3）得到协方差矩阵后计算其特征值，按大小排列，取最大的前个特征值（按照经验预先给定），并计算与其对应的特征向量，组成大小为128×的投影矩阵。

4）在得到投影矩阵和描述子矩阵之后，将两个矩阵相乘，结果为×大小的矩阵，与初始的×128维矩阵相比，完成了降维的目的。经实验验证，对于红外热像，取36可获得较好的实验结果。经过此法降维之后，可有效减少描述子中的无用信息降低噪声干扰，提高配准的准确性。

2.2 基于快速搜索密度峰聚类改进特征点匹配算法

Lowe的算法在利用KD-tree搜索算法进行匹配之后利用了RANSAC算法去除误匹配点，提高算法鲁棒性。RANSAC算法通过从一组包含“局外点”的样本数据集中，选取一些点作为假设局内点，以这些点估计模型，通过不断迭代，最后选取最优模型。

但RANSAC算法也存在局限性，算法中的迭代次数取决于局内点在初始样本中[11]所占比例，记为。用表示从样本中所选的点为局内点的概率。假设估计出模型每次需要选出点的个数为，则w表示随机选择的个点全部是局内点的概率，而1－w则表示这个点中至少不全是局内点的概率。这种情况代表估计出的模型不是最优模型。而(1－w)表示RANSAC无法找到最优模型的概率，它和1－相同。因此：

1－＝(1－w)(2)

对公式(1)的两边取对数，得到：

即为理论推算出使得算法能估计出正确模型的最小迭代次数，当观测数据中的外点较多时，的值会变小，值会增大，当认为设定的阈值小于，则算法将很难找出正确的模型[12]。所以当样本数据中局内点的比例不高时，将导致算法计算出正确模型所需要的迭代次数很多，使得算法效率低下[13]。本文利用快速搜索密度峰聚类算法，在RANSAC算法之前对现有的匹配点对进行聚类筛选，去除可能的误匹配对，提高局内点在样本中的比率，使算法在迭代次数相对少的情况下，能更准确的估计出正确模型，提高算法鲁棒性。

配准图像时，由于2幅图像的空间变换矩阵是唯一的，因此两幅图像匹配点之间必然存在几何关系。文献[14]提出以匹配点连线的斜率作为几何约束产生聚类。但是这种方法存在局限性，匹配的图像视角变化较大时斜率变化很大，聚类阈值难以确定。本文考虑到在红外热像匹配时，目标特征区域的分布相对集中，进而粗匹配点连线线段中点集中。因此，本文利用粗匹配点之间连线的中点作为聚类样本。

聚类方法用的是快速搜索密度峰聚类算法[15]。该方法与一般的基于距离的聚类算法相比，加入了密度指标，避免了单一距离指标引起的分类不准确。

快速搜索密度峰聚类算法[7]不需事先给出聚类中心，此算法是基于其提出的距离指标和密度指标的算法。记任意数据点，根据其与其他数据点之间的距离d，计算出算法需要的核心指标：密度指标及距离指标。密度指标定义为：

距离指标定义为：

即数据点的距离指标定义为：所有密度指标比其大的点中与其距离最近的元素。若点的密度指标的值恰为邻域点中的最大值，则以点与其他点距离的最大值作为其距离指标，即：

当所有距离指标和密度指标都计算完成，根据它们作出聚类中心抉择图，即可找出聚类中心，示例如图1所示。

图1 快速搜索密度峰算法聚类示例

图1(a)表示两幅待拼接的红外热像及其上的粗匹配点对，聚类中心抉择图1(c)反应图1(b)中所有点的密度指标和距离指标，横轴表示密度、纵轴表示距离。聚类中心体现为：周围的数据点密度指标较大，而距离指标值较小。而对于异常点，一般其密度指标很小而距离指标较大。综上所述，根据聚类中心抉择图，可以找出这组数据的聚类中心为图1(d)中的浅色和深色点。通过此聚类算法，可以有效地去除异常点，针对图像处理即能去除误匹配的点，为下一步利用RANSAC算法精匹配提供良好的数据样本。

然而通过决策图选出聚类中心需要人工干预，无法实现红外全景图的自动拼接。文献[15]中还给出了一个可以自动化选择聚类中心方法：将每个数据点的与指标相乘，记为gamma，显然，数据点的和越大，其乘积越大，反映到聚类中心决策图上，即为越可能成为聚类中心。因此可以将gamma按照降序排列，选取前几个具有最大gamma值的数据点作为聚类中心。在本文的试验中，聚类中心的个数取为2：第一大聚类将被保留为正确的粗匹配点，第二大聚类将被作为错误匹配点而被剔除。图2所示为对3对不同的红外热像对的粗匹配点集进行聚类的结果。圈外的数据点为将被保留为正确的粗匹配点，圈内的数据点为将被作为错误匹配点而被剔除的粗匹配点。由聚类结果图可见，不同图像对上的粗匹配点集都得到了正确的分类。

另外，为了验证快速搜索密度峰聚类算法对c具有鲁棒性，我们还测试了c分别取2%和20%处的值作为截断距离的聚类情况，如图3所示。

从实验结果图3(a)和图3(b)可以看到，当分别取排序后前2%和20%处的值作为截断距离时，聚类结果相同，证明其取值具有鲁棒性。

图2 聚类中心取2时的聚类示例（由此图往下，所有绿圈内的点为需要剔除的错误匹配点）

图3 dc分别取距离2%和20%处的值作为截断距离时的聚类情况

3 实验仿真及数据分析

本节将首先通过对比试验分别给出使用PCA降维及使用快速搜索密度峰聚类剔除错误的粗匹配点这两个关键技术对于提升全景热像拼接的改进效果，并且将把本文算法的总体效果与Autopano和Autostitch这两款市面上非常流行的专业全景图像制作软件进行比较，最后通过由若干组使用本实验室的热成像仪采集的真实场景生成的全景热像来说明本文算法的有效性及实用性。

表1 使用PCA降维的效果

3.1 PCA降维改进效果

图4为未使用PCA对SIFT描述子的特征向量进行降维与使用PCA对SIFT描述子的特征向量进行降维的粗匹配点集的匹配情况比较。表1统计了使用PCA降维前后粗匹配点数目及匹配正确率的变化。由此可见，使用PCA降维后，总的匹配数目减少，但是误匹配率降低。

3.2 快速搜索密度峰聚类聚类改进效果

接下来以上一步的粗匹配的点作为聚类样本，利用快速搜索密度峰聚类算法初步去除样本中误匹配的点。

图5(a)为使用PCA降维之后的粗匹配点连线中点的空间分布图。利用快速搜索密度峰聚类可以找出错误的粗匹配点，即如图5(b)所示，聚类结果中的第二大类、圈中所示的点。

由图6可见，使用聚类去除异常点之后，基本不存在交叉，误匹配基本被祛除，为接下来的拼接提供良好的基础。表2统计了使用快速搜索密度峰聚类去除错误点前后粗匹配点数目及匹配正确率的变化，反映出使用快速搜索密度峰聚类去除错误点后图像中的匹配组数减少，匹配准确率提高。说明聚类算法对减少误匹配点有效，能够进一步去除误匹配点，为接下来的RANSAC算法提供良好的数据集。

图4 使用PCA降维前后的匹配结果对比

图5 利用快速搜索密度峰聚类对粗匹配点连线中点进行聚类并剔除错误的匹配点

图6 使用聚类算法前后的匹配结果对比

在文献[16]中K-means聚类算法被用来去除误匹配点。K-means算法的相似性评价指标是对象之间的距离，距离越近，相似度越大。算法聚类形成的蔟就是由距离足够近的对象组成，簇之间相互独立。

算法流程如下：

1）从样本中随进抽取个对象作为质心；

2）计算剩余的对象与上一步所选质心的距离，根据距离将对象分到与其最近质心的类；

3）将上一步分好的类重新计算质心；

重复以上步骤，知道上一代的质心与下一代质心重合或距离小于阈值。

表2 使用快速搜索密度峰聚类效果

K-means聚类算法的基本特点如下：各类簇自身尽可能紧凑，而类簇与类簇之间尽可能分开，K-means聚类算法是一种常见的，基于距离约束的单相似性评价指标的聚类算法。

图7对使用K-means聚类与使用本文的快速搜索密度峰聚类的错误点剔除效果进行了比较。当样本同样为图7所示的数据时，利用K-means聚类的决策图及结果为图7(a)所示，利用快速搜索密度峰聚类的决策图及结果图7(b)所示。如图7(a)所示，k-means聚类形成的两个类簇各自包含点的个数相差不大，难以判断哪一类是误匹配点。可见以单一距离作为相似性评价指标的聚类算法在进行分类时存在很大局限性。而快速搜索密度峰聚类算法除了距离判断，更加入了密度条件，提高聚类的准确性和鲁棒性。

3.3与其他拼接算法的效果比较

为了测试算法实用性，本文将拼接结果与世面常用的全景拼接软件的结果作对比，实验涉及的软件有Autopano及Autostitch，这是市面上两款比较权威的制作全景图像的软件，比较的结果具有较高的权威性和可信性。

图8为对于相同的待拼接图像对两款软件与本文算法的全景图生成结果。第一列为Autostitch的全景图生成结果，第二列为Autopano的全景图生成结果，第三列为本文的全景图生成结果。从实验结果可以看出，本文算法对于红外热像的拼接效果要优于Autopano，Autostitch两款软件，比如第一行中Autostitch的拼接结果出现了严重的畸变；第二行中Autopano的拼接结果也出现较为严重的形变；第三行中这两张云彩的热像两款软件都无法给出拼接结果，只有本文算法拼接成功。实验结果显示，本文算法具有较高的实用价值。

图7 两种聚类算法聚类结果比较

Fig.7 Comparison of two clustering algorithms

3.4 全景图拼接效果

最后通过由若干组根据真实场景而生成的全景热像来说明本文算法的有效性。试验中所用到的所有热像都由本实验室的FLIR T420型号的手持热成像相机采集。FLIR T420热像仪的分辨率为320×240，热灵敏度＜0.045℃，温度精度为±2℃或读数±2%, 能够测量高达＋1200℃的温度。试验图像采集地点为华东理工大学徐汇校区。利用本文算法生成的热像全景图结果如图9～图12所示。

图8 采用相同的待拼接图像对时两款软件与本文算法的全景图生成结果

Fig.9 Thermal imaging panorama scene 1

图10 热成像全景图场景2

通过实验结果可以看出，本文算法能够将两幅或多幅红外图像通过数字处理的方式拼接在一起，拼接完成的全景图像景物清晰，不失真，不形变。能够在不改变硬件的前提下为观察者提供更广的观察视角，使观察者可以通过拼接之后的全景图像获取更多的信息，算法具有使用价值。

3.5 算法实时性分析

最后对本文算法的实时性进行分析，表3和表4分别反映反应相同图像大小不同拼接数量和相同拼接图像数量不同图像大小的情况下算法生成全景图像的耗时。

通过实验结果可以看出，本文算法基本能满足红外图像全景拼接实时处理的要求。

图11 热成像全景图场景3

Fig.11 Thermal imaging panorama scene 3

图12 热成像全景图场景4

Fig.12 Thermal imaging panorama scene 4

表3 不同拼接数量情况下耗时

表4 不同拼接数量情况下耗时

4 总结

由于红外热像对比度低、成像模糊、缺少细节，现有的面向可见光成像的全景图拼接方法无法有效处理热像全景图的生成。本文针对这一问题，提出了一种适用于热成像的基于鲁棒特征匹配的全景图生成方法。首先，利用PCA对SIFT算子进行降维以降低算子相关性，提高了图像特征向量的鉴别能力。然后，利用快速搜索密度峰聚类算法筛选匹配点集以剔除错误匹配点，在筛选后的点集上再使用精匹配算法，从而提高红外热成像特征点的匹配准确度。实验结果表明，本文提出的算法可有效且稳定地生成热成像全景图，具有实用价值。

[1] MILGRAM, D. L. Computer methods for creating photomosaics[J]., 1975, 24(11): 1113-1119.

[2] Kuglin CD., Hines DC.. The phase correlation image alignment method[J]., 1975(9): 163-165.

[3] Szeliski Richard, Coughlan James. Hierarchical spline-based image registration[C]//, 1994: 194-201.

[4] Peleg Shmuel, Herman Joshua. Panoramicmosaics by manifold projection [C]//, 1997: 338-343.

[5] Lowe D G. Distinctive image features from scale invariant key point[J]., 2004, 62(2): 91-110.

[6] R. Szeliski. Image alignment and stitching: A tutorial[J]., 2006, 2(1): 1-104.

[7] 胡海青, 谭建龙, 朱亚涛, 等. 改进SIFT算法在文字图像匹配中的应用[J]. 计算机工程, 2013, 39(1): 239-243.

HU Hai-qing, TAN Jian-long, ZHU Ya-tao. Application of improved SIFT algorithm in text image matching[J].2013, 39(1): 239-243.

[8] TANG CM, DONG Y, SU X H. Automatic registration based on improved SIFT for medical microscopic sequence images[J]., 2008, 1(1): 580-583.

[9] 刘焕敏, 王华, 段慧芬. 一种改进的SIFT双向匹配算法[J]. 兵工自动化, 2009, 28(6): 89-91.

LIU Huan-min, WANG Hua, DUAN Hui-fen. A bidirectional matching SIFT algorithm[J]., 2009, 28(6): 89-91.

[10] 刘贵喜, 刘冬梅, 刘凤鹏. 一种稳健的特征点配准算法[J]. 光学学报, 2008, 28(3): 454-461.

LIU Guixi, LIU Dongmei, LIU Fengpeng. A robust image registration algorithm based on feature points matching[J]., 2008, 28(3): 454-461.

[11] 周剑军, 欧阳宁, 张彤. 基于RANSAC 的图像拼接方法[J]. 计算机工程与设计, 2009, 30(24):5692-5694.

ZHOU Jian-jun, OUYANG Ning, ZHANG Tong. Image mosaic method based on RANSAC[J].2009, 30(24): 5692-5694.

[12] 张晓茹, 肖珂. 基于角点匹配图像拼接方法的改进[J]. 河北农业大学学报, 2008, 31(4): 119-122.

ZHANG Xiao-ru, XIAO Ke. The improvement of a feature-based image mosaics algorithm[J]., 2008, 31(4): 119-122.

[13] 张世良. 基于改进RANSAC算法图像自动拼接技术[J]. 三明学院学报, 2012, 29(2): 46-50.

ZHANG Shi-liang. The improvement of a RANSAC-based image mosaics algorithm[J]., 2012, 29(2): 46-50.

[14] 穆柯楠, 惠飞, 曹健明, 等. 一种基于几何约束的RANSAC改进算法[J]. 计算机工程与应用, 2015, 51(4): 205-208.

MU Kenan, HUI Fei, CAO Jianming. Improved RANSAC algorithm based on geometric constraints[J]., 2015, 51(4): 205-208.

[15] Rodriguez A., Laio A.. Clustering by fast search and find of density peaks[J]., 2014, 344(6191):1492-1496.

[16] 李卫平. K-means聚类算法研究[J]. 中国西部科技, 2008, 7(8): 52-53.

LI Wei-ping. Research on K-means clustering algorithm[J]., 2008, 7(8): 52-53.

Thermal Image Stitching Based on Robust Feature Matching

LIU Huan，GU Xiaojing，GU Xingsheng

(,,200237,)

Thermal imaging equipment can detect invisible long-wave infrared radiation and provide visible display. It has a pivotal position in the areas of scientific research, security and criminal investigation and national defense. Instead of observing single image, it is highly possible to improve the perception of observers via observing a thermal panorama obtained by image stitching technique. However, there are usually large errors in thermal image feature extraction due to the blur details and low signal-noise ratio of thermal imaging. Therefore, the feature points matching process is not stable enough for the image stitching. Aiming at this problem, our paper improves the matching process and provides a robust feature matching based stitching method for thermal panorama. The improvements comprise two aspects: first, using PCA to reduce the dimensions of SIFT features in order to reduce correlations between features, improving the discriminative ability of feature vectors; second, using density peak clustering algorithm to eliminate the unstable matching points in order to improve the matching accuracy. Experimental results show that the proposed algorithm can efficiently and stably generate thermal panoramas with high practical values.

thermal imagery，image stitching，SIFT，PCA dimension reduction，density peak clustering

TP391.4

A

1001-8891(2016)01-0010-11

2015-10-15；

2015-12-25.

刘欢（1989-），男，江苏人，硕士研究生，研究方向为红外图像处理及分析。

谷小婧，E-mail: xjing.gu@ecust.edu.cn。

国家自然科学基金项目（61205017，61502293，61573144）；中央高校基本科研业务费专项资金项目。