基于点特征算子的红外图像实时拼接系统

王雨曦，王义坤，葛明锋



基于点特征算子的红外图像实时拼接系统

王雨曦，王义坤，葛明锋

（中国科学院上海技术物理研究所 空间主动光电技术重点实验室，上海，200083）

针对画幅式扫描成像方式获取的红外图像，传统的图像拼接技术无法有效地完成红外图像的实时拼接。结合基于图像点特征算子的实时拼接技术，对前沿的点特征提取及描述算子进行了模糊、噪声、像移、旋转下的性能研究，结果表明ORB特征提取算子及BRISK特征描述算子的性能最符合画幅式红外拼接系统的需要。最后在CPU＋GPGPU平台上实现了以ORB＋BRISK算子为特征算子的红外图像实时拼接系统，并利用热红外遥感图像进行了拼接的性能验证。

红外图像；点特征算子；实时拼接；GPGPU；ORB；BRISK

0 引言

在机载的对地观测领域，热红外波段是重要的遥感波段。随着红外遥感观测的发展，大视场高空间分辨率的热红外图像在军事侦察、快速灾情监测、大视场地质勘探等方面的应用越来越广泛。由于红外材料和工艺的限制，传统的大视场热红外观测技术都是采用单元探测器或者多元线阵器件进行扫描方式实现。其缺点是积分时间短，空间分辨率低。目前随着小面阵热红外探测器件的发展，利用面阵热红外器件实现大视场高空间分辨率的热红外观测是技术发展的趋势。面阵热红外探测器件的缺点是无法获得较大的像元数。目前国内热红外探测器件的像元数只有640×512，离10k×8k的可见光探测器的像元数还有很大的差距。为了获取高分辨率红外图像，需要采用长焦距的光学系统，但同时也会导致遥感系统的视场降低。所以为了能获取大视场的高分辨率红外图像，需要采用红外面阵探测器进行画幅式扫描的成像。

画幅式扫描成像方式如图1所示。在飞机的翼展方向通过光机摆扫控制机构控制面阵探测器画幅式扫描成像。翼展方向的单幅高分辨图像保持一定的重叠率，同时飞行方向行与行之间也保持一定的重叠率。通过实时的红外图像拼接就可以获取连续的大视场高分辨率热红外图像。

由于现场实时的数据应用需求，需要构建红外图像实时拼接系统来获得实时的大视场红外图像。与传统的图像拼接相比，画幅式扫描红外图像拼接不仅需要在飞行方向，还需要在扫描方向上进行图像拼接，所以需要更快的拼接速度和更高的配准精度。同时由于在扫描方向上通过画幅式摆扫的成像方式，所以需要求解每一个成像时刻的相机外方位元素，计算量更大，参数更多。

图1 画幅式扫描成像方式

为了完成高精度的图像拼接，需要提取图像的同名点信息来获取相邻图像的几何变换关系。同名点的提取及描述需要分别通过图像点特征提取算子和点特征描述算子来实现。为了构建实时的画幅式扫描拼接系统，需要对图像点特征提取及描述算子的性能和运算速度进行分析和比较，为选取合适的特征算子提供重要的参考。

画幅式红外图像实时拼接系统中对点特征提取及描述算子的性能与传统的点特征及描述算子的性能评价标准有所不同。传统的特征提取及描述性能评价[1-4]提出的评价方法各有不同，但是都具有以下缺点：①没有对实时性能较好的二值特征算子进行评价，而传统的非二值特征算子占用内存大，计算速度慢，无法满足实时拼接系统的需求；②没有考虑红外遥感图像的特点，对红外图像的提取及描述的性能弱于可见光图像。

红外遥感图像具有以下特点：1）信噪比低[5]：主要因为红外波段地物反射及辐射能量较弱。2）图像能量来源复杂：短波能量主要来自地物反射，热红外则主要来自地物辐射，而中波则结合了两者的特点。3）遥感图像拼接的场景不同：①遥感图像由于高度稳定，所以对图像缩放及尺度变化不敏感；②遥感图像一般在稳定平台上成像，相邻遥感图像间的姿态角变换较小；③由于积分时间内飞机的高速运动会引入图像像移模糊；④遥感图像有着更丰富的纹理信息及更复杂的图像内容。基于以上原因，所以需要对点特征算子进行基于红外遥感图像的性能评价，为选取合适的点特征算子提供参考。

文章基于点特征算子的红外图像拼接方案，对不同的点特征提取及描述算子进行了性能分析及评价，为画幅式红外实时拼接系统选取了合适的点特征算子，并在CPU＋GPGPU硬件平台上实现了实时拼接系统的设计及验证。

1 基于点特征算子的图像拼接

1.1 图像拼接流程

基于点特征算子的实时拼接系统的流程如图2所示。

图2 图像拼接基本流程图

红外遥感图像需要先经过均匀性校正以消除非均匀性对特征提取及描述的影响[6]。红外遥感图像经过图像点特征提取及描述算子后，得到稳定的图像特征点和相应的高维描述，然后利用高维特征匹配得到相邻图像间的特征点匹配信息，并进一步得到图像间的空间变换矩阵。图像间的特征匹配需要采用RANSAC[7]（random sample consensus）或GTM[8]（graph transformation matching）算法来消除误匹配点的影响，同时提高匹配点的精度。最后利用全局配准来最小化投影误差，同时对重合区域完成图像融合，得到全景拼接图像。

图像点特征算子的性能决定了相邻图像之间特征点匹配的准确度和精度，从而影响到图像空间姿态变换的精度，是拼接系统精度的决定性因素。同时点特征提取及匹配算法计算量大，是拼接系统实时性的瓶颈之一，所以实时红外拼接系统的实现需要能同时满足性能好和速度快的点特征算子。

1.2 点特征提取算子性能

图像点特征提取算子需要具有良好的稳定性和重复性，能够在丰富的景物特征和随机噪声干扰下，对经过一定的空间姿态变换后的红外图像提取出重复的特征点。衡量图像点特征提取算子的指标主要有3点：①图像点特征提取算子的重复率[1]；②图像点特征提取算子提取点特征的数量；③点特征提取算子的时间复杂度。

重复率衡量了点特征提取算子对相邻图像提取重复的点特征的能力。设基准图像的特征点集合为{}，经过变换后的待配准图像的特征点集合为{}，则图像点特征提取算子的重复率定义为：

式中：Size{}表示集合中元素个数。

重复率是衡量点特征提取算子的重要指标，重复率越高，抗外界干扰的性能越好，特征点越稳定。同时减少了误匹配点的概率，为后续的点特征描述及匹配降低了计算量。

1.3 点特征描述算子性能指标

点特征描述算子需要具有稳定的特征描述能力,同时具有较好的区分性，能有效地区分不同的红外图像特征，减少匹配后的误匹配率。衡量图像点特征描述算子的指标主要有3点：1）点特征匹配的召回率[9]；2）点特征匹配的精确度[9]；3）点特征描述子消耗的时间。召回率和准确率的定义如下：

特征匹配后匹配点对分为{}：正确的匹配点对；{}：错误的匹配点对

基础矩阵校验后匹配点对分为{}：正确的匹配点对；{}：错误的匹配点对，则召回率＝Size{}/ Size{}，精确度＝Size{∩}/Size{}。

召回率表示匹配的点特征中正确的匹配点占总的正确匹配点的比例，描述了特征描述子描述能力随环境变换的退化能力。召回率越低，代表特征描述子的时间效率越低，大量时间浪费在计算错误的误匹配点上。

精确度表示特征匹配后正确的匹配点对占总的匹配点对的比例，描述了特征对不同特征点区分的能力。精确度越高，正确的匹配点数越多，计算得到的基础矩阵越精确。

2 点特征算子性能评价

2.1 性能评价框架

为了准确评价点特征算子的性能，本文采用在基准图像上加入各种已知干扰和变换的方式来进行性能评价。由于中波红外兼有短波红外和热红外的反射和热辐射成像特征，所以文中采用室内获取的10幅中波红外图像作为变换前的基准图像。

为模拟飞行过程中的相邻图像的姿态和成像变换关系，基准图像分别经过以下处理：

1）高斯加噪：考虑到系统信噪比及热红外成像系统NEDT的指标，信噪比范围从150到200，以5为步进。

2）高斯模糊：由于电路带宽和光学带宽的限制，采用高斯模糊来模拟带宽的限制，高斯噪声方差大小从1:10，以1为步进。

3）像移模糊：画幅式摆扫成像方式在水平方向较大的像移存在。考虑到像移补偿之后的残余像移，像移模糊范围为1～10个像素，以1为步进。

4）横滚及偏航：由于横滚和俯仰对于图像的影响相似，文章采用横滚来代替横滚和俯仰的干扰。横滚和偏航的角度为1°～10°，步进为1°。

2.2 点特征提取算子性能

文章共选取SIFT[10]（scale invariant feature transform）、SURF[11]（speeded up robust features）、CenSurE[12]（center surround extremas）、ORB[13]（oriented brief）、BRISK[14]（binary robust invariant scalable keypoints）5种图像点特征提取算子。待测试算子代表了目前前沿的特征提取算子，具有计算点特征方向的能力，对角度变换具有稳定性。同时对噪声、光照等干扰具有较好的抗干扰性。

点特征算子的重复率评价采用对基准图像和变换图像分别提取稳定的点特征并按照重复率定义的方式得到。点特征提取算子重复率性能如图3所示。

图3 点特征提取算子重复率曲线

图3横坐标为加入的干扰，最大值归一化为100。纵坐标为算子的重复率，为对5种干扰取平均后的结果。

从图3中可以发现ORB及SURF提取算子的性能最好，SIFT及CenSurE性能接近。BRISK提取算子性能较差，主要是因为经过特征变换后，特征提取算子数量大幅减少而导致重复率降低。

不同图像点特征提取算子消耗的时间及特征点数量如表1。

表1 特征点提取数量及时间

根据表1可以发现ORB提取算子比SURF和SIFT提取算子消耗的时间降低了一个数量级。ORB提取算子的实时性高主要因为采用FAST[15]算子作为核心检测算子，同时加入矩（moment）计算来得到特征点方向。既保留了FAST特征提取速度快的优势，也增加了对旋转的鲁棒性。

考虑到ORB特征提取算子有着重复率性能好和运算速度快等优点，所以在红外图像实时拼接中将使用ORB特征提取算子进行特征点的提取。

2.3 点特征描述算子性能

文章选取BRISK、ORB、SIFT、SURF、FREAK[16]5种图像点特征描述算子。待测试算子代表了目前前沿的点特征描述算子，对特征描述具有较好的区分行和稳定性。点特征描述算子测试流程如下：

1）采用SURF特征提取算子提取红外图像特征点；

2）利用待测试点特征描述子对特征点进行描述；

3）利用线性搜索得到与特征描述匹配的近邻特征，并通过阈值法滤除误匹配特征点；

4）根据已知的基础矩阵，计算正确的匹配点对；

5）计算召回率和精确度。

点特征描述算子召回率和精确度的曲线如图4和图5所示。

图4和图5横坐标为加入的干扰，最大值归一化为100。纵坐标为分别为召回率和精确度，为对5种干扰取平均后的结果。

从图4和图5中可以发现ORB的召回率和精确度在干扰较大情况下的性能下降较快，而SIFT特征描述子性能最好。BRISK和ORB特征描述子的性能相比有所降低。

点特征描述算子平均每个特征描述消耗的时间如表2。

图4 点特征描述算子召回率性能

图5 点特征描述算子精确度性能

表2 点特征描述消耗的时间

根据表2可以发现BRISK特征描述子有着最好的实时性能。其主要原因是BRISK特征描述利用采样点之间的大小信息，而不是统计信息来构建二值描述信息。考虑到BRISK描述算子同时具有较好的召回率和准确度性能。所以实时红外拼接系统将会利用BRISK点特征描述算子。

3 实时拼接系统设计及验证

3.1 拼接系统设计

红外图像实时拼接系统框图如图6。

图6 图像实时拼接系统框架

系统选用CPU＋GPGPU作为硬件实现平台，利用CPU实现流程控制、优化迭代等部分，而将高并行化及大运算量的图像处理部分交给GPGPU实现。CPU为Intel i3 540，配置4GB内存，并通过PCIe×16链路与GPGPU进行通信。GPGPU选用Nvidia公司Fermi系列C2050，具有448个核和2.5G全局显存。红外图像实时拼接系统的算法步骤如下：

1）利用GPGPU完成图像点特征的提取、描述及匹配，然后将特征点匹配信息回传到CPU；

2）CPU端采用RANSAC算法计算出正确的匹配集和初始透视变换矩阵，然后通过最小化匹配误差得到相邻图像间的单应性变换矩阵。最小均方误差法采用增量式迭代的方法：

式中：为共线方程的分母因子。

3）利用Bundle Adjustment[17]算法通过最小化全局图像的最小化均方误差进一步减少误差，避免误差累积导致的图像错位及模糊。全局配准误差下降方法采用Levenberg-Marquardt迭代来更新所有成像时刻的外方位元素矩阵。误差方程利用对偶的投影误差，如式(4)所示。投影误差方程代表了不同图像和投影到同一三维点的投影误差，通过最小化投影误差，可以使得全局的外方位姿态矩阵最优化。

4）利用相机的外方位姿态矩阵将红外图像投影到基准平面，并采用高斯融合的方法将重叠区域融合得到最终的全局图像。

3.2 实时拼接系统验证

拼接系统性能验证采用美国FLIR SC325热红外相机在大连拍摄的热红外遥感图像作为测试图像。图像拍摄高度为1000m，选用25°镜头，热红外图像大小为320×240。拼接系统对11幅热红外图像利用ORB/BRISK点特征算子进行拼接，同时利用经典的SIFT点特征算子进行拼接并对结果进行比较。拼接结果如图7所示。

两种图像点特征算子对相邻图片间计算出的单应性矩阵基本相同，所以拼接后的图像在视觉上也只是存在细微的差别。从图7中可以发现利用ORB/BRISK算子完成的拼接图像配准精度高，拼接效果好。

在11幅热红外图像上计算两种算法的时间复杂度如表3。

图7 SIFT算子和ORB/BRISK算子拼接图像

表3 SIFT和ORB/BRISK点特征算法时间比较

从结果中可以看出，ORB/BRISK在特征提取和特征描述量上消耗的时间均比SIFT特征算子低了一个数量级，而ORB/BRISK在GPU上的实现又有较快的速度提升，使得在单幅热红外图像中的平均计算时间小于5ms，实时性能得到了很大提高。同时利用实时拼接系统拼接得到的图像拼接速率达到了8.7fps，验证了基于ORB/BRISK点特征算子的红外图像拼接系统的实时性。

4 结语

本文利用中波红外图像作为基准，并加入模糊、噪声及角度变换等干扰，比较了点特征提取算子的重复率和点特征描述算子的召回率和精确度性能，并统计了不同特征算子消耗的时间。实验结果表明ORB特征提取算子和BRISK特征描述算子不仅在性能上与经典的SIFT和SURF算子性能接近，而且在实时性上也得到了很大的提高。系统通过对ORB/BRISK算子的硬件平台实现，进一步缩减了图像配准的时间，并构建了基于硬件平台的红外实时拼接系统。通过对热红外图像的拼接测试，验证了ORB/BRISK算子在红外实时拼接图像中的可靠性。下一步将继续研究图像高维特征的快速索引和匹配算法及在GPGPU上的实现，进一步优化实时拼接系统的性能。

[1] Mikolajczyk, Krystian, Cordelia Schmid. A performance evaluation of local descriptors[C]//, 2005, 27(10): 1615-1630.

[2] Miksik O, Mikolajczyk K. Evaluation of local detectors and descriptors for fast feature matching[C]//(), 21s, 2012: 2681-2684.

[3] 王利勇, 王慧, 李鹏程, 等. 低空遥感数字影像的点特征提取算子的比较[J]. 测绘科学, 2011, 36(1): 121-124.

[4] Maji S. A comparison of feature descriptors[R]. Berkeley: University of California, 2006.

[5] 唐麟, 刘琳, 苏君红. 红外图像噪声建模及仿真研究[J]. 红外技术, 2014,36(7): 542-548.

[6] 张春雷, 向阳. 超光谱成像仪图像均匀性校正[J]. 中国光学, 2013,6(4): 584-590.

[7] Fischler M A, Bolles R C. Random sample consensus: aparadigm for model fitting with applications to image analysis and automated cartography[J]., 1981, 24(6): 381-395.

[8] Aguilar W, Frauel Y, Escolano F, et al. A robust graph transformation matching for non-rigid registration[J]., 2009, 27(7): 897-910.

[9] Ke Y, Sukthankar R. PCA-SIFT: A more distinctive representation for local image descriptors[C]//, 2004: 506-513.

[10] Lowe D G. Distinctive image features from scale-invariant key points[J]., 2004, 60(2): 91-110.

[11] BayH, Tuytelaars T, Van GoolL. SURF: Speeded Up Robust Features[C] //, 2006: 404-417.

[12] Agrawal M, Konolige K, Blas M R.CenSurE: Center Surround Extremas for Realtime Feature Detection and Matching[C]//, 2008: 102-115.

[13] Rublee E, Rabaud V, Konolige K, et al. ORB: An efficient alternative to SIFT or SURF[C]//2011(ICCV), 2011: 2564-2571.

[14] Stefan Leutenegger, Margarita Chli, Roland Siegwart. BRISK: Binary Robust Invariant Scalable Key points[C]//2011(), 2011: 2548-2555.

[15] Rosten E, and Drummond T. Machine Learning for High-speed Corner Detection[C]//, Springer Berlin Heidelberg, 2006: 430-443.

[16] Alahi A, Ortiz R, Vandergheynst P. FREAK: Fast Retina Keypoint[C]//, 2012: 510-517.

[17] Triggs B, McLauchlan P F, Hartley R I, et al. Bundle adjustment-a modern synthesis[C]//, 2000: 298-372.

Point Feature-based Real-time Infrared Image Mosaicking System

WANG Yu-xi，WANG Yi-kun，GE Ming-feng

（，，200083，）

As for the infrared image acquired by frame sweeping, traditional methods of image mosaicking cannot effectively accomplish the real-time infrared image mosaicking. The paper combines with the image mosaicking based on point feature algorithms and compares the performance of latest point feature detectors and descriptors under conditions of Gaussian blur, Gaussian noise, motion blur and rotation. The result shows ORB detector and BRISK descriptor are most consistent with frame infrared image mosaicking. The paper finally implements the real-time mosaicking system of frame infrared image based on ORB＋BRISK feature algorithm on CPU＋GPGPU platform, and verifies the mosaicking performance using infrared remote-sensing images.

infrared image，point feature detector，real-time mosaicking，GPGPU，ORB，BRISK

TP211.73

A

1001-8891(2015)03-0204-06

2014-11-13；

2014-12-17.

王雨曦（1989-），男，湖北荆门人，博士生，主要从事红外遥感图像处理方面的研究。E-mail：wangyuxi2006@126.com。

国家高技术研究发展计划（863计划）课题，编号：2012AA121102。