红外与可见光图像配准在 EFVS中的应用研究

翟 豪,申 冰,李 宜,张光明

(中国民航飞行学院飞行技术学院)

1 引 言

从上世纪 90年代中期开始,随着成像技术的进步,人们开始研究能穿透低能见度天气的机载红外或微波图像传感技术,研发了增强视觉系统(EFVS)。EFVS的出现,第一次使得机长在低能见度下都能看到航空器前方场景的动态图像,极大地改善了机长的空间感知和情景意识。该系统在座舱下方外安装红外成像仪或微波图像传感器,实时采集航空器前方场景动态视频图像,经处理后和相关的飞行指引符号叠加在 HUD(平视显示仪)上显示。尽管红外或微波图像具有分辨率低、图像内容可理解性较差等不足,但由于增强视觉系统采集的是实时的场景动态图像,图像内容具有较高的真实性和可信性。特别是在航空器最后进近阶段,因为此时航空器已对准跑道,图像传感器中所能看到的场景主要限于跑道、灯光及附近的场面,图像内容更易分辨和理解。目前投入使用的 EFVS存在只能处理和显示单传感器图像、不能融合显示多个波段和不同视点的增强视觉图像的不足。

国际上自 1996年至今,每年举行一次“Enhanced and Synthetic Vision”国际会议;在每年的“IEEE Digital Avionics System”国际会议上也有大量关于合成视觉(SVS)和增强视觉(EFVS)的工作报道。目前,包括美国、英国、加拿大、德国等国的政府和军方研究机构,以及国际上著名的航电厂商(如:Honeywell、Rockwell、Thales等)仍在大力加这方面的研究。

2 EVFS系统中图像配准技术的应用

由于机载传感器特性和航空器的运动方式,图像中的对象仅是刚性的改变位置、姿态和刻度,改变的原因往往是由摄影器材运动引起的。

所以本文拟将基于特征的图像配准技术运用于增强视景系统中,在传感器位置、指向、焦距不同时,通过实时逆透视变换处理,将二维图像还原到三维空间中,并对还原的各图像序列逐帧进行时间同步和空间配准处理,以期为航空器在低能见度下的最后进近阶段提供更容易分辨和理解的图像。

在传感器位置、指向、焦距不同时,通过实时逆透视变换处理,将二维图像还原到三维空间中,并对还原的各图像序列逐帧进行时间同步和空间配准处理,以期为航空器在低能见度下的最后进近阶段提供更容易分辨和理解的图像。

合成方案如下。

图1 视景增强系统图像合成方案

本文只研究红外摄像机所成图像与航空照相机所成图像的融合。

3 图像配准仿真实验

本文使用 ERDAS IMAGINE系统中的图像预处理模块进行遥感图像配准的。ERDAS IMAGNIE作为遥感图像处理软件,最大的特点就是以模块化的方式提供给用户的,可使用户根据自己的应用要求、资金情况合理地选择不同功能模块及其不同组合。

本文主要介绍基于图像特征的配准算法。基于图像特

征的方法是图像配准中最常见的方法,对于不同特性的图像,选择图像中容易提取并能够在一定程度上代表待配准图像相似性的特征作为配准依据。基于特征的方法在图像配准方法中具有最强的适应性,而根据特征选择和特征匹配方法的不同所衍生出的具体配准方法也是最多样的。这类方法的主要共同之处是首先要对待配准图像进行预处理,也就是特征提取的过程,再利用提取到的特征完成两幅图像特征之间的匹配,通过特征的匹配关系建立图像之间的配准映射变换。这类方法一般包含 3个阶段:

(1)计算并提取图像的特征集(常常是特征点集);

(2)将这些特征作为控制结构,寻找两幅图像控制结构的映射关系;

(3)建立控制结构间的空间域的几何变换,通常利用最小二乘原则建立一个二维多项式函数来对几何变换进行拟合。

图像配准按照以下五个步骤实施:

第一步,建立红外传感器所成图像的坐标系;

第二步,提取红外图像中的跑道特征线;

第三步,重新绘制遥感图像;

第四步,将重新绘制的遥感图像与红外传感器所成的图像叠加;

第五步,几何纠正的精度分析。

第一步的目的是为图像配准提供一个参考系统。对于相对配准通常是取一幅图像的图像坐标系作为偏移图像坐标系,而另一幅图像的图像坐标系为参考坐标系或者校正图像坐标系;对于图像相对网格进行的配准,则通常取大地坐标系或者地图坐标系作为校正图像坐标系,而分量图像的图像坐标系作为原始图像坐标系。

第二步是图像配准的关键,由于多图像反映了相同的或者部分相同的地面目标,因此,图像上的一部分像素点应该在多图像的其他分量上有代表同一地面点的同名点,即地面控制点(GCP:Geography Control Point)。选择控制点的方式有三种:手工、半自动查找和计算机自动查找。本节采用的手工查找匹配控制点,最终所选择的GCP的精度、数量以及它们在图像上的分布情况在很大程度上决定了配准的精度。

第三步是用所得到的地面控制点确定图像间畸变模型的参数,它随着所采取的纠正方法的不同而不同。在本论文中采用的畸变模型是二次多项式,利用它对两幅图像间的几何畸变进行逼近,它的系数在纠正时可以用最小二乘法对分布在整个图像区域上的控制点进行拟合而得到。

第四步是在基于畸变模型的基础上对偏移图像求取输出图像各像素的灰度值,即进行几何变换和重采样。

第五步由于对于相对配准则还没有很好的客观的方法进行评价,本文是利用 ERDAS IMAGNIE软件的窗口地理连接(Geo Link/Unlink)功能及查询光标(Inquire Cursor)功能进行目视定性检验。

4 结 论

可以看到,航拍图像和雷达图像配准后,对道路的特征有明显加强。按照本文依托的项目的工作计划,尚未采集同一机场的跑道的雷达图像、红外图像和三维地理图像,所以不能看到实际效果。但从以上配准的效果可以推测,对进近着陆时只有一条跑道的情况,配准图像对跑道特征的加强是很有效的,从而增强飞行员的情景意识。

ERDAS IMAGINE作为遥感图像处理软件具有强大的模块功能,它既不需要复杂的算法,也避免了大量的编程工作,因此用该软件进行图像配准比较易于实现,但是这种方式也有它的局限性。如何实现自动选取控制点,提高控制点的定位精度和控制点选取的速度,将是今后研究的方向。因为航空器进近着陆时速度较快,所以对配准速度有较高的要求,这也将是下一步研究工作的重点问题之一。

[1] J.J.Arthur and L.J.Kramer.Flight Test Comparison Between Enhanced Vision(FLIR)and Synthetic Vision Systems[R].NASA,2005.

[2] J.J.Arthur and L.J.Prinzel et al.CFIT Prevention Using Synthetic Vision[J].Enhanced and Synthetic Vision 2003,V 5081:16.

[3] 党安荣,王晓栋,陈晓峰,等.ERADS IMAGINE遥感图像处理方法[M].清华大学出版社,2003:220-486.

[4] [美]莫伊克(Moik,J.G)著,徐建平等译.遥感图像的数字处理[M].北京:气象出版社,1978:301-348.