侦察图像综合利用技术研究

赵书斌，王 强

（中国船舶重工集团公司江苏自动化研究所，江苏 连云港 222006）

随着各种天基和空基侦察手段的发展，以及包括巡航导弹和信息化远程打击舰炮在内的各种远程精确打击武器系统的研制和使用，快速反应和精确打击已成为现代战争的主要特征。可视化任务规划、基于多源图像融合的远程目标精确定位、实时打击进程监视和打击效果的实时评估是实施快速精确打击的基础，空中侦察图像的综合处理与利用在现代战争中起着不可替代的作用。伊拉克战争中，美军正是依靠战术利用系统和联合服务图像处理系统，才加快了应对各种威胁的速度，提高了各种精确打击武器的作战效能。

空中侦察和监视的应用有很长的历史，在军事上可用于观察敌方活动，在民用领域可用于监视森林、农田等的变化情况。1849年，Colonel Aime Laussedat就利用航拍图像制作地形图。在早期应用中，常常使用风筝和气球等作为载体将相机带到空中。1913年，飞机被用作航拍的运载工具。航拍图像的广泛使用开始于第一次世界大战，主要用于侦察和情报搜集。卫星是最理想的天基侦察平台，主要用于战略侦察。美国是发展侦察卫星最早的国家，拥有最先进的卫星侦察手段。1960年8月就发射了第一颗实验性侦察卫星，1962年开始执行“锁眼”（KH）侦察卫星计划，其编号从KH－1到KH－12。近十几年来，欧洲、以色列、印度、日本和韩国等也在大力发展成像卫星侦察系统，但其传感器性能与美国相比还有一定差距。例如，美国军用卫星地面分辨率为0.1m，而其它国家的最高水平只有0.5m，与美国商用卫星图像的分辨率差不多【1】。

有人驾驶和无人驾驶的飞机是主要空基侦察平台。飞机有极大的活动空间，可远可近，可高可低，是最通用、也是最重要的战略与战术侦察监视平台。20世纪50年代后期到60年代初期，美国U2高空侦察机曾频繁侵入中国和前苏联上空进行侦察活动。由于U2的飞行高度达21000m，当时的歼击机和高炮火力无能为力，U2高空侦察机可以说是如入无人之境。但随着地空导弹的发展，U2高空侦察机相继被击落，其横行无阻的时代结束了。为确保人员安全的同时利用空中平台进行有效的侦察，无人机逐步发展起来。

无人机是一种由无线电遥控设备或自身程序控制装置操控的无人驾驶飞行器。无人机用途广泛，无人员伤亡风险，生存能力强，机动性好，使用灵活，效费比高，在现代战争中起着极其重要的作用。特别是在阿富汗反恐战争中，无人机不仅用于空中侦察，还直接作为攻击平台，已成为集侦察、打击、效果评估于一体的多功能、多用途的无人作战系统。目前，美军装备的无人机包括空军的“捕食者”、“全球鹰”、海军/海军陆战队的“先锋”、陆军的“猎人”、“影子”，等等。“全球鹰”搭载的侦察监视系统配置了可见光电视、红外热像仪和合成孔径雷达（SAR）成像系统，能够对目标区域进行全天时、全天候侦察监视，很有代表性。其飞行高度20000m，可见光和红外成像系统的地面分辨率分别可达0.1m和0.23m，SAR图像分辨率也具有与光学成像相当的分辨率。

目前，随着多种型号雷达成像和光学侦察卫星加快研制和装备，各种无人侦察机逐步投入使用，我国将逐步具备遂行快速精确打击作战的必要基础设施，深入研究空中侦察图像综合利用技术已成为我们面临的重要任务。

1 国外相关研究现状

鉴于图像侦察在军事上的重要性，西方各国在这方面进行了广泛深入的研究。这些研究主要是针对无人机进行的，其应用不仅仅限于基于图像的岸上远程目标的精确定位，还包括目标自动识别与提示、运动目标检测与跟踪等多个方面。主要的研究工作是由一些公司进行的，包括BAE公司、Thales公司和Harris公司等。2000年以后，相关技术逐步取得突破。目前这些公司都有了技术比较成熟的产品，并在伊拉克战争和阿富汗战争中得到了实战检验。

1.1 BAE网格锁定系统

网格锁定系统（Gridlock）利用有人或无人战术侦察平台获取的静态和动态图像，计算精确的目标坐标数据，为作战指挥人员提供了快速定位目标的能力并为武器系统提供合适的瞄准数据【2】。

网格锁定系统是为了满足两方面的军事需求：

· 打击和毁伤时敏目标；

· 改善目标定位精度，提供满足新一代武器系统要求的高精度目标数据。

图1 网格锁定系统作战应用示意图

网格锁定系统主要围绕两个核心组件进行设计。智能图像组件（Smart Image Component）是网格锁定系统的核心单元。该组件可自动完成战术图像与参考图像的相关和配准，生成所谓“智能图像”，每一幅智能图像均嵌入了校准后的元数据。这样，图像中的每个像素点的地理位置均可达到参考图像的位置精度。智能图像显示组件是一个与平台独立的应用软件，该组件使用户能够通过一次单击来提取坐标和误差估计数据。

1.2 Thales多传感器图像解译与分发系统

多传感器图像解译与分发系统(MINDS)是 Thales公司为地面图像情报利用提供的综合解决方案。MINDS提供了一个自包含、模块化的多源图像处理与利用环境，能够完成（多源、异类）图像情报获取、图像解译、作战任务准备和精确瞄准等任务【3】。

MINDS信源包括扫描得到的地图或数字地图、UAV视频数据、航拍或卫星图像。这些图像数据经MINDS处理、标准化和融合后，及时为需要的用户提供准确的图像情报产品。

MINDS主要功能可归纳如下：

· 自动地理信息标注；

· 辐射与几何图像处理；

· 地物重构与立体显示；

· 利用图像/图形信息和已标注地理信息的地物创建情报文件；

· 多源情报(IMINT,SIGINT,HUMINT)融合与编辑工具；

· 用于计算机辅助目标辨识的高级工具；

· 情报报告编辑与多媒体情报文件夹生成。

1.3 Harris自动战术瞄准系统

借助 Harris自动战术瞄准系统(The Harris Automated Tactical Targeting System,HATTS)，操控人员能够利用机载传感器对目标进行精确瞄准。HATTS能够近实时地把来自机载传感器的图像与经精确地理标注的图像（通常为卫星影像）配准。经空间配准后，操控人员可在来自机载传感器的图像上确定目标的精确地理坐标。一旦操控人员指定了目标并确定了图像情报的最终用户（一般为某武器系统或地面站），HATTS即可根据用户需求自动生成目标瞄准信息，通常包含选定的部分战术图像和带有目标精确坐标的参考图像。HATTS也支持常用的图像操作功能，操控人员可对图像进行各种几何和辐射调整，构造镶嵌图像以增强战场态势感知【4】。

图2 Harris自动战术瞄准系统功能流程

2 主要问题

直到最近，空中侦察和监视还主要采用胶片和电子相机等。其目的主要是获得所监视区域的高分辨率静态图像，这些图像经人工判读或机器自动处理后获得人们感兴趣的信息和情报。现在，人们越来越倾向于使用视频摄像机完成侦察、监视和情报搜集任务。视频图像能够捕获所监视区域中发生的动态变化的事件，而这种信息在航拍的静态图像中是无法获得的。视频图像捕获动态事件的能力能够提供及时的情报信息，同时有可能使我们对所发生的事件做出快速反应。视频图像可用于实时检测并定位运动目标，同时根据目标的运动属性可控制摄像机跟踪这些目标（如运动中的车辆等）。视频图像也可用于控制摄像机对一个固定区域进行长时间的监视。然而，视频图像的利用也提出了一些新的技术问题。为获得识别和分辨地面目标所需的分辨率，需要使用长焦距的镜头。然而，长焦距镜头的视场是非常小的，这对于理解和分析场景内容是非常不利的。摄像机必须不断地在各个方向扫描，以覆盖希望监视的区域。这样做的后果是，人们感兴趣的目标时而在视场内时而在视场外，视频判读人员必须高度集中注意力。由于视场太小，视频图像不能提供背景地理信息，判读人员无法获得目标在不同时刻的相对位置。

通过空中视频侦察，我们可以知道传感器视场覆盖范围内有哪些目标，目标情况怎么样。但由于机载姿态测量传感器等的精度有限，利用无人机测量信息对侦察图像进行定位的误差较大，可达数百米。对于精确打击作战来说，这是远远不够的。要想将空中视频侦察用于精确打击作战，就必须为侦察图像标注精确的地理坐标，以便为精确打击武器提供精确的目标瞄准数据。

卫星侦察覆盖范围广，不受空域限制，在平时和战时都是重要的战略侦察平台。现在，随着成像技术和测量技术的发展，卫星图像具有很高的分辨率和地理定位精度，其像素地面分辨率最高可达0.1m，经几何校正和控制点校准后地理坐标标注误差优于2m。但受成像卫星数量、地面站接收和后期处理时间限制，目前成像卫星主要还是用作战略侦察，不能用于战术目的。

3 关键技术分析

3.1 视频图像镶嵌

随着摄像镜头的摇动，几帧连续的视频图像被拼接成一幅较大的图像，即镶嵌图像。镶嵌图像能够有效扩大镜头的视场，从而为实时观察和后续处理带来了方便，可解决空中侦察采用长焦镜头导致的小视场问题。构造图像域中的镶嵌图像有两个基本步骤：配准和融合。构造一个 2D镶嵌图像需要计算一组配准参数，与这些参数对应的几何变换将图像变换到一个公共的参照系中。对于一个视频图像序列，配准参数的计算可以按照不同的方式进行：

1）一帧接一帧地配准相邻的图像，获得的变换参数可用于确定任一图像与镶嵌图像间的配准参数；

2）以当前拼接好的镶嵌图像作为参考图像，将每一帧图像与其配准；

3）以最新的视频图像作为参考图像，将当前拼接好的镶嵌图像与其配准。

不管采用哪一种方式，获得的一组变换均可将一个视频图像序列拼接在一起，即将每一帧视频图像变换到镶嵌图像坐标系，最后形成一幅镶嵌图像。为避免在镶嵌图像中出现缝隙，需要在不同帧图像的交界处进行融合处理。

3.2 精确地理定位

在相当程度上，视频侦察图像的价值在于：我们不仅能够从图像中发现目标，而且能够给出目标的精确地理位置。一个理想的解决方法是能够知道图像中每一个象素点的地理坐标，即经度、纬度和海拔高度。这样的地理信息对于视频图像的利用具有重要意义，图像判读和分析人员能够将在视频图像中看到的地面结构特征和运动目标与其所在的真实地理位置关联起来。视频图像可以作为空间数据库中的一层数据，并可根据需要叠加到空间数据库中的已有图像或地图上，这样利用周围环境的背景信息和其它附属信息，人们可以更好地分析、理解和利用视频图像。同时，也可以在数据库中的各种信息和视频图像间建立对应关系；另一方面，视频图像还能够用于更新地理信息系统数据库。

有两种方式对视频图像进行地理坐标标注。一种是利用各种机载遥测设备和相机姿态测量设备提供相机位置、高度、视角及镜头焦距等参数，通过几何计算对视频图像每个像素点标注地理坐标。如果希望考虑地形起伏的影响，可利用地形高程数据获得更准确的地理坐标。另一种是将当前的视频图像与以前获得的、经过几何校准的、经过高精度地理编码的参考图像进行空间位置配准【5】，视频图像即可继承参考图像的高精度地理坐标，从而实现对视频图像的地理坐标标注。

地面上任意点的地理坐标可以根据该点在视频图像中的位置和成像过程的几何关系计算得到，如图3所示。飞机的位置可由 GPS和其它机载导航设备获得，摄像头的指向可由万向头上的姿态测量传感器获得，飞机的高度可由高度计和地形数据获得。来自这些传感器的所有数据统称为附属支持数据。由图3可知，根据附属支持数据和数字地形图可以计算图像上任意点的地理坐标。

尽管基于附属支持数据的地理定位能够提供视频图像中任意点的地理坐标，但坐标的精度却不能满足需要。通常，飞机位置和摄像头指向的量测精度非常有限，数字地形图也可能无法获得，或者虽可获得，但精度很低。实践中，根据这种方法得到的地理坐标的误差可达数百米。

图3 基于附属支持数据的地理定位

通过配准当前视频图像和以前获得的经过几何校准的参考图像，可以大大提高视频图像的地理定位精度。通常使用的参考图像由成像卫星获得，经过几何校正后像素的位置精度为米级。如果能够将视频图像与参考图像配准，则视频图像就可以获得参考图像的高精度坐标信息。

为配准视频图像和参考图像，先根据附属支持数据提供的大致位置取参考图像的一部分，根据摄像头的视角对其做某些处理；然后对视频图像和参考图像进行亚像素配准，进而实现视频图像的精确定位。视频图像与参考图像的配准过程分为如下几个步骤：

1）视频序列中相邻帧的配准

单帧图像包含的场景结构信息可能非常有限，不足以可靠地将其与参考图像配准，而将连续的几帧图像拼接起来获得一幅更大的图像，利用更多的场景结构信息显然更有利于实现稳定准确的配准结果。另外，典型视频图像每秒30帧，视频序列相邻帧间存在相当大的重叠区，所以也没有必要将每一帧视频图像与参考图像配准。实践中，我们可以先将相邻帧视频图像配准并拼接起来，直到拼成的图像达到一定的大小；然后将这幅比较大的图像与参考图像配准。

2）对参考图像做视角变换

与视频数据同步的附属支持数据提供了视频图像在参考图像中位置的一个初始值。在正投影情况下，可以将视频图像直接与参考图像（参考图像已经过正投影校正）匹配；但在斜视情况下，由于视频图像和参考图像成像的视角差别较大，地面特征在两幅图像上的表现可能大不相同，因而在两幅图像上寻找相互匹配的特征就会十分困难。因此，需要先根据视频图像的视角（可由附属支持数据得到一个粗略的数据）对参考图像做视角变换，使参考图像的视角与视频图像的视角一致，然后再进行视频图像与处理后的参考图像配准。

3）预处理

即使经过了视角变换，地面特征在视频图像与参考图像上的表现仍然存在相当大的差别。其来源包括传感器特性的不同、阴晴圆缺、昼夜变化、季节更替、场景结构的改变，等等。为减小这些因素的影响，需要选择合适的图像表示方法。这种表示应能够突出视频图像和参考图像中共有的模式结构，因为只有两幅图像中共有的结构特征才能将两幅图像配准。例如，拉普拉斯金字塔表示可以减小灰度变化（光照条件）对图像配准的影响。

4）图像配准

最后，可以采用各种由粗配准到精配准的方法将视频图像在参考图像上定位。

3.3 基于镶嵌图像的视频显示

空中侦察和监视系统面临的一个重要问题是，如何将获得的视频图像展示给操作人员。航拍视频图像狭小的视场使得操作人员观察和解读都非常不便，既费神又容易漏掉重要的目标。采用基于图像镶嵌的显示方式可以在相当程度上克服航拍视频的缺陷。该显示方式首先对来自摄像头的视频进行一系列处理，然后才显示到操作人员面前。操作者可以进行滚动、缩放等操作，在镶嵌图像中漫游以监视某个感兴趣的特定区域。而这时来自摄像头的视频图像可能正在更新另外一个区域。在显控台上可以对镶嵌图像做正投影，并与地图坐标系配准。这样，就在实时视频图像与已知的地理信息（地图，该地区以前的图像，场景中的道路、建筑、河流和山峰等）间建立了对应关系。当前的视频图像可以覆盖在已有的图像或地图上进行直接比较，也可以根据已知的地理信息对视频图像进行自动信息标注。

4 结束语

本文分析了远程精确打击的作战需求，综合描述了国外相关研究现状，讨论了空中图像侦察和卫星成像侦察存在的主要问题。在此基础上，重点讨论了图像镶嵌、基于图像配准的精确地理定位和基于镶嵌图像的视频显示等侦察图像综合利用技术。

[1]梅遂生,王戎瑞.光电子技术 [M].北京：国防工业出版社，2008.

[2]BAE Gridlock[EB/OL].http://www.baesystems.com/ProductsServices.

[3]Thales–Multi-sensor image interpretation and Dissemination System[EB/OL].http://www.thalesgroup.com/Pages/Solutions.aspx.

[4]The Harris Automated Tactical Targeting System[EB/OL].http://www.harris.com.

[5]Harpreet S.Sawhney, Rakesh Kumar.True Multi-Image Alignment and Its Application to Mosaicing and Lens Distortion Correction[J].IEEE Trans.On PAMI,1999,21(3): 235-243.