无人机侦察图像实时展示方法研究

徐晓婷 滕杰

摘  要：为提升图像分析人员判读无人机侦察图像的效率，该文提出一种辅助图像分析人员实时判读的无人机侦察图像展示方法。该方法基于无人机位姿数据，实现侦察图像的实时地图叠加显示，有效地解决图像重复判读、拼接失败图像展示等问题，为图像分析人员提供更加丰富的图像关联信息及地理信息，真正实现发现即定位。

关键词：无人机；侦察图像；情报；图像拼接；瓦片地图

中图分类号：TP751.1      文献标志码：A          文章编号：2095-2945（2024）05-0137-04

Abstract： In order to improve the efficiency of image analysts in interpreting UAV reconnaissance images， this paper proposes a UAV reconnaissance image display method which assists image analysts in real-time interpretation. Based on the position and attitude data of UAV， this method realizes the real-time map overlay display of reconnaissance images， effectively solves the problems of image repeated interpretation and splicing failure image display， and provides more abundant image correlation information and geographic information for image analysts， the real discovery is location.

Keywords： drone; reconnaissance image; intelligence; image mosaic; tile map

近年来，无人作战系统快速发展，无人作战向体系化、集群化发展。无人机承担着侦察、打击等多种作战任务，通过无人机收集的侦察图像数据呈爆炸式增长，如何高效地从图像中获取目标信息，是困扰图像分析人员的重要问题。

吴蔚等[1]通过对图像情报处理系统的分析，提出了一种满足实时作业和离线管理的图像情报处理方法；宋朱刚等[2]通过对高空长航时无人机的作战应用需求分析，提出了高空长航时无人机在情报侦察中的关键技术；吴婷等[3]根据C4ISR系统中无人机侦察图像信息的处理架构，提出了侦察图像处理、分发、分析的关键技术和解决方案。

随着人工智能技术的发展，基于深度学习的目标识别技术被广泛应用于图像目标检测领域。张玉莲[4]提出了一种适合舰船目标检测与识别的深度学习网络模型，针对1 920×1 080的大尺寸图像，在嵌入式硬件系统中舰船检测识别的准确率高于85%。严开忠[5]设计了一个基于YOLOv3的无人机航拍图像检测模型，该模型在测试数据集上的mAP超过84%。虽然基于深度学习的目标检测与识别技术在图像自动化判读上取得极大的进步，但是该技术地有效运行依赖于大量训练数据，当前在无人机侦察领域尚难以满足。因此，本文从图像数据的合理展示入手，辅助图像分析人员提高图像判读效率，加速情报处理闭环。

1  图像情报处理流程

1.1  典型流程

图像情报处理典型流程包括图像解析、图像预处理、图像显示、判读整编和情报分发等步骤，如图1所示。

图像解析模块接收无人机下传的原始遥测信息，经过解析后获得侦察图片及其附加信息，其中附加信息包括成像瞬间无人机的位置、姿态信息及传感器的姿态、成像参数信息；图像预处理模块根据图像特性及成像效果执行几何校正、灰度校正等操作；图像显示模块主要完成图像数据的显示，供图像分析人员进行目标判读；判读整编模块则为提供必要的检测、标注、定位工具，供图像分析人员完成目标信息的整编；成果上报则将整理的情报数据分发至相关系统。

1.2  图像显示

在图像显示阶段，通常具有3种顯示方式：滚动显示、拼接图显示及地图显示。

滚动显示是在完成图像解析与预处理后，通过图像显示窗口依次显示侦察图像，分析人员可通过执行暂停、播放、调整播放速度、图像缩放等操作进行图像判读。为了保证侦察图像对侦察区域的覆盖性，相邻图像间通常有一定的重叠率，单纯的滚动显示方式会造成分析人员的重复判读；同时由于侦察图像分辨率通常较大，直接显示在屏幕上通常会执行缩放操作，可能造成小目标的判读遗漏。

拼接图显示首先创建一张全景画布，以第一张图片为基准，依次将后续图像拼接校正后依次显示于全景图上。全景图的显示形式规避了对同一区域重复判读的问题。但是由于拼接算法的不确定性，图片存在无法拼接的可能，拼接失败的图片如何展示在全景画布上成为制约拼接图显示的主要难题。同时，拼接图显示还需解决拼接累积误差、拼接图缩放、目标标注等问题。

地图显示首先根据图像附加信息对图像进行几何校正和地理编码，然后依据图像地理位置将图像叠加于地图进行显示。地图显示可有效解决重复判读、拼接失败的图像展示等问题。

2  地图显示

地图显示处理流程包括4步：①几何校正；②瓦片生成；③瓦片融合；④二维地图显示。如图2所示。

几何校正模块接收原始图像及成像附加信息，完成图像的地理编码并执行图像变换生成校正图；瓦片生成模块接收校正图，依据校正图构造切割图像金字塔并完成各层级图像瓦片切割；瓦片融合模块接收图像瓦片，对于同一层级、同一行列号的瓦片执行像素融合，生成唯一的该层级该行列号地图瓦片；二维地图显示模块利用地图引擎加载瓦片进行显示。

2.1  几何校正

几何校正由绝对校正和相对校正两阶段完成，主要完成原始图像的地理编码及几何校正。几何校正阶段决定了图像在地图上的展示位置。

2.1.1  绝对校正

图像绝对校正首先利用无人机位姿信息及传感器成像参数计算图像对应的地理坐标，进而对图像进行校正，将其还原为实际照射范围的形状为Plefttop（左上点）、Pleftbottom（左下点）、Prighttop（右上点）、Prightbottom（右下点）这4个点所包络的形状，如图3所示。无人机位置信息包括无人机经度、纬度、高度，姿态信息包括无人机横滚角、俯仰角、航向角，传感器成像参数包括传感器方位角、俯仰角、视场角。

在图像对应的地理坐标解算过程中，由于一副图像包含一定矩形区间范围内的像素，数量较多，考虑到欧式变换中主要以旋转、平移为主，基本上属于可逆的线性变换机制，因此，只需要利用一副图像中的4个角点即可计算出图像在地面的空间分布范围。在成像瞬间，相机摄影中心S、图片中某像点a、像点a对应的实际景物点A 3点共线，基于此可采用共线方程计算图像四个角点对应的物点经纬度。共线方程实际上描述的是像点、物点、摄影中心在大地辅助直角坐标系中的空间位置关系，如下式所示

式中：（XA，YA，ZA）为物点A在地辅系中的坐标；（Xa，Ya，Za）为像点a在地辅系中的坐标；（XS，YS，ZS）为摄影中心S在地辅系的坐标；L为像点a到物点A的距离。

2.1.2  相对校正

由于相邻图片间通常具有一定的重叠率，为了更好的可视化效果，将图像相对上一帧图像进行配准校正，本文基于特征点配准完成相邻图像的匹配校正。图像配准就是将不同视角的两幅图像进行匹配叠加的过程，本质上是在变换空间中寻找最优的图像变换方式，以获得正确匹配结果。图像配准通常有3类方法：基于灰度信息方法、基于变换域方法和基于特征方法。基于灰度信息方法是直接根据图像或图像块灰度信息进行像素上的对齐，该方法主要思想是直接最小化图像信息差异；基于变换域的方法将图像转化到变化域进行对齐配准；基于特征方法则在特征空间完成图像配准。由于航拍图像面临着天气变化、成像角度多样等挑战，本文采用基于特征方法进行图像配准，基于特征的图像配准流程包括基准图像、待配准图像特征提取、特征匹配、变化矩阵解算和待配准图像校正等步骤，如图4所示。

基于特征的配准方法可以分为基于点特征配准、基于线特征配准、基于面特征配准3类。点特征通常包含角点、端点及极值点等，基于特征点的图像配准方法适用于角点明显、高曲率点及边缘端点等特征明显的图像；线特征通常指图像的边缘和构成边缘的线，基于线特征的图像配准方法使用于道路、海岸线、建筑轮廓等场景；面特征通常指一个区域内的显著特征，适用于多光谱成像场景。由于点特征具有较强的适应性与鲁棒性，本文采用点特征进行图像配准，特征点提取结果如图5所示。

2.2  瓦片生成

瓦片生成主要包含2个步骤：①图像金字塔生成；②瓦片切割。

数字地图引擎通常采用了以瓦片机制驱动的地图内容服务，其中最常见的是瓦片金字塔结构。为了适应地图引擎的需求，根据所需显示的瓦片层级，将图片以2的次方进行采样，获取图像金字塔。

地图瓦片通常为固定分辨率（如256像素×256像素）的图片，根据地图引擎的标准，将各个层级的图片切割为固定尺寸的地图瓦片，切割结果如图6所示。

2.3  瓦片融合

瓦片融合是对不同图片产生的同一层级、同一行列号的瓦片进行灰度值处理的过程，本文直接采用后生成瓦片的灰度值。常用的融合方法包括加权平均法、金字塔融合法、梯度域融合法等，由于融合效果主要影响视觉效果，对图像判读影响不大，故本文采用加权平均法对同名瓦片进行融合处理（图7）。

2.4  二维地图显示

为了更好地表征图像所在的地理位置及图像间的相对位置关系，本文采用瓦片地图对图像进行展示。在进行地图展示时，瓦片地图通过2种方式刷新瓦片显示：①人工操作触发，当判读人员执行地图平移、缩放等操作时，刷新显示瓦片；②切割瓦片主动推送，当瓦片切割模块生成图像瓦片时，若该瓦片位于当前显示区域，刷新显示瓦片。

通过以上2种刷新机制，保证了瓦片地图的合理显示，便于分析人员判读分析。

3  技术展望

为了进一步提升侦察图像判读效率，一方面需继续丰富侦察图像显示方式，另一方面须加强在小样本下的目标自动判读技术。

3.1  基于slam的实时三维显示

随着slam技术的快速发展，基于slam的实时三维重建技术[6]得到更多研究。在保证侦察图像重叠率的情况下，可以结合slam技术完成地面数据实时三维重建，为图像分析人员提供高度方向的信息，增加图像分析人员的判读信心。

3.2  小样本目标自动判读技术

在体系化作战下，图像数据将进一步增加，单纯依靠人工判读难以保证情报生成的时效性。虽然图像数据急剧增加，但是包含特定目标的图像数据却极为稀少，为了应对小数据集下深度学习识别模型的性能缺陷问题，需加强研究小样本目标自动判读技术[7]，辅助图像分析人员完成目标判读。

4  结束语

为了提升图像分析人员的判读效率，本文提出了一种无人机真侦察图像展示方法。该方法通过几何校正、瓦片生成、瓦片融合等处理流程，将侦察图像实时叠加于瓦片地图进行显示，展示了侦察图像的位置信息及依赖关系。本方法时效性强，可视化效果好，可有效辅助图像分析人员进行判读分析。在侦察图像急剧增加、分析人员有限的背景下，为进一步提升图像分析效率，还需大力发展无人机侦察图像自动判读能力，进而加速作战行动的感知、决策、行动闭环。

参考文献：

[1] 吴蔚，李晓冬，许莺.无人机侦察图像情报处理与运用关键技术研究[C]//中国指挥与控制学会.第四届中国指挥控制大会论文集.中国电子科技集团公司第二十八研究所信息系统工程重点实验室，2016：4.

[2] 宋朱刚，蒋盘林.高空长航时无人机在情报侦察中的军事应用与关键技术[J].通信对抗，2010（3）：4.

[3] 吳婷，朱美正.图像情报处理系统的研究与实现[J].计算机工程与设计，2011，32（11）：3925-3928.

[4] 张玉莲.光学图像海面舰船目标智能检测与识别方法研究[D].北京：中国科学院大学（中国科学院长春光学精密机械与物理研究所），2021.

[5] 严开忠.基于深度学习的无人机目标检测与跟踪算法研究[D].南京：南京理工大学，2021.

[6] 万刚.无人机测绘技术及应用[M].北京：测绘出版社，2015.

[7] 刘春磊，陈天恩，王聪，等.小样本目标检测研究综述[J].计算机科学与探索，2023，17（1）：53-73.