地/空背景下红外图像弱小飞机目标检测跟踪数据集

回丙伟，宋志勇，范红旗*，钟平，胡卫东，张晓峰，凌建国，苏宏艳，金威，张永杰，白亚茜

1.国防科技大学电子科学学院ATR重点实验室，长沙 410073

2.中国航天科工集团第二研究院第25研究所，北京 100854

数据库（集）基本信息简介

数据库（集）名称 地/空背景下红外图像弱小飞机目标检测跟踪数据集数据作者 回丙伟、宋智勇、范红旗、钟平、胡卫东、张晓峰、凌建国、苏宏艳、金威、张永杰、白亚茜数据通信作者 范红旗（fanhongqi@nudt.edu.cn）数据时间范围 2017-2019年地理区域 中国空间分辨率 10-100m数据量 870 MB数据格式 *.bmp, *.txt数据服务系统网址 http://www.dx.doi.org/10.11922/sciencedb.902基金项目 装备预研基金（2018年）ATR实验室重点基金，“面向目标检测跟踪识别应用的多源数据集构建”。数据库（集）组成本数据集由22个数据段组成，每个数据段包含2部分：（1）dataX.zip是第X段包含有目标的红外图像序列；（2）data_label.zip是对应于22段数据的标注文件，标注信息包括数据段名称、数据帧数、目标航迹数以及每一图像帧对应的目标数、目标编号和目标位置坐标。

引 言

利用红外成像探测技术实现目标检测与跟踪是现代军事对抗系统中的重要组成部分，也是武器系统信息化、智能化的重要体现[1]。随着现代战争对抗广度和深度的不断延伸，武器装备对红外目标检测跟踪也提出了更高的要求。主要体现在：1）对探测距离的要求越来越高。远程超视觉打击是现代高技术战争的必然要求，因此对目标的探测距离也提出了更高的要求，体现在数据上表现为目标信号更加微弱；2）多目标跟踪需求日益突出。在集群化智能无人作战系统中，目标通常作为一个群体出现，因此引出了复杂情形下多目标跟踪的需求；3）目标所处的自然环境复杂多变。目标背景环境中经常出现比目标的红外辐射强度更大的辐射源，这为感兴趣军事目标的检测识别带来了较大困扰[2]。然而，与上述紧迫的需求不相匹配的是，当前科研领域没有可以服务于军事应用特别是目标探测识别应用的红外图像数据集[3]，进而导致科研人员参与相关国防科研工作受到了极大限制。鉴于上述迫切的军事应用需求和匮乏的数据现状，本数据集通过典型场景设计、外场试验拍摄、数据处理标注、数据使用方法及评价准则设计等步骤和方法制备了面向红外序列图像中弱小飞机目标检测跟踪数据集。本数据集尚属首次成系统的公开发布以明确军事应用需求为目标的红外图像数据集，填补了红外目标探测识别领域中的数据空白。

此外，本数据集中的部分数据已经提供给由国防科技大学和中国航天科工二院联合主办的第二届“空天杯”创新创意大赛——探测识别算法挑战赛（红外赛题方向）使用。

1 数据采集和处理方法

1.1 数据采集方法

数据采集用到的主要设施和设备为高塔和二轴电控转台。数据采集试验采用高塔架设二轴电控转台并搭载红外传感器的方式开展，高塔距离地面约140米，二轴转台可执行方位角−95°～+95°，俯仰角−45°～+45°范围内的摆动，高塔及转台如图1所示。高塔和二轴转台的使用为获取不同环境背景、不同观测视角下的目标动态红外序列图像提供了保障。

图1 数据获取试验中使用的转台及高塔

数据采集使用的传感器为制冷型中波红外相机，该相机的基本性能参数如表1所示。

表1 红外相机的基本性能参数

数据采集的对象为空中固定翼无人机（燃油动力）目标，配套试验的无人机目标的基本参数如表2所示，外形如图2所示。目标无人机上装有GPS，的目标航迹为事先设定程序，并在GPS的引导下自主飞行，同时无人机通过无线通信手段实时将自身的无人机位置坐标传回转台控制计算机，经测算后再引导二轴转台对无人机目标进行跟踪以维持目标位于红外相机的视场中，同时启动红外相机以100Hz的频率对目标进行同步拍摄并保存。

表2 无人机的基本参数

图2 数据获取试验中使用的配试无人机目标

数据采集的主要环境背景及数据的信杂比（signal-to-cluster ratio SCR）信息如表3所示，SCR定义如（1）式，式中μtg为目标区域的亮度，μimg为图像的平均亮度，σimg为图像亮度的标准差。

表3 数据场景情况

1.2 数据处理与标注

数据处理与标注是将采集到的原始红外图像数据进行格式转换，无效及污染数据剔除，并为感兴趣的目标打上标签的过程。

1.2.1 数据预处理

每个红外数据段的原始数据为视频格式，为了后续数据加工的方便，在数据预处理阶段将每个数据段的视频格式数据转换为8bit位深的windows位图格式的多文件的图像序列。此外原始数据中存在大量由于转台控制精度不足导致的图像严重晃动的情形，这些数据由于快速相对运动导致景象记录模糊，且不符合实际应用情况，故在预处理阶段对这些数据进行剔除处理。剔除的原则是在连续图像中是否能够目视分辨出目标。

1.2.2 数据标注

目标的数据特性是进行数据标注的基础。目前，已有的关于检测、跟踪、识别问题的公开数据集中通常使用方框标注或轮廓线标注的方式，即在指定目标位置的同时也指定目标区域或目标边界。这是因为这些公开数据集通常以可见光图像为基础，目标在图像中表现为一个带有丰富纹理的较大区域。然而，本数据集中的红外数据特性与可见光图像中的数据特性有较大差异，主要表现在：

（1）由于拍摄距离的巨大差异导致目标尺度变化巨大，在较近距离处无人机在红外图像中表现为扩展目标，远距离表现为点目标；

（2）红外图像中目标的热辐射特性使其纹理相对单一，即在晴朗天空阳光照射条件下，无人机机身通体表现为高辐射亮区；在没有阳光照射条件下，仅无人机机头发动机位置表现为亮区。

基于上述两点分析，为适应目标的尺度变化并保持标注结果形式的一致性，同时考虑到弱小目标检测跟踪的主题点目标的研究难度远大于扩展目标，且实际中点目标的数据也远多于扩展目标的情况。图像中目标标注采用点标注的方式，即通过目标在图像上的整像素坐标位置来表示目标。对于表现为扩展目标的数据，通过对目标亮区域进行二值化分割，计算区域重心并对坐标四舍五入的方式给出位置。

具体标注实践中采用人工标注和半自动标注人工确认的方式来完成。

2 数据样本描述

本数据集共包含有22个数据段，数据段的命名从data1开始依次递增至data22。每个数据段都主要包括序列图像数据和标注数据两类，下面分别对这两类数据的典型样本进行描述和分析。

2.1 图像数据样本

数据集中的每幅红外图像的分辨率为256×256像素、8 bit位深、大小为193 KB，图像存储格式为windows位图，后缀名为bmp。每个数据段内的图像文件名即为对应数据帧的编号，图像文件示例如图3所示。即在每个数据段内图像数据文件名从0.bmp开始依次递增至N.bmp，其中N+1为本数据段内红外图像的总帧数。

图3 windows文件系统下某数据段样本中图像数据详情

图4显示了从6个不同数据段中各抽取1帧图像的样本示例，目标在图像中显示为扩展目标或点目标。图3中的图像数据来源及目标位置坐标情况如表4所示。

图4 环境及目标的部分红外样本图像

表4 红外样本图像来源及目标位置说明

2.2 标注数据样本

标注数据结果以*.txt文件为格式存储，其中*为对应的图像序列文件夹名称（如data1、data2等），具体格式约定如表5所示。标注文件的具体约束事项如下：

（1）每个图像序列的标注结果保存为1个文件；

（2）结果文件中所有英文标识均使用小写字母，所有数量标识均使用阿拉伯数字；

（3）每个结果文件中的目标都从1开始，递增编号，同一帧中目标无重复编号；

（4）同一段数据，若有目标出视场后再进入视场的情况，则需对重新进入的目标使用新的编号；

（5）同一图像帧的数据结果保存为一行，若本帧未检测到目标，则目标数量记为0；

（6）同一数据行内不同字段之间以空格间隔；

（7）目标x/y坐标值应该是位于0到255之间的浮点型数字，即以图像左上角为起始点，向右向下为正，且起始坐标为（0，0）；

（8）字段中的标点符号均为英文字符。

表5 数据标注文件格式说明

下面以数据集中data2数据为例对标注数据进行解释说明，如图5所示。

图5 数据标注文件样本举例

在第1行中，字段“0”表示测试编号，数据集中提供的标注结果统一编号为0，若依据该文件格式生成测试结果，可用该编号对同一段数据的多次测试进行区分；字段“data2”表示标注结果对应data2数据段；字段599表示该数据段共有599帧图像；字段“2”表示该数据段内共有2条航迹。

在第2行中，字段“frame:0”表示当前行的标注结果对应第0帧图像；字段“2”表示当前帧图像中共计2个目标；字段“object:1”表示接续下来的两个字段是目标1的图像坐标；字段“127”表示目标1的图像位置为自图像左上点位0点，x坐标为127；字段“131”表示目标1的图像位置为自图像左上点位0点，y坐标为131；字段“object:2”表示接续下来的两个字段是目标2的图像坐标；字段“173”表示目标2的图像位置为自图像左上点位0点，x坐标为173；字段“125”表示目标2的图像位置为自图像左上点位0点，y坐标为125。第3-600行的字段含义同第2行，可依次类推。

3 数据质量控制和评估

本数据集中的所有图像采集都是通过中波红外成像设备在专门设计的实验中实测采集得到，目标和环境的红外辐射特性真实可靠。

目标在图像中的位置信息均为人工标注或半自动标注下人工确认的结果，并经过多次核查检验，以确保数据质量。数据集中所提供的评分准则及程序都已经过大量的实测验证，评分结果符合设计目标和军事对抗需求[4]。

本数据集中的部分数据已在第二届“空天杯”创新创意大赛（2019）——探测识别算法挑战赛中发布供参赛选手测试及正式比赛使用。目前大赛已经正式落下帷幕，本数据集作为探测识别算法挑战赛红外专题下算法性能比测的重要依据，为大赛评选出了相应奖项。大赛的圆满举办证实了本数据集中图像数据、目标标注和评分准则的质量和科学可信度，可作为更广泛科研人员的数据素材。

4 数据价值

本数据集针对固定翼无人机目标的红外序列图像检测跟踪问题，设计了22个典型场景，具体涵盖了单目标天空背景、两目标交叉飞行天空背景、单目标地面复杂背景、目标由远及近、目标由近及远、目标离开视场、目标重回视场等情形。每个典型场景对应1个数据段、共计22个数据段、30条航迹、16 177帧图像、16 944个目标及标注。该类型的数据集在国内尚属首次成系列的公开发布，这些数据情况包括了当前红外目标检测识别的以下重难点问题[5]：

（1）长序列图像中目标跟踪；

（2）多目标相互干扰条件下的检测跟踪；

（3）复杂环境下弱小目标发现捕获。

为满足检测跟踪识别算法性能评估的需要[6-7]，数据集对红外图像中的目标进行了位置坐标的标注，并在这些标注结果的基础上，综合考虑检测正确性、检测精度、航迹正确性、目标漏警、目标虚警等关键评价要素，研究提出了符合军事对抗发展规律的检测跟踪算法综合性评价准则，并开放了评分程序代码。本数据集在为相关科研人员开展学习研究工作提供测试实验数据的同时，也能促进部分现有成果的实用化开发，打破当前军工科研领域相对封闭的科研局面，吸引更多的青年科研人员参与军事目标探测方法研究，为国家国防科研事业发展做贡献。

此外，在第二届“空天杯”创新创意大赛结束后，众多参赛选手和国内同行对本数据集的补充完善版本都提出了申请需求，这也印证了本数据集科研价值。

5 数据使用方法和建议

5.1 数据使用方法

数据的推荐使用方法如下：

（1）使用者利用自己编制的红外图像弱小目标检测跟踪算法读取一段图像数据，并完成检测跟踪任务；

（2）按照标注文件的存储格式，将该段检测跟踪结果保存在自定义文件中；

（3）通过本数据集提供的评价准则（推荐使用数据集提供的评分程序代码）将标注数据与检测跟踪结果进行比对计算得分，作为当前数据段的结果；

（4）针对全部数据段顺次完成上述步骤后，累加可计算总得分。也可根据具体的实际应用需求，基于标注结果自行设计新的评分规则并计分比较。

5.2 数据使用评价

数据使用后其结果评价可通过如下原则计分评价，得分高者为优。数据使用结果的最终得分由检测跟踪得分和航迹连续性得分两部分累计得到。为区分检测跟踪的精度，在数据使用评价中给出标注框的定义，即以1.2.2节给出的标注点为中心，上下作用各扩充N个像素，得到(N+1)×(N+1)的标注框。下文对检测跟踪的得分均通过标注框来定义。

1.检测跟踪得分

（1）正确检测且精度满足预定要求，即有且仅有1个检测结果位于3×3的标注框内（含），每个坐标位置得1分；

（2）正确检测但精度不满足预定要求，即有且仅有1个检测结果位于3×3的标注框外且位于9×9的标注框内（含），每个坐标位置得0分；

（3）漏检，即9×9的标注框内（含）无检测结果，每个坐标位置减1分；

（4）虚警，即在9×9的标注框外出现检测结果，或1个标注框内出现多余1个的检测结果，每个坐标位置减2分；

2.航迹连续性得分

（5）在正确检测且满足预定精度的前提下，即在条目（1）情形下，每段数据的航迹连续性得分为：同一目标数量最多的航迹编号数目×1分。

在上述数据使用评价准则下，利用本数据集测试结果满分为41114分。本数据集提供上述评价准则的评分程序代码。