目标情报数据质量评估*

贺文娇，刘 欣，张海瀛，王 伟

(1.中国西南电子技术研究所，成都610036;2.中国人民解放军93221部队，北京 100085)

0 引 言

情报数据质量是衡量情报生产部门数据资源的尺度，是情报支持正确决策的基本保证。目标情报数据是情报数据的一种，用于描述与作战任务相关的目标及可支配力量相关的敌方部队人员、作战单元、部署、设施、系统、节点、重心、价值等信息。目标情报数据质量评估，是指针对具体的目标情报数据集，选择合理的评估指标体系，采用适合的评价方法，通过指标的量化计算，从而得到评价结果的过程。数据质量评估是提高数据质量的基础和必要前提，它能对信息系统的整体或部分数据的质量状况给出一个合理的评估，从而可以帮助数据用户了解信息系统的数据质量水平，并采取相应的处理方法来提高数据质量。

目前，国内外针对数据质量的研究已经形成了一定的理论、标准和质量评价模型。麻省理工大学成立了全面数据质量管理计划(Total Data Quality Management，TDQM)[1]，并且该计划己经发展成为一门新兴学科，发表了一系列论文论述数据质量问题及其解决方案，形成了信息质量的完整研究框架体系。

在军事情报领域，美军发布的《联合情报》JP2-0中，从面向作战应用的维度对联合情报数据质量进行了标准化的定义，但缺少面向多源情报信息融合应用的情报质量评价。文献[2-3]针对雷达探测的目标情报质量提出了评价方法，文献[4]介绍了美军Link 16终端联合战术信息分发系统(Joint Tactical Information Distribution System,JTIDS)中的目标航迹质量分级标准。总体来说，目前针对目标航迹质量已具备成熟的评价指标体系和评价方法，但是缺少对目标情报属性进行评价的指标体系。

本文结合多源信息融合需求，研究建立了覆盖目标属性和目标航迹全要素的质量评估指标体系和典型评价方法，并以雷达探测目标情报和无源信号侦察目标情报为例，对质量评价方法进行了实验验证。

1 目标情报质量评估指标体系

目标情报质量评估体系是用于描述目标情报数据质量评价指标、评价要素、评价规则的数学模型，参考文献[5]提出的数据质量评估模型来定义，包含6大组成要素，如公式(1)所示：

M= 。

(1)

对式(1)中各要素的说明如下：

D——需要进行评估的数据集。对于目标情报来讲，一个数据集相当于同一种类型目标情报或同一个来源的目标情报。对目标情报数据进行分类，按获取手段类型分包含被动侦察目标情报和主动探测目标情报两类，按生产过程分包含素材级目标情报和产品级目标情报两类。

I——数据集D上需要进行评估的指标。美军《联合情报》JP2对情报卓越的要求包含8个指标，即预见性、及时性、准确性、可用性、完整性、针对性、客观性、可供性。然而美军在使用过程中发现可用性指标难以评价，因此在2013版的JP3中去掉了可用性指标。考虑实际情况，本文在JP2的基础上增加了稳定性指标，用以考核数据在一段时间内的综合表现，形成的一级指标组成为准确性、及时性、完整性、稳定性、预见性、有效性、针对性、客观性、可供性。

R——与评估指标相对应的规则。规则可以使用规范化的自然语言或形式化语言来书写，以便于转换成程序脚本。

W——赋予规则R的权值(大于0的整数)，描述了该规则在所有规则中所占的比重。

E——方法R的期望值，是在评价之前对该方法所期望得到的结果，为介于0～100之间的实数。

S——方法R的最终结果，是在该评价方法运行后所得到的结果，为介于0～100之间的实数。

I、R是每一类目标情报对应的评价指标和评价规则，S是待评价数据集经由规则R和权重W计算得出的结果。数据集随应用的不同可能有不同的质量评估需求，所以，一个数据集可以对应多个质量评估模型。在一个数据质量评估模型中，一个数据集可以对应多个评估指标，一个评估指标可以对应多个规则。

本文提出的目标情报质量评估指标体系如图1所示。

图1 目标情报数据质量评估指标体系

在进行数据质量评估时，要根据具体的数据质量评估需求对数据质量评估指标进行相应的取舍。对目标情报数据质量评估的基本指标，至少应该包含准确性、及时性和完整性三项，其余指标可根据具体的需求进行选择。

1.1 完整性评价指标

目标情报数据的完整性，从6个维度进行评价。

1.1.1 情报要素的完整性

指目标情报信息要素的完整程度，在作战应用中，是指对辅助指挥决策提供充分而又必要的情报信息，因此各要素是否有必要评价，以及权重，需要根据不同的作战需求进行定义。

1.1.2 数据丢包率

该指标评价一个数据集的传输能力。

1.1.3 时间覆盖率

该指标评价产生该数据集的情报侦察手段在时间维度是否实现了对重点关注目标的全时间覆盖监控。

1.1.4 区域覆盖率

该指标评价产生该数据集的情报侦察手段在空间维度是否实现了对重点关注区域的覆盖监控。

1.1.5 频率覆盖率

该指标评价产生该数据集的情报侦察手段在频率维度是否实现了对重点关注目标或关注区域的全频段覆盖。

1.1.6 目标覆盖率

该指标评价产生该数据集的情报侦察手段是否实现了对重点目标的全覆盖侦察；评价这一能力的三级指标还包括目标覆盖度、虚警率、漏警率和航迹歧义率等[6]。

1.2 及时性评价指标

及时性主要用于评价目标在真实世界状态发生改变，到信息系统中状态更新全流程所持续的时间，包括四个方面。

1.2.1 侦获及时性

目标在真实世界状态发生变化到被侦察系统截获的时间。

1.2.2 上报及时性

目标截获后到上报到上一级目标的时间。

1.2.3 处理及时性

目标情报信息从接收到处理完毕所需的时间。

1.2.4 系统流通时间

目标在真实世界状态发生变化到情报生产各个环节的时间。

1.3 针对性评价指标

根据美军2011版JP3-0《联合作战条令》，情报的针对性是指情报与作战意图和作战方案的相关度，情报部门不得提供对当前任务没有多少意义或根本不重要的情报而加重指挥官的负担。参考这个定义，制定二级评价指标。

1.3.1 符合程度

指目标情报与作战任务和指挥官需要的符合程度，有效值范围[0,100]，值越高代表符合程度越高。

1.3.2 冗余度

评价是否为指挥官提供了多余的情报信息，凡是指挥官不需要的信息都认为是冗余信息。冗余度指冗余信息占全部信息的百分比，有效值的范围是[0,100%]，值越小代表冗余度越低。

1.3.3 情报贡献率

评价情报信息对作战的贡献程度。

1.4 准确性评价指标

准确性主要是指情报信息的真伪性和信息偏差两个维度，用于评价目标情报信息在when、where两个维度上的信息是否精确,以及在who维度上信息的准确度。

1.4.1 信息的真伪性

即情报与“真相”比较是否真实。对目标情报来说，就包括对目标的类型、国别、军种、敌我、状态、威胁等情况的信息是否与真实情况相符，体现在指标上就是辐射源识别正确率和目标识别正确率。

(1)辐射源识别正确率

对目标搭载的辐射源类型、型号、工作模式的识别正确程度，有效值范围[0,100]，值越大代表正确率越高。

(2)目标识别正确率

对目标类型、属性、状态、威胁等信息的识别正确程度，有效值范围[0,100]，值越大代表正确率越高。

1.4.2 信息偏差

指情报产品的精度。

(1)测向精度

反映测向系统的测向水平，有效值范围为[0°,360°]，值越低代表偏差越小，精度越高。

(2)定位精度

反映定位系统的定位水平。均方根误差有效值范围为[0,侦察最远距离]，值越低代表偏差越小，精度越高。CEP0.5是指50%的定位点落在真实位置附近的半径，同样的有效值范围为[0,侦察最远距离]，值越低代表精度越高。

(3)测量精度

指各类侦察传感器对目标的辐射特征、散射特征、外形特征等信息测量的准确度，具体如信号频率测量准确度、信号幅度测量准确度、雷达散射截面(Radar Cross Section, RCS)测量准确度、尺寸测量准确度等。

(4)时空校正误差

指各类侦察、情报处理系统在时间、空间校准过程中带来的误差。

1.5 可用性评价指标

根据美军2011版JP3-0《联合作战条令》，目标情报的可用性情报是指对具体作战任务是否有用，情报核心内容是否简明扼要，情报信息是否易于理解。参考这个定义，制定二级评价指标。

1.5.1 用户评价

主观评价指标，分为优、良、中、差几个等级。

1.5.2 情报采用率

指多源信息融合或作战应用过程中对情报的使用程度，即被采用的情报与上报的全部情报条数之比，有效值的范围是[0,100%]，值越大代表采用率越高。

1.5.3 军用目标占比

评价数据集中明确的军用目标占全部目标的比例，有效值的范围是[0,100%]，值越大代表军用目标越多。如果作战过程中主要关注军用目标，那么这个值越大，代表情报的可用性越好。

1.5.4 有效性

有效的反面是无效，对情报来说，必须是有效的情报才是可用的情报。有效性即指有效的情报占全部情报的比重，值的范围是[0,100%]，值越大代表目标的有效性越好。

(1)接口有效性

评价情报信息是否满足用户接口定义。

(2)侦察盲区

由于侦察手段所采用的天线、探头等，受安装位置、周边环境、工作原理等因素的影响，导致侦察装备在使用过程中存在侦察盲区，在盲区内上报的目标情报信息是不可信或者完全错误的，因此在素材级目标情报评价过程必须考虑侦察盲区。

(3)野值

错误值、跳变值等。

1.6 稳定性评价指标

稳定性评价指标描述数据是否是稳定的，是否在其有效期内。评价二级指标包括上报时间变化率、方位变化率、航迹稳定性、航迹跟踪时间、航迹质量。

1.7 客观性评价指标

情报的客观性定义为：情报要做到客观，就不应带有偏见，不应被歪曲，不应是有偏见的判断。

对情报的客观性评价，以主观评价为主，如是否存在主观判断、是否存在镜像效应、是否存在文化偏差、是否存在国别、种族歧视等。方法上可以利用红队检查分析判断，即通过保证关于敌方的假设是有效的。

1.8 预见性评价指标

根据美军2011版JP3-0《联合作战》条令，情报的预见性定义为：情报工作必须预见到指挥官和联合部队参谋人员的信息需求，以便为作战计划和决策奠定一个坚实的基础。

情报预见性评价的二级指标主要以主观判断为主，包括情报对作战需求的响应时间、情报针对潜在任务和指挥官意图的理解程度、情报对敌我双方各种可能行动方案的推演。

1.9 可供性评价指标

可供性的定义为：情报必须随时供指挥官取用。情报的可供性不仅具有及时性和可用性等特性，而且还具有相应的保密等级、互操作性和连通性。情报生产者在确保信息来源和情报搜集方法得到全面保护的同时，要以尽可能低的保密等级和限制性使用申请最少来提供数据，从而最大限度地扩大取用范围。

情报可供性评价的二级指标主要以主观判断为主，包括保密等级(密级越高，可供性越差)、流通性(指的是通信链路是否畅通，通信速率能达到多少，不具备通信链路的流通性越差，具备通信链路的速率越快流通性越好)和互操作性(主要指权限问题，分为具备、部分具备、不具备几种情况)。

2 目标情报数据质量评估方法

目标情报数据质量评估方法，是利用一系列计算公式和规则，对输入的目标情报数据进行质量计算并打分的过程。评价方法如图2所示。

图2 目标情报数据质量评估步骤

目标情报数据质量评估主要步骤如下：

Step1 分析不同的目标情报数据集特点和具体的应用需求。

目标情报数据按情报生产阶段的不同分为两级：素材级和产品级。素材级目标情报是指由某一侦察传感器通过感知目标不同侧面的信息，并加工、处理得到的情报；产品级目标情报是指通过对跨平台、跨手段的素材级情报数据进行识别和融合，而得到要素更为齐全、属性更为明确、航迹更为连续的目标情报数据。一般来说，评价素材级的情报数据是为了考核传感器的侦察能力和对多源融合的贡献等，评价产品级数据是为了考核情报处理系统的处理能力、对作战的保障力度等。

Step2 根据应用需求选择所需的评价指标、评价标准，设置权重和期望值。

质量指标的选取应遵循“最小化”原则和“可计算”原则，即满足应用需求的最小评价指标集和切实有条件可以计算的指标集，避免增加系统的负担。以产品级目标情报和素材级目标情报为例，产品级目标情报经过了多道工序处理，要评价准确性和及时性会比较困难，但是面向作战应用的可用性和针对性是可以评价的；而素材级目标情报不直接面向作战应用，选择可用性和针对性指标就难以计算，但因为素材级情报携带了大量前端质量参数，因此准确性和及时性指标会比较容易计算。以素材级雷达探测目标情报为例，其评价模型各参数选择如表1所示。

表1 雷达探测目标情报数据质量评价模型

Step3 以实时或离线的方式输入各类目标情报数据集。

数据输入有多种方式，例如网络方式、读取数据库方式、读取文件方式等，具体视应用场景需要而定。

Step4 根据选择的具体的评价指标和评价方法，对数据集进行质量评价。

对各级指标进行计算，得到每一个二级指标的结果。需要注意的是，准确性评价中关于信息偏差的指标，需要知道目标的真实信息才能评价。定位误差是常见的评价目标定位精度的指标。假定已知被测目标位置，利用下面的定位误差计算公式，可以计算每个定位点的定位误差：

(2)

式中：Er为单个定位点的定位误差，单位km；LT、λT分别为被测目标所处的纬度和经度，单位(°)；Lt、λt分别为定位计算出的被测目标的纬度和经度，单位(°)；R为地球的半径，单位km。

定位误差E的计算公式为

(3)

假如无法得到目标的真实位置，那么就需要通过间接方式来进行对比性评价，例如准确性指标中的系统设计精度和稳定性指标。其中，稳定性指标中的上报频度、上报时间间隔和连续跟踪时间等指标，都是统计类指标，用于衡量传感器对目标跟踪的稳定度。一般情况下，上报频度越高、时间间隔越短、连续跟踪时间越长的传感器，其跟踪效果更好。对于稳定性指标中的目标航迹质量指标，已有较为成熟的评价方法，文献[7-8]中都有采用，本文不再赘述。

Step5 计算并输出评价结果

根据Step 2设置的指标和对应的权重，利用下面的公式计算最终的质量评价的结果值：

(4)

式中：βj为第j个二级指标的权重，Rj表示第j个二级指标的质量计算结果，∂i表示第i个一级指标的权重。

Step6 对质量评价结果进行研究，分析质量问题产生的原因，为提升数据质量提供参考。

3 实验结果

本文通过在QT C++ 4.8.6开发平台仿真模拟无源侦察目标测向数据和主动探测目标情报数据，测试本方法的有效性，每一类数据仿真两种不同质量的信息源用于对比。

仿真了通信信号侦察和雷达信号侦察两种典型的无源侦察目标测向数据，其中通信信号测向数据5 392条，雷达信号测向数据731条，主要从完整性、及时性和准确性三个维度进行评价，指标实例化如表2所示。

表2 无源测向目标方位数据质量评价指标

利用公式(5)计算可用性指标：

(5)

式中:n无效值表示接口无效的测向线条数，n野值表示经过滤波后被剔除的测向线条数，N为测向线总条数，Su表示可用的测向线比重。

实测方位覆盖指标的计算方法，利用最大方位与最小方位之差，除以天线的设计覆盖角度，得到的比值就是方位覆盖率。实测俯仰覆盖率的计算方式同上。

由图3和图4可见，仿真的通信信号侦察目标方位数据在完整性和准确性方面是优于雷达信号侦察的，在及时性方面两个数据的得分相同，符合仿真系统的设定。

图3 两种无源测向数据的质量评价结果对比

图4 两种无源测向数据的测向误差对比

目标情报数据质量评价的目的之一，是通过数据质量情况分析产生质量问题的原因，并为提升数据质量寻找依据。对无源测向来说，影响其测向精度的可能因素包括信号强弱、侦察手段的设计精度是否满足要求、目标与天线的夹角是否在最佳测向方位、搭载平台的姿态是否稳定等，在实际应用过程中，采集可能的影响参数值，与测向数据质量进行对比，可以有效分析出影响数据质量的原因。图5所示是测向误差与搭载平台横滚角、天线相位差和天线与目标的夹角的对比分析结果。

图5 测向误差与质量影响因素的对比分析

主动探测目标情报数据的仿真，假定两部位于不同位置的雷达，对10个军事目标和10个非军事目标进行探测，得到一批目标数据，选取的评价指标如表3所示。

表3 主动探测目标情报数据质量评价指标

按照上述指标，对仿真的两种雷达探测数据质量进行评价，质量结果对比如图6所示，具体的评价结果分别见图7和图8。

图6 两种雷达探测数据的质量评价结果对比

图7 雷达站1的数据质量评价结果

图8 雷达站2的数据质量评价结果

从计算结果看，雷达站2混叠了民用目标，在可用性方面不及雷达站1，但是对重点军事目标进行跟踪效果优于雷达站1，因此针对性结果更好；其余指标近似，符合仿真系统的设定。

4 结束语

本文介绍了针对目标情报数据质量的评价方法。对目标情报数据进行质量评价，主要目的是通过量化的质量值为后续处理过程提供依据。对素材级目标情报数据的质量评价结果可用于对传感器数据进行野值剔除、误差校正，动态调整融合中各类数据源所占权重等；对产品级目标情报数据的质量评价结果可用于融合规则、融合算法的自选择，融合权重的动态调整。在实际应用过程中，质量要素的采集和存储也是需要重点考虑的地方。下一步将继续研究如何评价图像侦察类手段获取的目标情报数据，以及如何利用数据质量评价结果提高多源融合的自动化水平。