指控系统信息服务质量评价研究*

权冀川，王兵

（解放军理工大学指挥信息系统学院，南京210007）

指控系统信息服务质量评价研究*

权冀川，王兵

（解放军理工大学指挥信息系统学院，南京210007）

为了有效评价指控系统信息服务质量情况，在深入分析指控系统信息服务特征及用户服务要求的基础上，研究了评价指标的析取原则，从主观和客观两个方面提出了指控系统信息服务质量评价的指标体系，对各维度及评价指标的含义、测量方法进行了详细讨论，并给出了定性评价、定量评价和半定量评价3种指标评价方法和加权综合评价方法。

指控系统，信息服务，评价指标，评价方法，服务质量

0　引言

从军事需求角度看，无论是美军倡导的网络中心战还是我军目前正在推进的联合作战，都离不开各类军事信息服务的支撑。指控系统信息服务一般是指对指控领域信息的深层次加工和处理，不再单独强调信息数量，而更加重视服务效果和信息质量。可以说，在信息化战争条件下，对信息的有效利用与发挥武器的作用同样重要，信息服务已成为夺取战争胜利的“焦点”和“瓶颈”［1］。

虽然我军正在深入进行信息资源和信息服务建设，并且当前也已经取得了一些显著成果。但是对于军事信息服务尤其是指控系统信息服务质量评价的研究成果还不多见。根据从中国学术文献网络总库文献检索情况看，以“指控系统”或“指挥与控制系统”为关键词检索的文献共有1 518篇，但在关键词中再加上“信息服务”后，文献仅有2篇［2-3］。可见，该领域相关理论体系的研究尚处于起步阶段，研究结果也不够系统具体。

针对上述问题，本文结合指控系统特征及用户对信息服务的要求，从主观与客观两个方面构建简单实用、可操作性强的评价指标体系，并提出相应的指标评价方法和系统综合评价方法，为用户开展指控系统信息服务质量评价提供技术支持。

1　指标体系设计原则

为确保评价结果的实用性、准确性和科学性，在设计指标体系时应该遵循下列基本原则：一是导向性，即指标体系要起到引导和鼓励被评价对象向正确方向与目标发展的作用。二是完备性，即指标体系应能够全面反映信息服务的各个方面［4］。三是客观性，即评价指标选取要从客观实际出发，力求使评价结果能够准确反映服务真实水平。四是规范性，即指标体系必须层次分明、结构合理，指标内容设计必须紧紧围绕评价目标。五是可操作性，即评价指标要可量化或可定性测量，并且数据可获取且易获取。六是易懂性，即指标内容应该简明扼要、通俗易懂。

2　评价指标体系

信息服务质量评价的角度一般有两种，一是基于信息用户的评价，二是基于信息服务提供者的自我评价。David［5］提出：信息服务质量评价应该关注信息服务取得了多大的效果，而不是服务本身的优劣。这显然强调了基于信息用户评价的重要性。

从主观评价角度看，用户评价以自身对服务水平的感受为基础，在一定程度上可以反映信息服务质量的优劣。从客观评价角度看，有许多服务参数是可测的，这些性能参数往往是信息服务本身或网络环境等客观条件决定的。综合主观评价和客观评价优缺点，结合指控系统信息服务基本特点，从有形性、功能性两个维度构建主观评价指标，从可靠性、准确性、时效性3个维度构建客观评价指标，主观与客观两个方面共同构建指控系统信息服务质量评价指标体系，如图1所示。

图1　指控系统信息服务评价指标体系

2.1主观评价指标

2.1.1有形性维度（M ateriality）

该维度主要评价设施设备、操作系统等有形服务资源。由两个下级评价指标构成：一是先进性，即系统硬件设施设备及服务软件的先进性程度。二是清晰性，即系统界面功能清晰且易于操作的程度［6］。

2.1.2功能性维度（Functionality）

该维度主要评价信息服务支撑用户业务的能力以及传递、交换信息的便捷程度。由4个下级指标构成：一是提示性，系统能够提示用户进行方便快捷操作的功能。二是辅助性，即系统辅助用户形成科学合理的作战方案的功能能够满足用户需求的程度。三是交互性，即系统与用户能够较好地进行信息交互，以便于提供更有针对性的信息服务［7］。四是扩充性，即系统是否提供方案库扩充、模型扩充等接口。

2.2客观评价指标

2.2.1可靠性维度（Reliability）

该维度主要评价信息服务的稳定性和安全性［8］。由3个下级指标构成：一是健壮性，系统健壮是获取信息资源的基础，是为用户提供信息服务的保证。二是稳定性，高效指挥不仅需要系统健壮运行，还需要系统长时间无差错稳定运行。三是安全性，信息安全性评价是一个由多因素决定的复杂过程［9］。指控系统通过各类传感器获取信息数据，在传输过程中要防止被敌方窃听、截获、破译、破坏或篡改。

2.2.2准确性维度（Accuracy）

该维度主要衡量信息服务获取信息与采集信息的真实一致性。由5个下级指标构成：一是正确性，即信息服务内容本身反映某事物或系统属性的客观程度［10］。二是完整性，即各类传感设备的采集数据在传输过程中要确保不能中断或丢失，以确保信息传递的完整性。三是连续性，即信息能够不间断地传递到指控中心并在第一时间呈现给作战指挥人员。四是相关性，即信息服务与用户需求的匹配程度。五是吻合性，即指控系统信息服务的各种性能、操作等描述信息以及帮助信息要与系统的实际功能相符合。

2.2.3时效性维度（Timeliness）

该维度是指控系统信息服务的关键因素，不及时的信息会造成指挥与控制效果的降低，甚至导致指挥命令毫无价值。由4个下级指标构成：一是获取快，即指雷达、红外、声纳等传感器和情报部门得到战场态势的速度快。二是传输快，即指利用各种信息传输手段，按照规定的传输规程和编码格式，将获取的信息在服务内部或服务之间进行快速高效传输。三是处理快，不仅包括信息录入、格式检查、统计计算等功能，还包括对采集数据进行分类、属性识别、威胁排序等处理数据融合［11］。四是反馈快，系统能够以最快的速度给用户反馈信息产品或服务需求。

2.3评价指标分类

许多学者和用户都认为，信息服务质量评价工作应完全采用数理统计的方法进行研究，在语法层次上统计信息量，以Shannon信息论中的统计信息方法为代表［12］。当前，还没有针对指控系统信息服务质量评价的通用方法。为了使评价结果更加科学、客观，应该根据评价指标的具体特点，本文将其分为定性指标、定量指标、半定量指标三类进行评价，如表1所示。

3　指标评价方法

3.1定性评价法

定性评价是评价主体按照一定评价标准，借助专业知识和个人经验进行评价和推断的一种评价方法［13］。指控系统信息服务质量的定性评价是在信息服务标准指导下，结合指控系统信息服务特征和用户对作战的信息需求，对系统提供的信息服务质量进行分析与评定，定性说明评价指标的服务情况。评价人员主要利用分析、判断、比较和综合等各种哲学思辨方法，评价结果也是主观意义上的质量标准。

表1　指控系统信息服务评价指标分类

信息服务定性评价主要有问卷调查、用户访谈、专家评议等方法，其评价依据主要是在用户接受服务过程中或过程后所感知的满意度，最常用的方法是问卷调查。该方法将评价指标转化为具体问题，设计相应的调查问卷，通过重测信度、复本信度或折半信度等方法测试问卷的可靠性和有效性，在测试基础上进行修改和完善，形成最终的调查问卷；然后，针对规定的受调者收集用户感知信息，通过数据统计与分析，用一定范围的数值说明对服务质量感知和期望的情况［14］。

从理论上来说，指控系统信息服务的全部评价指标都可以采用定性评价方法。但定性评价会引入太多人为因素，很大程度上带有用户主观感情。为了确保评价结果的准确性、可靠性和科学性，在实施服务质量评价时，有形性维度和功能性维度中的6个评价指标以及准确性维度中的吻合性、相关性等指标可采取此方法，其他能够采用定量评价的指标尽量不采用定性评价方法。

3.2定量评价法

定量评价指通过测量仪器或工具来测量指标相关数值，再利用数学或其他科学手段对信息数值做出判定和分析评价，具有相当的准确性和可靠性。信息服务质量的定量评价方法很多，下面简单介绍几种：

3.2.1服务连续性评价

服务连续性评价［15］要素主要包括平均无故障时间MTTF（Mean Time To Failure）和平均故障恢复时间MTTR（Mean Time To Recovery）。服务连续性指标FWLX评价公式为：

评价时需要测量平均无故障时间和平均恢复时间数值，单位通常为小时（h）。平均无故障时间是系统服务在不发生故障的前提下持续运行时间的平均值，即两次故障之间的平均间隔时间，值越大越好。平均恢复时间是系统服务出现故障后进行故障排除并使系统重新正常运行所需要的平均时间，值越小越好。根据指控系统信息服务评价指标特点，可靠性维度中的健壮性、稳定性、安全性等指标都可以采用此类方法。

3.2.2服务稳定性

服务稳定性主要策略网络传输速度。假设当网络传输速度大于信息服务需要的约定传输速度时，对信息服务没有负面影响。Eu表示信息服务所能容忍偏差上限值，E0表示信息服务协议约定值，Xi表示采集的服务质量评价指标特征数据，其中小于或等于服务稳定性协议约定值E0的特征数据有n1个。计算公式如下：

服务稳定性指标值FWWD为：

当Y＞1，Y取值为1。所以，0≤FWWD≤1，指标评价数值越接近1时就说明系统的服务稳定性就越好。

3.2.3服务时效评价

响应及时性的评价要素通常是信息服务实际测量的平均响应时间Treal。该指标FWSX质量评价公式为：

式（4）中：Tdesign为参数，对于不同类型的信息服务可能不同，数量大小一般在数十秒量级。平均响应时间是从用户发出请求到收到信息服务响应结果之间等待时间的平均值，单位为秒（s）。评价指控系统信息服务质量时，时效性维度中的获取快、传输快、处理快、反馈快等指标可采用此方法，也可对获取、传输、处理、反馈多个信息处理环节的总和时间进行统一定量评价。

3.3半定量评价法

半定量评价法是一种将定量和定性相结合的评价方法。常用的半定量评价方法有模糊量化法、层次分析法等。

3.3.1模糊量化法

模糊量化法突破了精确数学的逻辑和语言限制，强调了各种信息服务质量要素的模糊性和真实性，能够客观地评价信息质量的真实值，具有结果清晰、系统性强等特点，能较好地解决各种模糊的、难以量化的非确定性问题。指控系统信息服务评价指标中的可靠性高低、相关性大小、功能界面是否清晰以及系统的先进性程度等都属于模糊问题，大都呈现出“亦此亦彼”性，即概念边界不清楚、在质上没有确切的界定、在量上也没有明确的规定。用户实施评价时可采用该方法。

3.3.2层次分析法

层次分析法（Analytic Hierarchy Process，AHP）将与决策有关的元素分解成目标、准则、方案等层次，并在此基础上进行定性和定量相结合的分析，是一种层次权重决策分析方法。特点是在对复杂决策问题的本质、影响因素及内在关系等进行深入分析的基础上，利用较少的定量信息使决策的思维过程数字化，从而为多目标、多准则或无结构特性的复杂决策问题提供简便的决策方法［16］。在综合评价信息服务质量时，主要运用层次分析法确定各维度及指标的权重。

4　综合评价

对于评价指标体系中的5个维度18项评价指标，可以采取加权的方式对整个指控系统信息服务质量进行综合评价。

首先，计算各维度的信息服务质量情况，以可靠性维度为例，如式（5）所示：

其中，R0是可靠性维度总体服务质量的数值，是第i个指标相对所属维度的权重值，Ri是第i个指标的服务质量均值。

按照上述计算方法获得各评价维度指标值后，通过加权综合算法计算信息服务质量的综合评价结果，如式（6）所示：

其中，Q是指控系统信息服务质量综合评价值，w1，w2，…，w5是各维度相对于整体信息服务质量的权重值，，M，F，R，A，T是每个维度服务质量的数值。

5　结论

本文在深入分析指控系统信息服务特征及用户服务要求的基础上，从主观和客观两个层面提出了指控系统信息服务质量评价的指标体系，对于每个评价指标进行了定义与分析，给出了各维度、指标及权重的计算方法和信息服务质量综合评价方法。研究的后续工作是利用大量数据对模型进行进一步校正和完善。

［1］周丰，刘忠，吴玲.智能指挥控制系统［M］.北京：国防工业出版社，2013.

［2］权冀川，刘勇，杨飞.指挥与控制系统信息服务质量评估的思路与方法［C］//第一届中国指挥控制大会论文集.北京：国防工业出版社，2013：184-187.

［3］马建威，舒振，罗雪山，等.新型指控系统军事信息服务QoS技术研究［J］.中国电子科学研究院学报，2009，4（5）：464-468.

［4］曹雷.指挥信息系统［M］.北京：国防工业出版社，2012.

［5］BAWDEND.User-oriented evaluation of information systems and services［M］.Aldershot：Gower1990.

［6］李益婷，史坤蓉.网络信息资源评价体系问题研究［J］.现代情报，2005，21（12）：51-55.

［7］邓胜利.基于用户体现的交互式信息服务［M］.武汉：武汉

Research on Quality Evaluation of Information Service in C2System

QUAN Ji-chuan，WANGBing
（School of Command Information System PLA UST，Nanjing 210007，China）

To evaluate the information service quality of C2 system，the characteristics and requirements of information service are analyzed.Then，the evaluation indices of information service quality of C2 system are promoted form subjective and objective aspects.The meanings and measurementmethods of the evaluation indices are discussed in detail.The indices are divided into three kinds，such as qualitative indices，quantitative indices and semi-quantitative indices.The qualitative evaluation，quantitative evaluation and semi-quantitative evaluation methods are discussed. Finally，the weighted comprehensive evaluationmethod is used to give the synthetic evaluation result.

C2 system，information service，evaluation index，evaluationmethod，servicequality

TP309

A

1002-0640（2016）09-0041-05

2015-07-13

2015-08-10

国家重点实验室基金资助项目（DXZT-JC-ZZ-2014-015）

权冀川（1974-），男，河北辛集人，博士，副教授。研究方向：综合效能评估、多源信息融合。