信息交换类标准符合性测试评价指标体系研究*

（中国舰船研究院 北京 100101）

1 引言

信息交换类标准规定了系统间进行信息交换的格式，是信息系统进行数据交互的基础，决定了数据交互基本单位（报文）的组织、编码、识别与应用。随着信息化建设的深入和各类系统交互需求的涌现，针对各类作战应用场景，相继出台了各类信息交换标准，这些标准自颁布以来，对提高军事信息系统的信息互通互操作起到了重要的作用。但是，在标准的执行过程中也暴露出了各系统遵照标准的程度不一、设计开发单位对标准应用理解不一等问题，影响了标准的实施效果以及信息系统之间的信息共享与应用［1］。因此，针对信息交换类标准的符合性测试成为促进体系能力形成的重要环节。

目前，大部分信息交换类标准的研究主要集中在编解码工具设计方面［2～3］以及基于XML数据交换标准的符合性测试方面［4～9］，均是针对特定标准的，这使得标准符合性测试产品的功能单一化、狭窄化［10］，尚未形成一种针对不同编码方式的信息交换标准通用性较强的标准符合性测试方法，而且标准符合性测试评判通常以定性评判为主，缺乏量化的指标，说服度较低，因此建立合理可行、具有普适性的标准符合性评价指标体系是当前进行信息交换类标准符合性测试首要且迫切需要解决的问题之一。

2 概念和意义

标准符合性测试是依据一个标准的描述对标准的某个实现进行测试，判别一个标准的实现与所对应的标准描述是否相一致［11］。它测试的依据是标准，测试的目的是测定被测系统与相关标准的符合性程度，给出的结果是被测软件是否符合标准以及符合的程度［6，12］。

信息交换类标准的符合性测试是专门针对信息交换领域标准进行的，其测试的思路与一般的标准符合性测试相同，综合运用理论分析、仿真测试手段通过对报文进行严格的、定性或定量的测试后［13］，根据测试结果以评估信息系统传输的信息是否符合标准中的各项规定，对信息的应用是否符合标准中的相关约束，或在多大程度上符合标准。

信息交换类标准是实现信息系统互连互通互操作的关键要素，信息交换类标准符合性测试通过对信息系统标准符合度的评估规范信息系统的设计开发，提高信息系统的建设质量与通用化程度，促进体系能力的形成，同时也为信息交换类标准的实施和监督提供技术支撑。

3 测试评估指标体系

信息交换标准的重点是解决信息的格式，即解决信息结构化数据表达与传输问题。本文基于标准所承载的语法、语义、语用三个层面从编码形式、数据元素设计、报文结构与构成、报文应用、传输交互等方面入手对多种信息交换标准进行了分析与研究，构建了三个层级五个分类11个分项指标的信息交换类标准符合性评价指标体系，具体如图1所示。

图1 信息交换类标准符合性评价指标体系

3.1 语法

数据元素是数据的基本单元，是信息交换标准语法信息表达的基础。在信息交换标准中一个数据元素可以由若干个数据组成，数据项是数据的不可分割的最小单元。数据元素的集合即形成一条报文。信息交换标准语法层面的标准符合性测试主要涉及标准的构成、数据元素的组织方式、编码设计等方面。在进行信息交换标准语法层面标准符合性测试时需根据被测系统的类别确定测试类型以及对应的测试内容，同时基于每个测试内容进行分解，确保每个测试项覆盖各报文的所有数据元素。针对测试项与测试内容覆盖充分性等问题，选取度量元包括：标准中每条报文包含数据元素的总数W1、每条报文被测系统编码正确的数据元素数S1、每条报文被测系统解码正确的数据元素数S2。

数据元素编码正确率（K1）、数据元素解码正确率（K2）用于评估被测系统实现的信息交换标准中每条报文包含数据元素的编/解码与标准规定的符合性，计算公式如下：

3.2 语义

信息交换标准所承载的语义是指标准数据元素所表达的含义，主要包括数据元素的类型、单位、精度、取值范围等相关内容。语法和语义层面是标准内部的意义，偏重于静态分析，在进行信息交换类语义标准符合性测试时，需根据待测试的标准进行数据元素的类型进行分析，设计测试用例覆盖所有数据元素类型，针对测试数据元素完整性等问题，选取度量元包括：标准中每条报文包含数据元素的总数W1、每条报文被测系统数据元素内容处理正确总数S3。

数据元素内容正确率（K3）用于评估被测系统实现的信息交换标准中每条报文数据项类型、取值等与标准规定的符合性，计算公式如下：

3.3 语用

信息交换标准所承载的语用是指标准中每条报文与使用者的关系，即针对特定应用场景，信息收发双方运用标准的报文进行交互实现特定的功能。主要包括报文的组织应用、报文的交互设计。语用是标准外部的意义，在信息交换标准语用层面标准符合性测试时，偏重于动态的分析。基于被测系统的特定应用场景下的角色以及实现的功能，构建典型应用场景，设计测试用例的实施步骤，确保测试用例贯穿每个应用流程。针对被测系统标准覆盖范围、功能应用完好性等问题，选取度量元包括：标准中每条报文包含数据元素总数W1、报文抽样测试总数W2、标准中包含报文总数W3、标准承载的交互接口总数W4、标准在不同应用场景下所能承载的交互应用总数W5、报文封装正确数S4、报文解析正确数S5、报文组织结构正确数S6、每条报文数据元素接收处理数S7、每条报文数据元素分发处理数S8、被测系统处理的报文总数S9、被测系统实现的交互接口数S10、被测系统实现的交互应用S11。

报文封装正确率（K4）、报文解析正确率（K5）用于评估被测系统实现的信息交换标准中每条报文封装/解析方式、规则与标准规定的符合性，计算公式如下：

报文结构正确率（K6）主要用于评估被测系统实现物理域传输报文组包规则与标准规定的符合性，计算公式如下：

数据元素接收处理覆盖率（K7）、数据元素分发处理覆盖率（K8）主要用于评估被测系统对每条报文接收处理/分发处理数据元素与标准规定的符合性，计算公式如下：

报文覆盖率（K9）主要用于评估被测系统对标准报文的覆盖情况，计算公式如下：

交互接口正确率（K10）主要用于评估被测系统交互接口与标准规定的符合性，计算公式如下：

交互完好率（K11）主要用于评估被测系统交互应用与标准规定的符合性，计算公式如下：

3.4 标准符合度

针对测试评估指标体系中各分项指标的符合性评估结果，通过综合计算得出被测系统的标准符合度δ，用于整体评价系统的标准符合度，计算公式如下：

其中，B1、B2、B3、B4、B5均通过分项指标计算得出，N表示被测信息交换标准包含的报文总数。在实际的标准符合性测试中，可针对被测系统的类别、功能要求、错误容忍率和以往经验等，设计调整分项指标的参数和权重。

4 测试结果分析

试验以某系统进行的某信息交换标准符合性测试为例说明测试评估指标体系。

本次被测系统待测试的信息交换标准包含6条报文，6条报文分别包括的数据元素个数分别为20、25、22、31、35、20，对报文结构分项指标测试中抽样测试次数为15次，基于上述各项指标计算公式采用了等权平均后具体测试结果如图2、图3、表1所示。

图2 各报文K1-K8指标的分布情况

从测试结果可以看出，被测系统在信息交换标准的设计和实现方面，报文2、报文3、报文6各项指标的整体实现度优于报文1、报文4、报文5；各报文在各项指标整体分布方面，该系统在数据元素接收处理覆盖方面实现度存在一定缺陷。

图3 报文1测试结果一览表

具体针对报文1，可以看出其在数据接收处理覆盖度方面存在较大缺陷。

表1 综合测试结果一览表

从测试结果可以看出，该系统在信息交换类标准的使用方面，交互接口的承载应用实现存在较大缺陷。

综合上述各项指标测试结果，此次被测系统测试信息交换标准中各类报文的符合率以及标准应用的符合率，最终计算得出被测系统对整个标准的标准符合度为87.36%。类比同类项目测试经验，一般通过测试的标准符合度δ应超过95%，且不存在单项符合率低于90%。故该系统未能通过测试，需根据测试缺陷进一步修改完善。

5 结语

本文在分析信息交换类标准符合性测试工作现状和问题的基础上，通过分析各类信息交换标准，研究构建了信息交换类标准符合性测试评估指标体系，给出了定量计算方法，并基于试验对指标体系与计算方法进行了验证，为信息交换类标准符合性测试提供了一种科学有效的量化评估解决方案。