电子文件管理系统测试工作的对比研究

郑湙彬 朝乐门

摘要：基于对比分析美国国防部DOD5015.2、欧盟MoReq2010、我国GB/T29194-2012这三个电子文件管理系统功能要求标准，重点对比测试目的、测试内容、测试方法和测试业务的异同，从而提出国内外电子文件管理系统测试工作的差异性和发展趋势。

关键词：电子文件管理系统标准符合性测试DOD5015.2 MoReq2010 GB/T29194-2012

Abstract：The main propose of this essay is to discover the differences among three testing stan？ dards for Electronic Records Management System and find out the development trend about it. The anal？ ysis is based on the comparison about the require？ ments of Electronic Records Management System， such as DOD5015.2， MoReq2010 and GB/T29194-2012， focus on the testing propose， testing works and testing methods.

Keywords：ElectronicRecordsManagement System； Standards Compliance Test； DOD5015.2； MoReq2010 ；GB/T29194-2014

一、研究背景

测试是发现软件系统各种缺陷的主要手段，也是实现其质量保障的重要过程。作为一种特殊的软件系统，电子文件管理系统（Electronic Records Management System，简称ERMS）的测试应具备区别于一般软件系统测试的特殊性。美国国防部《电子文件管理软件设计评价标准》（Design Criteria Standard for Electronic Records Management Software Applications，简称DOD5015.2-STD）、欧盟《电子文件管理通用需求2010》（Modular Requirements for Records Systems 2010，简称MoReq2010）以及我国《GB/T29194-2012电子文件管理系统通用功能要求》等功能要求标准的相继出台，不仅为电子文件管理系统的研发工作提出了通用性要求，而且使标准符合性测试成为亟待研究的重要工作。

目前，国内外已经开展了GB/T29194- 2012、DOD5015.2以及Moreq2010的标准符合性测试工作。但是，有关国内外电子文件管理系统测试进展的研究仍为空白。国内外电子文件管理系统功能要求的研究主要集中在功能要求的标准化、对比研究与本土化上。具体体现在：一是国内对MoReq2010标准的研究较多，其重点是比较MoReq不同版本之间以及其他标准的异同，并指出MoReq具有更强的适应性[1]、MoReq较DOD5015.2提出了更为明确的功能要求[2] [3]等。与DOD5015.2的研究相类似的是，从与其他标准的对比、该标准自身的特点入手，指出DOD5015.2的主要特点是其适用主体是美国国防部以及其相关部门，该标准更加关注安全性能，并且其规定不是通用的要求。[4]GB/ T29194-2012的提出实现了电子文件管理系统功能要求的本土化，相关研究主要集中在与国外电子文件管理系统功能要求[5]以及国内与电子文件和电子档案领域发布的相关标准[6]之间的对比分析上。由于该标准提出的时间较晚，因此相关研究较少。二是国外相关研究集中在标准本身，不同版本之间的对比、不同电子文件管理系统需求标准的对比以及标准在不同国家的本土化问题上。例如：MoReq2较MoReq的改变，有易测试、管理性、结构性、具体化要求上的变化。[7]2003年，学者Piers Cain探讨MoReq在英国的适应性，并将MoReq与美国国防部提出的相关标准进行对比，提出了MoReq的主要优势。[8]

ERMS测试理论体系主要由四个部分组成：测试目的、测试依据、测试内容和测试方法，[9]本文所讨论的测试依据为DOD5015.2、MoReq2010和GB/T29194-2012。通过对比分析三者测试目的、测试内容和测试方法的异同，提出关于ERMS测试工作的建议。其中，建议参考了学者朝乐门在该领域研究中提出的关于ERMS测试呈现的三个基本特征，以及ERMS测试方法论的创新需要突破的两个前提：一是突破功能测试的局限性；二是突破人工测试的局限性。[10]

二、测试目的

三个测试标准的最终目的是一致的，即检查被测系统的标准符合性，保证其电子文件管理质量，提升其服务质量。但是，在操作层面表现出不同的特征：

（一）DOD5015.2侧重安全方面

DOD5015.2由美国国防部提出，强制要求政府部门的ERMS必须经过联合互操作测试组（Joint Interoperability Test Command，简称JITC）的测试认证，不强制要求商业用途的ERMS参与认证。该标准仅提出政府部门的ERMS需要满足的最基本要求（必须满足的要求），没有提出更宽广的其他要求，侧重于安全方面。

（二）MoReq2010的规定具有灵活性和宽泛性

MoReq2010由欧盟文件生命周期论坛（Docu？ ment Lifecycle Management，DLM）提出，为欧盟各国现行的电子文件管理系统需求提供参考和规范，同时规范参与认证的ERMS导入、导出格式，从而便于不同国家之间的数据迁移。考虑到各国已有的电子文件管理系统需求，MoReq2010的规定具有灵活性和宽泛性。

（三）GB/T29194-2012借鉴多国优点的基础上形成

GB/T29194-2012是我国结合多国的电子文件管理系统测试标准的优点，以及我国的现实需求而提出的标准，目的是为了规范电子文件系统测评工作的组织与实施，保证电子文件软件系统质量和系统的正确使用与可靠运行。

三、测试内容

虽然三个标准的理论依据均为文件生命周期理论，提出的要求都与文件流转业务流程相关，但是提出测试内容的结构不同，笔者将其重新组织为功能评测、元数据评测和系统文档评测三个部分来进行讨论。其组织依据借鉴了我国GB/T29194-2012中“软件系统测评内容应包括但不限于功能测评、元数据测评和系统文档测评”的要求进行组织。

（一）功能测试

功能测试是测试系统所提供的功能条款。由于三个标准中对功能要求的描述结构和方式不同，笔者对其按照主题聚类分析，进而得出其在侧重点上的不同。如图1所示。

1.三者所涉基本功能相同。一是三者都有关于工作流的使用、文档业务流程、元数据安全性、系统可维护性等方面的内容。而这些要求正是ERMS应具有的基本功能。二是功能条款都可以分为必要性要求和可选性要求。三个标准中，功能要求均可分为两个部分，必要性要求（强制性要求）和可选性要求（非强制性要求）。其中，必要性要求是指该系统应满足的最基本要求，它是ERMS在实现电子文件管理时所必须实现的功能。可选性要求是指为更好地实现管理所要求的功能条款，不满足的情况下也不影响系统的正常使用，故称为可选性要求。软件提供方如提供该部分功能，可以申请对该功能进行测试、认证。

2.侧重点上不同。基于安全的考虑，DOD5015.2对文档的离线使用、电子邮件的迁移、使用权限、安全控制的相关规定较为具体和严格，侧重对该类功能测试。MoReq2010，则对不同ERMS之间的数据迁移、不同阶段的文件迁移等要求较多，目的是为了实现不同系统之间的格式统一，方便系统之间的数据交换。GB/ T29194-2012则结合了以上两个标准的规定，并根据中国国情进行适当的取舍。

2.描述结构不同。DOD5015.2和GB/T29194-2012都是根据业务流程来叙述功能测试要求，如文件形成、文件捕获、转移等业务流程中应实现的功能。而MoReq2010则是把这些业务流程中涉及的要求分散到其九个核心服务的要求中，从角色的角度进行叙述。包括系统服务、文件服务、分类服务、用户与组织服务、角色建模服务、处置计划服务、元数据建模服务、检索及报告服务、输出服务和非功能性需求，以及附加模块。

（二）元数据测试

元数据是描述文件的背景、内容、结构以及整个管理过程的数据。通过记录元数据，可以初步了解文件的内容，并且追踪文件的流转、修改情况。虽然三个标准目标的不同会导致其对元数据的侧重不同，但是由于元数据有其自身的重要性和规范性，三个标准中又存在相同点。例如：三者均强调了元数据在电子文件中的重要性，并将元数据纳入测试范畴；三者基本元数据集相同，包括内容相关的元数据（题名、日期、保密性等）、安全性相关的元数据（权限、人员）、关系实体的元数据等。同时，对其之间的差异我们也需要给予关注。

1.DOD5015.2根据不同流程活动来规定元数据测试的内容。包括：文件计划实施，文件时间规划，文件说明和归档，电子文件归档，后续归档到美国国家档案与文件署。对元数据的要求分为三个部分：数据收集范围、数据结构和支持。记录的内容除了一般的关于文件内容的数据以外，主要记录文件修改、使用和转移情况，以及工作中使用E-mail进行联系的相关内容。

2.MoReq2010文件的关系是按照实体来进行联系，对每个实体，再分为系统元数据和内容元数据这两个部分。主要是利用元数据，重现不同实体之间的联系，如不同文件之间的联系、文件与系统的联系。

3.GB/T29194-2012关于元数据的要求包括基本元数据评测指标和扩展元数据评测指标，其要求是根据不同的元数据内容进行组织，并分为三级指标。基本元数据评测中包括的是一般的内容标识、授权标识等，如题名、保密性、业务等内容。扩展评测指标中，则是额外的关于文件的标识，如格式、软件环境、业务关系的进一步描述等。与DOD5015.2类似，但安全方面要求稍低。

（三）系统文档测试

系统文档是对系统的辅助解释，有助于用户正确使用电子文件管理系统。三个标准中均将系统文档测试作为一个为非功能性的要求，这充分说明系统文档的重要性。但是，在GB/T29194-2012的标准符合性测试中提出了更为具体和可操作的要求，包括系统文档的一致性、完整性、可理解性、指导性、易于实现标准符合性测试，以及扩展的系统文档评测指标。而另外两个标准仅简单地提到了需要对系统文档进行测试。

四、测试方法

三个标准中使用的测试方法基本为功能点测试（标准符合性测试），功能点测试又有黑盒测试和白盒测试两种方法。由于白盒测试的测试效率不如黑盒测试，实际使用中多以黑盒测试为主。对于测试方法，以及黑盒测试的应用方面三者又略有所不同。其中，黑盒测试指的是把程序看作一个黑盒子，按照程序说明进行输入，检查输出结果是否符合要求。不需要考虑程序内部结构和内部特性，操作简单，但无法发现程序内在的问题。[11]白盒测试则是通过测试用例，观察程序完整运行情况，要求分析程序的代码，[12]它能够更好地发现程序自身存在的深层问题，但相应地延长了测试时间。

1.三个标准的测试方法基本一致，主要依赖于功能测试。此外，也引入了通过录制脚本等方法实现自动化测试，从而节省时间。在功能测试过程中，主要使用黑盒测试，必要时采用白盒测试来发现深层问题。GB/ T29194-2012标准符合性测试中，采用白盒测试发现黑盒测试难以发现的深层缺陷，并取得了较好的测试效果。

2.DOD5015.2为提高黑盒测试的效率，在黑盒测试的过程中采用了极限编程的思想，第一次进行完整测试，后续版本只测试与修改相关的功能，从而减少了多次完整测试的次数，加快了测试效率。极限编程是指边编程、边测试，及时地对API进行测试，即每个小部分编写完成后及时测试，减少错误的累积，使得软件开发变得更为简洁。[13]

3.MoReq2010的测试方法则是通过模块化（上文提到的九个核心服务），从不同角色的角度，在不同的服务模块中进行测试。

4.GB/T29194-2012除使用功能测试以外，还引进情景测试法（模拟具体业务流程所产生的输入）来进行测试，这是一种较新的测试方法。

五、测试业务

测试业务是测试标准、方法和技术的具体应用，具体包括测试机构和测试流程两个方面。

（一）测试机构

在测试中，存在证书颁发机构、软件提供机构和评测机构。一般而言，为保证测试的公平性，评测机构由第三方担任。GB/T29194-2012、MoReq2010的测试机构均由经认证的、非软件提供方的第三方软件测试中心进行。但由于DOD5015.2是直接针对国防相关部门的软件要求，基于安全性的考虑，测试由JITC来负责监督完成，并由JITC颁发证书，不邀请第三方机构进行评测。

（二）测试流程

测试流程可以分为三个部分，测试前的准备工作、测试过程的实施工作和测试后的反馈工作。三个标准在测试流程方面的要求基本一致，主要区别体现在具体工作细节。

1.测试前的准备工作。在测试前需要对测试日期商定、测试人员安排、系统运行环境进行安装等步骤。此外，还需收集信息（以填写问卷的形式来实现），包括使用何种测试入口（用户图形界面、应用程序编程接口）、以及需要进行评测的可选性功能。

2.测试过程的实施工作。这是测试的主要部分，测试周期从一个月到半年不等，不同标准中对此的规定不同。

3.测试后的反馈工作。主要是测试报告的编写，同时也包括解决测试结果分歧。但是，测试报告的公开性不同，DOD5015.2规定概要报告对外公开，详细报告只有相关政府部门才能获得；MoReq2010指出报告不对外公开；GB/T29194-2012在自己的官网上公开。

六、结论

（一）Moreq 2010、DOD 5015.2和GB/T29194-2012的标准符合性测试工作之间的区别主要来自于标准本身的特殊性

DOD5015.2的适用对象是美国国防部等国家政府部门，尤其是军事机构，因此DOD5015.2并非是一个通用型标准，对安全方面的要求十分严格。DOD5015.2的测试，不仅可以现场测试，而且还支持远程测试。Moreq2010标准的一个突出特点是其灵活性，各国可以根据自身情况进行调整、灵活处理。该特点是由于欧盟各国大多已经存在适用于该国的电子文件标准，如英国的《电子文件管理系统功能需求》，故需要一个灵活的要求。GB/T29194-2012较好地吸取了DOD5015.2和MoReq2010标准中的内容，并较好地体现了我国电子文件管理工作的主要需求，其测试工作充分借鉴了Moreq2010和DOD5015.2的测试经验。

（二）从发展趋势看，电子文件管理系统的标准符合性测试工作呈多样化、规范化的趋势

一是测试方法的多样化趋势。目前，电子文件管理系统的测试方法较为单一，主要采用的是人工黑盒测试方法和动态测试方法，无法满足标准要求和用户需求。因此，测试工作将综合运用白盒测试、集成测试、回归测试、协同测试和情景测试等多种测试方法。同时，从测试方法的实现方式看，基于人机协同的自动化测试将成为电子文件管理系统测试的主流方式。二是测试范围的横向拓展趋势。目前，电子文件管理系统的测试范围较小，仅限于功能、元数据和内容三个方面的测试。但是，电子文件管理系统的实施亟须引进性能、安全、兼容性、可用性等多种测试内容，不断拓展其测试范围。三是测试实施的规范化趋势。目前，电子文件管理系统测试业务的规范化程度不够，尤其是前期准备工作、测试后评估以及结果再利用的重视不够，严重影响了测试结果的信度和效度。因此，电子文件系统测试工作的全程控制及监督工作将受到重视，测试工作将趋于规范化。

*本文为国家社科基金重大项目《云计算环境下的信息资源集成与服务研究》（项目编号：12&ZD220）和国家自然科学基金重点项目《我国信息资源产业发展政策及管理研究》（项目编号：71133006）的研究成果之一。

注释及参考文献：

[1]张宁.《欧盟电子文件管理通用需求第二版——MoReq2》解析[J].北京档案，2008（7）：46-48.

[2]于丽娟.《电子文件管理通用需求——MoReq》[J].档案学通讯，2003（6）：30-34.

[3]张茜，程妍妍.国际电子文件管理系统需求标准比较研究[J].中国档案，2014（11）：61-63.

[4]于丽娟.《电子文件管理软件设计评价标准——DOD5015.2-STD》[J].档案学通讯，2003（3）：73-78.

[5]张晓娟，胡文佳，陈诚.电子文件管理系统需求标准化的国际经验与启示——基于MoReq与ICA-Req的分析[J].情报理论与实践，2015（4）：57-60.

[6]张晓娟，陈诚，胡文佳.电子文件管理系统功能需求标准的建设与发展[J].电子政务，2014（5）：93-98.

[7]Fresko， Marc（2001）， MoReq2： the new model for developing， procuring electronic records management sys？ tems： the 2008 version of Model Requirements for the Management of Electronic Records（MoReq2）features new testability， governance， structural innovation， and ex？ panded content， Information Management Journal.

[8]Fresko， Marc（2001）， MoReq2： the new model for developing， procuring electronic records management sys？ tems： the 2008 version of Model Requirements for the Management of Electronic Records（MoReq2）features new testability， governance， structural innovation， and ex？ panded content， Information Management Journal.

[9][10]朝乐门.电子文件管理系统的测试方法研究[J].档案学通讯，2014（6）：57-60.

[11] [12]Ammann， Paul； Offutt， Jeff. Introduction to Software Testing. Cambridge University Press. 2008. 21-22.

[13]陈伟，谢俊元.基于极限编程的测试分析[J].计算机应用研究，2004（1）：69-72.