档案信息系统评价指标体系研究

刘坤

〔摘 要〕科学的评价指标体系是对档案信息系统进行合理评价的前提，对促进系统设计目标的实现，提高系统建设质量具有重要意义。本文针对档案信息化管理的特点，就建立档案信息系统评价指标体系的原则和依据进行了初步探讨，力求建立一套较为完善、有效的评价指标体系，为全面、客观评价档案信息系统奠定基础。

〔关键词〕档案信息系统；综合评价；评价指标体系

ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１００８－０８２１．２０．０１．０３９

〔中图分类号〕Ｇ２７５.９ 〔文献标识码〕Ａ 〔文章编号〕１００８－０８２１（２０）０１－０１５３－０４

Research on Evaluation Index System of Archives Information SystemLiu Kun

（Archives，Shanxi University of Finance and Economics，Taiyuan 030006，China）

〔Ａｂｓｔｒａｃｔ〕It needs a set of scientific index system to evaluate objectively the development degree and status of Archives information system.It was important signification to promote the construction of Archives Information System.Based on the principle of system evaluation,this paper established the structural model of Archives information system evaluation index system.With the help of AHP,the index system and evaluation method were researched.

〔Ｋｅｙｗｏｒｄｓ〕archives information systems;comprehensive evaluation;evaluation index system

１ 建立档案信息系统评价指标体系的必要性

随着信息技术和网络技术的广泛应用，档案管理模式和工作环境发生了根本性转变。基于互联网和信息技术的档案信息系统，能够整合档案信息资源，改造档案管理业务流程，提升档案管理水平和管理效率，已经成为了档案信息化建设的重要组成部分。当前，各级档案部门都在不同程度的开展档案信息系统建设。

档案信息系统建设是一个复杂的系统工程，它的导入和实施必然会涉及档案管理的方方面面，需要大量人力、物力、财力的投入。因而，系统的实际应用效果受到了用户和开发单位的共同关注。构建一套完善、有效的评价指标体系，对档案信息系统进行科学、合理评价，对于促进系统设计目标的实现，提高系统建设质量具有重要的现实意义。

２ 评价指标体系设计原则

科学、合理的评价指标体系是档案信息系统评价模型建立的基础，指标体系设计应遵循一定的原则［１－２］：

２.１ 科学性

评价指标体系构建要以科学的理论为指导，符合档案信息化管理的内在规律和发展要求，有效地反映系统的基本特征和整体状况，在基本概念和逻辑结构上严谨、合理，能抓住评价对象的实质。

２.２ 导向性

进行系统评价的目的不仅是为了评价一个系统的优劣程度，更重要的是为后续的系统设计和改进提供科学的参考依据，引导系统建设向正确的方向和目标发展。因此，指标的选取应具有一定的导向性。

２.３ 系统性

评价指标体系应是一个有机的整体，能全面、客观地反映被评价对象的综合情况。指标间互相联系、互相制约，同一层次指标尽可能的界限分明，从中抓住主要因素，既能反映直接效果，又能反映间接效果，以保证综合评价的全面性和可信度。

２.４ 可操作性

评价指标体系要繁简适中，指标涵义明确，数据资料采集方便、易于获取。即首先要明确评价目标，不要搞大而全的评价，在能基本保证评价结果客观性、全面性的条件下，指标体系尽可能简化，减少或排除没有必要考虑的因素，使评价易于实现。

２.５ 定性分析与定量分析相结合

由于是多目标评价，涉及到各个方面，单纯采用定量或定性的方法都很难对系统做出客观的评价。采用定性与定量相结合的方式，可以将部分反映系统基本特点的定性指标定量化、规范化，为采用定量评价方法打下基础。

２.６ 可比性

在具体指标选择上，必须是档案管理共有的指标涵义，统计口径和范围尽可能保持一致，以保证指标在各档案信息系统之间和不同历史时期具有横向和纵向的可比性。

３.１ 评价指标体系模型结构

传统上对档案信息系统的评价多侧重于系统性能、软硬件质量等技术层面的因素。而实际上，档案信息系统是涉及到技术、组织和管理等多种要素的社会技术系统，其评价也不是单纯的技术评估问题，而是一个复杂的社会过程。建立一套科学的评价指标体系，将反映档案信息系统基本特点的定性指标定量化、规范化，有助于尽可能的减少评价的不确定性，提高精确性。考虑到档案管理部门应用信息系统的主要目的是为了改造业务流程，改善管理绩效。而档案信息系统作为一种投资，必须高度重视效益，力求以最少的投入获得最大产出，否则不利于其长远发展。本文在评价指标体系的设计上，从系统使用者的角度出发，增加了反映系统应用所产生的效益和绩效改善的评价指标，以便项目施行者全面了解系统的实际运行状况，及时发现存在的问题，提出改进措施，更好地满足用户的实际工作需求。综合考虑这些因素，结合档案信息系统的特点，本文建立的档案信息系统指标评价体系由两层指标集构成，共4个一级评价指标和18个二级评价指标，基本上可以比较全面、客观地衡量一个档案信息系统的综合信息化水平。具体来说，档案信息系统评价指标体系的第一层为主指标集，评价指标包括：系统的技术水平U1、系统性能U2、效益U3、管理绩效U4等4个一级指标，而每个一级指标又由若干个二级评价指标所决定，相应地为第二层指标集，例如反映系统效益U3的二级指标包括：直接经济效益指标U31、间接经济效益指标U32、社会效益指标U33。由此构成的档案信息系统多目标综合评价指标体系结构模型如图１所示［１－３］。图１ 档案信息系统评价的指标体系结构模型

３.２ 评价指标的内涵

以下简要分析评价指标体系中各一级指标相应的二级指标的选择依据和具体含义［２］。

３.２.１ 技术水平U1

（1）目标功能实现度U：表示系统实现其规划、分析阶段提出的规划目标的程度。

（2）先进性U12：系统是否融合了先进的科学管理知识，系统的设计是否科学以及是否有较强的适应性。

（3）标准性U13：系统的建立应遵循相关的国际标准、国家标准和行业标准，使用标准数据库格式和元数据格式，文档资料应齐全而且规范。

（4）软件质量U14：包括系统软件的实用性、可操作性和可升级性。

３.２.２ 系统性能U2

（1）功能的完整性U21：系统功能是否涵盖电子档案信息的采集、处理、存储、归档、组织、提供利用等功能。包括数据管理功能、整理编目功能、检索功能、辅助实体管理功能等。

（2）可靠性U22：是系统按设计要求持续运行的基本保障，系统不仅要保证满足功能需求、正常运行，当系统出现意外故障时还应能够尽快恢复运行，保证数据不受破坏。它是由硬件和软件系统等因素共同决定的。

（3）安全保密性U23：系统的软硬件是否可靠，是否符合国家关于档案管理软件保密要求的规定，包括系统用户识别、身份认证、防非法侵入、防火墙、数据备份等档案信息资源安全措施的应用状况等。

（4）可维护性U24：表示维护人员对系统进行维护的难易程度。它由系统的模块化程度、简明性及规范性等因素决定。

（5）系统效率U25：是指系统的处理能力、处理速度、响应时间等与时间有关的特性。系统效率主要指标有：数据库打开时间、数据检索时间、数据删除时间，以及完成编目等特定功能所需要的时间。

３.２.３ 效益U3

（1）直接、间接经济效益U31、U32：主要体现在通过应用系统改进档案信息资源利用服务效率、降低成本而获得的直接、间接收益。包括合理优化资源；节约劳动力成本、信息服务成本、管理成本；减少费用支出等。

（2）社会效益U33：体现在为公众提供档案信息以及科学利用公共资源，提高社会信息化整体水平、实现决策科学化等方面。该指标主要指为用户解决实际问题所做出的贡献，包括档案信息被引用或向其它文献信息转化的状况；用户在解决问题过程中档案信息所起作用的比重以及利用档案信息作为凭证的状况等。

３.２.４ 管理绩效U4

（1）规划目标实现程度U41：预定的战略规划的阶段性目标、总体目标及各项具体指标的实现程度。

（2）管理效率U42：系统应用是否带来管理模式、组织结构和业务流程的改革和创新；档案信息收集、传递、处理速度、作业效率、对用户需求的反应能力及部门决策水平的提高程度。

（3）档案信息服务质量U43：体现在档案信息服务的快捷度、准确性、方便性、服务周期等质量指标是否提高。其中检索查全率、查准率和方便快捷程度是衡量档案信息服务过程质量高低的最基本的指标，即系统是否能够全面、准确地检索与用户真实需求相关的信息；是否能在实现目录信息检索的基础上，提供全文检索及多媒体信息检索等；检索方式是否多样化，检索结果是否可以按相关度排序等。

（4）档案信息利用率U44：系统应用是否增强了档案信息资源的开发利用程度，可以从信息的收集、深度加工和共享方面以及信息资源挖潜能力进行评估。具体体现在年均查档数量及人次、档案利用频率、档案网站用户访问量等。

（5）成本节约量U45：总成本与应用系统前相比是否下降，与同类单位相比是否领先。可以从减少人工信息处理的工作量，节约人工费用、管理费用、办公开支等方面衡量。

（6）用户满意度U46：指用户对系统的功能、用户界面、容错性等的满意程度；服务满足顾客多样化、个性化需求的提高程度。可以从系统易用性、友好性、交流功能、用户参与程度等方面衡量。

以上分析了档案信息系统的评价因素，这18个具体评价指标构成了档案信息系统多目标综合评价指标体系。

３.３ 评价指标权重的确定

权重是一个相对的概念，是针对某一指标而言。某一指标的权重是指该指标在整体评价中的相对重要程度。权重系数确定的合理与否，关系到综合评价结果的可信程度。因而在评价指标体系构建中，合理确定指标权重是一个关键环节。

确定指标权重的方法一般有以下几种：一是专家直观判定法，它是最简单的权重确定方法，由评价者个人根据自己以往的经验和对各项评价指标重要程度的认识，对各项评价指标的权重进行分配。二是权值因子判断表法，是指由评价人员组成评价专家组，由专家组制定和填写权值因子判断表，然后根据各位专家所填写的权值因子判断表，对评价指标的权数取平均值并进行统计处理，作为权重系数。三是层次分析法（獳nalytic Hierarchy Process，简称AHP），是将评价指标分解成多个层次，通过两两比较下层元素对于上层元素的相对重要性，将人的主观判断用数量形式表达和处理以求得指标的权重。前两种方法比较简单，但主观性强，随意性大，导致指标间相对重要性得不到合理体现，评价精确度不高［４］。层次分析法是美国运筹学家玊.L.Saaty教授于70年代初期提出的一种简便、灵活而又实用的多准则决策方法，适用于难于完全定量分析的问题，本文以层次分析法为例说明如何确定评价指标权重。

层次分析法确定权重的步骤［５－６］：

３.３.１ 构造判断矩阵

同理可构造U～U14对U1的判断矩阵，U21～U25对U2的判断矩阵，U31～U33对U3的判断矩阵，U41～U46对U4的判断矩阵。其中，u﹊j表示对于A(U1)而言，U璱对U璲的相对重要性。其它判断矩阵可依此类推。

３.３.２ 层次单排序

计算各判断矩阵的特征值最大值及其所对应的特征向量，得出层次单排序，获得指标层对于目标层的重要性数据序列，从而获得最优决策。先解出判断矩阵A的最大特征值λ┆玬ax，再利用公式：Aω=λ┆玬axω。解出λ┆玬ax所对应的特征向量ω。经过标准化后即为同一层次中相应元素对于上一层次中某个因素相对重要性的排序权值。

３.３.３ 一致性检验

由于问题复杂程度不尽相同，不可能要求所有判断都完全一致，但却应该使判断有大体上的一致性。因此需要对判断矩阵A进行一致性检验。首先计算A的一致性指标CI：CI=(λ┆玬ax-n)/(n-1)。前式中，n为判断矩阵的阶数。当A具有完全一致性时，CI=0。λ┆玬ax-n愈大，矩阵的一致性愈差。当判断是否具有满意的一致性，还需将CI与平均随机一致性指数RI进行比较。对于1～9阶判断矩阵玊.L.Saaty给出了RI值如表２所示。表２ 均随机一致性指标R.I.标准值

阶数R.I.阶数R.I.10.0061.2520.0071.3530.5281.4240.8991.4651.12101.49

当CR=CI/RI＜0.1时就认为判断矩阵A具有满意的一致性，否则要对A重新调整，直到具有满意的一致性为止。

３.３.４ 求得评价指标权重体系

如果判断矩阵通过一致性检验，将层次单排序的结果转换即可将得到评价指标的权重体系。

从上面的分析可以看出，层次分析法原理比较简单，应用灵活，可以将定性因素转化为定量计算，为决策提供定量的依据，是一种较好的权重确定方法。

４ 结束语

档案信息系统综合评价是一个系统而复杂的过程，既有定性评价问题，又涉及到定量方法的使用，而且随着时代发展和科技进步，评价指标和指标权重也有必要随之做出相应的调整，档案信息系统评价工作是一个不断变化的动态过程。档案信息系统综合评价体系研究目前在我国尚处于一个初始阶段，本文只是初步构建了一个评价指标体系，所提出的评价指标体系结构模型在指标设计方面具有一定代表性，比较适合定性、定量计算，有利于科学、合理地对档案信息系统进行综合评价，有一定借鉴意义，但是在许多方面还需要通过实践的检验，进一步改进和完善。

参考文献

［１］闵文杰，陈建明，张仲义．信息系统评价指标体系及方法研究［Ｊ］．铁道学报，2000，22（5）：37-38．

［２］郑丽．档案信息化建设测度指标体系探索［Ｊ］．档案与建设，2007，（2）：21-22．

［３］郭东强．信息系统评价的定量化模型［Ｊ］．中国管理科学，2000，（8）：96-99．

［４］作者不详．权重确定方法［ＥＢ］．MBA智库百科，http:∥www.mbalib.com

［５］常建娥，蒋太立．层次分析法确定权重的研究［Ｊ］．武汉理工大学学报，2007，（1）：153．

［６］杜纲．管理数学基础［Ｍ］．天津：天津大学出版社，2003：53-55．