复杂场景下科学数据中心运行状况评价模型研究

王瑞丹 陈祖刚 石 蕾 卢逸航 李国庆

（1. 国家科技基础条件平台中心，北京 100038；2. 中国科学院空天信息创新研究院，北京 100094；3. 国家对地观测科学数据中心，北京 100094；4. 中国科学院大学，北京 100049）

0 引言

科学数据通常是指在自然科学、工程技术科学等领域，通过基础研究、应用研究、试验开发等产生的数据以及通过观测监测、考察调查、检验检测等方式取得并用于科学研究活动的原始数据及其衍生数据[1]。科学数据中心是科学数据管理与共享领域内实施具体事务解决实际问题、促进科学数据资源管理与共享水平持续提高的专门机构。随着科学研究进入数据驱动的第四范式，科学数据成为科研工作乃至国家发展的重要战略资源[2]，科学数据中心成为科研工作取得国际重大创新性突破的关键基础设施。

在此背景下，国内外设立了一大批科学数据中心。在国外，有美国国家空间科学数据中心（National Space Science Data Centre，NSSDC）、英国数据保存中心（Digital Curation Centre，DCC）、英国数据档案中心（UK Data Archive）以及澳大利亚国家数据服务中心（Australian National Data Service，ANDS）[3]。在我国，科技部、财政部于2019年6月发布《国家科技资源共享服务平台优化调整名单》，公布了20个国家科学数据中心和30个国家生物种质与实验材料资源库，从此我国国家级科学数据中心开始进入全面建设的阶段[4]。

在大数据、互联网快速发展的今天，科学研究产生的科学数据资源越来越多，学科之间交叉融合越来越强，传统学科的边界越来越模糊，增加了科学数据中心管理的复杂性和多样性。然而，科学数据中心处于高速发展期，科学数据中心建设发展相互独立，水平高低不同的现象十分明显，存在大量科学数据管理不规范、不完整、质量无法保证的现象。而许多科学数据中心对数据挖掘和再分析的能力不足，只是简单地把数据收集起来，难以发现数据背后的价值信息和增值渠道[5]。迫切需要建立科学数据中心的运行状况评价体系，来促进科学数据中心提升管理水平，保障科学数据的真实性和可靠性，支撑国家重大决策和经济发展，充分发挥各类科学数据中心的作用和价值。

近10年来，多种类型科学数据中心建设资助机构积极开展研究并建立了对科学数据中心运行评价制度，通过制定评价指标和流程，引入第三方专业评估机制等方式，对科学数据中心的运行质量和效果进行重点考察，并探索将评价结果作为机构卓越性和影响力的重要衡量依据[6]。目前，科学数据中心运行评价体系主要有科技部2011年实施的国家科技基础条件平台运行服务绩效考核、中国科学院科技数据应用效果评价、世界数据系统（WDS）CoreTrustSeal数据中心认证体系等。虽然一些部门、单位或国际组织已经形成了一些数据中心评价考核指标并开展了评价实践，但各个评价体系差异明显，不具备可比性和通用性，不利于科学数据中心的协调统一发展，也不利于形成高水平的国家级和世界级科学数据中心，而现有的评价指标的定量化程度较低，缺乏系统性的研究和成果，评价指标体系没有考虑科学数据中心类型、学科、发展阶段、社会环境等特征造成的差异性。因此，急需构建新型的适用于各种不同的科学数据中心的评价模型和体系，实现对科学数据中心公平、有效、合理的评价，以促进科学数据中心管理能力和科学数据支撑科学研究能力的提升。

本文将在综合考虑科学数据中心差异性特征的基础上，提出一套适用于不同类型不同级别的科学数据中心运行状况评价模型，以提升科学数据评价体系的技术水平和能力。

1 研究现状

1.1 科学数据中心运行状况评价万法

科学数据中心的运行状况评估方式与方法主要分为机构自评和第三方评估两种。机构自评即由数据仓储机构自身根据设定好的评估体系和指标进行自我检视和评价的一种评估方法。该评估方法可随时开展，有利于其判断自身发展是否达到预期目标以及判断其水平高低的标准。在评价活动正式开始时，需要被评价方提交正式的自评价报告，根据评价指标要求，逐项对其运行绩效进行描述。核心可信数据仓储认证（CoreTrustSeal Certification，CTS）[7]和开放数据晴雨表（The Open Data Barometer，ODB）[8]等评估方案都采取了机构自评这种方式。前者为主动的自评，后者为被动的自评。

第三方评估则是指由与评价组织者和被评价主体无直接关系的第三方按照一定的标准对被评价主体做出评价。这种评估方式能够避免利益相关部门的利益羁绊，最大程度地实现评估结果的独立、客观与公正。在针对开放数据的评估中，第三方评估有专家调研、同行评审、大众评估和网络系统分析等方法。ODB在最近一次评估方案中，通过定制的在线调研平台于2017年12月至2018年3月进行专家调研[8]。联合国开放政府数据评估（Open Government Data Assessment，OGDA）也采用了专家调研这种方法，但使用了面对面访谈形式进行专家调研[9]。CTS认证过程中，机构自评提交后进入同行评审阶段，由CTS董事会召集人员来完成[7]。OGDA大众认知调查对至少50位包括私人机构、政府机构、筹资/投资机构、社会服务机构、科研学术机构、民用技术和媒体等方面的代表进行了问卷调查[9]。欧洲开放数据监测评估项目（OpenDataMonitor）通过网站平台收割欧洲公共行政机构开放数据中心的元数据，描述欧洲开放数据资源概况，实现数据目录、数据和元数据的开放以及评估结果的可视化[10]。2011年，科技部、财政部联合发布了《关于开展国家科技基础条件平台认定和绩效考核工作的通知》[11]，并向社会公布了《国家科技基础条件平台认定指标》和《国家科技基础条件平台运行服务绩效考核指标》[12]。

1.2 国内外科学数据中心评价万法的应用

在国外，CTS的认证方式为首先根据评估指南Core Trustworthy Data Repositories Extended Guidance进行机构自评，再通过同行评审，评估方案组织方CoreTrustSeal委员会才会向数据中心颁发CoreTrustSeal认证[7,13]。开放数据准备度（Open Data Readiness Assessment，ODRA）制定并发布了详细的评估办法“Open Data Readiness Assessment Methodology”和用户指南“Open Data Readiness Assessment Users’ Guide”，对8个评估维度进行了详细的解释，并针对每个评估维度，列出了正面和负面的例证，给出了非常详尽的评价参考[14]。OGDA综合了UNDESA的“开放政府数据公众参与指南”（Open Government Data for Citizen Engagement Guidelines）、世界银行的ODRA、互联网基金会的“开放数据晴雨表”以及世界经合组织（OECD）的“OUR数据指数”等评估方案的特点，从8个评估维度出发，采用了包括文献研究、媒体监测、桌面研究、调研、自评（工具）、实地考察以及利益相关者专题讨论等评估方法[15]。ODB以专家调查为主导，政府自评和二手数据调研作为辅助，制定发布的专家评估手册（Open Data Barometer Leaders Edition Research Handbook - v1.0）， 对专家调查提出了非常详细的建议。它建议专家通过问卷中的信息检索指导、开放数据专家、非营利组织成员、记者和政府专员等途径寻求评估问卷中所涉及问题的信息和证据[8]。基础风险评估的数字仓储审核方法（Digital Repository Audit Method Based on Risk Assessment，DRAMBORA）自我评估过程包含3个步骤：①评审员创建机构简介，描述仓储的义务、目标、活动和资产；②评价中存在的风险；③评审员提出针对已识别风险的管控办法，并通过一个在线评估工具包DRAMBORA interactive toolkit实现评估[16]。美国NASA的EOSDIS（Earth Observation System）系统对其数据中心的评价主要分为两部分：一是对其系统性能数据进行提取，主要考核其科学数据处理系统、地球科学数据与服务、元数据、常规元数据仓储、用户注册系统等方面；二是接受美国科罗思咨询集团（CFI Group）开展的客户满意度调研，该集团使用的基于科罗思方法的美国客户满意度指数ACSI是美国国家标准指数之一[17-18]。

在国内，国家人口健康科学数据共享平台根据《国家人口健康科学数据共享平台运行服务实施方案》形成了稳定的运行考评机制，其评价方式包括线上评测、现场评测、组织行为评测和自评4种方式。考核评价指标分为两套核心评价量表，即绩效考核指标表、资源综合评价指标和评估内容[19]。国家农业科学数据中心使用两种方式进行运行评价：按一套可定量化的体系进行自动化评估以及按一套定性评估指标体系由领域专家进行会议评估。其由系统自动提取的定量评价指标有3个一级指标，即环境类指标、数据库类指标、用户类指标；定性评价指标有3个一级指标和8个二级指标，重点考查数据整合与中心建设、共享服务效益以及人才队伍与运行机制等3个方面[20]。国家生态系统观测研究网络制定了其章程、运行服务绩效考核评估办法、评估细则、野外研究站遴选考核与评估办法等规章制度，其年度考核采用自动统计、人工抽查、专家评估、用户反馈等形式，对各项评估指标进行加权统计，综合打分。每3年依据前两年的考核结果对国家生态站进行一次综合测评，每5年进行一次综合评估[21]。中国科学院科学数据库每年开展一次定量与定性相结合的考核，考核方式包括系统采集数据、提交考核报告、口头汇报、专家评审等方式，评价指标体系含有4个一级指标，有12个二级指标，有16个三级指标，主要考核数据中心在数据资源、在线系统、运行维护、服务成效等方面的表现[22]。国家科技基础条件平台认定和绩效考核方法秉承科技平台“整合、共享、完善、提高”的理念，以管理机制、科技平台资源整合状况及运行状况和长效发展能力作为重点考察内容；绩效考核指标以认定指标为基础，突出科技平台的共享作用，重点考察科技平台的服务数量与服务成效，重视用户评价的反馈[23]。

1.3 评价万法的分析

经过对当前评估案例的调研，可以发现当前的评估方案具有的特点是：一个评估方案通常采用几种评估方法，但评估指标是固定的；定性评估与定量评估相结合，没有一个综合性的可比较结论。综合来看，现有科学数据中心评价体系的不足之处包括：①科学数据中心是同质的，科学数据中心的运行背景是静态的，因而评价体系的指标内容和权重等要素都是固定的，而科学数据中心实际上是在非常复杂的场景下运行发展，如科学数据中心在学科类别、层次等级、建设时长等方便存在巨大的差异性，且科学研究不断进步，科学数据中心发展的政策、学术环境也是动态变化的，用统一的、简单化的、一成不变的考核评价方法体系，显然不能适用于科学数据中心公平和长期的评价。②现有的评价方法的定量化程度不足，以定性或者半定量化的方法为主，这就导致了科学数据中心评价时存在较多的灰色地带，也增加了评价的工作量。因而，迫切需要针对科学数据中心的复杂场景开展科学数据中心运行状况评价模型的研究。

2 模型构建

2.1 科学数据中心的异构和动态特征分析

科学数据中心运行发展的复杂场景可以分为异构性和动态性条件（特征）两个方面。

（1）异构是指一种包含不同成分的性质。科学数据中心的异构特征体现在很多方面，如科学数据中心的地理空间位置分布、层次级别、学科领域、隶属系统等。对科学数据中心运行状况进行公平合理评价需要充分考虑性质不同的诸因素的影响。本文选取不同科学数据中心间差异最明显的学科、级别、分布区域、成熟度、隶属系统作为科学数据中心的异构特征。

（2）动态是指随时间发生变化的性质。科学数据中心的动态特征是随着时间发展，科学数据中心内部条件、外部环境发生变化的特征。如随着科学数据中心建设的深入，科学数据中心的工作重心是动态变化的，而随着学术研究的深入和支持政策变化，科学数据中心的考核指标也应该是动态变化。本文通过评价指标的权重变化体现工作重心的变化，选取考核指标的属性体现考核指标的动态变化。

2.2 科学数据中心的动态异构评价指标体系模型

在开展科学数据中心运行状况评价时，需要以具体的考核指标获取运行状况数据，因而考核指标的设计至关重要。本文提出的考核指标不同于现有的考核指标体系，所提出的考核指标体系需要明确考核指标的动态性、异构性和指标采集数据的定量或者定性特征。

设科学数据中心的考核指标体系为P1, P2, P3,P4, ...，而对于多级考核指标体系，可以在现有指标体系的基础上划分为二级或者多级的指标。如P1可以继续划分为P11, P12, ..., P1n。考核指标可以根据科学数据中心的管理者意图、当前科研条件与水平、科学数据中心职责内容等具体设立。在充分借鉴国内外现有科学数据中心考核评价指标体系内容的基础上，根据我国科学数据中心发展的特殊阶段，结合我国《科学数据管理办法》对科学数据中心职责的要求，本文提出了一套科学数据评价指标体系。这套指标体系从科学数据中心的资源整合能力、平台服务、分析与挖掘、运行管理、支撑条件、可持续发展和国际影响力等7个方面对科学数据中心进行评价，具体包括30个二级评价指标，具体情况见表1。对于每一个具体的考核指标，进一步明确这个考核指标的动态性、异构性和数据性质。譬如，多数考核评价指标体系都把科学数据中心的注册用户量作为考核指标。很明显，这个指标既受科学数据中心所属的学科、级别、成熟度、隶属系统等异构特征的影响，也受科学数据中心工作重心等动态特征的影响，注册用户量可以直接用一个整型数表达，是一个实数。因而，科学数据中心动态异构评价指标体系的模型见表1。

2.3 科学数据中心运行状况评价模型

由表1可知，科学数据中心评价的指标集合为P:{ P1, P2, P3,P4,P5,...}，每个评价指标都有相应的异构和动态特征，其中动态特征的权重是指这个评价指标的权重随时间的变化而变化，属性是指这个评价指标的内涵随时间的变化而变化。评价指标集合P中的内容也是随时间的变化而变化。把异构特征的学科、级别、区域、成熟度、隶属度分别表示为S、L、D、M、U；把动态特征的权重和属性分别表示为W、A。

表1 科学数据中心动态异构评价指标体系模型

在一般情况下，科学数据中心的运行状况评价有一个周期，有些科学数据中心管理机构1年评价1次，也有一些机构3年评价3次，甚至5年评价5次。为了在一个较长时间段上描述科学数据中心评价工作，设在一个较长时间段内对科学数据中心评价的时间点为ti( i = 1, 2, ...,m)（ti指一个评价周期的结尾，可以是1年或者n年的结尾），评价对象（即各个科学数据中心）为Uk(k =1, 2, ..., g)。

设特定时间点为ti，其评价指标体系以及指标的权重都是确定的，其评价体系主要体现为异构性。通过实时抓取、科学数据中心填报、考核指标信息值量化建模等步骤，设所有评价对象采集的数据集为：

2.3.1 异构特征评价内容转换模型

Xih是一个实数。如何把通过各个评价指标Pj采集的具有异构特性的实数、区间数和语言变量转化为合理的Xih值，是本文提出的评价模型要解决的关键问题之一。根据考核指标采集的原始数据的不同，本文提出把采集的原始数据结合评价指标的异构特征，构建将原始数据转换为合理值的异构函数的方法。即，对于实数类型的原始值Pih，通过式（2）转换为Xih。

其中，F是转换函数。

对于区间数据类型的原始值Pih，首先需要把区间数转化为具体的实数，进而结合异构特征构建转换函数。即，

其中，Qih是一个实数，h是区间数Pih转换为实数的规则或者函数。最后Xih获取的方法为：

对于语言变量类型的原始值Pih，首先需要通过专家评审打分、专家系统、人工智能模型等方式把语言变量类型转化为可比较大小的实数，进而结合异构特征构建转换函数获取Xih。即，

2.3.2 动态特征评价内容转换模型

获取ti时刻各个科学数据中心的评价指标体系的量化值后，为了把所有考核指标的值转化为一个综合值，需要确定每个评价指标的权重值，即ti时刻的权重。这个权重可以随着时间的变化而变化。ti时刻的权重可以采用层次分析法[24]{Saaty, 1990 #26}等方法建立。该方法将一个复杂的多目标决策问题看作一个系统，将目标分解为多指标（或准则、约束）的若干层次，并通过计算判断矩阵的特征向量，获得每一层次的各元素最优权重。

在ti时刻，对Uk科学数据中心经过异构建模获取了其指标量化值经过层次分析法等方法获取了指标的权重那么ti时刻科学数据中心的综合评价值aki为：

在其他时刻，科学数据中心的考核指标体系是需要动态调整的即P是变化的，各个考核指标的权重也是要调整的，相应时刻考核评价指标体系的建立需要在上一个时刻指标体系的基础上，综合考虑管理者意图、学科发展状况、国家政策环境、科学数据中心业务内容等进行调整。在一般情况下，相邻两个时刻的考核评价指标体系不做巨大的变动。考核指标确定以后，可再次应用层次分析法，确定此时刻评价指标的权重。

2.3.3 科学数据中心评价综合值

对于一个评价时间段的多个时间点，经过为每个时间点构建评价指标体系模型、评价内容采集、异构评价内容建模、指标权重动态确定等步骤，最终可以获取各个评价对象综合评价值。这些评价值的时间序列构成如式（7）的矩阵：

其中，aij表示评价对象Ui在tj时刻的科学数据中心评价综合值。

假设需要获取一个评价周期多个时刻评价指数的综合值，那么每个时刻对应的评价值可以采用加权求和的方式，作为这个评价周期的综合评价值，实现动态异构场景下科学数据中心的评价。

3 结论与讨论

科学数据中心运行状况评价是对于科学数据中心运行的成效进行监督的重要手段，也是促进科学数据中心提高管理服务水平，支撑科技创新和经济发展的重要方法。我国科学数据中心具有涉及的学科领域多、管理层次级别多、空间分布区域多、发展阶段不同、隶属行政系统不同等复杂场景，如何在此复杂场景下开展科学数据中心的公平、合理评价，提高科学数据中心建设管理服务的积极性，激发数据中心的活力，是本文需要解决的首要问题。

本文把我国科学数据中心的复杂场景特性总结为数据中心的动态性和异构性，提出了考虑动态异构特征的科学数据中心运行状况定量化评价模型。该模型首次考虑了科学数据中心的异构性和动态性特征，提出了异构和动态建模方法，最终构建了定量化的科学数据中心运行状况评价指数，实现任意科学数据中心在任意时刻的定量化评价，大大提高了科学数据中心运行评价方法的科学性、先进性、公平性、实用性，必将促进科学数据中心管理工作的进步，提升科学数据中心的总体发展水平。

本文是首个面向复杂场景下科学数据中心定量化评价的模型，也是科学数据中心合理评价的顶层设计方案。该模型的有效实施依赖于3个重要基础：①科学数据中心各个评价指标数据的有效采集，包括数据中心运行状况信息的完整和准确填报两个方面。②异构特征转换模型的建立，异构特征转换函数能否兼顾公平与效率，反映出科学数据中心建设的成效，是该评价模型有效实施的关键。③评价指标及其权重的动态生成，决定了该模型能否反映某一阶段数据中心工作重心，也决定了该模型在引领科学数据中心发展的能力。

本文作为科学数据中心运行状况评价方法的前瞻性研究，将会在接下来的科学数据中心评价工作中实现具体应用。未来将进一步提升模型的精细化程度，采用人工智能、自动化系统、公众纵包等技术和方法提高模型的自动化程度，并面向部分科学数据中心，开展评价数据的采集，构建异构指标转换函数及模型，采用层次分析法，建立专家委员会，利用专家智能开展指标权重定期评价，实现科学数据中心评价指标体系权重的持续更新，利用异构函数转化后的评价指标值以及相应的指标权重，实现科学数据中心运行状况的定量化评价。