构建电子数据归档管理系统的实践

2018-08-09刘文婧韩建业

中国国情国力 2018年8期

◎刘文婧韩建业

随着时代的发展，数据的采集、处理、存储和应用都发生着深刻而巨大的变革，给政府统计带来了极大挑战。国家统计局《“十三五”时期统计改革发展规划纲要》就打造适用可靠的数据存储管理平台作出规划，在继续建设和完善国家统计数据资源体系的基础上，加快建设统计数据归档管理系统。国家统计局《关于进一步推进新形势下国家调查队改革和创新发展的意见》进一步强调，要加强国家调查队数据资源管理和共享能力，建立面向基础调查数据管理的工作制度及电子文件柜系统，推进各项调查数据资源统一存储与共享。

实践探索

湖北调查队系统按照“统筹考虑、统一规划、分期建设、分步实施”的构想，以国家统计数据库系统为基础，按照体系科学、功能健全、流程合理的系统建设规划和原则，开展电子数据归档管理系统建设。

1.系统建设的内容

系统包括综合数据文件柜系统、元数据库子系统及系统管理子系统三个主要部分。综合数据文件柜系统是用于连接统计数据处理系统和统计数据库体系的数据管理和整理的子系统，可以规划统计数据结构及安全域划分，并用于基础数据、成品数据的归档管理，提供接收、下载、导出、整理维护以及加载更新等功能。元数据库子系统是系统的重要组成部分，包含统计报表、调查制度等统计元数据的维护管理。元数据管理是其他子系统的工作基础，其他子系统都依赖于该系统。系统管理子系统主要是实现用户权限和相关的运维功能，包括用户管理、机构管理、权限管理、密码修改及日志管理等。

2.系统建设的机制

按照文件的方式（非结构化）进行归档管理、集中存储，实现分类别、分时段历史数据的可查询、可追溯、可复原和可使用，从根本上解决统计调查数据的存储、共享、开发等问题。一是建立统计数据共享机制。对文件资料进行统一共享设置，各业务部门人员通过不同的数据权限可在线预览和下载查看其他部门共享的数据，达到系统内文件共享的目的。二是建立任务跟踪机制。形成定期的归档制度，通过查询文件柜系统中的归档情况，可跟踪各业务部门上传文件的具体情况，包括待上传、已上传、未上传和迟上传，从而解决数据迟报、缺报的问题，实现精细化管理。三是建立元数据管理机制。基于ISO-11179、CSpro标准建立的元数据以及指标化数据管理体系，将数据资料进行电子化、标准化处理，实现数据查询的精准化。

3.系统建设的架构

总体架构包括：IT基础设施层、数据层、应用支撑层、应用层、界面层、支撑体系、运维体系、标准规范体系以及安全保障体系（见图1）。其中数据层的数据资源系统统一保存总队各业务系统数据，包括各种统计业务所需要的数据库及其所保存的数据资源及管理配置。功能架构也就是文件柜系统由首页、文件柜、元数据管理和系统管理四个子系统组成（见图2）。部署架构则为运行湖北调查系统内网，用户通过内网访问文件柜系统。应用服务器中安装操作系统和应用中间件，文件柜系统的应用程序部署在应用服务器中；数据库服务器中安装操作系统和数据库中间件，文件柜系统的数据库部署在数据库服务器中。应用服务器和数据库服务器通过光纤交换机连接磁盘阵列和磁带库，文件柜系统的物理文件存贮在磁盘阵列中，备份文件也存储在磁盘阵列中。

4.数据资源体系结构

一是数据标准化内容。除了指标、数据元、数据库结构等数据本身的标准化外，还有交换数据的标准、元数据标准等内容。二是数据采集处理模式。采用分散采集、集中处理、集中交换、集中管理、全局应用的建设模式，把来自各个业务处室、不同来源、不同存储方式、不同格式和不同质量的业务源数据，根据数据特点及时采集到统计数据库后，对数据文件进行解析，并以指标化的形式存储到工作库数据库中。对外交换数据统一由统计数据库进行存储管理，由统计数据库交换服务系统统一进行交换策略管理和交换方式管理，使数据交换服务规范化标准化。三是数据模型设计可扩展性。随着统计调查事业不断发展和数据库系统应用不断深入，必然要产生新的指标和新的数据。系统数据模型的设计力保适应新形势新变化，尽可能少修改甚至不修改各类数据表结构。四是数据资源支持类型。将数据资源分为业务数据、元数据两类。业务数据从功能上分为定报数据、普查数据和一次性调查数据。从数据内容形式上可以分为关系型的基础业务数据、统计指标数据、非结构化的文档多媒体数据等。元数据可按用途分为技术元数据、业务元数据和操作元数据。

图1 电子数据归档管理系统总体框架

图2 电子数据归档管理系统功能架构

5.系统建设阶段性成果

在国家统计局数据管理中心的关心支持下，湖北调查总队按照先行试点、从易到难、逐步推进的工作思路，全力推进该系统建设试点工作。于2017年2月完成了系统环境搭建，积极开展消费价格调查处相关价格调查资料加载试点工作，同时整理相关加载资料目录清单和用户操作手册，3月对历史数据归档工作进行部署，对系统整体功能、操作与管理流程进行了培训，正式启动了系统全面试点工作。4月再次组织各专业处室对需要加载的调查专业及报表进行再梳理确认，并按照规范的目录要求对收集的资料进行了编辑和整理，包括2006年以来除涉密电子数据资料以外的各类进度调查、各类普查、专项（委托）调查等原始和汇总数据及相关制度和说明、各种以电子方式存储的统计产品（出版物、文件等），含电子版文档、电子版统计调查数据和其他类需要归档管理的磁介质、媒体和音像类数据等。5月再次集中梳理试点中发现的新问题，对系统功能进一步完善，按照可读取、可识别（数据与调查制度相匹配）、可使用（可在目前计算机处理环境下使用）原则，逐个处室按目录完成数据加载验收。目前，近七年包括住户收支调查、住户专项调查、消费价格调查、生产资料价格调查、农业调查以及畜牧业调查在内的9个专业、118个制度、140个标准表，2000多个数据文件已全部完成数据加载，各项后续工作正在有序推进。同时，还出台了《湖北调查总队统计调查数据资料存储管理办法》，为历史数据的保管、开发和利用提供了制度保障。

6.存在的主要问题

电子数据归档管理系统建设是一项全新工作，没有太多经验可供借鉴，且涉及较长历史跨度和多个处室，使得对数据进行加工、整理、录入和审校工作量大，从湖北调查队系统的实践探索中可以看出，由于人员力量等客观条件限制，实现整体数据加载一步到位，客观上存在困难。从理论上说归档的历史数据越多越系统，其发挥的作用就越大，但在实际操作中，有的由于年代久远，技术原因导致数据无法解读；有的因人员变动或保管不善导致数据丢失，损失无法弥补；有的则是加工整理难度大。因此，抢救历史数据迫在眉睫。