云计算、大数据在水利档案管理系统建设中应用的构想

2017-03-01王津琳

海河水利 2017年6期

关键词：水利档案管理资源

王津琳

（海河水利委员会水利信息网络中心，天津300170）

云计算、大数据在水利档案管理系统建设中应用的构想

王津琳

（海河水利委员会水利信息网络中心，天津300170）

简要介绍了云计算、大数据和档案的概念及其相互关系，认为在海委现有水利信息化基础上可以搭建海委云计算平台和海委档案管理大数据平台，建立海委档案微应用和移动应用，以提升海委档案管理的智能化水平和便捷高效的服务能力。

云计算；大数据；档案管理；系统应用

随着海河水利委员会（以下简称海委）水利信息化建设的加快和推广，海委档案管理工作经过不断地探索研究，基于水利电子政务网，已将成熟的软硬件技术应用到档案管理体系中，进一步提升了档案的收集、管理、开发和利用能力和水平。这是档案管理的终点吗？笔者认为，肯定不是。“十三五”以来，根据国家实施大数据战略的提出和国务院印发的《促进大数据发展行动纲要》，水利部编制印发了《关于推进水利大数据发展的指导意见》，旨在水利行业推进数据资源开放共享，促进水利大数据发展与创新应用。

1 云计算、大数据与档案

1.1 云计算

云计算（Cloud Computing）是分布式计算（Dis⁃tributed Computing）、并行计算（Parallel Computing）、效用计算（Utility Computing）、网络存储（Network Storage Technologies）、虚拟化（Virtualization）、负载均衡（Load Balance）、热备份冗余（High Available）等传统计算机和网络技术发展融合的产物。私有云和公有云是其重要的两种应用模式，私有云是单位自己使用的云，它所有的服务不是为了别人使用，而是供自己内部人员或分支机构使用。公有云是云运营商提供给用户能够使用的云，一般通过Internet付费使用。海委档案管理适合建立在海委私有云上。

1.2 大数据

大数据（Big Data）是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据是指不用随机分析法（抽样调查）这样捷径而采用所有数据进行分析处理。它具有5V特点，即Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veraci⁃ty（真实性）。海委档案数据具备5V特点。

1.3 档案

海委档案主要包括文书档案、科技档案、会计档案、音像档案、机要档案等多种类型档案，已实现档案资源的数字化，可为搭建新一代海委智慧档案系统提供基础数据资源。云计算为海委档案管理提供基础计算和存储资源，可以强化基础设施的扩展和服务能力；大数据为海委档案管理提供档案分析、挖掘能力，可以整体提升档案管理的服务水平。总体上说，档案管理负责生产数据，云计算负责数据存储和计算，大数据负责数据分析和提供服务。

2 海委云计算平台搭建

经过多年信息化建设，海委建成包括电子政务系统、防汛抗旱指挥系统、水资源监控能力系统、水文监测系统、水土保持系统等政务及业务系统，各系统统一部置在信息中心机房，基于项目配置的软硬件环境独立运行，部分系统运行在虚拟机上。硬件计算和存储资源的分散管理利用，在当前软硬件技术架构上无法共享及统一管理分配，需要利用云技术统一管理各项目的软硬件资源。

2.1 梳理已建软硬件资源列表

搭建云平台不是为了追逐技术，而是为了应用服务。为此，首先需要梳理已建的应用系统有哪些，涉及哪些服务器、哪些软件，以及相关软硬件的型号、版本，为逐步向云平台迁移做好准备。

2.2 规划云平台核心应用功能

根据海委软硬件资源的现状，充分利用已有资源，实现异构资源和存量资源混合环境的按需分配、统一管理、统一调度和资源的合理规划。分层次按资源池/域/集群/节点对异构计算环境进行统一管理，构筑海委云平台。云平台通过服务化的方式形成统一的基础资源服务目录，通过用户自助门户，实现基础资源的快速申请、审批和使用流程，更好地支撑政务、业务对软硬件资源的需要。

2.3 定制档案管理的个性服务

海委档案电子原文信息几乎涉及到所有电子文件类型，主要包括文本文件、影像文件、多媒体文件、图形文件等。为了方便借阅用户使用档案文件，云平台应结合用户借阅权限自动提供文件使用虚拟化终端，借阅期满虚拟终端自动回收。

3 海委档案管理大数据平台建设

目前，海委的档案数据基本存储在关系型数据库中，客户端功能以查询、检索为主，由于数据量、服务器处理能力等原因的影响，在此软硬件架构上很难对功能、性能进行大提升。因此，需要应用云平台、大数据技术，通过多类型数据采集平台进行数据采集，在智能数据处理平台上对这些非结构化信息、多媒体信息和用户信息进行分析，最后在应用平台上提供数据挖掘结果的搜索功能和多媒体自动编研功能。

3.1 档案数据采集

档案数据采集离不开档案鉴定。通过业务专家、档案专业人员、大数据技术专家的档案鉴定工作，形成档案大数据采集的基础标准和规范。在新的采集体系中，可以扩大档案数据的采集范围，除了归档之前已被认为的档案文件外，还应将相关的文件及在线运行的历史数据进行自动的采集归档，为大数据应用分析、挖掘提供更丰富的数据支撑。

3.2 档案数据处理

根据档案数据采集的内容及数据间的关联关系，档案数据处理环节应充分利用大数据平台提供的元数据管理和数据标签能力，保留、定义、提取数据逻辑关系。如，自动定义单页扫描文件与自动识别后的文本文件的关系，智能提取自动识别后的文本文件的关键字等。

3.3 档案数据分析

从海量的大数据库中找到用户可能最关心的档案，是大数据平台的重要任务，通过分类、回归分析、聚类、关联规则、神经网络方法、决策树等算法，能够根据用户的需要从不同的角度对档案数据进行挖掘、分类、提取、排名，快速定位相关档案。如，用户根据当前工作的需要输入一段文字，查找相关档案，大数据平台将自动进行关键字提取，利用关键字快速检索相关档案，对搜集到的档案进行聚类分析，利用聚类结果对不同的档案赋以不同的类标记，然后利用分类功能组织档案。

4 海委档案微应用、移动应用建立

4.1 档案微应用

传统档案系统的建设模式是通过设计、开发、测试、部署、试运行等阶段之后投入系统运行，用户才能正常使用，这种建设模式不仅投入大而且建设周期较长。架构在云平台、大数据技术基础上的档案应用开发模式是将核心、复杂的档案业务模块以组件形式封装到平台中，档案系统开发者可在平台的基础上自定义、组装业务流程，开发出更多碎片化、个性化的微应用。微应用比传统的应用更轻量级、搭建起来更简洁、更灵活，同时对其进行改造提升也更为便捷。每一个微应用之间都是松耦合的，开发者可以根据用户的需求去开发各种微应用，更直接地面向用户提供服务，档案系统的复杂度也会因此而大幅降低，灵活度大幅增加。