数据资源共享服务平台的应用研究

吕曹芳 王光兴 吴燕

摘  要：文章主要针对已有数据资源的特点，融合了大数据等相关技术，依托云平台构建了数据资源共享应用服务支撑平台体系。分析了现有平台数据共享和应用方面的不足，探讨了数据共享服务工作流程，共享服务平台的体系架构等，为数据资源共享的应用提供了技术和方法。数据资源共享应用服务支撑平台中给出了数据共享服务平台、数据应用支撑工具，以生成数据产品或数据资源，推动数据共享应用。

关键词：数据共享;云平台;数据中心;大数据

中图分类号：TP393.0;TP308      文献标识码：A 文章编号：2096-4706（2020）20-0112-04

Research on the Application of Data Resource Sharing Service Platform

LYU Caofang，WANG Guangxing，WU Yan

（PLA Army Academy of Artillery and Air Defense，Hefei  230031，China）

Abstract：Based on the characteristics of existing data resources，this paper integrates big data and other related technologies，and builds the data resource sharing application service support platform system relying on the cloud platform. Analyzed the shortcomings of the existing platform data sharing and application，discussed the data sharing service workflow，the architecture of the sharing service platform，etc.，and provided technology and methods for the application of data resource sharing. The data resource sharing application service support platform presents data sharing service platform and data application support tools to generate data products or data resources and promote data sharing application.

Keywords：data sharing;cloud platform;data center;big data

0  引  言

当前，云平台、大数据技术的迅猛发展深刻改变着人们的思维，也对传统的数据存储管理和共享服务方式产生了革命性的影响[1]。但是，受当时技术条件的制约，这些平台都不是以大数据技术体制为背景开发的，面对来源广泛、容量巨大、更新频繁的数据资源，现有的平台已经无法满足对的数据存储、计算、分析能力不断增长的需求[2]。因此，亟须广泛融合大数据等相关技术，合理借鉴现有的、成熟的、专业的数据工具，构建新型的大数据管理和共享服务平台，以真正实现数据的安全、可靠、高效管理和共享应用。数据是数据资源建设的“源头”，为实现数据的“聚、通、用”，本文探索构建了数据资源共享应用服务支撑平台体系，并为基于云平台的数据资源共享的应用提供了方法。作者单位因“十二五”以来的数据资源建设专项，积累了大量数据，但缺少相应的管理和共享服务平台，所建数据无法进行有效加工整理和入库管理，更谈不上全面共享应用。因此作者探索构建新型的大数据管理和共享服务平台，为真正实现大数据的安全、可靠、高效管理和共享应用提供思路。

1  数据共享工作流程

国内在大数据建设初始，数据共享机制缺乏，制约了服务质量和效率，前期研制的相关数据平台大多侧重于数据管理功能，在数据共享服务和应用支撑方面重视不够[3]，为了提高共享使用数据的积极性、主动性、按需共享、安全管控等服务，研究给出了数据共享工作流程，为实现数据的高效管理和共享服务提供了思路。

数据共享服务工作由四部分组成：一是数据用户注册审批;二是数据目录管理发布;三是数据发现和应用;四是数据共享评价，工作流程如图1所示。

数据共享用户必须通过数据共享门户网站提交用户注册信息，共享审批组根据实际情况审批用户，并确定用户分级和数据共享权限，审批通过的用户在正式登陆之前设置身份验证方法和信息。

数据中心共享服务组对数据目录进行管理，形成数据目录，待数据中心共享审批组审批后，在数据共享门户网站上发布数据目录。

用户登录后，通过浏览和查询数据目录了解现有数据情况，根据实际应用需要和自身权限，查询和下载相关数据，或向数据中心提出数据共享申请，共享审批组对用户数据共享申请进行审批，数据共享服务组根据数据共享申请制作数据产品（含分析计算和数据处理），然后通过在线或离线的方式分发共享数据。

用户使用数据后，结合实际情况向数据提供方反馈数据使用情况、同时按要求销毁共享数据，数据提供方根据反馈情况进行数据共享评估和数据质量溯源。

2  平台总体架构

2.1  平台体系架构设计

平台体系架构是平台建设的一个综合模型，其由许多结构要素及各种视图所組成，而各种视图主要是基于各组成要素之间的联系与互操作而形成的，用来完整描述平台建设的整个体系。数据资源共享应用服务支撑平台体系如图2所示。

运行环境支撑主要包括基础软件、基础硬件，操作系统等[4]。其中基础软件主要包括云操作系统软件、大数据基础软件和支撑服务软件组成，为上层各应用系统提供数据访问、数据存储、大数据处理、虚拟和物理资源的分配与调度以及服务运行支撑等服务，为下层硬件设备提供资源虚拟化与调度管理服务，为跨云平台的各类数据信息资源和应用系统提供全生命周期的管理和维护，是资源服务和管理维护的核心系统软件，是云平台的神经中枢，对云平台的整体运行质量具有重要影响。

理论技术支撑主要包括云平台，大数据技术等。云平台为大数据资源提供承载环境，为大数据分析挖掘提供软硬件支撑，为应用系统的迁移、开发、部署、运行、维护提供数据服务和支撑。大数据技术主要是数据接入与存储、大数据并行计算等。

数据共享服务管理平台和数据共享门户网站是整个平台体系建设的重点。数据目录管理发布平台、数据产品制作工具、数据可视化建模工具等则是为数据共享服务工作提供工具支撑。平台及相关工具研制需要相关共享服务标准规范和机制作保障，平台的运行需要相关数据支撑。

数据共享应用用户通过数据共享门户网站或离线方式获取共享数据，开展数据应用工作，并反馈数据共享服务质量问题;数据应用系统开发用户通过数据共享门户网站共享应用系统开发相关资源（开发组件），进行数据应用系统或相关业务系统开发。

2.2  平台功能架构设计

数据资源共享应用服务支撑平台主要包括两大部分：数据共享服务平台和数据应用支撑工具（数据应用系统分为：共享应用支撑工具和应用开发支撑组件两部分）。各部分的主要功能组成如图3所示。

数据资源共享应用服务支撑平台功能架构集服务、管理、应用、开发为一体。

（1）数据共享服务平台。主要包括数据共享服务管理系统和数据共享服务门户网站。

数据共享服务管理系统能为数据管理用户提供用户管理、数据目录管理与发布、数据产品分发、共享效益评估等功能，确保数据目录能按级动态发布，数据资源能按需按权共享。

数据共享服务门户网站能为数据应用用户提供数据查询、数据产品（数据资源和数据模型等）、数据计算等服务功能，确保用户能高效共享数据资源和计算资源。

（2）数据应用支撑工具。主要包括数据可视化建模工具，数据产品制作工具等。旨在为数据共享服务工作提供数据产品制作、数据计算分析、数据应用建模、数据预处理等功能。其中，数据可视化建模工具，通过ROLAP服务、Spark计算服务、SQL接口等，最终实现用户要求的可见操作界面的数据分析挖掘建模和应用可视化建模及设计;数据产品制作工具，是数据共享服务平台与数据云存储平台之间的连接器，其根据数据共享服务平台中用户的数据产品需求，通过整合、分析、计算等方式，将数据云存储平台中的数据进行加工，生成数据产品或数据资源[5]。

（3）应用开发支撑组件。主要提供的数据应用系统开发组件包括：MGIS组件、数据应用模型组件、分析挖掘组件、数据可视化组件等。旨在对内向用户提供数据应用所需的数据和应用系统开发支撑，以避免重复开发，提高应用系统开发效率，更好更快推动数据应用工作;向外开放数据应用接口，以提高数据开放共享能力，全面推动数据共享应用工作。

3  数据发现与共享服务

数据发现与共享服务主要为数据用户提供数据目录检索、数据检索、数据共享申请、数据产品浏览下载等功能。数据发现与共享服务工作流程如图4所示。

数据发现与共享服务工作流程通过目录检索检测所需数据，有使用需求，提出共享申请最终获取数据的过程。

（1）目录检索：数据用户登录数据共享門户网站，浏览和检索数据目录，帮助用户了解数据资源池中数据情况，作为数据共享申请的依据。

（2）数据检索：通过复合条件检索工具检索数据产品，如果检索到符合条件的数据产品，在用户权限允许的情况下，可以直接浏览或下载数据。

（3）数据共享申请：对于没有现成的符合用户需求的数据产品，或者有现成数据产品但受权限限制无法在线获取的数据产品，用户通过门户网站提出数据共享申请。

（4）数据共享申请审批与数据产品分发：根据情况审批用户共享数据产品的权限，或者重新制作符合用户需要的数据产品，然后向用户分发数据产品（或制作数据产品光盘）。

（5）用户数据获取：用户通过数据共享门户网站在线下载分发的数据产品，对于密级较高的数据产品，需要通过机要邮寄或现场领取的方式获取数据。

4  结  论

本文主要在现有成熟的云平台、大数据技术基础上，吸收了最新架构技术，通过建立合理的数据共享机制，构建了安全可靠的数据共享应用平台。一方面彻底消除数据建设者的安全顾虑，切实让数据共享应用起来;另一方面让所有的数据共享行为能得到认可和激励，确保数据常建长用。但在建构过程中个别软件与整个平台系统的协调性、兼容性还有待进一步完善，数据建设标准还需要进一步研究。

参考文献：

[1] 沈怡.科研数据实践的实证研究对数据管理和共享的重要意义：个案回顾、反思与前瞻 [J].图书情报知识，2018（4）：102-108.

[2] 吕欣，韩晓露，毕钰，等.大数据安全保障框架与评价体系研究 [J].信息安全研究，2016，2（10）：913-919.

[3] 李正超.国内科学数据共享平台建设现状及发展策略研究 [J].图书馆理论与实践，2018（8）：108-112.

[4] 傅天珍，郑江平.国外面向科研人员的科学数据共享探析 [J].图书馆论坛，2015，35（2）：76-81.

[5] 刘晶晶，马建华.论科研数据开放共享的三种途径 [J].情报杂志，2015，34（10）：146-150+96.

作者简介：吕曹芳（1979.09—），女，汉族，安徽寿县人，副教授，硕士，研究方向：数据挖掘等。