浅谈大数据云服务平台的原理与设计

沙威　邱晓荣　黄能耿

摘要；近年來，大数据和云服务得到了广泛的关注和迅猛的发展，而结合两者特点搭建的大数据云服务平台更已成为科研领域中的重要焦点。本文简述了大数据、云服务的概念原理和基本特点，并依此设计了一个大数据云服务平台，同时也对该平台的功能要求和技术指标做了一些简单有益的探讨。

关键词：大数据；云服务；数据安全

中图分类号：TP368.1 文献标识码：A 文章编号：1009-3044（2017）07-0083-02

近年来，随着信息技术的迅速发展，人类社会发生了前所未有的变革，各行各业已经普遍认识到海量信息的重要性。目前，在众多的新兴科技中，大数据和云服务是最受人们关注的两个典型代表，而两者的结合已经成为科研领域中的重要焦点，众多成果已经越来越多地渗透到了现实生活。

1大数据技术

1.1大数据的定义

当今的信息社会中到处都充满着种类繁多、信息多样化的数据，例如电子商务平台的购物数据、即时聊天工具的文字数据、视频服务提供商的影音数据等，它们无时无刻地影响着人们的日常工作和衣食住行。根据国际咨询公司Gartner给出的定义，“大数据”是一种需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。而麦肯锡全球研究所给出的“大数据”定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

1.2大数据的特点

美国IBM公司用5V来概括了大数据的性能特点，分别是：Volume（规模性）、Variety（多样性）、Velocity（高速性）、Veracity（准确性）、Value（高值性）。其中，规模性指的是大数据的数据规模即可以达到TB、PB，甚至EB的规模。多样性指的是大数据能够包含各类形态和格式的数据。高速性指的是大数据一般需要在有限的时间限度内获得及时处理。准确性指的是大数据的处理结果务必要保证相当高的准确性。高值性是指大数据含有诸多深层次的价值，能够通过数据分析和数据挖掘给整个社会带来巨大的生产价值和商业价值。

1.3大数据对存储的要求

大数据的数据类型一般可以分为三大类：传统企业数据、机器和传感器数据、社交数据等。大数据的出现，使得社会信息总量呈指数增长的趋势，同时也对数据存储提出了更高的要求，同时也对如何有效管理大数据提出了更高的要求。大数据对相关存储设备的容量、读写性能、可靠性、扩展性等都提出了更高的要求，需要综合考虑数据安全性、数据稳定性、功能集成度、系统可扩展性、性能及成本各方面因素，为此云服务平台就应运而生了。

2云服务平台

2.1云服务的定义

目前，在大数据实时性越来越高、计算量越来越大、数据越来越多的背景下，云服务已经成为信息技术行业的一种主流基础架构和成熟商业模式。那么，什么是云服务平台呢？云服务平台，又被称为云计算技术，是并行计算、分布式计算和网格计算进一步发展的产物。

根据美国国家标准和技术研究院NIST的定义，云计算是一种通过互联网随时随地、便捷按需地访问共享资源池（如应用服务、计算设施、存储设施等）的计算模式。也可以把云计算可以看做是一种模型，该模型可以方便按需地访问可配置的计算资源公共集（计算机网络、计算机服务器、相关存储设备、应用程序以及服务等等）。

2.2云服务的特点

一般来说，云服务具有以下5个特性：1）按需服务，可以依据终端用户的实际需求对云服务所提供的各种资源进行自动分配。2）泛在接入，终端用户可以依托各种智能终端（如笔记本、智能手机、平板电脑等）通过互联网访问云服务。3）资源池化，云服务资源依托资源池的方式，利用虚拟化等相关技术，按照用户需求以多租户的形式提供服务。4）快速伸缩，云服务的规模必须根据用户需求快速响应，以能够自动适应业务负载的动态变化。5）按使用计费，要求能够实时监控云服务的资源使用量，并依据实时使用情况对服务精确计费。

3大数据云服务平台

3.1任务简介

大数据云服务平台主要实现主数据中心和区域数据中心具有统一的门户建设，该门户具备登录人口，统一的权限认证。实现现有应用的集成，服务接口的调用以及服务的统一管理（包括服务的注册、发布和查询等）。根据需求开发相应的界面，结合调用指定服务实现相应功能。此外，具体的开发任务还应包括；文档撰写、研制开发、配套服务、培训与技术支持等几个方面。

3.2系统框架

针对大数据云服务平台的系统需求，该平台主要包括以下几个功能。以门户网站形式展现系统平台，将各类资源集成到门户中；用户访问统一登录人口、统一认证界面、统一权限管理；将现有的应用通过改造后进行界面集成；制定服务界面开发规范，提供服务界面开发规范和开发工具、模板的下载，方便用户开发服务界面并且能够快速集成至服务平台中。大数据云服务平台的功能组成如图1所示。

3.3功能要求

3.3.1门户网站搭建

采用目前较为主流的技术架构搭建，易于扩展，美观实用的门户网站。要求网站实现异地部署，统一用户信息。各类资源可以方便的集成到该门户中。

3.3.2模板、内容管理模块

网站内容管理提供统一的内容采编、模板和栏目管理；提供用户自定义页面布局。提供页面预览功能，在内容编辑完成后和发布之前可以看到实际效果。

3.3.3单点登录、统一权限管理

用户访问统一登录人口地址，进入统一登录认证界面。平台具有独立的用户信息管理库，当用户登录该平台时，根据其权限显示相应的内容，包括：操作项、服务和开发资源等。所有的注册服务都必须经由该平台启动，平台的权限管理只到服务级别，提供用户信息调用服务接口。

3.3.4服务统一管理

提供服务界面开发规范和开发工具、模板的下载，指导用户如何开发服务界面并实现服务在该平台上注册、发布，方便用户开发服务界面并且能够快速集成至服务平台中。将现有的通用支持平台（图计算处理、实时计算处理和内存计算处理）和业务支撑平台（业务数据可视化工具和交互式分析挖掘环境）等应用通过改造后以界面集成的方式集成到该平台中。

3.3.5元数据服务界面

根据元数据服务要求编写相应界面，调用相关服务实现该应用功能。

3.3.6多源异构数据综合查询界面

根据多源异构数据综合查询系统流程和要求编写相应界面，组织符合统一查询标准的SQL语句，调用统一数据查询接口，实现相应查询功能。

3.3.7平台管理

提供平台日志管理，包括；查询、删除和导出等。根据用户使用情况，在不改变平台架构的情况下，对平台进行修改，以满足使用的需求。

3.4技术指标

1）网页响应时间：≤2S；

2）平台并发用户数：≥1000个。

4小结

随着科技的进一步发展，大数据将逐渐成为信息处理的主流和必然发展趋势。在大数据场景下，云服务的应用满足了海量数据存储的需求，能够实现对大数据的科学有效管理。本文简单介绍了大数据、云服务的概念原理和基本特点，并依此设计了一个大数据云服务平台，同时也对该平台的功能要求和技术指标做了一些简单有益的探讨。