大数据平台网络数据库云计算技术优化与平台搭建研究

杨晓雁，张博欣

(延安大学 数学与计算机科学学院，陕西 延安 716000)

网络数据库(Network Database，以下简称ND)，是一种跨越基本数据载体如电脑、服务器等，通过互联网、云系统搭建并运行的虚拟数据库[1]。ND理念中的数据之间关系为一对一、一对多关系。随着互联网普及程度的提升，利用网络数据库进行视频、图像以及其他各类型数据保存所带来的数据存储压力飞速提升。传统的集成光纤阵列技术、数据仓库技术等构建的网络数据库已经逐渐无法满足海量数据所带来的超高访问量以及访问频次要求。因此，本文基于云平台，对大数据应用体系中的网络数据库进行优化，通过集成云计算，实现了ND系统中的数据优先级访问功能；通过云计算、虚拟技术大幅提升ND系统存储能力、并发性和利用率等。

1 云数据库

云数据库(CloudDB)即云计算+网络数据库，是指被优化或部署到虚拟云环境中的网络数据库，能够根据用户自身个性化需求实现数据库按需付费、按需扩展以及存储整合等[2]。CloudDB是在软件即服务理念基础以及大数据技术发展背景下由云计算、数据库技术演变而来的虚拟数据库技术，能够极大地增强传统数据库的存储容量、利用率等。同时，CloudDB技术的出现优化了许多传统数据库的后端功能，具有高度个性化、可拓展、支持资源有效分发等优势。图1所示为一典型CloudDB系统[3]。

图1 典型CloudDB系统结构示意图

2 网络数据库云计算技术优化

当前国内外进行CloudDB产品开发的企业及其云数据库产品主要有亚马逊DynamoDB、阿里巴巴RDS以及腾讯MongoDB等。本文将基于RDS进行网络数据库云计算技术优化论述，通过对比RDS与自建数据库获得云计算技术对网络数据库的优化成效。

2.1 RDS

RDS(ApsaraDB for RDS,简称RDS)是一款由阿里巴巴开发的云数据库平台[4]。该平台在传统MySQL框架下，针对高并发场景进行特殊优化，同时引入线程池、并行复制、隐含主键等功能保证系统持续稳定和高吞吐，解决了一般数据库系统安全等级低、数据可靠性差、部署架构单一等问题，具有丰富的产品形态和多种部署架构，充分满足了海量用户群体的关于数据库的个性化需求。

2.2 性能对比

表1所示为RDS与一般自购服务器搭建的网络数据库性能对比情况。由表1可知，在云计算技术与网络数据库技术进行融合之后，大幅提升了网络数据库在服务可用性、数据可靠性、系统安全性等方面的优势。同时，由于RDS按用户实际对资源的使用情况进行利用率结算，因此RDS几乎能为用户或企业带来高达100%资源利用率，避免了传统网络数据库高峰期和低峰期带来的资源浪费。

表1 性能对比[5]

3 一种云数据库的设计与实现

3.1 平台架构设计

本文以微软的SQL Azure云数据库为基础，充分融合Redhat、MapReduce等技术，搭建了图2所示采用关系数据模型的云数据库平台架构[6]。该系统包含一个虚拟机簇，可以为用户提供动态可控的虚拟机数量，进而实现用户使用过程中的快速部署、弹性扩容功能。

图2 采用关系数据模型的云数据库平台架构

平台中每台虚拟机均通过SQL Azure实现数据管理、存储。通常一份云数据库中的视频、图像以及文本等内容会被分别存储在3～5台虚拟机中，每台虚拟主机均可以负责数据的存储、传输和共享，用以充分保障平台高可用性性能要求。不同的虚拟主机之间会通过网络交换彼此内部监控信息，进而保证整个云数据库平台的可监控性。

3.2 平台各主要模块实现

搭建采用关系数据模型的云数据库平台主要通过图3中关键步骤实现。

图3 实现关键步骤与技术

3.2.1 利用Redhat设置平台操作系统

Redhat作为一种桌面版和服务器版共存的底层平台操作工具，在应用于云数据库系统后，具有朴实、简洁、稳定等性能优势，同时兼具较强的系统可拓展性，能够帮助云数据库系统实现海量数据处理。该操作系统具有将各类型信息进行可视化处理功能，一定程度上能够拓展系统物理存储空间，提高大数据处理效率可通信宽带利用率，图4为选择利用Redhat设置平台操作系统时的操作界面截图[7]。

3.2.2 搭建Hadoop集群

MapReduce具有开发简单、可扩展性强以及容错率高等优势，对于Hadoop集群在作业时出现的节点故障，能够自动安排无故障的系统节点进行作业，能够一定程度上优化Hadoop集群作业，实现海量数据的分布式计算[8]。基于MapReduce搭建的Hadoop集群系统见图5。

图4 Redhat设置平台操作系统

图5 Hadoop集群系统

3.2.3 数据整合与预处理

云数据库可供用户储存的资源类型极多，如个人用户的文件日志、视频数据以及企业用户的关系数据、对象数据等[9]。云数据库中储存的数据类型囊括了结构与非结构等不同性质的数据。本次构建系统实现了云数据库结构与非结构性数据的整合，以便用户能够利用云数据库服务总线对数据进行预处理、传输以及可视化等。本次构建云数据库采用HiveSQL工具作为系统完成数据整合与预处理的主要工具，进一步增强了系统对大规模数据的管控。

3.2.4 数据挖掘和分析

云数据库需要储存海量的各类型资源数据。由于数据量巨大，若不针对数据进行筛选，数据库用户在进行操作时往往将面临无序、杂乱、复杂的数据应用场景。本文利用数据挖掘和分析技术，对云数据库数据利用时效性进行优化(图6)，大幅缩短了操作人员进行数据增删改查等处理的时间。

图6 数据挖掘和分析模块配置截图

4 结语

本文对大数据时代云计算技术对网络数据库的性能优化进行总结，以微软的SQL Azure云数据库为基础，初步构建了一种基于云计算技术的云数据库系统框架；对框架所应用的能够影响云数据库系统性能的关键技术和模块进行了综述。云数据库能够满足用户个性化需求，实现传统网络数据库无法提供的易检索、高存储量、低成本、高共享等优势。