云计算在网络数据库中的应用与设计

摘  要：随着互联网、云计算、数据库等技术的快速发展，网络数据库保存的内容越来越丰富，包括视频、图片、文档等多种类型，访问用户也是数以亿计，因此基于云计算构建网络数据库，利用先进的虚拟化技术、MapReduce技术，自动化地完成计算任务，分配大数据存储空间资源，实现数据分布存储、通信和容错处理，不仅可以大幅度提高数据库的存储容量，还可以改进网络数据库的并发性和提高利用率，具有重要的作用。

关键词：云计算;网络数据库;虚拟化;MapReduce

中图分类号：TP393.0      文献标识码：A 文章编号：2096-4706（2020）05-0082-03

Application and Design of Cloud Computing in Network Database

ZHENG Tongliang

（Foshan Hospital of TCM，Foshan  528000，China）

Abstract：With the rapid development of internet，cloud computing，database and other technologies，the content of network database is more and more rich，including video，pictures，documents and other types，and hundreds of millions of users are also visited. Therefore，building network database based on cloud computing，using advanced virtualization technology，MapReduce technology，automatically complete the calculation task，and allocate big data storage space resources，distributed data storage，communication and fault-tolerant processing，not only can greatly improve the storage capacity of the database，but also can improve the concurrency and utilization of the network database，which plays an important role.

Keywords：cloud computing;network database;virtualization;MapReduce

0  引  言

網络数据库是一个集成光纤阵列技术、数据仓库技术等信息的存储工具，可以保存视频、图像和文档等各类型数据，为网络用户提供强大的访问接入功能[1]。网络数据库承载的数据多、访问频次高，因此传统的部署技术无法满足实际需求，因此根据本院云计算在网络数据库中的应用，本文提出与云计算技术进行集成，实现数据的优先级访问，按照不同的访问频次、主题类型进行分类保存，提高网络数据库的利用率和高速率。

1  云计算技术及应用现状分析

云计算是一种先进的分布式计算技术，其可以将数以万计的终端和服务器集成在一起，实现数据业务的处理。云计算可以为用户提供三个关键层次的服务，分别是基础设施即服务（IaaS）、平台即服务（PaaS）和软件即服务（SaaS）。云计算实现存储器、CPU、网络带宽的服务和共享，实现基础设施即服务，这样就可以提高云计算的并发性，实现数以亿计的用户并发访问平台[2]。平台即服务可以为软件开发人员提供应用程序实现和服务处理的平台，为程序员提供软件开发、软件测试、软件部署的环境，能够按照需求分配环境空间。软件即服务则可以为供应商、内容商、通信运营商提供软件应用程序托管功能，允许用户连接到应用程序，实现互联网的访问操作。云计算经过多年的发展和普及，已经诞生了许多的云服务，比如腾讯云、百度云、阿里云等，部署数以亿计的数据内容。

2  基于云计算的网络数据库设计

本文在网络数据库中引入了云计算技术，可以充分利用云计算的虚拟化、MapReduce等技术，提高网络数据库的存储效率和并发性[3]。基于云计算的网络数据库可以为用户提供各类型的资源，还可以实现数据存储、传输和共享功能，同时还可以根据数据访问频次设置优先级，提高对数据的访问效率，如图1所示。

基于云计算的网络数据库设计包括五个关键步骤，分别是设置平台操作系统、搭建Hadoop集群、数据整合和预处理、数据存储、数据挖掘和分析。

2.1  设置平台操作系统

常用的操作系统包括RedHat、CentOS和Debian，这些都可以作为底层平台操作工具，具有较强的可扩展性，能够支持数据处理。数据存储平台操作系统还具有虚拟化功能，从而可以扩展系统的物理存储空间、共享CPU、提高通信带宽的利用率。本文选择RedHat作为操作系统，其可以实现大数据的操作和处理，如图2所示。

2.2  搭建Hadoop集群

Hadoop是一个软件平台，可以运行视频、文本、图像等处理软件，最核心的技术为MapReduce，能够将大量的计算机组成一个集群，实现海量数据分布式计算。Hadoop包括很多组成元素，最底层的组成元素是Hadoop Distributed File System（HDFS），HDFS可以基于分布式技术操作Hadoop集群平台中的所有存储节点文件，HDFS的上一层就是一个MapReduce引擎，这个引擎包括两个组成部分，分别是JobTrackers和TaskTrackers，利用Hadoop可以实现数据处理和操作，进一步满足分布式数据操作要求，安装和部署如图3所示。

2.3  数据整合和预处理

数据存储平台保存的资源非常多，比如文件日志、关系数据、对象数据等，有结构性数据，也有非结构性数据，因此在把数据整合在一起时需要进行预处理，以便能够利用企业服务总线进行通信传输，提高数据的一致性和可靠性。本文选择使用HiveSQL作为数据整合软件，该软件能够实现大规模的信息加工，进一步加强对数据资源的管控，服务配置如图4所示。

2.4  数据存储

数据存储可利用HBase和Kudu等存储管理工具，建立一个生态存储圈，不断地提高大数据平台的存储和管理水平，还可以降低访问延迟，提高数据分析能力。数据存储引入数据仓库，数据仓库不仅可以实现普通数据的处理功能，还具有数据智能分析、优先级存储等功能，一旦某一个数据对象访问频次上升，就可以为这些数据赋予较高的优先级，将其转移到高速缓存中，提高用户的访问效率。

2.5  数据挖掘和分析

数据存储的资源非常多，这些资源通常是无序的、杂乱的，虽然符合一定的组织原则，但是人们利用数据仍非常复杂，因此引入数据挖掘和分析功能，可以提高数据利用的时效，缩短数据处理时间，如图6所示。

网络数据库建设的关键技术包括很多，比如虚拟化技术和MapReduce技术。虚拟化技术包括软件虚拟化和硬件虚拟化[4]。网络数据库引入的虚拟化技术多属于硬件虚拟化技术，能够引入轮转方法、分片方法和多任务操作处理方法进行操作，实现对存储空间、CPU、通信带宽的利用，进一步提高计算机硬件设备的共享服务能力。虚拟化可以共享和扩展物理存储空间，确保多用户共享CPU或通信带宽资源，基于按需服务机制实现大数据平台操作。MapReduce是一个为网络数据库提供并行处理的计算模型，更适用于集群平台高性能计算，允许数以亿计的节点进行分布式集群，可以实现分布式操作服务。MapReduce能够提供一个简单、便捷的程序设计方法，更有利于程序员进行编程和处理。MapReduce能够处理海量的半结构化数据，利用并行的结构解决特定的、复杂的数据处理问题，比如在一个关系数据库中，可以使用SQL语言执行数据插入、查询、修改和删除操作，还可以使用传统的C++语言、Java语言等解决这个问题，实现数据库操作语言与传统程序語言的有效结合，实现一个功能更加强大的数据处理功能。MapReduce为用户提供的编程环境也非常完善，主要包括MapReduce Platform、JDT和PDE。JDT可以支持Java语言开发，PDE可以支持组件或插件开发，MapReduce Platform则可以为移动应用软件开发提供一个扩展的IDE，提供一个通用的软件开发平台，MapReduce Platform可以显示大数据并发集群运行时态，提高集成软件开发工具的基础。

3  结  论

通过实验证明，网络数据库可以实现视频、图像和文档的有序组织，为用户提供一个易于检索、高并发的接口，实现信息的共享加工和处理服务，保证大数据平台的处理速度和自动化水平，提高效率。

参考文献：

[1] 范丽丽.云计算中数据库的相关问题研究与实现 [J].电脑知识与技术，2015，11（7）：7-8.

[2] 唐箭.云计算数据库研究及其在远程教学中的应用 [J].赤峰学院学报（自然科学版），2019，25（9）：238-239.

[3] 王娜娜，王冬梅，王乔平.云计算中数据库的关键问题研究与实现 [J].中国新通信，2013，15（2）：58.

[4] 张洋.云计算中异构数据库方案的研究与设计 [J].电脑编程技巧与维护，2017（12）：63-65.

作者简介：郑通亮（1974.11-），男，汉族，广东肇庆人，数据库工程师，研究方向：系统和数据库管理。