基于Hadoop云平台的大数据集群服务运行状态监控及预警研究

徐育彪

摘要：大数据分析平台集成的功能较多，保存的数据规模也非常大，访问次数也非常频繁，因此大数据分析平台运行过程中需要加强状态监控，以便能够实时的分析平台的负载能力，提高平台的资源利用率。本文详细地分析大数据集群服务运行状态监控和预警模式，从操作日志、运行状态等多个方面分析平台状况，以便能够及时的处理突发事件，保证大数据平台安全稳定运行。

关键词：大数据;运行监控;预警;数据挖掘

中图分类号：TP277 文献标识码：A 文章编号：1007-9416（2019）12-0181-01

0 引言

目前，电信运营商和移动互联网等企业为了吸引用户，为用户提供了更多的信息服务，不仅包括传统的数据语音通信服务，还包括高清视频、文本图像等内容服务。为了提高用户服务质量，抢占更多的市场份额，已经构建了较多的大数据平台，这些平台承载着数以亿计的用户和海量数据资源，监控这些平台的运行状态就显的非常重要[1]。因此，本文基于笔者多年研究，以突破基于移动互联网的大数据分析技术，形成“基于移动互聯网的业务支撑大数据管理平台”为宗旨，设计一个新型的大数据平台预警和监控模式，实时监控大数据平台运行情况。

1 大数据集群服务运行状态监控及预警研究

大数据平台包括的功能非常多，分别是采集层、存储层、计算层、模型层、服务层、应用层、运营管理及安全备份。因此，大数据集群服务运行状态监控及预警就显的非常重要，也是大数据平台的一个重要子功能[2]。系统监控的指标主要包括三个方面，一是物理硬件运行状态，比如CPU、存储器等，二是监控接入的应用软件数量和访问用户数量，三是监控系统的运行负载能力、运行可靠性等，其中最为关键的就是物理硬件的监控，因为这些设备涉及到数据信息的加工和保存，一旦发生错误就会产生不可估量的损失。监控预警可以使用状态数据挖掘和分析模块输出。

大数据集群服务运行状态监控和预警功能可以归纳为以下五个方面，分别是选择数据采集及管理系统、构建Hadoop集群监控平台、数据整合和预处理、数据信息存储、状态数据挖掘和分析[3]。如图1所示。

（1）数据采集及管理系统。大数据平台运行中，其面临的数据资源非常多，为了提高这些数据资源的组织管理效率，需要使用与之匹配的操作系统，尽可能的提高大数据的优先级访问、热点数据存储，管理大数据的物理存储空间，实现资源的调度和分配。本文结合监控平台的实际情况，选择RedHat操作系统，其可以作为底层工具，实现数据采集和处理，保证系统的可扩展性。（2）构建Hadoop集群监控平台。Hadoop是一个软件平台，其可以运行大数据处理软件，最核心的技术为MapReduce，能够将大量的计算机组成一个集群，实现海量数据分布式计算，实施监控平台的运行。（3）数据整合和预处理。大数据集成的资源非常多，比如文件日志、关系数据、对象数据等，这些有结构性数据也有非结构性数据，因此在把数据整合在一起时需要进行预处理，以便能够利用企业服务总线进行通信传输，提高数据的一致性和可靠性。数据预处理可以利用HiveSQL工具，能够实现信息加工。（4）数据存储。大数据平台最重要的功能就是存储。数据存储可利用HBase和Kudu等存储管理工具，本文选择使用HBase软件，建立一个生态存储圈，不断地提高大数据平台的存储和管理水平，还可以降低访问延迟，提高数据分析能力。（5）状态数据挖掘和分析。该平台可以针对系统平时运行的日志数据进行挖掘和分析，从而可以发现其中产生的错误，然后追踪和分析错误产生的原因，并且查看关联的软硬件资源，从而及时的发现存在问题，迅速采取措施解决问题。

2 Hadoop云平台在大数据集群服务运行状态监控及预警中的应用与设计

大数据集群服务运行状态监控及预警平台构建完毕之后，其最为关键的就是Hadoop云平台的应用和设计。Hadoop云平台目前已经吸引了很多的商业公司进行研发和设计，构建了各种开源组件，包括Sqoop、Hbase和Spark等。Hadoop包括很多的组成元素，最底层的组成元素就是Hadoop Distributed File System（HDFS），其可以保持Hadoop集群平台中的所有存储节点文件，HDFS的上一层就是一个MapReduce引擎，这个引擎包括两个组成部分，分别是JobTrackers和TaskTrackers，利用Hadoop可以实现数据处理和操作，进一步满足分布式数据操作。

Hadoop云平台是一个为大数据平台提供并行处理的计算模型，更适用于集群平台高性能计算，允许数以亿计的节点进行分布式集群，可以实现分布式操作服务。Hadoop云平台提供一个庞大的、设计精良的并行计算软件，自动化地完成计算任务，分配大数据存储空间资源，实现数据分布存储、通信和容错处理。Hadoop云平台能够处理海量的半结构化数据，利用并行的结构解决特定的、复杂的数据处理问题，比如在一个关系数据库中，其可以使用SQL语言执行数据插入、查询、修改和删除操作，还可以使用传统的C++语言、Java语言等解决这个问题，实现数据库操作语言与传统程序语言的有效结合，实现一个功能更加强的数据处理功能。

3 结语

大数据平台的正常运行影响运营商和内容服务商的用户体验，因此加强大数据平台的运行监控和预警，及时的优化存储空间和占用资源，就可以提高平台的可用性、可靠性和完整性，也可以提高平台的服务水平和质量。

参考文献

[1] 宋亚奇，周国亮，朱永利，等.云平台下输变电设备状态监测大数据存储优化与并行处理[J].中国电机工程学报，2015，35（02）：255-267.

[2] 张帅，贾如春.基于Hadoop的大数据信息安全监控云平台设计与研究[J].计算机测量与控制，2017，25（09）：72-74+78.

[3] 刘殊.基于Hadoop的分布式云监控平臺系统的研究与设计[J].电子设计工程，2016，24（15）：9-12.

Research on Monitoring and Early Warning of  Big Data Cluster Service Operation Status Based on Hadoop Cloud Platform

XU Yu-biao

（TechViewInfo Co.，Ltd.，Guangzhou  Guangdong  510305）

Abstract：The big data analysis platform integrates more functions， the scale of the stored data is very large， and the number of visits is very frequent. Therefore， the status monitoring of the big data analysis platform needs to be strengthened in order to analyze the load capacity of the platform in real time and improve The resource utilization of the platform. This article analyzes the operation status monitoring and early warning mode of the big data cluster service in detail， and analyzes the platform status from various aspects such as operation logs and operation status， so as to be able to deal with emergencies in time and ensure the safe and stable operation of the big data platform.

Key words：big data; operational monitoring; early warning; data mining