基于大数据平台的自动化运维及监控技术研究

黄靓

摘 要：随着当今社会的不断发展，科学技术也不断的进步，我们处于一个大数据的时代，充分发挥了大数据的优势和作用，并且被广泛地应用到人们的工作生活中，网络的普及以及计算机软件技术的应用更为大数据平台的运行提供了动力支撑，大数据时代的快速发展使人们的生活以及工作变得更加便利快捷，不仅表现在人与人之间的信息往来方面，微信扫码支付以及淘宝购物平台等技术软件无一不体现着数据时代的软件技术的便捷性。数据软件技术的应用不仅提高了人们生活的便捷度以及质量还为软件开发商带来了强大的经济效益。而如今，在当今网络技术迅速普及以及计算机技术快速升级的背景下，大量的数据都可以使用计算机作为依托从而得到处理以及分析，但是数据也分有用和无用，数据为人们提供便利的同时部分无用的数据也会人们带来不便。文章根据现阶段大数据平台的发展现状，提出大数据平台的自动运维及监控技术中存在的问题，并针对性地提出合理化的解决措施。

關键词：大数据平台；自动化运维；监控；问题；解决措施

0 引言

近些年来，在互联网的快速发展计算机技术的迅速普及的大背景下，大数据技术的发展势头十分迅猛。大数据技术在发展的同时也相应的伴随着发展问题的出现，其同样面临着十分重大的挑战。其中最大的挑战当属临床医学上的数据问题，其中的主要问题可以表现为数据信息的采集以及信息的存储两个方面，其中信息数据的采集问题主要表现为不知如何处理数据以及怎样提取有效的信息，而信息存储方面的问题则是不知道将采集到的信息如何进行数据储存，其次，存储上的问题还包含了储存的形式以及方式等方面。因此，建设数据平台的自动化运维及监控技术就变得尤为重要。

1 自动化运维所具备的优势

自动化简化IT运维具有降低成本、提高生产力、高可用、可靠性高以及性能优化五大优势。自动化运维可以降低IT运维的风险及压力负担，在一定程度上还可以提高IT运维的工作质量以及工作水平。

1.1 降低投入成本

降低成本的优势主要表现为其自动化运维可以提高企业运行的效率，减少工作人员认为错误等问题的发生，与此同时可以降低人力的需求量进而降低企业在人力需求等方面的投入成本进而降低企业的IT投入成本。

1.2 提高企业的生产力及生产水平

生产力提高是指自动化的运维技术不需要人工手动地进行工作产出，原本复杂的传统因为工作需要专门的运维负责人员来进行操作，而自动化运维技术可以改变原有的运维方式将运维工作人员从复杂繁琐的工作程序中释放出来，那么原本负责运维的工作人员就可以将其所具备的知识以及运维技能施展于更具价值需求工作岗位中去。这样一来，不仅降低了运维工作所需要的工作时间，还可以为其他的工作岗位提供充足的动力。系统运行过程中出现故障会为企业的名誉以及财产等方面造成巨大的损失。而通过利用自动化运维技术可以实现自动化保存数据，在数据损失时，还具备自动化的恢复机制帮助企业进行数据修复[1]。

1.3 高可用

自动化运维技术具有高可用的优势，自动化运维技术所具备的全天候系统监控和远程通信技术可以在极大程度上降低网络系统停机的概率以及缩短其停机的时间。即使系统出现故障，企业可以通过恢复机制将系统进行快速的恢复，降低故障可能带来的损失。

1.4 可靠性高

因为工作中常常会出现重复性的工作，重复性的工作在运维人员工作过程中出现，运维人员由于完成过该工作可能在重复操作的过程中就会出现警惕性放低的问题，如此一来就会在极大程度上提高运维工作出错的概率。而自动化运维技术的应用不存在这些人为错误的发生，剔除掉错误发生的人为因素便会极大程度地降低重复性工作错误发生的概率，进而提高运维工作的可靠性，与此同时还可以减轻运维工作人员的工作负担。

1.5 性能优化

传统运维工作中的运维方式主要依靠人工等方式进行运维操作，工作流程复杂繁琐，执行任务的效率低下。而自动化的运维技术在发挥自身优势的同时还可以弥补传统运维效率低下等问题，在降低运维人员需求量的同时提高运维工作的工作效率以及质量等工作性能。

2 自动化运维监控技术所具备的优势

传统系统构建中的运行监控系统可划分为系统监控、应用监控以及数据监控等等监控系统，其中的中间件监控、应用监控、数据库监控以及网络监控等监控方面的工作中要负责监控的对象以及程序复杂繁琐，只有做好多方面的监控工作才能保证系统运行的稳定性以及可靠性。而自动化运维监控系统则将以上索要监控的对象全都改变，其核心仍然是以保证网络的高可用、高性能等方面为主，但自动化运维监控技术则将原本复杂多样的监控程序进行了精简，提高监控效率的同时提高监控质量[2]。

3 大数据平台在传统IT运维所面对的问题

3.1 IT运维机制不完善，流程操作层面缺乏统一

传统的IT运维工作中缺乏完备的规范的IT运维机制，并且其IT操作的运维流程缺乏统一的规范，例如，在事件单提交的工作环节中，IT运维工作会忽略事件预判以及优先级设定方面的统一规范，利用运维人员的工作经验以及主观判断来进行事件的处理，此等运维方式缺少整体统一的规范，虽然可以处理事件，但所处理的事件缺乏统一的参考依据，这样会很容易因个体经验水平差异等人为因素造成整体IT运维工作的低质量，进而影响IT运维的整体效果。

3.2 IT运维缺乏有效的完善的CMBD（配置项数据管理库）

现阶段的IT运维并不具备完善及有效的配置项数据管理库，其虽然配置收集了部分配置的数据信息，但仅仅是针对比较核心比较关键的IT设备设施而言。不够完善的配置项数据管理库很难为信息的全面化发展提供强大的数据信息支撑。

3.3 过度依赖核心工作人员，工作负担重、效率低

传统的IT运维工作中，部分IT运维的工作者所具备的IT运维知识以及技能仅仅留存于头脑之中，没有做过系统化、规范化的整理以及记录。知识也好，经验也罢仅仅留存在一个十分狭窄的范围之内，在较大的范围中就无法得到大的发挥。那么这些IT运维工作者的工作就会仅仅限定在一些技术性、知识性较为简单的工作层面，疑难问题，例如，时间性质的判定以及优先级等难度较为大的问题就会全部推给技术水平高的核心人员来负责，这样一来加重了核心人员的工作负担，工作量的增加会加大程度上提高错误发生的概率，与此同时还会影响到IT运维团队整体的工作效率以及质量。

3.4 錯综复杂的IT元素难以有效的监控

IT运维设施组成复杂多样并且种类繁多，从基础的机房动力环境到最终的实际应用、从其配置的硬件到软件、从后台到前台的支撑服务等IT运维元素错综复杂，运维工作的流程也十分的复杂，这就导致其错综复杂的IT元素很难实现高效率以及高质量的监控。就微观层面而言，IT运维设施的品牌及种类繁多，以信息的存储为例，其品牌就包含了IBM、EMC以及华为等多个设施品牌。而运维系统的监控工作包含了硬盘的状态、性能等多个方面的监控对象，再加之 IT运维设施品牌的繁多，每个品牌的硬盘结构又大又不同，这就加剧了监控工作的困难度。综上可见，传统的IT运维中存在着多重弊端。推进自动化运维及监控技术是十分必要的存在[3]。

4 大数据平台所涉及的关键技术

4.1 大数据平台的体系构建

对大数据平台的研究继承性问题进行集中性的探讨分析过后，在其应用领域中，大数据平台具有数据关联紧密、集成规模大等特点，并且大数据的应用汇方向更加倾向于企业的商业决策以及股市的行情分析等数据集成量较大的行业。

4.2 自动化运维功能设计

自动化运维平台在进行功能设计的时候可以将自动化运维平台的功能划分为巡查管理、设备管理、运维监控、数据库管理、信息管理等方面。

4.2.1 巡查管理

设置专门负责巡查的管理部门，将运维工作中所产出的数据进行整合然后统一分送到相应的巡查管理部门，由管理部门的人员进行统一的检查后上交给核心负责人员进行审批，以此来提高数据的可靠性。

4.2.2 设备管理

通过集中化的平台以及集中化的设备信息处理系统来获取查询服务器的运行信息。

4.2.3 运维监控

采取互联网构建的监控系统实时地对数据库的数据进行全天候的监控，以此来保证数据信息的可靠性。

4.2.4 知识库及信息管理

要对IT运维工作的知识以及工作经验进行统一的规范化整理，然后建立起统一的知识库，以便为IT运维人员提供查阅各类知识信息的有效途径。首先，对于数据集成量较大的企业，其企业内部的决策数据、运维条例以及经营体系等方面都需要进行集中性的信息化处理，在确定没有问题之后在进行发布，以此来保证数据信息的精准度。其次，大数据平台的自动化运维数据处理还包含了数据匹配安全性、数据监控处理以及监控系统的冗余等多方面的数据处理优势。

5 结语

综上所述，大数据平台数据信息的精准度等问题应受到高度的重视，自动化运维及监控技术可以提高数据信息的精准度，提高数据信息的可靠性，使其实现高可用、高效率。其所构建的监控技术也转变了原有监控技术中复杂繁多的监控特点，呈现出精简高效的监控系统，为各行各业数据平台的稳定运行提供了保障。大数据平台自动化运维技术及监控技术的发展还需要进行不断的优化和升级，这就要求相关的技术人员要时刻关注数据平台的运行状态，及时发现并处理运行过程中出现的问题，以此来保证自动化运维及监控技术能够高效贯彻的实施。

[参考文献]

[1]曹铁男，李昊，喇元.大数据平台的自动化运维及监控技术分析[J].电子世界，2021（5）：19-20.

[2]廖鹏.基于大数据平台的自动化运维及监控技术[J].造纸装备及材料，2020（6）：33-35.

[3]王二辉，周高强，李英杰，等.基于大数据平台的自动化运维及监控技术研究[J].通讯世界，2020（1）：158-159.

（编辑 傅金睿）

Research on automatic operation and monitoring technology based on Big Data platform

Huang Liang

（Hubei Second Normal University， Huangliang 430205， China）

Abstract：With the continuous development of today’s society and the continuous progress of science and technology， we are in an era of Big Data， giving full play to the advantages and functions of Big Data， which is widely used in people’s work and life. The popularity of the network and the application of computer software technology provide a driving force for the operation of Big Data platform. The rapid development of Big Data era makes people’s life and work more convenient and fast， not only in the information exchange between people， WeChat scan code payment and Taobao shopping platform， etc. The application of data software technology not only improves the convenience and quality of people’s lives， but also brings powerful economic benefits to software developers. Nowadays， with the rapid popularization of network technology and the rapid upgrading of computer technology， a large amount of data can be processed and analyzed by using computers， but the data is also useful and useless， and some useless data will bring inconvenience to people while providing convenience for people. According to the development status of Big Data platform at present， this paper puts forward the problems existing in automatic operation and maintenance and monitoring technology of Big Data platform， and puts forward reasonable solutions.

Key words：Big Data platform； automated operation and maintenance； monitoring； problem； solutions