大数据平台的自动化运维及监控技术分析

卢颖

摘要：大数据技术的发展和大数据平台的应用，使很多行业的工作发生了翻天覆地的变化。在营销监控工作中，通过基于大数据平台构建营销监控自动化运维系统，不仅可以实现高效的数据搜索和存储，更还可以实现高效的数据库管理、监控及数据分析与处理。可以说，大数据平台为行业发展提供了很大的先导性，是提高服务质量与经济效益的有效助力。故而有必要对大数据平台的营销监控自动化运维展开深入研究。

关键词：大数据平台;营销监控;自动化运维

引言

随着科学技术的飞速发展，信息技术的更新和复制提供了大量的数据，为社会各阶层的信息技术发展提供了机遇，并作为一个机会将继续这样下去。增加词的记述和定义、以及信息的记述、“大数据”这个词在很多人中都提到了字段。因此，作为集成的全球应用平台，数据管理、业务管理、数据库访问控制等，提高业务效率和服务质量，降低运营成本。从海量数据的概念、特征和业务度量入手，分析了知识监控方法与知识监控方法相结合的一些重要因素。高质量的数据管理和维护集中在大型数据库的理论基础上。

1自动化运维技术概述及大数据平台的应用优势

一个企业经营与发展离不开对系统的运营维护，运维工作对企业发展战略的制定、经营管理重心的选择有着重要作用，是管理层做出重大抉择的重要依据，也是系统稳定运行的重要保障。运维工作较为复杂，工作量巨大，尤其是互联网企业，系统24h运转，数据规模庞大，涉及各个领域，且相互之前存在影响，需要投入大量的人力、物力。自动化运维可以将IT运维工作中日常性的、重复性的、程序性的工作自動化，将人工执行转化为系统自动化执行，并对各项数据进行整合和逻辑分析，总结出发展趋势，为企业提供更好的帮助。基于大数据平台的自动化运维，结合了大数据技术的整合、分析能力，使IT运维工作得到了升华。自动化运维应用大数据技术能够提高运维流程的可控性，满足企业的个性化需求，让企业决策层能够更加清晰、直观的看到公司的业务流程，加强他们对公司的把握能力。同时，大数据平台下的自动化运维也能提高运维工作的透明度，有助于系统版本的叠加，更能清晰的分辨出其中的问题，为优化提供方便。自动化运维与大数据平台相结合，还能减少人为因素造成的失误，加强信息传递、处理的速度，提高运维工作的整体效率。另外结合监控技术，充分发挥大数据技术的优点，还能对数据和工作记录进行实时记录和跟踪，做到及时预警、及时应对，让运维工作更加轻松、灵活。

2大数据平台的自动化运维及监控技术分析

2.1大数据建模技术与存储技术

只有对分布、多源与异构数据整合问题进行有效处理，才能够真正实现大数据的统一管理与存储，大大提高数据信息处理的效率。现阶段在数据建模方面的研究，人们更加侧重于层次、关系网状联通和对象的面向性的讨论，其在大数据建模方法形式的具体应用，能直观地呈现出大数据管理面临的难题。大数据统一建模具体步骤为立足于大数据特征总结归纳、明确关系、抽象化地处理各类数据信息，这样才能够确保大数据建模的合理性与完整性。其中，大数据的根本信息、协调联动机制信息及功能性问题信息，是经大数据分析后被定义的三类关键信息。大数据的不同特征会影响分类聚合的成效，针对顶层数据信息的结构而言，非结构化与结构化之间具有很大的区别，相关人员需要满足进行数据研究工作的要求。针对自动化运维模型的接口，统一接口的综合构成直接决定着所有分类索引、树形索引及存储索引，相关人员可借助该接口实现对多源大数据的关联与管理。且自动化运维管理平台的功能主要包括企业设备资产管理、数据中心定期巡检等，这不仅能够为企业的运维管理提供必要的支撑，还能够有效提高运行效率、节省运维成本。

2.2自动化运维模型的接口

它对不同类型分类索引之间统一接口的整体配置起着决定性的作用，保存的索引和索引那棵树。用户可以创建一个多源的管理和沟通：管理系统更新项目平台“乐”包括数据中心的日常检查、业务设备的管理等，为企业日常服务提供可靠的支持，提高业务效率，并将其降到最低限度。在面向目标的设计过程中，本文提出并描述了信息服务系统面向的几个行业。一些过程和计算算法的大量数据很难完全转换或集成到数据库函数中。因此，需要从一些功能中提取数据，并用传统的分析工具和软件进行分析。但是，分析和分析任务的数量正在逐渐增加，需要扩大或增加新的服务器。但是服务器比因特网贵。网格配置将有助于降低系统成本。计算网格的目的是在不同的计算机之间分配任务，完成不同的任务，从而有效地提高生产率。降低系统的总成本。

2.3自动化运维功能

大数据平台的营销监控自动化运维主要具备以下几项功能：1）可有效采集数据文件的传输状态数据，当出现数据流断点，且断点时间>系统设定值范围时，会自动发出报警信息;2）可自动比对分析采集到的数据文件信息，包括文件大小、文件字段名称、文件明细记录数、文件字段长度等，当比对结果>系统设定值范围时，会自动发出报警信息;3）可实时监测数据中心的ETL调度系统的性能状态，当系统表现出不稳定性或是出现挂死的问题，且>系统设定值范围时，会自动发出报警信息;4）可在OGG系统升级期间采集各系统的状态数据，并根据超时时间发出系统不可用的报警信息;5）可自动比对分析停电、客服等数据实时性较高的模块对应表数据的最新记录时间与当前时间，当其时间差>系统设定值范围时，会自动发出报警信息;6）可实时监测营销监控系统数据库的表空间，当其快要达到临界值时，会自动发出报警信息;7）可实时监测指标数据的库表信息和库表结构等，当库表结构发生变更和调整操作时，会自动发出报警信息，并自动生成变更操作记录;8）可根据用户的自定义自动生成各种指标数据报告;9）可基于营销监控业务规则配置相关故障预案，以实现智能预测和预防。

2.4数据质量管理体系

自动化运维需要管理不同系统、多层链路关系中的数据，非常复杂，且要保证数据信息的完整性、唯一性、真实性、准确性、合法性、及时性，需要与大数据平台相结合，建立数据质量监控管理平台。数据质量管理平台要以系统定义为标准，对系统采集的数据进行重新整合和管理，统一校对、统一处理，保证数据信息的一致性。数据质量管理体系要实现数据集中化管理，要满足多系统的数据处理需求，提供标准的数据接口，供各个分支系统调用，实现数据共享，提高数据传递的速度和完整性，实现基础数据的统一管理。数据质量管理体系与大数据平台相结合，能建立智能算法程序，实现自动化处理。通过智能算法程序，可以科学设定基础指标阀值和预警规则，对自动化运维平台采集到的数据信息，进行多个维度的比对和分析，条件处理一系列自动化计算操作，根据运维对象的特性和状态，生成多种形式的图表。并且要根据程序设定的数据链路状态条件，获取数据链路性能状态值，实时监控系统运行情况，并及时发出异常状态警告。

结语

总而言之，当前大数据平台已渗透到人们生产、工作及生活的各个方面，在新时代背景下，大数据平台的应用也不断深入。各领域充分利用基于大数据平台的自动化运维技术与监控技术，不仅能够提高自身的运营效益与可靠性，还能够更加高效、高质地处理自身发展中产生的海量数据，从而促进自身的可持续发展。

参考文献：

[1]王晓天.基于虚拟化技术的云数据中心构建及自动化运维管理[J].软件工程，2020，23（11）：27-29.

[2]沈晓慧，廖永行，童惠祺.自动化运维管理系统的设计与实现[J].通讯世界，2020，27（6）：134-135.

[3]王二辉，周高强，李英杰，等.基于大数据平台的自动化运维及监控技术研究[J].通讯世界，2020，27（1）：158-159.

国网河北省电力有限公司饶阳县供电分公司  河北衡水  053900