基于大数据平台的自动化运维及监控技术研究

汪红刚 彭莎莎 黄芸

关键词：大数据平台;自动化运维;监控技术

近些年来大数据技术发展迅猛，带动了很多行业的发展与进步，但大数据行业也面临着一些挑战，如采集类问题、储存问题等仍有着更大的发展空间。通过技术的革新和优化，获得有意义、有价值的内容和数据，并借助大数据平台来分析和搜集信息，这对于各领域的发展有着重要的推动作用。

1 大数据平台下自动化运维技术的分析

1.1 自动化运维功能设计

自动化运维技术的发展能够为企业提供便利和服务，对企业改革及提高管理效率有着重要意义。在企业运营过程中，要灵活运用自动化运维功能，对企业运营管理中产生的所有数据进行分析和检测，并将有用的信息筛选出来，有机的整合在一起。基于此，大数据自动化运维功能能够实现具象化，通过多种图表等多种形式展示出来。同时，这一运维系统有着强大的功能，企业应该结合实际情况，对不同的功能进行设置，之后，再结合运维目标的特点和形式，将技术进一步细化，对照企业业务将运维系统划分为多个功能区域[1]。一般来说，根据企业的需求，功能区可以划分为寻常管理区、运维监控区、设备管理区、第三方平台接入区和信息管理中心，在企业管理过程中，需要派遣专门的人员来管理不同的功能区域，采用填写表格的模式，对数据进行记录并存档，方便与其他工作人员做交接。运维监控区域的关键就在于“可视化”，工作人员可以根据自身工作性质，以表格、图像等多种形式将数据展示出来，并结合自身需求利用大数据技术进行整合和分析，这样各部门在工作中，对数据的变化和规律一目了然。而知识管理区的主要受众是运维对象，需要将需要用到的知识、操作手段、注意事项等进行总结和归纳，以便工作人员在有需求時能够随时调阅数据，以便缩短对企业数据熟悉的时间，尽快进入到工作状态中。

1.2 数据质量管理体系

基于大数据平台的自动化运维有着组成复杂、配合要求高等特点，在运行中需要多个系统中的数据相互配合，再结合算法对数据进行处理，达到预想中的目标。在系统运行中，要严格监管数据，保证它们的完整性、唯一性和真实性，以此来与大数据平台相结合。而对于这一系统来讲，要遵守系统定义的标准，将收集到的数据进行二次整合和管理，通过统一的校对和处理，使数据信息前后保持一致性。另外，大数据平台的核心组成部分是多个服务器集群，传统的信息系统组成部分则是一台或多台服务器，相对于传统信息系统来说，基于大数据平台的自动运维系统，在工作中效率更高，准确性也更高[2]。以硬件设备故障为例，往往会对信息系统造成严重的损害，一旦某个硬件设备出现故障，信息系统将无法正常运行，而在检修过程中需要耗费大量的时间和精力，严重影响了企业的运营效率。而大数据平台自动化运维系统的建立，能够有效解决这一问题，工作人员只需要密切监控系统的运行情况，发生故障后系统会有示警，将出现的问题时及时上报，维修人员则要根据示警对出现故障的应硬件设备进行维修和更换即可，只需耗费较短的时间就可以解决问题，且避免了抢修的麻烦，使大数据平台可以稳定有效的运行。

1.3 数据深度挖掘和优化

一般来说，在自动化运维平台中，需要结合企业的运行状况对数据进行采集和储存，同时还要根据不同部门的需求对这些数据进行深度整合，结合每个部门的特点，将不需要的数据筛选出来，留下需要的数据信息，再基于保留数据进行深入挖掘。工作人员可以根据数据的规律和趋势来规划企业的运营方向，以便加强企业工作效率和监管水平。另外，大数据平台的自动化运维技术能够有效记录事件发生的时间及用户反馈时间，并通过数据分析掌握事件与用户之间的关系，进而及时解决问题，使企业的应对能力更上一个台阶[3]。与此同时，大数据平台自动运维技术还能够分析设备的各类故障，并实时监测设备各项指标，当数据发生异常时会及时示警，并准确记录细故障时间，从而帮助企业有效的预防和规避风险。除此之外，相对于传统的信息系统，大数据的自动化运维技术还可以运用在多种场合中，大大提高了系统的适用范围。

2 大数据平台的自动化监控技术分析

自动化监控技术的运用能够有效保证数据的完整性、真实性和技术性，在企业运营管理的过程中，所产生的数据有着较大的商业价值，关系到很多企业的发展，因此，企业也格外重视工作信息的保密性。在信息技术快速发展的今天，企业网络系统安全性受到了高度的重视，尽管如此仍有不法分子通过信息化手段，企图窃取企业或个人数据，通过破坏或盗取等手段达到获利的目的。但这却会对企业发展造成严重的伤害，本质上也属于犯罪行为。因此，企业在传输重要数据时，不仅要重视做好加密保护措施，还要对传递过程进行实时监控，一旦数据传递发生异常，就能够及时对异常数据进行追踪和定位，以保证数据传递的安全性。而自动化监控技术的运用，能够通过监测数据可视化有效实现这一目的，在扩展监控覆盖范围的同时，对数据传递状态进行实时的监控和分析。另外，传统信息系统处理信息的过程过于复杂，导致信息传递效率慢，消耗时间长，且在传递的过程中会因压缩、解压等而产生大量的垃圾数据，甚至是出现乱码等问题。而自动化监控技术有着超强的整合能力，在传递信息过程中能够对信息进行优化，避免无效数据的产生，保证监控数据处理的准确性，避免数据错误或乱码等问题。

结束语

总的来说，大数据技术的发展有效替代了传统数据计算方法，相较以往，大数据技术处理信息的速度更快，能够有效提高计算和信息处理工作效率，避免了投入大量人力筛选有用信息。与此同时，大数据储存技术和研究更是通过传输、加密、保存等手段，为现代化信息处理工作提供了极大的便利。

参考文献：

[1]金光涛，丰德伟，马小亮，王韬.数据中心自动化运维设计与应用[J].信息技术与信息化，2020（11）：68-71.

[2]唐振营，徐景龙，邹继斌，王晨飞，李慧芹.自动化运维在电力企业信息系统中的应用[J].自动化技术与应用，2020，39（08）：154-158+163.

[3]景腾飞.信息系统自动化运维管理探析[J].网络安全技术与应用，2020（08）：116-118.