基于大数据平台的自动化运维及监控技术研究

宋跃明+谢科军

摘要：科学技术日新月异，伴随着信息技术的更新迭代，大数据已成为社会各行业信息技术发展的契机，不断引发热潮。进入2017年，作为对信息爆炸性增长和描述的描述和定义词汇，大数据一词在多个领域被越来越多的提及。相应的，作为一个一体化、综合性应用的平台，其功能涉及到方方面面，包括数据管理、企业资产管理、数据库服务可用性监控等，为企业提高运行效率和服务质量，降低运营成本做出贡献。本文通过对大数据和运维的概念、特征，分析了智能监控技术与大数据运维结合的几个关键因素，提出了一套基于大数据平台的智能监控技术的理论。

关键词：大数据；自动化；运维关键技术

中图分类号：TM76 文献标识码：A 文章编号：1007-9416（2017）06-0102-02

1 大数据平台面临的挑战

面对领域大数据，在全生命周期面临着前所未有的挑战，具体到领域来看，大数据的生命周期面临如下难题：（1）采集类问题。如何将大数据精细化，即如何有效地处理大数据；如何从单一角度的大数据中提炼出对应知识和应用数据。（2）大数据面临的储存问题。对于结构明细的数据列，海量数据的更新时间周期更长、效率低下；对于非结构化数据，进行存储、分析需要转化为结构化数据难度较大。

2 大数据平台涉及的关键技术

大数据建模、大数据分析处理等几项关键技术在大数据平台的有效支撑性方面有重要建树。

2.1 大数据平台体系架构

大数据平台进行系统的研究集成性问题，在有针对性的分析后，对其应用领域中，具有规模庞大、数据关联性密切的特点，大数据的作用越来越多的倾向于将其作为商业决策的重要依据。

2.2 大数据的建模和存储技术

（1）大数据建模技术。要解决大数据的统一存储、管理及高效分析处理，需要解决多源、分布和异构数据整合问题。层次、关系网状联通和对象的面向性，是现行阶段下数据建模的主要讨论点。在这些应用了本体大数据建模方法形式中，大数据管理中的困境更容易体现。大数据特征为出发点，统一归纳，总结关系，将数据抽象画处理，最终实现大数据的建模完整，是大数据统一建模的几个步骤。具体有三类信息是大数据分析过后，需要被定义的三类关键信息：大数据的根本信息、功能性问题信息、协调联动机制信息。大数据的特征不同会引起分类聚合的效果，在顶层数据信息的结构化中，结构化和非结构化均有较大差异，对数据的研究一般会按照一定条件如时间、而后进行分析应用。（2）自动化运维模型的接口。在各类分类索引、储存索引和树形索引中，统一接口的综合构成中起到决定性作用。用户通过该接口能针对多源大数据建立管理和关联。自动化运维管理平台功能涉及数据中心日常巡检、企业设备资产管理等，在企业运维的日常管理中，提供了强有力支撑，便于提高运行效率的同时，降低了成本。并且在面向意向对象设计过程中，提出一种多行业信息部门均适应的系统设计目标，并进行阐述。

2.3 自动化运维功能设计

企业级深层次信息化运维流程中，自动化运维平台会将以下三类的数据统一监管并给予综合展现。在运用设计思想对运维资源进行对象化、功能化划分后，在设计目标的同时，可以在细分领域中，将平台分为六个功能区。（1）巡检管理。以表单汇总的模式下，所有数据及系统常规检查工作均由中心值班人员完成。（2）运维监控。以图形化的方式实时监控数据库的可用性。（3）设备管理。通过集中化的平台和流程细化物理设备信息，在业务系统管理人员和服务器查询设备的支持下，查询服务器的信息。（5）知识库管理。为了供维修人员方便查阅各类技术运维稳当，此类知识库需要统一的管理和归档。（6）第三方平台接入。依照现有的运维管理工具现状（比如系统监控、ITSM流程监控管理系统、堡垒极端服务器等），在账户信息简易流程配置的前提下，自动化运维系统到第三方平台的单点登入嫁接通路可以便捷实现。（7）信管中心。基于企业内部的运维条例、体系、信息化处理及监控问题经充分结合后，精准发布。

3 数据处理因素

3.1 数据的匹配安全性

对于媒体流的精准控制，是数据安全度的重要实施方法，在国家密码局对于密码管理系统的前端进行信息硬件加密，完成对网络高清流媒体的加密；在后端解密时，除了软件解密，还必须通过硬件才能防止单一软件加密方式可能被破解的风险。

3.2 数据的监控处理

对于可视化视频的分析处理及定向信息挖掘，是大型监控系统的重要指标之一。

3.3 监控系统的冗余问题

传统系统的一大弊端便是对视频数据的储存和处理流程繁杂，过程中能量损耗较高。虚拟化计算机的精细化运营管理，提高可靠性和贴合度的同时，减少了差错率，降低了繁杂度。

3.4 大数据平台的技术优势

高清智能视频监控系统在大数据平台的数据支撑下，技术优势凸显。

3.5 大数据平台的整体扩展性

存储架构的分散是大数据流程的特点。根据这一特点，可在系统后台灵活处理各项任务。

3.6 降低投资成本

硬件匹配性是大数据技术架构的基础，可以根据价格低廉的投资成本，由系统软件技术提供全方位保障。

3.7 视频的高处理度分析

视频储存渠道分布广泛，大数据架构是视频分析处理的基本依据和保障，实现了大范围数据的关联挖掘，并且提高了效率。

4 结语

本文提出的，大数据平台能够面向多领域应用，具体而言有如下应用：1）提出面向海量信息资源、空间信息、图像资源以及广泛采集的数据进行深度整合和应用的手段。2）随着web数据、PGIS等数据逐步纳入大数据平台的应用范围，自动化运维平台为企业日常信息化运维工作保证了高效、稳妥等基础设施监控、预警联动、实时监控等方面均发挥着积极影响。在大城小巷均遍布着监控的平安城市范围内，作为越来越庞大的视频海量处理體量，处理智能化、落实高效化是视频处理发展的必经方向。endprint

參考文献

[1]维克托·迈尔-舍恩伯格，肯尼思·库克耶.大数据时代：生活、工作与思维的大变革[M].盛杨燕，周涛.译.杭州：浙江人民出版社，2012，12.

[2]万至臻.基于MapReduce模型的并行计算平台的设计与实现[D].杭州：浙江大学，2008.

[3]戴炳荣，宋俊典.云计算环境下海量分布式数据处理协调机制的研究[M].上海：上海计算机软件技术开发中心，2013，（01）.

[4]李存华，孙志辉.GridOF：面向大规模数据集的高效离群点检测算法[J].计算机研究与发展，2003，40（11）：1586-1592.

Abstract：Science and technology change with each passing day，With the update and iteration of information technology， big data has become an opportunity for the development of information technology in all walks of life， and has caused an upsurge，In the 2017， the term "big data" was mentioned more and more in many fields as a description and definition of words for explosive growth and description of information.Accordingly， as an integrated and comprehensive application platform， its function involves all aspects， including data management， enterprise asset management， database services， availability monitoring and so on. For enterprises to improve operational efficiency and service quality， reduce operating costs to contribute， Based on the concept and characteristics of large data and operation and maintenance， this paper analyzes several key factors of combining intelligent monitoring technology with large data operation and maintenance. A theory of intelligent monitoring technology based on large data platform is proposed

Key Words：Big data；Automation；Operation and maintenance key technologyendprint