大数据技术在通信设备故障预警系统研究

张敏+胡贺军+张课

摘 要：电力系统当中已经存在的通信系统，如综合数据网网管、安全准入系统、通信管理系统等，这些通信系统的完善构建，对信息通信调度运行这类业务的稳定、高效运转具有的支持作用。电力通信系统构架的完善性，直接影响电力通信网络系统的实际应用性，系统中存在的不统一、不可扩展等缺陷，会造成部分业务功能的重叠、维护成本过高、集成接口过多、专业系统业务与数据之间的融合度过低等诸多问题。基于此，本文就大数据技术在通信设备故障预警系统中的有效运用简要分析。

关键词：大数据技术；通信设备；故障预警系统

中图分类号：TN915.05 文献标识码：A 文章编号：1671-2064（2017）17-0012-02

随着通信设备种类的不断增加，相应的数据类型也越来越丰富，在逐步建立完备的获取途径的同时，应用大数据技术进行通信设备故障预警系统的相关研究，能够有效帮助解决公司不断增长的数据量种类多、数据流量大且更新速度快等难题，有效提升信息通信设备维护管理工作效率。

1 通信设备故障预警体统关键技术介绍

1.1 Hadoop大数据技术

Hadoop是一中分布式系统基础构架，应用Hadoop，即使用户不了解分布式底层的相关细节，也能有效实现分布式程序的高运算速度与储存功能。Hadoop的应用，能够在一定程度上，降低大数据软件平台的开发与运行难度。

以Hadoop2.x框架为例，其核心包含HDFS、YAPN、与Map Reduce。其中HDFS是Hadoop的储存构架部分，通过它就能在有PC组成的集群上进行高度信任性的文件储存，HDFS中的冗余副本策略能够为数据提供可靠性保障、机架策略能够保证数据完整性、心跳机制能够对通信设备的宕机情况作出有效检测，众多完善机制为文件系统的可靠性与实际应用性提供了保障。Map Reduce是Hadoop的一个并行处理软件框架，这一框架的主要作用，是将大数据在Mapper段进行分解，形成若干小部分再进一步处理，之后在Shuffle阶段，将与其余统一类的值输送到一个Reducer端，最终在Reducer端进行处理结果的整体汇总环节，这一框架有效实现了大数据处理目的[1]。YARN是Hadoop的新一代资源管理器，它的主要作用，就是进行资源集群和管理，并运用Resource Manager进行资源的合理分配，由此解决通信设备中由于集群数量问题引起的级联故障。

1.2 专家系统知识库

在一些特定的领域范围内，通过问题求解过程的积累，能够形成相关知识片的集合，将这些知识片通过某种知识表示方式在计算机中进行有效的储存、管理以及使用，就形成了一个完整的专家系统，由知识片集合而成的及时知识库。知识库的完整建立具有易操作、易利用以及结构系统化等优势特点。作为专家系统的核心组成部分，知识库主要通过逻辑表示法、产生式表示法、和框架表示法进行知识的表示。

逻辑表示法是典型的陈述性表述方式，主要通过逻辑公式来描述对象关系与性质，这种表示方式更接近自然语言，且更具精确性与灵活性，模块性能更好；规则表示法比较常见于专家系统当中，帮助系统实现修改以及扩充，如MYCIN医学咨询系统就采用了此种表示方法。框架表示法是一种较为复杂的表示方法，可以描述对象属性，框架的数据结构组成是框架名和槽，应用框架表示一个主体，槽來表示其属性；这种表示方法比较常应用与结构性知识的表示，能够请示表述知识内部与知识的关系，能够帮助实现编码，但推理能力与可维护性都很差，模块性能也很一般，一般只针对专家用户。

2 应用大数据技术进行通信设备故障预警系统的设计与实现

2.1 系统整体设计构架

2.1.1 功能构架

系统功能可以只要分为两个部分，建模系统与实时系统。为实现系统建模系统的测试功能以及实时系统的故障诊断与预警功能，通过功能构架，达成如图1所示的系统总体结构设计。系统功能构架需要保证大数据平台的功能以及应用系统的功能。在整体系统功能构架当中，数据采集要完整包括离线采集、在线采集、采集策略配置与负载均衡等功能。数据存储，是针对多源异构数据的存储功能，是传统形式数据库与新型处理平台模式相结合的混合构架形式。数据处理，包含传统数据处理与大数据批量计算与内存计算等处理，能够适应大规模数据的计算场景[2]。计算模块库的作用是将一些算法封存，并提供相应使用功能的算法模型库。其主要作用是为大数据分析与挖掘工作创造便利的一种工具形式，能够帮助用户简化实例开发。

故障诊断，首先应将历史故障信息进行保留对比，由此为依据再对北塔系统以及IMS系统当中发生的故障，详细分析得出原因，在明确业务类型及相关故障的主要类型与现象的前提下，有效查出故障原因；故障预警是以故障诊断技术作为主要基础，对各类电力通信设备的故障可能性进行预警判断；而故障定位，主要应用的是北塔监控系统，由此能够通过实施监控，对故障主机的IP地址进行报警作用，再依据相关的拓扑结构图谱。定位准确的故障机柜、集群信息以及业务系统等；可视化展示，是一种直观的展示方式，将大数据平台处理过后的数据，以多维度方式全方位展示给维护施工人员，帮助实现高效的施工作业。

2.1.2 技术构架

通信设备故障系统的技术构架，需要全面、均衡的考虑技术先进性、电力应用领域相关特性以及组件的集成性特点。在数据采集方面，日志类数据可应用Flume与Kafka进行相关采集与存储。在数据存储方面，大数据存储能够通过YARN与HDFS Federation为核心的技术体系，集成计算组件之后，统一存储。数据处理方面，采用Hadoop2.X作为基础技术的批量计算，包含Hive、H Base、MR2等，而内存计算处理，则主要应用Spark为基础的相关处理技术，能够通过YARN实现计算资源的统一管理。在可视化展示这一方面，应用HTML5技术作为网页的基础构建技术，进一步配合E Chart、D3.js等SVG的相应JS图形组件技术，能够高效实现数据处理的可视化展示。在预警系统的开发与实践方面，多数采用以J2EE为基础技术的MVC构架模式，有效实现系统的预警作用。endprint

2.2 建模系统设计及实现

建模系统的设计与实现，涉及数据预处理、数据建模、数据测试三个重要模块，在数据处理模块，主要就是进行历史故障数据的预处理，应用大数据平台处理后，将数据分为两部分，分别用于数据建模与模型测试。数据建模这一模块，主要是利用数据预处理模块得出的部分数据信息，进行知识库的建立，故障知识库的建立，决定了整个系统的运转效应，将知识库当中各种知识与经验系统的展示，通过规则推理与决策表的核心作用，将故障原因与数据异常特征进行诊断，决策表中的每一行都能代表一个专家案例。实际应用当中，对模型的不断检测完善，才能达到预期效果。通过多次的测试与效果反馈，不断进行维度调整与循环测试，最终达到挖掘模型的相应数据要求，将最终确立模型储存到数据库当中。

2.3 系统实时模块实现

实时模块的众多功能当中，寻找异常数据是其中的重要功能实现之一，由此，数据的预处理阶段并不需要对缺失数据进行补偿处理，秩序进行数据建模的维度选择就可以了。异常数据检测模块主要应用的算法有离群点算法与数据挖掘算法，针对大数据平台特点以及故障预警系统的要求，对着两种算法进行改进。异常数据分析模块则需要与上述的检测模块进行交互作用，将检测模块筛选出来的异常数据，通过分析模块，判别故障类型并得出相应的解决办法，再输出到故障定位模块。故障定位模块，主要依据异常数据分析模块输送来的相关信息，通过实时监控相关技术，准确找出故障位置，实现精准定位[3]。可视化模块的作用，就是将异常数据分析模块得出的有效数据结果信息，以可视化的形式展示给系统用户或故障维修施工人员。

2.4 系统功能模块实现

整体拓扑结构，是依据业务系统、集群、位置、业务IP、机柜、以及服务器类型六个维度，来实现服务器的拓扑结构展示的，全面应用各个维度数据之间的高度关联性，实现复杂的服务器运维工作。故障源拓扑，是突出显示与故障节点相关节点信息的一种方式。历史故障数据信息统计，是将全部的告警历史信息数据进行统计分析，进而实现各主机能够在不同时段对不同等级的告警次数进行全面统计，同时将处理结果可视化展示给运维人员，为运维工作的顺利惊醒提供可靠依据。故障原因知识库，是利用历史故障原因数据构建的知识库体系，能够帮助利用知识库中的数据信息，排查故障，得出最可能的故障起因。

3 结语

综上所述，本文以Hadoop为基础构架，以大数据平台的数据处理、分析挖掘以及可视化展示等为技术支持，简要研究了设备故障预警系统的功能建立与实现。通过对众多技术的不断研究与开发，能够更好的实现故障预警系统在实际运维工作中的高效作用，帮助通信设备运维工作的顺利进行。

参考文献

[1]张明.基于数据分析的自动观测设备故障预警系统的设计与实现[J].信息通信，2014，（11）：80.

[2]吳国潮.设备故障预警系统的设计与实践[J].自动化与仪表，2015，（9）：10-13+59.

[3]高兆丽，孙英涛，陈敬德，罗林根，盛戈皞.变电站全站设备故障预警系统的研制[J].电气自动化，2016，（5）：36-37+53.endprint