电力公司大数据分析平台项目的构建方案

应泽贵

摘 要：随着电力行业技术的不断创新，为了能列好的服务于电力行业，该公司将采用目前市面最为成熟的B/S Hadoop系统框架建立大数据分析平台。通过PI、WEB服务、中间件、多元适配器等主流技术充分保障项目的市场先进性以及在同行业中同类产品的领导地位。

关键词：电力公司 大数据分析 项目方案

中图分类号：F426.61 文献标识码：A 文章编号：1674-098X（2015）11（c）-0015-03

大数据，IT行业的又一次技术变革，大数据的出现对国家经济发展和企业转型带来深远的影响，并将成为云计算、物联网之后信息技术产业领域又一重大创新变革。未来的十年将是一个“大数据”引领的智慧科技的时代，因为随着信息网络和物联网技术的不断发展，会产生出越来越多庞大数据，此时的大数据处理正是应势而生。

1 项目简介

四川省电力公司眉山公司也将在自建的大数据分析平台中，充分调动平台的能动性及数据分析能力，将传统的行业信息收集，转换为具有分析性，前瞻性的数据集成平台。系统通过將公司过往及未来的运维、施工等数据进行统一收录，通过数据挖掘等方式分析公司的运作模式的优劣，以数据引导的方式为公司提供更具有市场竞争力的产品和管理模式。

2 项目整体框架

该课题通过建立一套平台信息收集的方式，将目前眉山电力公司过往的运维、管理、施工等数据进行统一录入。通过数据的录入/导入等方式将已入库的数据进行数据分析及挖掘，并以图表、文字报表、数据分析说明等方式展现给管理机关。

2.1 系统技术架构

见图1。

2.1.1 框架描述。

（1）（表现层）界面控制层。

界面主要是用来接受客户的一些请求，并有返回数据的功能，可以为客户端提供页面式的访问，是显示各类数据和用户信息的交互式界面。

（2）（应用层）业务逻辑层。

业务逻辑层是为了能顺利进行数据交换而设计的，它处于整个框架层的中间，这是由于层与层之间具有弱耦合作用，这会使得最下面一层做任何改变都不会影响到上层动作，所以在分层设计时，要依据层与层之间的这种弱依赖关系，以面向接口设计思想为基础，在不改变接口定义的基础上，构建一个可抽取和替换的理想式“抽屉”架构，此时的业务逻辑层对这个架构的构建非常重要，它要同时具备两种功能，从数据访问方面，它要具有调用功能；从表示层方面，它要具有被调用功能。二者的依赖关系都是建立在业务逻辑层上的。

（3）（持久层）数据层。

数据层主要功能是进行数据库的访，通过它可以直接访问数据库系统的所有数据，换言之就是指数据层可以实现对数据表的Select，Insert，Update，Delete的操作。在该项目中将用Web Service技术实现WPf客户端与服务器端的对接。

2.1.2 系统框架架构

系统框架架构见图2。

2.2 系统欢迎页

页面主要用于用户登录后快速的进入到相应的管理查询模块中，用户可以在主页中查看近期的数据更新状况，报表快查等。

2.3 数据展示页

通过前期管理人员的数据录入及对应的类型录入后，管理员可以在页面中以各种条件查看当前数据的报表信息（图、表等类型），同时可以对这些数据进行对比分析并生成相应的分析文档。

2.4 数据导入页

通过前期设定好的数据来源分类、数据类型分类等方式，将数据通过导入、自主上传等方式录入进系统中，系统将以类型的等方式将数据录入至数据库中。

2.5 数据来源类型管理页

拥有权限的管理员可以根据不同的数据来源，类型将录入数据的类型进行整理和分类。其他用户可以通过设定好的类型进行数据录入和数据查看，而系统需求中提及的6个大类全部都由此部分完成，管理员可以根据上面6种行业类型的不同细分将对应的类似与（设备、网络、地址、运维人员）等数据进行统一归类，完成类型设置后即可对该类型下的数据进行管理和查看。

2.6 用户管理页

拥有管理权限的管理员可以在该页面中对其他系统操作人员进行角色，权限的分类，并可查看这些工作人员近期的操作记录。

2.7 系统管理页

拥有权限的管理人员可以在该页面中对于系统的、数据备份、系统参数等模块进行管理和操作。

3 大数据分析技术

分析技术意味着对海量数据进行分析以实时得出答案，但是应用在大数据分析平台中，由于大数据自身的庞大性和复杂性，使得该项技术目前还不太成熟，相信随着相关技术的不断进步，大数据分析技术会日益完善。目前，大数据分析主要以下几个方面功能。

3.1 可视化分析

大数据分析系统中最基本功能就是数据可视化，它针对所有客户端用户或是数据分析人员，通过图像化的数据来表示数据，让用户有更好的感受结果体验。

3.2 数据挖掘算法

数据挖掘主要是用来实现客户端的数据图像化，通过数据挖掘功能将数据以图像的形式表现出来，也是机器语文的翻译器。该算法具有精炼数据，高速处理的优点，能能够应付大数据平台中庞大的数据量，而且还要实现高速计算。

3.3 预测分析能力

在大数据分析平台中，数据挖掘可以实现数据计算和转换，极大的提升判断的准确性，而平台预测分析功能却是让用户或是分析人员利用图像和数据挖掘的结果来做一些正确的判断和使用，是平台比较重要的功能。

3.4 语义引擎

由于庞大的数据量给日常数据处理带来很大困难，加上数据多元化且非结构化的特点，此时的数据处理需要使用专业的系统工具进行分析和提炼，而语义引擎的主要作用就是满足人工智能化的数据信息提取。

3.5 数据质量和数据管理

平台最后的一个功能就是对数据的质量和管理进行控制，通过标准化流程处理数据，以此来获得预设质量的分析结果。

目前的大数据平台是由非结构化数据存放文件系统+完善备份和容灾体系组成，使得该大数据平台即经济又实惠，与目前市场上昂贵的小型机集群+商业数据库方案比较，不仅在性能上没有缺失，还具备了充分的可扩展性。在设计该方案的初期，就已经开始思考该大数据平台的后续扩展性问题。

（1）商業并行数据库的基本要求就是各节点物理结构相同，这样才会满足数据的近似计算和存储要求。但是随着硬件技术的不断发展，后来扩容增加的配件肯定要优于最早的老硬件，这样就会打破物理结构相同这个原则，旧硬件也会逐渐成为平台发展的阻碍。为了能更好的保持系统的优越性，只能选择慢慢替换旧硬件，这样就会产生成本浪费，经济损失自然巨大。

（2）就是目前最优的商业并行数据库，能管理的数据节点量也是有限制的，一般都是控制在几十到上百这个区间，这也是架构设计不合理导致，这种数据库的后续扩容性肯定有限。而MapReduce+GFS框架，却不存在以上问题，日后如果需要扩容，仅增设机柜即可，再辅以适量的计算单元和存储，集群系统会自动分配和调度这些资源，一点不会影响到现有系统的正常运行。

4 系统安全设计

4.1 压力测试工具

建议使用HP的LoadRunner压力测试工具LoadRunner，该工具能很好的预测系统行业和性能测试。通过使用该测试工具，可以有效缩短测试时间，同时优化系统性能，它目前被大量应用于各种体系架构的自动负载测试中。

4.2 防火墙技术

为了更好的安全性能，网络火墙要以多种网关方式进行设置，过滤表应以匹配模式进行设计：IP地址、MAC地址、TCP端口号、UDP端口号、主机域名、网段等。比如，允许通过的只能是合法认可的IP，而非屏蔽的非常IP地址；端口方面也只能放行特定的端口号（即具体的服务），屏蔽那些含非法端口号的数据包等。

4.3 入侵检测

虽然经过防火墙技术可以过滤大部分不安全访问，但是想完全实现网络安全仅依靠防火墙技术是不可能的，入侵检测系统就是最好的补漏体系，它是根据已有的、最新的攻击手段的信息代码对进出网段的所有操作行为进行实时监控、记录，并进行实时阻断、报警等策略，有效防止网络攻击和其它非法行为。

参考文献

[1] 肖成勇，赵子川，王淑芬.电力技术自动化在我国电力系统中的重要性和发展趋势[J].大科技，2012（10）：11-13.

[2] 杜立民.电力竞争与我国电力产业市场化改革[M].杭州：浙江大学出版社，2010.