基于大数据的信息能耗管理系统设计

2019-09-07杜军龙周剑涛江西省信息中心

数码世界 2019年9期

杜军龙周剑涛江西省信息中心

1 系统设计需求与架构

1.1 系统设计需求

随着多技术系统的研发和系统功能的不断丰富，现代大中心信息系统的数据量也越来越大，所产生的系统能耗也随之增多，如何针对大中型信息系统的海量能耗数据进行精准有效测算和管理，也逐渐成为能耗管理领域面临的新课题。基于大数据技术设计一种针对海量能耗信息的管理系统，能够有效地解决上述问题，其设计的核心思想为：借助大数据技术构建海量能耗信息数据的多层次分布式采集、分析和管理平台，实现对能耗数据的精准采集、分析和有效管理，全面均衡高效地管理海量能耗数据，为能量信息的科学使用提供依据，本系统的设计正是基于上述需求。

1.2 系统整体架构

本系统采用B/S 架构设计，主要由能耗信息采集、分析和管理三个模块组成，各模块运行于平台框架层上，针对能耗信息数据的存储、处理和应用引入Hadoop 分布式文件系统和Oracle 数据库体系，运行平台为Hadoop 和Tomcat。系统前端以Extjs 技术创设人机交互界面，并针对后台服务器接口的访问则应用HTTP 技术，前端和后端之间以JSON 作为交互通信的数据类型，上述系统架构能够使所采集到的能耗信息数据被大数据系统及时地处理、分析和管理，且大大提升海量数据的运维效率，详细的系统架构图如下：

2 系统主要模块设计

2.1 能耗信息采集模块

能耗信息采集模块用于采集现场能耗信息，并将采集来的信息上传至采集数据服务器中，生成专门的能耗数据ORC 数据集合，这些数据集合将集中上传至系统的能耗数据分析层。为实现对现场能耗信息的有效采集，能耗信息采集模块配置了不同类型的传感器网络，如：温度传感器、风力传感器、流量传感器等，这些传感器能够及时收集能耗运行现场的能量数据，并将数据转换成数字信号上传至采集服务器中。采集服务器接收到传输来的能耗基础数据后，对数据的类型、采集时间、误差率等基本信息进行识别，将其中有用的能耗大数据信息统一归类整理，生成专属的采集存储ORC 数据库，数据库中除了涵盖所采集能耗的信息外，还包含能耗数据采集层FTP 服务器地址信息、用户名信息、密码信息及各类能耗数据文件的存储调用路径信息等，各类信息以Hadoop 分布式结构存储，以确保能够快速、准确地调用。整体而言，能耗数据采集层包含硬件和软件两大体系，是系统获取现场一手能耗数据的关键层。

2.2 能耗信息分析模块

能耗信息分析模块的主要功能为：对采集来的能耗信息进行分类性分析处理，实现能耗信息的差异化分类分析归档，以便于系统对能耗数据的管理和应用。该模块基于HDFS 大数据结构，所分析的数据存储在专门的数据库中。针对能耗信息的主要分析包含以下几类：（1）基本能耗数据分析。主要针对指定时间、类型和结构的能耗信息进行基本的分析，例如：累计总能耗计算、各项能耗占比、能耗产生的时间、能耗产生的位置、有用能耗的数量等，针对上述能耗的分析基于大数据技术，实现对能耗数据的基本分析，之后以数据表的形式呈现。（2）自定义能耗数据分析。可根据用户需求对不同类型的能耗，如：风能、水能、电能等，进行分类差异化分析，应用该分析功能可以差异化地进行分项、分时间、分区段和分单元的多维度能耗分析计算，分析的结果可以图表的形式呈现给用户。（3）能耗数据整理归档。对于分析完成的能耗数据，能够根据数据的类型生成不同的ORACLE 库，各个ORACLE 库又能够归档至RAC 总库中，形成分布式的能耗分析数据体系，以便调用。

2.3 能耗信息管理模块

能耗信息管理模块实现对各类能耗信息的统一管理和应用处理，确保能够二次利用的能耗得到最高效的应用，对于不能够二次利用的能耗则统一处理，以最大化实现节能减排。该模块在功能设计上，基于大数据分布式层次结构，并根据功能应用的需求，分为能耗查询、能耗计算和能耗应用三个功能体系，现对各体系的功能做如下解读：（1）能耗查询。以Hadoop 为技术核心构建的人机交互查询界面，用户可登陆界面自助查询能耗的各类详细信息。具体设计上通过图形化界面生成了自定义查询数据字段和条件字段，系统后台生成数据库语句，当用户执行查询指令后，界面上会显示响应的查询结构。（2）能耗计算。所采集并进过基本处理的能耗数据导入到HDFS 文件系统后，能耗信息管理模块便会根据用户的调用需求，针对相应的能耗数据进行并行分析计算，计算采用大数据挖掘算法，如：聚类算法、分类算法、关联规则算法、社团网络分析算法等，不同的算法可得到差异化的类型结果。（3）能耗应用。用户可根据能耗数据计算的结果，自动或手动选择可二次利用能耗的类型，并决定能耗二次利用的去向。

3 信息能耗测算管理方法

针对能耗的采集和测算是本系统的核心功能，其中对能耗的采集主要通过在耗能装置上按照差异化的传感器获取相应的能耗数据，系统会对现场能耗数据进行周期性的采样，并将采集到的原始能耗数据通过数据分析层的基础性处理后传输至能耗应用管理层。倘若用户需要调用某一类能耗数据时，只需要登录能耗数据管理平台，点选相应的能耗应用算法，系统便会应用大数据挖掘技术自动调用相应的能耗数据进行测算，具体的过程为：首先，采用jar 包的方式调取用户需求能耗数据；其次，根据用户需求选择相应的大数据挖掘算法进行计算，产生针对能耗数据的详细分析结果；最后，结果以可视化界面的形式呈现给用户，同时存储在大数据数据库中，以便用户随时调用查看。上述过程涉及到的大数据计算方法十分丰富，此处不再累述，相关的能耗测算管理方法能够大大提升能耗数据的利用效率。