BP神经网络和云算法的电力营销数据处理方法

韦 雅，张 岚，王宏民，马文栋

(国网河南省电力公司电力科学研究院，河南 郑州 450000)

0 引 言

目前，电力营销管理系统大数据蕴含着庞大的社会经济和科学价值，随着云计算、大数据技术的不断发展，逐步出现了基于大数据的云计算基于诸如软件即服务(SaaS)、平台即服务(PaaS)、基础设施即服务(IaaS)、虚拟化(virtualization)的软件类型来实现大数据处理[1-2]。用户通过云计算能够快速、准确地搜索、使用电力营销管理系统中的大数据。随着电力电网行业在全球范围内的快速发展，云计算软件平台也呈增长趋势，用户能够充分使用云计算，获得出乎意料的超快数据处理能力，大约每秒能够进行10万亿次以上的数据处理，比如当前在市场上使用比较多的H3C CAS云计算管理平台、AbiCloud企业级开源云计算平台、Eucalyptus开源云计算平台、Nimbus云计算平台等[3-4]。

由于电力营销管理系统中产生的数据量巨大，类型繁多，因此用户使用起来就极为不便[5]，就需要一种新型计算方法来处理这些问题。传统的数理统计方法难以满足用户的需要，需要引用新型的数据管理办法实现电力营销管理系统的统一管理、智能存储、数据处理、数据分析、数据可视化等应用[5]，有助于用户提高电力营销管理系统大数据的处理能力。

1 总体架构设计

在该系统构架中，主要使用户在面对海量的电力营销管理系统数据，能够妥善地管理、使用，节约数据处理的时间。在计算机(PC机)上安装云计算软件，该文采用的云计算平台为云端智能电网大数据处理平台SP-DPP(smart power system big data processing platform in cloud environment)[6]，包括数据采集层、云存储单元、云计算单元和数据应用层，其架构示意图如图1所示。

图1 云计算架构设计示意图

在该系统设计中，数据采集层主要用于采集电力营销管理系统中的各种数据。电力营销管理系统是使电力企业能够建成一系列服务于生产、计量管理、营销、客户服务、数据处理、企业管理、计量管理、财务管理等各个不同领域的计算机信息管理系统，该系统是由客户服务层、电力营销工作质量管理层、电力营销管理决策支持层、电力营销业务层等组成，其包含各种不同数据，诸如大型专变终端、中小型专变终端、单/三相检定设备、居民用户设备、公用配变考核计量设备、变电站设备等电力设备产生的管理、计量用电、监控等各种数据。数据采样单元还可以包含计量装置，采集不同电力设备信息数据的多种传感器，诸如振动传感器、温度传感器、湿度传感器、磁场传感器等[7]。

云存储单元主要负责存储电力营销管理系统中的各种电力数据信息。云存储单元拥有多个数据服务器，云存储类型包括个人云存储、私有云存储、公有云存储和混合云存储[8]，都具有较大的容量。在个人云存储单元中，通常通过网络连接电力设备来启用，这样能够使用户存储类型各异的个人数据。诸如Word、文本、图案、照片、视频和音乐。用户通过携带该云设备，可以随时拥有数据并控制设备，进而访问云数据。在私有云存储单元中，通过本地局域网络控制的云存储服务器，充分地利用虚拟机的性能特点，存储电力营销管理系统大数据。在公有云存储单元中，其能够使提供商拥有、管理、构架和维护电力信息营销管理系统数据。在混合云存储单元中，其是上述各种元存储单元和数据中心的适当组合。这种方式能够将由企业拥有和管理的电力营销管理系统数据资源具有与公共云存储的电力数据提供的弹性、可扩展性和成本优势。

在云计算单元中，通过数据挖掘算法对接收到的数据按照不同的定义属性进行分类、计算，数据挖掘算法包含诸如关联算法、回归分析、聚类算法、异常检测等，其中每种算法又包括多个算法，比如分类算法包括诸如决策树算法、贝叶斯算法、神经网络、支持向量机等多种算法[9-11]。限于篇幅，该文采用BP神经网络算法。通过BP网络算法模型能够将电力数据按照误差逆传播算法训练多层前馈网络，继而学习和存贮大量的输入-输出模式映射关系，及时映射、处理电力信息样本中比较复杂的非线性关系，这样能够提高电力营销管理系统产生数据的精确度。用户在数据应用层中能够进行各种应用。

2 关键技术设计

2.1 云计算平台设计

由于云计算平台SP-DPP具有存储电力营销管理系统大数据的稳定、可靠的中心节点，因此该文用SP-DPP云平台进行云计算。SP-DPP平台在处理、分配电力营销大数据处理任务时，能够把数据处理任务在营销管理大数据中心节点上调度，比如参数文件、配置文件、代码文件等[12]。云计算平台SP-DPP在逻辑上包括大数据存储与管理模块、任务分配与调度模块、大数据执行模块和客户端模块。云计算平台SP-DPP能够实现电力营销管理系统海量数据处理的需求，以实现电力营销管理系统的运行状态，更好地获取相关数据。其架构如图2所示。

图2 SP-DPP平台架构示意图

在大数据的存储与管理模块中，设置有分布式文件系统DFS(distribute file system)，主要用于存储等待处理的大数据。DFS能够自动为电力营销管理系统管理这些TB到PB级的海量电力数据[13]，在使用时，DFS能够自动获取电力营销管理系统的/dfs/tmp/filel的数据。在任务分配与调度模块中，因为需要分配、调度电力营销管理系统数据，该模块能够将数据处理的任务以及子任务调配到空闲工作机上。在划分数据时，可以根据用户的需求选择合适的数据属性和特点，因此提高了数据调度的效率。在调度时，需要综合考虑工作机的硬件配置和软件信息，硬件配置包含有CPU主频、内存、磁盘等，软件信息包括CPU利用程度、网络通畅程度、数据传播速度、可靠性等。使工作单元在各个物理节点之间进行迁移时比较自由和灵活。在大数据执行模块中，由SP-DPP云平台为基于虚拟化技术而实现各种操作，使得SP-DPP云平台中的电力营销管理系统处理、计算处理均在虚拟机上运行。在客户端，用户能够通过互联网访问SP-DPP云平台，客户端可以按照服务等级协议(service level agreements，SLA)，采用按时付费(pay-per-use，PPU)的模式来管理。在使用上述SP-DPP云平台时，用户还需要使用Apache的开源的云计算平台Hadoop中的MapReduce规范，以促进数据的处理[14]。

2.2 大数据处理方法

由于BP网络算法模型本身的学习效率高，数据诊断速度快，数据判断的准确率较高，因此在面对电力营销管理系统各种大型数据时，用户需要分析出各个不同数据内在联系及关系，就要用到BP网络算法模型。神经网络算法模型主要类型有前馈神经网络、回复式神经网络、时序记忆神经网络等[15]。该文主要采用前馈神经网络模型，这也是最为高效的网络模型。利用BP网络算法模型能够映射、处理电力营销管理系统内存在的各种信息样本中错综复杂的非线性关系，揭示电力营销管理系统数据之间的逻辑关系。BP神经网络算法结构示意图如图3所示。

图3 BP神经网络算法结构示意图

在利用上述方法时，首先在电力营销管理系统平台中选出用户待分析的不同类型的数据，通过学习、训练，将杂乱无章的数据进行预处理，将无关的电力数据剔除掉，过滤出较为纯净的数据类型，然后按照数据的特征属性进行聚类、归类等操作[16-17]。由于BP神经网络模型包括输入层、隐含层和输出层。经过处理以后的数据通过输入层输入，这些数据包括电力营销管理平台中的电能计量数据、电费收取费用、配电管理费用、线损管理费用、用电监查费用等，通过反复调整神经网络中的权值、阈值，进而逐步逼近用户所需要的结果，最终使得电力营销管理数据最小化输出误差，使得数据处理精度比较高，在使用调整BP神经网络模型时，按照下述公式来调整：

调整输出层权系数的公式为：

(1)

调整隐含层权系数的公式为：

(2)

针对每种电力营销管理信息样本数据[18]中的输入模式对的二次型准确函数模型为：

(3)

对于N个电力营销管理系统数据样本的总准确函数表达式为：

(4)

在输入层，电力营销管理系统平台内具有复杂信息数据，在利用上述公式计算之前，首先要对电力样本数据进行标准化处理，以便提高学习精度。

假设输入的电力营销数据的种类为m个，样本为N,对于输入数据xij的标准化按照下列公式的步骤进行：

(5)

(6)

(7)

其中，i=1,2,…,N；j=1,2,…,m，Zij为进行标准化处理后的数据。

标准化公式为：

(8)

3 实验结果及分析

实验中，选择具有良好吞吐量和加速比的SP-DPP云平台。其中云服务器主机的硬件配置为：Intel Xeon E3-1220v53.0 GHz四核，内存：8GDDR4，硬盘：1*Intel企业级SSD，1*SATA 1T，网卡：2*千兆网口；工作机节点的硬件配置为：CPU型号Intel Xeon E53.0 GHz，内存为8 GB。硬盘容量为1 TB；实验时，将这些节点通过局域网内的1台千兆交换机相联。其中云服务器主机的软件配置为：将9台PC机都安装RedHatLinux操作系统，Hadoop版本为1.0.4，JRE环境为1.6，用户只要继承MapReduce-Base，分别实现Map和Reduce的两个类，即可编写Map和Reduce的程序。其中通过PC机组成的SP-DPP平台的节点配置信息如表1所示。

表1 SP-DPP平台的节点配置信息

在电能计量数据、电费收取费用数据、配电管理费用数据、线损管理费用数据、用电监查费用数据中选择电能计量数据作为示例性实例进行说明。电能计量数据包含有电压、电流、纹波、负荷、谐波等。在验证BP神经网络模型时，选择F-measure作为评价标准，利用信息检索中的准确率(precision)和召回率(recall)评价聚类分类算法的精确率。测试模型如图4所示。

图4 BP神经网络算法结构示意图

下面对验证的公式进行介绍:

准确率计算公式：

(9)

召回率计算公式：

(10)

(11)

最终得出F值：

电能计量数据的样本数据如表2所示。

表2 测试样本数据计算

因此通过上文论述，针对20 000份数据样本，以15秒内时间作为测试时间，召回率分别为91.2%、91.5%、91.6%、91.4%和91.3%，正确率分别为92.5%、92.4%、92.2%、92.6%和92.3%，整个模型的准确率为92.12%，可见设计的模型计算率较高。

4 结束语

由于大数据蕴含的巨大科学、经济价值，随着云计算技术的发展，云计算在大数据计算中发挥着越来越重要的作用。该文通过建立SP-DPP云平台进行云计算，在SP-DPP平台处理、分配电力营销大数据处理任务时，能够把数据在营销管理大数据中心节点上调度，又经过BP神经网络模型算法实现数据的更精确学习、训练。通过采用“大数据+神经网络”的深度学习算法针对电力营销管理系统中非结构化、模式多变的电力大数据群中的特征提取模式，有效地提高了数据的精确度。