大数据背景下的电力营销信息化建设研究
2021-02-05葛一统向锋铭余桂华崔金栋李晨雨
葛一统，向锋铭，余桂华，崔金栋，李晨雨
（1.杭州市电力设计院有限公司余杭分公司，杭州310030；2.东北电力大学经济管理学院，吉林吉林132012）
0 引言
近年来，互联网领域发生了重大变革，“大物云移”等技术快速发展并应用于各行各业，“互联网+”成为了各个行业发展的主要趋势。“十三五”期间国家电网有限公司提出要推进“互联网+”智能电网建设，全面提升电力系统的智能化水平，2019 年更是提出了建设泛在电力物联网的目标。在电力营销领域，电力体制改革的加速进行给电力市场中发电、输电、配电、供电等环节都带来了深远影响，“互联网+电网”的建设则为电力企业经营服务模式改进提供了新思路——电力营销信息化建设。
电力营销业务开展过程中，海量数据随之产生，这些营销基础数据能够准确反映出电力营销业务的开展状况，结合大数据技术，对海量的电力营销数据进行获取、清洗、管理、分析与呈现，能够帮助电力企业从数据中发掘各类有用信息，从而完成电力营销服务水平提升，推动电力企业信息化建设不断深化。
本研究从电力营销信息化建设现状着手，探讨大数据技术在电力营销数据管理各方面的应用，展望大数据环境下电力营销信息化的未来建设方向。
1 电力营销信息化建设的必要性
电力营销指电力企业在变幻莫测的电力市场中，针对市场开展一系列经营活动，为消费者提供其生活、生产所需的电力产品和服务，从而创造经济价值［1-2］。因电力商品不可大量储存，所以在电力营销领域，实现市场中供需双方的相互协调、为用户提供及时、可靠的电能供应以及相关的营销服务尤为重要。而在电力营销领域进行信息化建设，不仅是在新的市场环境下电力企业谋求长远发展的需要，也是借互联网逐步兴盛实现产业升级的需要。
首先，电力体制改革正在如火如荼地进行，此次改革力求改变传统电网“独买独卖”的交易格局，使更多发电、用电企业以及民间资本能够参与到市场竞争中，使电力市场更加具有活力，但也给电力企业带来了压力和挑战。在“买方市场”中，谁能找准自身的市场地位并最大限度地满足电力用户智能化、个性化的服务需求，谁就能在激烈的市场竞争中获得发展［3-4］。因而，以客户为中心，借助互联网技术，围绕电力营销服务的全过程，打造完备的电力营销信息化平台是大势所趋。
其次，互联网具有信息收集效率高、传播速度快、传播范围广、用户实时交互、运行成本低等优势。因此，对电力营销进行信息化建设能够极大地推动电力营销服务升级，辅助企业完成营销分析、营销决策等业务活动［5-6］。此外，信息技术和通信技术的快速发展也为海量营销数据的处理与分析提供了更多解决思路［7］。由此可见，在互联网蓬勃兴起的时代，进行电力营销信息化建设势在必行。
2 电力营销信息化中的大数据应用
对获取到的海量电力营销数据进行管理时，可以利用Hadoop 平台——一个支持对海量的数据进行分布式并行处理的大数据软件平台，其最关键的2 个组件分别为分布式文件存储系统（Hadoop Distributed File System，HDFS）和 数 据 处 理 组 件（MapReduce），分别用于实现对数据的分布式存储和处理［8］，同时，提供了Pig，Zookeeper，Tez，Hive，HBase等组件来实现对数据的分析与处理。
2.1 电力营销数据存储与集成管理
HDFS 对营销数据进行存储与管理，对数据进行集群分布式存储，满足大批量数据处理的需求。在HDFS 集群中，底层有大量的廉价计算机端口（Personal Computer，PC 端）通过光纤高速连接组成机架，集群中的机器采用主从结构。在HDFS 1.0中，1 台机器作为主节点，即名称节点，其他的作为从节点，即数据节点。在HDFS 2.0 中，2 台机器作为主节点并进行分区管理，名称节点相当于整个集群的管家，为集群提供元数据服务，起到的作用类似于数据目录，而名称节点则负责存储具体的数据。
在进行数据存储时，可以将从各类传感器、国网SG186 营销系统、用户信息采集系统、应用程序（App）、微信平台、线上客服中心等处采集到的数据存入HDFS。在客户端发出数据存储请求后，主节点会创建一个新的文件系统命名空间，并根据各个数据节点的可靠性做出存储响应，在存储数据时，名称节点会将数据进行分块，并为各个数据块创建副本，然后按照特定的存储策略将其存储到所分配的数据节点上［9］，其存储策略如图1 所示，待数据节点返回确认信号与更新消息，即完成存储。
图1 基于HDFS的电力营销数据块存储策略Fig.1 Data block storage strategy of power marketing based on HDFS
而在读取数据时，采取就近原则进行读取，客户端发送访问请求后，从名称节点处获得各个数据块副本存放的位置列表，明确数据块存放于哪一数据节点，然后HDFS 通过特定的应用程序接口（Application Programming Interface，API）确定客户端和数据节点所属机架的身份标识号（Identity Document，ID），若某数据节点与客户端同属某一机架，则优先读取该数据节点上的副本。
而且，在名称节点中，利用元数据镜像文件（FsImage）和操作日志文件（EditLog）2 种数据结构，能够实现对数据的更新操作。当主节点启动后，会将存储元数据的FsImage 从底层加载出来，并与EditLog 中所存储的整个运行过程中的诸如创建、重命名、删除等操作进行合并，得到新的元数据，采用第二名称节点解决EditLog 不断增大的问题，如图2所示，以此来保证能够以较高的效率实现对数据的操作。
图2 基于HDFS的电力营销数据管理策略Fig.2 Data block management strategy of power marketing based on HDFS
利用Hadoop平台完成数据的集群分布式存储，不仅能够实现大规模数据的高效存储与读写，而且HDFS 自有的备份机制，能够很好地保证电力营销数据的准确性、完整性、适用性。
而若想要打破数据屏障，实现数据共享与交换，则可采用HBase数据库，对各种类型的松散数据进行集成管理。HBase 使用四维坐标映射表对数据进行列式存储，利用库函数、主服务器（Master Server）、区域服务器（Region Server）这几个主要的功能组件，以HDFS 为底层文件存储系统，实现对数据的存储与访问。
2.2 电力营销数据处理与分析
电力营销数据类型丰富，包括时序数据，如用户用电消费记录，其中由包含用户的电能消费时间、用户姓名、用电地址、电费单价、用电量以及联系方式等基础信息；时空数据，例如提供供电服务的电力企业电网布置架构与资源分配情况［10］等；快速、持续流入和流出的流数据，在对海量、多元、异构的电力营销数据分析之前，可以先对数据进行预处理，例如，针对电力营销数据的数量级存在差别的情况，可以先对数据进行规范化，既能保证数据的完整性，还能实现最小化数据冗余。Z-score 标准化方法适用于数据极值不确切的情况，通过数据的分布，确定数据的标准差σ 与均值μ 对数据进行规范化处理，Z-score方法的规范化公式为
式中：Z 为经过标准化方法处理后的数据；x 为原始数据。
在进行电力营销大数据的处理与计算时有多种模式，不同的模式分别适用于不同的数据处理需求，需要针对数据类型、用途等进行选用，从而让数据与技术共同协作创造最大的价值。其中，分布式处理技术可以用来对大规模分布式存储的数据进行批量处理，流处理技术则主要用于数据的实时处理与快速响应，内存处理技术可以实现对数据的高速读取与处理，此处，以Hadoop 平台提供的MapReduce 组件为例，分析如何对大批量的电力营销数据完成非实时的分布式并行处理。
MapReduce 采用非共享式架构，借助集群对大规模数据集进行并行处理，将待处理的数据集切分为独立的分片，即切片（split），为每一个分片单独启动一个map任务，通过多个map任务实现并行处理，集群中的计算节点可采用廉价的PC机，且任何一个节点出现问题，都不会对其他节点的运行产生影响，使对数据的处理更加高效、安全，运行成本降低，且遵循计算向数据靠拢的理念，避免频繁的数据迁移，使得对数据的计算可以直接在数据节点上进行，极大地节省了数据传输造成的开支，提升了程序处理性能。MapReduce支持运行用户自己撰写的程序，在处理营销数据时，涉及了底层文件存储系统的Client 客户端、HDFS、作业跟踪器（Job Tracker）、任务跟踪器（Task Tracker）、任务（Task）以及可插拔模块任务调度器（Task Scheduler），在执行具体任务时，Task Tracker 通过心跳（heartbeat）方式将一些自己的资源使用情况、任务运行进度等发送给Job Tracker，其体系架构如图3所示。
图3 MapReduce的体系架构Fig.3 Framework of MapReduce
对大规模的电力营销数据进行处理时，需要先通过输入格式（Input Form）模块对数据进行验证与逻辑分片，然后记录阅读器（Record Read）根据分片信息从HDFS 中加载数据块，并输出为键值对
图4 基于MapReduce的电力营销数据处理流程Fig4 Processing flow of power marketing data based on MapReduce
2.3 电力营销数据挖掘与价值提升
在对电力营销数据进行管理时，不仅需要对数据进行简单的处理与分析，更需要进行深入挖掘。通过关联规则、聚类分析、统计分析、贝叶斯网络、神经网络、回归分析等手段发现数据之中隐含的信息，帮助完成对用电负荷、客户需求、电路线损的预测等工作，为实施精准有效的营销战略与策略提供支撑，完成数据价值提升。
以用电负荷预测为例，因电能具有无法大量储存的特殊性，电力企业在发电、供电、配电过程中能对用户的用电负荷进行预测，尽可能地保证供需平衡。否则，电量过多，会导致大量电能浪费，增加了不必要的生产和运营成本；电量过少，用户基本的用电需求得不到满足，各类设备无法正常运作。因此，针对影响用户耗电量的各种因素，以数据为基础进行深入地挖掘分析，发现各因素与电能供应之间的关联关系，能够有效提高电力企业的供电协调能力，降低企业的成本。例如，各个季节、各个工作日和节假日、各个时间段，用户的耗电量也不尽相同，因此，可尝试采用关联分析的经典算法——FPgrowth来发掘用电负荷与时间之间的关联关系。
FP-growth 算法中最为核心的是FP-tree，在进行分析时，首先需要构建FP-tree，然后根据所搭建的FP-tree 来挖掘频繁集。在搭建FP-tree 时，第1步是要对数据库进行扫描，得到频繁项集（Frequent Itemset）F 以及各个项的支持度，根据设定的supmin（最小支持度）对项进行筛选，去掉小于supmin的项，然后将频繁项集F按支持度进行递减排序得到列表L，并将原数据集中的项依照列表L中的次序进行排序与表示，然后为FP-tree 创建根节点，并将其标记为“null”，再次扫描数据集，依照数据路径搭建FPtree。在利用FP-tree 产生频繁集时，依照自表尾至表头的次序对各个表项进行考察，不断递归，建立每个表项的模式树，得到关于每一个表项的频繁集［13］。
将FP-growth 算法应用于MapReduce 模型中，能够帮助发掘用电负荷与季节、时间段、节假日等因素关联的紧密程度，从而针对关联度最高的因素，进一步采用预测模型进行短期负荷预测，实现电力营销精准化管理。
2.4 电力营销数据可视化
基于Hadoop平台，数据可以经由集成、分析后，进入Hive 数据仓库，结合数据类型以及实际的应用需求，确定并设计数据可视化的主题，构建可视化模型。在生成可视化数据模型时，可以从已有的模型库中对图形绘制要素进行获取，按照应用需求进行重组，在全球广域网前端采用可视化技术进行图像绘制［14］。
在电力营销领域，可以充分应用文本内容、日志数据、图、多维数据以及时空数据可视化技术等，将采集到的数据以更为直观的形式进行呈现。也可以将数据分析的结果进行图形化展示，以此来记录、观测、跟踪数据、发现隐藏的数据关联、辅助理解数据、增强对数据的认知。
3 电力营销信息化建设现状
现阶段，电力营销信息化建设正在逐渐步入正轨。电力企业正在积极采用各项技术推动搭建更加完备的营销服务平台，例如与微信、支付宝等平台合作，推出线上缴费通道、建设线上客户服务平台、开发与使用营销服务系统，为用户提供账单详情、用电明细、电能质量、停电通知等营销服务信息等。在线上实现全天候业务办理、客户服务及信息咨询，与线下网点相辅相成。
随着大数据时代到来，数据俨然成为了重要的价值来源，借助大数据技术充分挖掘、利用电力营销数据，发现电力营销过程中存在的问题，提供更加个性、多元、智慧的营销服务，辅助完成营销决策，也已经成为了关键一环。
现今，大数据产业方兴未艾，电力营销信息化建设也正日趋完善，但仍存在一些缺陷。
（1）数据处理机制不够完善。在电力营销领域运用大数据技术，需要实现科学获取数据、分析数据、处理数据，让数据来支撑营销策略的制定，并在开展营销业务的过程中持续地进行迭代与优化。但是在目前的电力营销数据管理领域，数据处理机制仍然不够完善，组织部门缺失、应用流程不全等问题仍旧存在，特别是许多企业还未完全适应现今的市场环境和高新技术环境，对数据的敏感度不够，还未树立起以数据支撑业务活动的经营观念，这就使得大数据技术的优势无法充分发挥出来，企业的运营机制逐渐开始丧失活力。
（2）数据联系不够紧密。电力营销数据量庞大且冗余，数据类型多样，来自于不同平台或者不同区域的数据存在着一定的差异。现今在对多元异构数据进行处理时，尚未充分关注数据间的差异与联系并进行集成管理，未能打通数据之间的屏障以完成各系统间的数据共享，极易形成信息孤岛，不利于信息化进程稳步推进［15］。
（3）数据挖掘不够深入。一些电力企业在进行电力营销信息化建设时，仍然以传统的思维模式进行，未形成以数据的生成挖掘驱动营销业务的观念，对大数据的应用流于表面，仅仅对营销业务开展情况进行事后分析或是对用电情况进行实时监测，而未对数据实行深入挖掘，难以实现电力营销数据价值提升。
（4）营销人员技能欠缺。在电力营销领域，营销人员需要掌握充足的业务知识，需要充分了解企业的内部环境与外部环境，针对客户需求提供营销服务，而大数据环境下的电力营销信息化建设对电力营销人员的素质与能力提出了新的要求，在掌握传统营销业务知识的基础之上，营销人员还要能够有效应用大数据技术，将营销知识与大数据技术相融合，充分发挥大数据的优势，以大数据技术和大数据分析结果为支撑优化营销决策，基于此，电力企业必须从内部渠道或外部渠道获取业务能力更强、技术水平更高的营销人员。
4 电力营销信息化建设未来发展方向
4.1 保证数据安全性
在构建电力营销大数据体系的进程中，首先要完成的基础任务就是要保证数据的安全性。电力企业必须从操作系统、网络实体以及数据库等层次制定完善的安全管理措施，保证数据始终保持完整性、一致性、准确性、机密性。同时设置防火墙，将内部网络与公共访问网相分开，为内部网络以及主机提供安全保护，禁止不被信任的通信访问网络，也防止对外进行不安全访问，最大限度地避免数据的泄露与损坏［16-18］。
4.2 支持电力用户需求预测
依托电力营销大数据，整合电力营销业务中采集到的用户信息，结合各类规则与算法，对信息进行关联分析等数据挖掘操作，按照用户所属的不同类别、地域等进行深入分析，发掘不同用户的用电习惯与规律，实现针对各类型电力用户的需求预测。
4.3 提供差异化营销服务
如今，电力营销开始更加关注精准营销、个性化营销。依据大数据技术，企业可以通过数据分析实现对目标市场中电力用户的细分，将同质客户划分为一个集合，并以细分市场的数据为基础，深入挖掘电力用户的需求、用电特点等信息。将客户进行分类，提供更加多样的差异化电价等营销策略，贴近用户需求提供不同的营销服务套餐以供选择，从而为各类用户提供更加精准的营销服务。
4.4 提高用户满意度
随着“互联网+电力营销”模式得到推广，电力企业在提供营销服务时开始愈发重视用户的体验感以及客企间的良好交互，电力企业逐渐开始推行关系营销。依托电力大数据平台所提供的客户中心、客服中心、评分系统等模块，电力营销人员能够充分掌握用户满意度等级、用户的投诉内容、投诉用户的构成、问题解决情况等信息，从而对服务质量进行评级，并对问题进行提炼与分析，提出有效的整改方法，提高电力营销服务的总体质量。
4.5 降低企业经营风险
电费回收是保证电力企业经济效益的重要方面，但是一直以来都存在企业与居民欠费拒缴的问题，电费回收率低、催收成本高，也在持续地对电力企业的经营产生消极影响。现今，通过电力营销大数据的推广与运用，企业可以根据从营业厅、网站、App等渠道所收集到的用户缴费数据对用户的缴费行为进行监控与预测。对不按照规定缴纳电费的用户，利用创建信用等级等形式进行筛查，对部分用户采取电费担保等管理方式，对失信用户远程执行停电指令，从而使电费回收率低的问题得到一定的缓解。同时，通过对业务数据流进行监控，也可以对问题数据进行控制，及时对存疑现场进行核实，对各种经营风险进行有效预警与管控，使企业的各项经营活动能够平稳进行。
4.6 支撑营销决策
以感知和获取到的营销基本数据为基础，整合各类数据进行政治、经济、社会、技术（Politics Economy Society Technology，PEST）分析，深度挖掘各类信息间的关联关系，能够帮助企业明悉市场发展现状以及企业本身在市场中的定位，为企业制定更契合自己未来发展目标的营销战略提供支撑。
4.7 开拓新市场
随着电力市场逐渐向着“买方市场”转变，电力企业已经意识到，必须要树立以客户为核心、以市场需求为导向的营销理念。因而，若想要创新电力营销业务机制，必须从客户入手，整合用户信息，利用信息管理系统等平台所提供的数据挖掘、数据处理与分析技术，对电力客户的数据资源进行整合，从用户的消费行为中，发现新机会，定制新产品，开辟新市场。
4.8 优化线损分析
线损，即线路损耗，是指在电网运行的各环节中可能会产生的电能损耗。线损率的大小不仅能够体现出电力企业在规划、调度等方面的能力，还能够体现出电力企业的生产经营能力与营销水平，是衡量电网运营状况的重要指标。对线损进行更加精细化的管理是提高电力企业的经济效益的重要举措。传统的线损分析，主要是基于关系型数据库针对单一线损进行分析，在对数据进行处理时，在数据的同步、处理、评估、关联等方面均存在数据利用率低、无法满足精细管理需求的情况。大数据技术的出现，为电力公司提供了更多选择。分析人员可以利用采集到的实测数据，采用多种分析技术，结合线损标准化分析方法，创建更优的计算模型，充分研究各类线损之间的关联关系，革新传统的线损管理方法，精确定位，快速响应，为营销管理提供支撑。
4.9 提升用电负荷预测准确性
电能无法大量储存的特性，导致发电、输电、用电业务几乎需要同步进行，发多少用多少。要保证电能的持续稳定供应，就必须实现发电与用电侧动态平衡，这就要求电力企业能够在一定精度内运用科学的方法对一段时间内的用电负荷进行预测。传统的电力负荷预测方式，主要是通过对历史数据进行分析，归纳用电规律，从而对未来一定时间段内的用电量进行推测，但由于各种影响用电量的因素时刻处于变化发展之中，因而对用电负荷的预测具有较大的不确定性。通过充分利用大数据技术，企业可以掌握更为全面的用电行为数据、考虑更加全面的影响因素、选用不同时间范围内的数据分别进行短期、中期和长期电力负荷预测，从而提高电力负荷预测的准确度。
4.10 协助故障抢险
为了保障输、供、配、用电能够正常进行，电力企业在电力故障抢修方面高度重视。在进行故障抢修时，一般是供电企业先接收相关的故障报告，再派技术人员到现场进行查看，然后根据故障情况进行排查与维修。在大数据环境下，电力企业可以通过系统对抢险信息进行实时更新，避免故障信息滞后而带来的抢险不及时的问题；可以结合大数据所提供的数据可视化技术，结合具体的数据，搭建电力故障抢修平台，实现故障抢险数据的汇总与数理；也可以通过各类设备对实现故障的自动检测，通过数据实现故障预测，从而由事后抢险转变为主动维修，增强对故障抢险的管理能力，为用户提供更加可靠的服务，提高电力营销服务水平。
5 结论
综合以上分析，随着信息技术的快速发展以及“互联网+电网”建设的持续推进，充分运用大数据技术，搭建电力营销大数据平台是帮助电力企业转变经营模式，创新营销管理方法的有效举措。虽然现今仍未完全转变为以数据驱动营销管理模式，但是随着电力营销信息化建设不断深入，大数据必将为电力营销管理注入新的活力，为电力企业提高营销工作效率、提升营销服务水平提供支撑。
结合电力营销大数据的未来发展方向，可以制定如下计划逐渐实现电力营销数据信息化管理的部署与建设。
（1）从短期来看，电力企业首先应完成数据的收集与集成管理、硬件设施的配备、相应软件的开发以及专业人员的选聘与培训，为进一步的数据分析与应用奠定基础。
（2）从长远来看，结合现今国家所提出的“数据新基建”的发展策略，电力营销数据的信息化管理应当积极与5G、人工智能、工业互联网、互联网等相融合，构建电力营销智慧服务系统。
