大数据可视化技术在电网企业的应用

王 栋

(1.南通供电公司，江苏 南通 226006；2.复旦大学管理学院，上海 200433)

近年来，随着智能电网建设不断推进，电网企业积累了大量的电网业务数据，这部分电网业务数据主要分为三类：电网调控运行及设备状态数据；电网客户供用电数据；电网企业内部管理流程数据等。这些海量的电网业务数据给电网企业的大数据挖掘工作带来了机遇与挑战。目前电网企业大数据挖掘工作蓬勃发展，并在一些数据处理与分析的领域取得了一定的突破。但如何快速从海量的电网业务数据中挖掘出企业需要的信息，并直接指导于企业业务的发展，显得尤为迫切。大数据可视化技术作为数据挖掘工作的一个发展方向，已经被证明是一种解决大规模数据分析的有效方法，并在实践中得到了多个行业的广泛应用[1]。

在电网企业中，运用大数据可视化技术可以将海量的电网业务数据在有限的大屏幕上予以直观的展现，高效地进行大规模的数据分析，进而提高了电网管理的各项业务水平。目前，电网企业中的大数据可视化技术处于初步的发展阶段，相关技术难点如高维、时变数据的特征追踪、图像合成算法研究等仍有待进一步解决[2]。

1 大数据挖掘可视化技术概要

1.1 数据可视化技术的发展

数据可视化技术的发展按照时间顺序大致有如下几个阶段：多维信息的可视编码（1950～1974年），该阶段主要确定了构成图形的基本要素；多维统计图形阶段（1975～1987年），该阶段主要建立起数据分析的基本框架，将可视化引入统计分析，将信息可视化发展为一门学科；交互可视化阶段（1987～2004年），该阶段主要将计算机图形学和图像方法推广应用于计算科学，并正式定义了科学可视化（scientific visualiztion）；可视分析学阶段（2004年至今），作为一门新兴的学科，可视分析学的主要研究对象是海量、高维、多源和动态数据分析与挖掘，辅助用户做出有用的决策[3]。

1.2 数据可视化的主要分类

数据可视化的主要处理对象包括科学数据以及抽象的非结构化信息，结合数据分析的重要性与可视化技术的发展历程，数据可视化相应的可以分成3个分支：科学可视化、信息可视化和可视分析[1]。

（1）科学可视化主要面向的领域是物理、化学、气象、医学、生物等学科，对数据和模型进行测量、解释、模拟和交互分析。其数据通常表达的是三维或二维空间量，可以粗略地分为标量场可视化、向量场可视化、张量场可视化三类。由于电网企业大数据绝大多数不属于科学可视化数据的范畴，在此对科学可视化不做详细介绍。

（2）信息可视化主要研究对象是抽象的、非结构化数据集合，实现非空间复杂数据的视觉呈现[4]。信息可视化的关键研究问题是在有限的空间中以直观的方式传达大量的复杂抽象信息。实现信息可视化的方法主要决定于数据类型，主要有时空数据可视化、层次与网络结构数据可视化、文本和跨媒体数据可视化、多变量数据可视化四类。电网企业的大数据如电网运行数据、电力客户数据和电网企业管理数据基本上都属于以上数据类型，因此信息可视化是电网企业的可视化技术研究主要方向之一。

（3）可视分析涉及多个学科，由图形学、数据挖掘分析、人机交互等学科交叉组成，是数据可视化发展的一个较高阶段。可视分析能通过先进的方法与工具，实现人与海量数据之间的复杂信息高速交流[3]。可视分析能在电网的运行管理、应急事件处理、负荷预测等方面发挥较大的作用，因此可视分析也是电网企业数据可视化研究的热点。

2 大数据可视化在电网企业中的运用

2.1 电网企业大数据

电网企业的主营业务主要包括电网运行维护、电力客户服务、人财物等核心资源运营管理等，相应的电网企业大数据可以分为电网运行数据、电力客户数据及电网企业管理数据三类[4]。

（1）电网运行数据主要包括电网运行关键指标及电网潮流数据、设备状态监测遥信（测）数据、变电场所视频监测数据等。除视频、图像数据为非结构化数据以外，其余数据均为结构化数据，且具有一定的时序分布特点。随着智能电网建设的进一步推进，大量的物联网智能终端设备投入运行[5]，采集点的覆盖范围愈加广泛，电网调度与生产管理系统获取的实时性监测数据被大规模的存储与处理。据测算，一个年售电量达300亿kW·h 规模的地市供电公司，其电网调度系统按5 min 采样模式，年度产生的电网主要设备运行数据量达到250 GB 左右。随着快速采样技术在智能电网中的不断实践运用[6]，电网运行数据量还会呈现几何级数的增长，若采样精度提高至5 s，年度数据量则会突破15 TB。

（2）电力客户数据主要包含电费、电价、业扩服务等相关营销数据。智能电网的一个重要环节——智能用电终端采集系统的配置已经得到了范围较广的覆盖。目前在地市电网公司层面，智能用电采集装置覆盖率超过99%，数百万的电力客户的用电信息已经基本实现用电行为、用电量等信息的实时记录与存储。以低压智能采集系统为例，终端智能电表最小采集周期为15 min，每24 h 与采集终端通讯一次，传输日电量相关信息。部署15 万采集终端的地市供电公司，年度用电信息采集存储量会超过60 GB。若将系统储存的用电信息存储周期细化，相关数据报文信息进一步丰富，则年度数据量将会达到TB 以上级别。

（3）电网企业管理数据由各级业务支撑系统所产生，主要包括企业资源计划管理（ERP）系统、财务管控、档案管理等。各级业务流程的节点数据、过程数据等结构化数据是电网企业管理数据的最大组成部分。随着ERP 系统的使用愈加广泛，电网企业已经积累了大量的业务节点明细数据。

2.2 电网大数据可视化分析思路

由于电网大数据具有海量、多类、低价值、处理要求高等特点[5]，通过信息可视化与可视分析的技术方法，能快速地挖掘出高精度、时变及多变量数据的潜在价值信息。但针对不同的电网大数据，需采取不同的可视化分析方法。

（1）电网运行数据可视化分析。近年来，随着智能配网技术的不断突破，电网运行数据已经不仅仅包含传统的系统主要设备参数数据，越来越多的高精度配电网终端数据不断接入配电自动化系统，并改变了以往由于终端信息缺失导致的事故处理判断不全面的问题。由电网系统主要设备参数与配网终端数据组成的电网运行数据具有时序、高维、快速的特点，应采取信息可视化与可视分析相结合的技术方法进行处理。

基于系统的主参数及配网终端数据，可以构建一个全景的电网络信息拓扑图，并在图中将相关信息采取信息可视化及可视分析的技术手段实现丰富信息的集中展现。在此全景的电网拓扑图中能够实现如下几类问题的在线分析：重要设备健康状况的在线监测与分析；分布式微电源系统的运行评价；专线用户的用电行为特征分析与预测；对电能质量进行在线评价与分析等。

（2）电力客户数据可视化分析。电力客户数据的来源主要来自于广泛部署的智能用电终端信息采集系统，如上文提到的用户集采系统存储了大量的用户电量信息。利用可视分析的技术方法，能实现如下几类可视化应用：将用户电量信息与用户地理区域、行业划分一一对应，可以实现用户用电行为分析与负荷特性的可视分析；结合前期推广部署的地理信息系统（GIS），能绘制全面的地区电力客户地图，并将该全景电力客户地图按照一定的权限向公众开放，实现用户的用电互动服务，实时反馈购、用电信息[7]；将行业、地区用户电量信息与气象因素、经济发展因素结合考虑，同时考虑用电档案、用电量分析、负荷特性分析、电费分析、用电影响模型、产能利用率等多个影响因子，实现超短期负荷预测，并最终通过降维处理的方式实现负荷预测结果可视化呈现。

（3）电网企业管理数据可视化分析。电网企业管理数据复杂多样，且大多具有结构化的特征，对其进行可视化分析可以根据源业务系统的特点开展。如对财务管控系统的业务数据，可以按照现金流量特点，绘制平面现金流图，在此基础上实现下钻查询与动态查询分析。如要实现对电网企业管理情况进行全面的系统分析与展示，则需要构建一套全新的业务模型，并在此基础上实现可视化的各项功能。类似于电网络信息拓扑图，可以构建企业经营管理在线监测网络拓扑图，对现有的流程网络进行梳理，以企业经营目标和业务流程为脉络，查找发现企业运营目标、端到端业务流程、业务节点活动中的逻辑层次关系，绘制基于流程网络与流程指标的电网企业管理在线监测网络拓扑图，并在此图上实现信息可视化与可视分析等交互功能。

3 大数据挖掘可视化平台构建的相关建议

3.1 数据挖掘系统基础平台

大数据挖掘处理主要是对数据进行存储，再结合分析的需要读取数据进行计算处理，对基础平台的要求是存储可扩展，计算能力可伸缩[8]。关于大数据挖掘处理系统的基础平台构建，已经有较为成熟的研究，目前主流的分布式数据管理系统有Hadoop，GFS，Cassandra 和Dynamo 等。文献[5]中提出了为智能电网大数据构建多级存储系统，通过任务管理、调度与监控，依托Hadoop 云计算系统与并行、实时数据库技术，将各业务系统的数据进行接入存储与分析处理。基于云计算平台的解决方案已经被越来越多的大数据研究与运用机构所采用，但在部署基于云的大数据平台时，仍然需要重点关注数据间的关联关系，提高云传输效率。关于数据挖掘系统基础平台的构建在文献[9-11]中已有详细讨论，且在多家省级电网公司中已有大量的实践。

3.2 可视化系统构建与运用建议

作为大数据挖掘处理结果与过程的终端反馈，可视化系统的实现可以有多种方式。对于电网大数据的分析处理而言，在基于云存储与计算的平台上，通过高级应用接口调用现有第三方可视化软件平台更易于实现，但其局限在于可视化系统功能可扩展性和交互性较差。因此将可视化系统与现有数据存储、计算处理的平台整合，自行开发针对不同业务模型的可视化展示应用显得更为有效。面对大数据分析处理结果的不同用户、不同的显示终端等情况，可视化展示系统的构建需要充分予以考虑，并提出个性化的解决方案。在构建可视化系统的过程中同样需要充分考虑可视分析的交互性功能，通过交互工具开发，允许人与海量复杂信息之间的快速交流，提供先进的分析手段、交互技术和可视表达，使可视化充分发挥其巨大的潜力，展现大数据挖掘分析的价值。

4 结束语

作为大数据挖掘分析工作的高级运用与结果的最终体现，可视化技术需要引起电网企业的高度重视，方能实现大数据挖掘分析技术的最大潜力，推进智能电网的建设。目前电网企业大数据挖掘分析工作虽然不断取得新的突破，但是将相关数据绘制成高精度、高分辨率的图片的业务模型、智能算法和交互式图形处理工具开发的研究才刚起步，相关可视化系统的功能实现需要进一步予以研究开发。

[1]袁晓如，张 昕，肖 何，等.可视化研究前沿及展望[J].科研信息化技术与应用，2011，02(4)：3-13.

[2]JOHNSON C.Tops Cientific Visualization Research Problem[J].IEEE Computer Graphics and Applications,2004,24(4)：13-17.

[3]陈为，沈则潜，陶煜波，等.数据可视化[M].北京：电子工业出版社，2013：15-36.

[4]宋亚奇，周国亮，朱永利.智能电网大数据处理技术现状与挑战[J].电网技术，2013，37(4)：927-934.

[5]杜 威，潘 苗.物联网在智能电网中的应用[J].江苏电机工程，2013，32（4）：81-84.

[6]李宁峰.基于TMS28335的智能电网快速采样系统设计[J].江苏电机工程，2012，31（6）：35-38.

[7]闫龙川，李雅西，李斌臣，等.电力大数据面临的机遇与挑战[J].电力信息化，2013，11(4)：1-4.

[8]肖 飞，齐立磊.大数据处理技术与探索[J].计算机与现代化，2013（9）：75-77.

[9]米可菲，张 勇，邢春晓，等.面向大数据的开源推荐系统分析[J].计算机与数字工程，2013，41(10)：1563-1566.

[10]CCF 大数据专家委员会.2014年大数据发展趋势预测[J].中国计算机学会通讯，2014，10(1)：32-36.

[11]胡雄伟，张宝林，李抵飞.大数据研究与应用综述（下）[J].标准科学，2013（11）：29-33.