电力用户用电信息采集系统分布式弹性架构设计与实现

康丽雁，王天博，蔡颖凯，高天生

（国网辽宁省电力有限公司电力科学研究院，辽宁 沈阳 110006）

电力用户用电信息采集系统分布式弹性架构设计与实现

康丽雁，王天博，蔡颖凯，高天生

（国网辽宁省电力有限公司电力科学研究院，辽宁 沈阳 110006）

电力用户用电信息采集系统建设是国家电网公司统一坚强智能电网建设的重要组成部分，随着采集终端数量不断增加，采集系统积累了海量数据，其原有架构已经不适应发展需求。分析了采集系统现状及存在问题，论述了采集系统分布式弹性架构设计与实现，并对原有架构与分布式弹性架构进行了对比分析，为采集系统的应用和发展提供了建设思路和实践经验。

采集系统；弹性架构；用电信息；海量存储

电力用户用电信息采集系统建设是国家电网公司统一坚强智能电网建设的重要组成部分，主要功能是通过安装在电力用户的智能电能表和用电信息终端实现电能量数据，通过采集交流模拟量、工况数据、电能质量越限统计数据及事件记录数据等［1］，实现计量异常监测、电能质量监测、用电分析和管理、相关信息发布、分布式能源监控及智能用电设备的信息交互等功能［2］。采集系统功能的实现以海量数据为依托，系统架构对于海量数据的存储与分析利用效率起决定性作用。

1 采集系统建设情况分析

1.1 现状

国家电网公司从2010年开始采集系统建设，目标是建成基于国网标准化设计的“全采集、全覆盖、全费控”的电力用户用电信息采集系统，用电信息采集成果在电网规划、安全生产、经营管理及优质服务工作中得到全面应用。截止2015年4月末，采集系统接入各类用电信息采集终端数量达33.84万台，实现了1 512.17万只智能电能表的接入；远程通信以公网信道为主，并具有无线230M信道；除了国家电网标准化规约之外，系统兼容青岛东软集抄规约、大连集抄规约及协同230M规约等；现系统硬件配置数据库服务器2台、应用服务器2台，前置系统服务器包括通信服务器15台、管理服务器1台及规约解析前置机4台。

系统主要满足自动化抄表、基础应用、采集指标统计、故障管理及数据共享等基础类应用。现有系统通信服务架构基于IOCP通信架构和Windows平台，采用Delphi开发工具，单台服务器接入终端上限为3万台，稳定运行终端接入数量为2万台；采集系统现有主机架构基于传统的IOE架构，采用IBM－P7XX系列主机及配套存储、Oracle关系数据库，采集数据全部入库时间达6 h以上，对于数据集成、实时统计及线损统计等存在一定滞后性。

1.2 系统建设需求

a.满足采集全覆盖接入的需求

系统应满足全省100万台终端通信接入要求，满足3 000万用户海量数据存储及应用要求，系统运行稳定。

b.满足采集业务深化应用的需求

在满足国家电网标准化设计的基础上，在自动化抄表核算、线损监测、反窃电监测、市场及需求侧管理应用、辅助业扩报装等方面深化应用。

c.满足新型营销业务支撑的需求

满足营销实时费控系统、分布式电源监测及双向互动业务等新型营销业务的支撑要求，满足大数据挖掘应用需求。

d.满足数据统一共享服务的需求

依托国家电网营销基础数据平台或省级数据中心，利用标准化采集数据模型，建立统一的数据对外共享服务平台，以解决采集系统对外数据交互接口过多导致的系统压力过大、档案维护困难及运行维护复杂等问题。

2 采集系统弹性架构设计与实现

2.1 采集系统弹性应用架构

弹性应用架构可以有效控制成本，提供可不断扩展的支撑能力，如硬件上仅使用廉价的X86服务器，且不依赖专用硬件，极大降低了硬件投入成本。数据采集是前置系统中最重要的部分［3］，有大量协议或规约需要进行识别和处理。以往电力行业需对采集到的协议或规约进行解析和处理，本文引入规约处理引擎设计，实现了对不同规约进行通用型处理，规约的增加和修改只需调整相应的配置文件，无需对代码进行修改，更大程度上保证了系统的稳定性。

监测数据通过Agent采集到消息队列，通过计算，对监测数据进行预处理，同时引入任务调度功能，对半结构化的监测数据进行后续处理［4］。

2.2 通信服务系统架构

通信前置机采用的是无状态、轻量级的Sock⁃etServer［5］，配备了规约处理引擎，根据配置对终端的上下行规约进行解析、打包处理，并把解析结果放入分布式消息队列中，不进行过多处理，保持通信的稳定性，通信前置机可以通过负载均衡器来实现负载的均衡性和可靠性。

采集管理服务器为前置机提供需要下发的采集任务。由于对同一终端设备，必须等到终端回应或超时才能进行下一次通信，另外终端通过负载均衡器可能会连接到不同的通信前置机，因此设计采集管理服务器可以方便地对终端任务进行管理。

2.3 分布式弹性架构

分布式消息队列负责整个架构中消息的高速存储和传输［6］，同时缓解不同单元处理数据吞吐量的差异。该技术架构决定了分布式消息队列必须具有高吞吐量才能应对高速入库需求。分布式消息队列采用了文件顺序读写、队列分区及客户端拉取等策略，可以每秒轻松处理几万条消息，消息队列采用集群部署，数据会根据策略复制到多台机器上，整个系统具有高可用性。

海量数据存储分为关系型数据库（Oracle）和NoSQL数据库（HBase）［7］，Oracle存储全量关系数据，对于采集的海量监测数据会被保存到海量数据存储平台HBase中，经过运行之后转存到Oracle。HBase是具有高可靠性、可伸缩性的分布式存储系统，利用HBase技术可在小型服务器上搭建起大规模、结构化的存储集群。基于Hadoop的MapReduce技术，可以针对HBase中的海量数据进行计算和分析，解决基于Oracle数据库进行海量数据分析的性能问题。

分布式缓存服务用于对系统中的档案数据进行缓存，由于档案数据量较大且需要被频繁访问，所以需要被缓存起来。分布式缓存服务采用主备模式部署，数据会写入主服务器上，然后被异步地复制到备份服务器上。如果主服务器异常，备份服务器会自动转为主服务器。

业务前置机集群是整个系统的业务处理核心，负责对通信前置机采集的数据进行分析、校验及入库等操作。分布式架构可以通过增加设备来扩展业务水平，以提高系统整体性能，且具有高可用性。

2.4 Kafka分布式消息队列

Kafka是一种具有高吞吐量的分布式发布订阅消息系统，通过磁盘数据结构提供消息的持久性，分布式消息队列如图1所示。

消息消费：生产者向某个节点发布消息，消费者订阅相应的消息，一旦消息有变化，中间的存储者会传递给订阅的所有消费者。

扩展性：在Kafka中，消息是按主题组织的，而每个主题又会分为多个分区，这样便于管理数据和均衡负载。

表1 原有架构与分布式弹性架构主要性能对比

图1 分布式消息队列

分布式存储：通过磁盘数据结构提供消息的持久性，这种结构对于数以TB的消息存储量也能够保持长时间的稳定性能。

原有架构与分布式弹性架构主要性能对比如表1所示。

3 结束语

采集系统分布式弹性架构采用统一的数据前置平台进行采集任务调度和均衡负荷，满足海量数据采集与处理需求。为实现快速计算，系统充分利用网络资源，采用分布式并行数据处理架构，应用冗余模型和任务处理模型，满足海量数据计算、业务统计等要求。采集系统分布式弹性架构的应用大大提高了系统性能，可以满足采集业务应用、集成应用、大数据挖掘应用及海量数据共享等需求，满足未来5～10年乃至更长时间的系统建设要求，在采集系统建设中具有重大意义。

［1］ Q／GDW 1373—2013，电力用户用电信息采集系统功能规范［S］.

［2］ 康丽雁，张 冶，蔡颖凯.电力用户用电信息采集系统在智能电网中的应用［J］.东北电力技术，2013，34（7）：50－52.

［3］ Q／GDW 378.3—2009，电力用户用电信息采集系统设计导则：技术方案设计导则［S］.

［4］ 康丽雁，王志斌，孙飞跃.电力用户用电信息采集系统不良数据分析及处理方法［J］.东北电力技术，2012，33（11）：46－48.

［5］ 王志斌，关 艳，康丽雁.无线数据网技术在用电信息采集系统的应用［J］.东北电力技术，2013，34（7）：1－4.

［6］ 纳 尔.计算机组成与体系结构［M］.北京：机械工业出版社，2004.

［7］ Q／GDW 378.1—2009，电力用户用电信息采集系统设计导则：主站软件设计导则［S］.

Design and Implementation on Distributed Elastic Structure of Electric Customers Information Acquisition System

KANG Li⁃yan，WANG Tian⁃bo，CAI Ying⁃kai，GAO Tian⁃sheng
（Electric Power Research Institute of State Grid Liaoning Electric Power Co.，Ltd.，Shenyang，Liaoning 110006，China）

Electric customers information acquisition system construction is an important part of state grid corporation of unified strong smart grid construction.With the increase of collection terminal and massive data，the existing system can not meet the needs of devel⁃opment.This paper analyzes the current situation and existing problems，discusses distributed flexible architecture design and imple⁃mentation，and makes a comparison between the original architecture and distributed flexible architecture.All these can supply a refer⁃ence for the application and development of electric customers information acquisition system.

Acquisition system；Elastic structure；Power consumption information；Massive storage

TM76

A

1004－7913（2015）10－0042－03

康丽雁（1975—），女，硕士，高级工程师，主要从事负荷控制系统、采集系统研究工作。

2015－06－22）