面向电网在线服务渠道的全域数据中心架构研究

张才俊 刘鲲鹏 程飞飞

摘 要：随着社会经济的不断发展，“互联网+”信息时代的大趋势，进一步加强服务资源集中和共享、适应互联网发展、强化渠道质量管控、支撑大数据分析和应用、以客户为中心的现代服务体系，更好地服务于市场与客户，开展数据融合的大背景下，构建统一开放的面向电网在线服务渠道的全域数中心架构研究应运而生。简要介绍了面向电网在线服务渠道的全域数中心架构研究的渠道数据集成现状、渠道数据集成目标架构、渠道数据集成路线，最后简述了架构研究的发展前景。

关键词：渠道数据；数据中心；集成架构

中图分类号：TM769 文献标识码：A 文章编号：1671-2064（2018）24-0117-03

0 引言

公司（本文公司均代指国家电网公司）现有互联网服务渠道数据、独立采集、存储，数据存储模式及地点统计。公司渠道业务数据表现出来的特征为：（1）数据结构和数据交互缺乏统一标准；（2）同类型业务重复存储多份；（3）跨专业数据未打通，造成大量的数据孤岛，无法支撑跨渠道、跨专业的数据分析，数据价值难以充分发挥。

2018年3月起，公司组织多个营销业务单位集中开展 “网上国网”的总体设计，提出建设“客户聚合、业务融通、数据共享、创新支撑”的新一代互联网综合服务平台，“网上国网”应用面向互联网渠道运营，如何有效的汇聚、融合各渠道客户数据支撑客户聚合，提炼抽象共性数据服务支撑业务融合，打通内外网、横纵向数据交互通道支撑业务高效运行，共享运营管理经验提升服务水平，是站在数据管理的角度必须考虑的问题，同时在線服务渠道融合的本质是数据融合，整合各渠道资源首先需要构建统一的客户数据全景视图，即搭建面向全网在线电力服务渠道的全域数据中心，提升数据创新能力，适应互联网+服务模式下客户需求快速响应，提升用户体验，支撑“网上国网”高效运营。[1-2]

1 公司渠道数据集成现状

1.1 渠道数据存储现状

目前，公司在线服务渠道数据存储包括：移动支付业务数据内容主要包括信息公告数据、账号数据、线上业务办理数据、业务服务数据、系统支撑数据、运行管理数据等，主要为结构化数据，存放于内网，采用ORACLE数据库存储数据；电力APP业务数据内容主要包括业务办理信息、缴费信息、用电信息等，主要为结构化数据，数据库为ORACLE数据库，照片、图片等非结构化数据通过转码存储在内网ORACLE数据，内外网穿透采用sql穿透强隔离实现；电子商城业务数据内容包括活动信息、用户账户、订单、工单数据等，内外网均有结构化数据和非结构化数据，结构化存储采用ORACLE、MYSQL等关系数据库，非结构化存储采用文件系统存储；车联网业务数据内容包括充电订单、充电详单、充电复核、异常订单、灰锁记录、解灰记录主要为结构化数据，采用DRDS（分布式关系型数据服务）方式存储，同时，车联网业务数据内容包括轨迹数据、订单数据、车厂数据、账单数据、车辆信息、跟踪定位、历史轨迹、电子围栏、车库设置。主要为结构化数据，采用DRDS方式存储。

1.2 渠道集成现状

公司在线服务渠道均存在着业务处理链路多、链路长、逻辑不统一以及各渠道间同样因业务交互需求，存在着交叉的业务处理链路等现状。其中，电力移动支付平台调用缴费平台及营销系统进行电量查询、欠费信息查询、预存电费信息、电费销账、生成对账文件、并保存到数据库中；光伏支付平台通过与业务支持系统、呼叫平台、车联网、营销系统、缴费平台提供客户档案、客户服务、客户关系、电网拓扑、人员组织、系统支撑等服务；电子商城通过业务系统提供客户咨询、客户投诉、客户建议等客户服务；电力APP中客户档案查询、电量电费信息、缴费记录、业务办理进度等业务办理通过与营销业务系统集成实现。[3]

2 公司渠道数据集成目标架构

2.1 公司渠道数据集成目标

建设“客户聚合、业务融通、数据共享、创新支撑”的新一代互联网综合服务平台，“网上国网”应用面向互联网渠道运营，有效的汇聚、融合各渠道客户数据，提炼融合抽象共性数据服务支撑业务，打通内外网、横纵向数据交互通道，支撑业务高效运行。公司渠道数据集成按照统一的数据模型和管理规范，集中接入、整合各渠道的账户数据和客户数据，丰富数据品类，优化数据交互，支撑新应用的监测预警、运营管理、数据分析、数据应用、发布共享等，实现统一数据标准，丰富数据品类，优化数据交互，深化数据共享应用，促进各类业务延伸融合和价值共创，打造品类丰富、开放共享、合作共赢的数字化能源服务新生态。

2.2 公司渠道数据集成架构（图1）

数据集成融合按两级部署模式，分为数据接入层、融合存储层、数据服务层、数据管理及分析应用层。[4]

（1）数据源：包括渠道数据、营销数据和外部数据，其中营销数据可直接由营销基础数据平台提供，纳入全业务统一数据中心贴源区管理；渠道数据通过数据同步、ETL接入、集成接入等方式实现；外部数据通过集成接口、网络爬虫等方式接入。

（2）数据接入：针对各渠道数据现状（含内外网现状），采用不同的技术路线实现数据的接入归集。

（3）融合存储：数据融合数据接入基于全业务统一数据中心及营销基础数据平台前期建设成果，数据存储统一由全业务统一数据中心承担，分为数据融合库、数据缓存库、数据仓库、非结构化存储4个存储区。数据仓库和缓存库归属于全业务统一数据中心分析域；融合数据库支持前端统一账户等生产应用，归属于全业务统一数据中心处理域。

（4）数据服务：包括主题数据服务和数据共享服务，主题数据服务针对共享融合库对上层业务提供基于融合数据操作的服务；数据共享服务市网上国网标准对外数据发布渠道，负责数据的对外共享。

（5）分析应用：建设自助式分析工具，同时基于融合后的客户数据提供统一账单分析和行为分析的试点建设。

（6）数据管理：提供数据授权、数据核查、质量管控等数据管理功能。

3 公司渠道数据集成路线（图2）

渠道数据集成路线部署分为四部分，第一部分是全业务统一数据中心分析域网上国网营销域数据；按照营销基础数据平台—数据仓库—数据集市的架构建设；第二部分是融合库数据，是从数据仓库中以业务对象抽象萃取形成业务条线统一ID融合存储体系，归属于全业务统一数据中心处理域；第三部分是缓存数据，用于存放实时性要求高的热点数据和部分指标数据，归属于全业务统一数据中心分析域；第四部分为非结构化存储，用于存储非结构化数据。[3]

数据来源分为信息内网、信息外网和互联网，信息内网包括渠道数据库数据和营销业务应用、一体化缴费平台等营销业务基础数据，信息外网包括数据库数据以及各渠道埋点采集数据；互联网外部数据包括外部天气、征信等数据。

按照数据流转路线、数据抽取和加工处理的需求，数据接入（改造）及加工处理采用的技术路线如表1。

信息内网结构化数据接入：结构化数据分为历史数据和增量数据接入，历史数据的同步方式：源端导出dump备份文件，目标端搭建ORACLE服务器并导入dump文件，再通过ETL同步至数据归集区，增量数据通过ogg同步复制的方式实时同步到数据归集层，再通过ETL同步至数据仓库进行清洗转化，并根据应用需求，将待分析数据通过Sqoop由数据仓库接入到大数据平台进行分析。

信息外网数据接入：数据库部署在信息外网，由于内外网网络隔离，信息外网数据无法直接通过传数据同步、数据抽取的方式接入，故采用如下方式接入：

（1）增量扫描ETL接入。

历史数据接入，从外网数据库源端导出历史dump文件，目标端搭建ORACLE服务器并导入dump文件，再通过ETL同步至数据归集区。

增量数据接入在归集层建表，数据结构与源表保持一致；在网闸中配置数据库同步；在内外网分别部署ETL程序，外网ETL定时将增量数据转成SQL通过强隔离网闸，将增量数据同步至数据归集区。注：选择数据ETL的方案，这种方案会对数据库造成一定的压力，需要进行ETL压力测试，同时由于是定时扫描增量数据，数据时效性不能得到保证。

（2）应用改造集成接入。

历史数据接入，从外网数据库源端导出历史dump文件，目标端搭建ORACLE服务器并导入dump文件，再通过ETL同步至数据归集区。

增量数据接入在归集层建表，数据结构与源表保持一致；改造原渠道，数据改为一发双收，写入原有数据库同时数据直接穿过强隔离装置写入内网数据库。通过ETL/OGG等方式将数据接入至贴源区。

4 结语

数据集成融合是優化整合公司服务资源，在公司总部层面构建网上国网在线统一服务支撑系统的基石，是搭建“入口统一、运营协同、数据融合”的互联网渠道客户服务体系的根本保障。（1）打破信息孤岛，挖掘数据价值，实现1+1>2：以渠道账户为核心整合客户信息，形成数据模型及标准代码统一、数据权限及质量规范的客户数据，沉淀成数据模型，算法服务，数据产品，数据管理等资源；（2）实现数据资产全生命周期管理：以跨渠道全量数据资源集中共享为目标，构建数据共享中心，统一数据标准，丰富数据品类，优化数据交互，深化数据共享应用，促进各类业务延伸融合和价值共创，打造品类丰富、开放共享、合作共赢的数字化能源服务新生态；（3）全过程数据共享，提升数据资产变现能力：深化网上国网大数据分析和成果应用，不断开展业务引流和产品创新，支撑各单位开展主动服务和精准营销，以国家大数据战略为契机，积极响应政府号召，参与构建电力数据服务及规划落实公司数据运营业务，充分发挥电力数据在国民经济中的附加价值，为公司培育新的效益增长点。

参考文献

[1]国家电网全业务数据中心统一分析服务平台建设[EB/OL].国家电网报，2017（7）.

[2]周孝信.关于未来电力系统发展趋势和研究方向的思考[R].北方交通大学电气工程，2016（9）：27-33.

[3]薛禹胜.科学研究范式的协同是大数据思维不可或缺的组分[R].电力信息与通信技术，2017（3）：8-11.

[4]冯歆尧，彭泽武.基于广东电网数据仓库大数据架构研究[J].电力学报，2015（6）：519-523.