统一数据服务平台研究与设计

臧家宁， 刘　军

(国网安徽省电力公司信息通信分公司， 安徽　合肥　230061)



统一数据服务平台研究与设计

臧家宁， 刘军

(国网安徽省电力公司信息通信分公司， 安徽合肥230061)

摘要：随着国网公司信息技术的不断深化应用，数据管理已引起了公司的高度重视，但是目前分散的、无效的数据管理方式已无法满足公司信息化发展的需要。文章从系统架构、功能、实现技术以及创新点等方面，对能够为公司数据管理提供统一、规范、标准服务的统一数据服务平台作了详细阐述。统一数据服务平台的推广应用，将有力支撑公司信息化建设，极大提升公司信息化管理水平。

关键词：大数据；数据管理；结构化数据；业务融合；数据服务

0引言

随着国网公司信息化建设的不断深入，各种类型的系统数据存在于各业务系统中，组成了极其丰富的企业数据资源。三集五大体系的建设，集约化管理与任务协同管理要求的增加，信息化应用从业务操作层逐步上升为管理分析层，公司数据共享集成和大数据分析需求趋于增多。原有的数据中心系统仅实现了结构化数据的集中共享与交互应用，但各系统之间对于实时数据、非结构化等不同类型数据的共享应用则为点对点集成方式，造成数据多次发布、分别集成的现状，随着数据交互应用的深入，各系统之间将会形成错综复杂的数据交换接口，造成大量资源的浪费，既不利于数据接口的集中管理又无法满足电网实时业务数据的规范化管理要求，随着集成需求的增多，这种方式对原有系统和数据造成了很大负面影响，从系统开发的经济效益角度也不便于节约投资。

国网公司以两个转变为战略目标的实现，必须增强信息化的支撑能力，在数据管理上，企业必须形成统一的数据服务中心，为公司各项数据需求提供统一、规范、标准、高效、经济的数据支撑。本平台在结构化数据中心的基础上，将结构化数据、非结构化数据、准实时数据及地理信息数据以业务为纽带实现融合,建设包含结构化数据中心、海量平台、非结构化数据管理平台和GIS系统在内的统一数据服务平台，实现结构化化、非结构化等各类数据的集中管理和应用，以形成一个稳定规范的系统集成运行环境，确保满足“十二五”规划提出的平台集中、业务融合、决策智能、安全实用的目标[1]。

1平台建设意义

大数据技术为企业的发展带来新的机遇和挑战，促进了企业商业模式的变革和创新[2]。随着安徽省电力公司SG186工程、SG-ERP和“三集五大”管理体系全面建设，信息系统已全面融入公司生产经营管理业务的各个方面，积累了大量的结构化数据、非结构化数据、海量历史准实时数据和地理信息数据，形成了公司庞大的数据资产和重要的战略资源，对其深入的开发和利用，将蕴含着巨大的商业价值和管理创新。

公司海量、多样的数据资源为数据深层分析提供了良好的条件，数据处理的性能提升、数据价值的挖掘、将数据转变为资产等工作亟待开展。通过应用大数据技术，优化数据处理性能，实现跨专业、跨部门和内外部数据关联分析和数据深度挖掘，从经营管理、优质服务和新型业态三方面提升公司经营管理水平和服务水平，促进公司构建新的业务模式、运营模式和服务模式。

目前安徽公司的结构化数据中心、非结构化数据中心、海量平台、GIS平台未能进行统一有效的管理，存在分散存储、分散数据服务等不足。为了更好的适用大数据技术的发展，提升安徽公司的管理水平和业务创新能力，迫切需要将四大平台进行整合提升，改变现有的分散的数据服务模式，构建统一有效的数据服务，在存储横向扩展、实时快速处理、数据统一服务等方面实现全面的优化提升。

构建统一完善的数据服务管理平台，可以为多种类型的数据接入、存储、访问等提供规范化、标准化的接口服务[3]，实现公司业务数据的统一管理和综合利用，极大的提高公司数据共享融合利用率，满足公司对业务数据的多层需求，为将来智能电网所涵盖的结构化数据、非结构化数据、准实时数据、图形数据的深化应用以及数据交互提供统一多用途、全方位的数据服务支撑平台，为大数据分析提供统一的数据处理和应用平台。

2系统设计

2.1　系统架构

统一数据服务平台是在信息化统一架构体系下，专注于对公司结构化、非结构化、地理信息、准实时数据统一存储、管理、访问、深化利用的一体化基础信息平台。平台的建设，将为各业务应用提供公共服务和工具，打破各业务领域的信息壁垒，提高信息的管理效率，为企业集约化管理提供统一接入、统一访问、统一存储，促进业务流程规范融合。统一数据服务平台能从单一业务、业务融合以及决策支持多个维度来支撑企业战略管理，促进基于大数据技术的应用创新，全面提升公司精益化管理水平。系统架构如图1所示。

统一数据服务平台采用SOA架构，平台从上到下分为应用层、数据处理层和数据源层，数据处理层是平台设计的核心，主要包括结构化数据处理模块、非结构化数据处理模块、准实时数据处理模块以及地理信息数据处理模块。数据源层采用分布式管理存储策略，将各类数据纳入平台进行统一的管理和存储，大大提升了并发用户的在线实时访问效率，解决了大数据存储瓶颈问题。平台对外实现标准的接口服务，按照接口数据接入类型将接口分为JDBC、Webservice、ETL等接口，实现统一的维护和管理，避免接口的重复建设。

2.2　平台功能

统一数据服务平台建设主要是在结构化数据中心、GIS平台基础上将海量平台和非结构化数据平台纳入统一的管理和维护，主要功能包括接入管理、存储管理、数据管理、数据利用、运维管理等内容。

接入管理：平台建设将改变现有的数据接口模式，将目前分散的数据接口进行统一管理和监控，减少接口的重复开发，改变现有接口较为混乱的现状，便于对接口进行统一管理和维护。

存储管理：是指平台具有能将结构化、非结构化、地理信息、准实时数据进行集中存储的能力。该业务能力使平台能够对企业内大数据量的结构化、非结构化数据进行集中存储管理及优化能力，提高数据备份恢复可靠性。

数据管理：是指平台提供对公司数据全过程的管理能力，包括数据准确性管理、数据及时性管理等。

数据利用：是指平台提供的内容访问服务、内容处理服务、安全管控服务、高级应用服务，在实现存储管理与数据管理的基础上，实现数据安全、高效、增值利用，这是平台建设的最主要目的。

运维管理：平台提供统一运维工具，形成一套统一全局的管理视角和多业务层次管理技术维度相结合的全景视图，实现数据资产的可视化管理，降低运维成本、减少安全管控点、提高运维效率。

2.3　平台实现技术

(1)为了实现平台统一规划、统一标准，利用先进的数据接口集成技术，制定了标准化的数据接入方式，基于SoTower、PI3000等开发平台及SAP等成熟套装软件系统级接入解决方案，实现结构化、非结构化、准实时及地理信息等多类型数据的访问、处理、传输、存储等基础服务，满足公司各项业务对各类数据的全生命周期的管理及利用需求；

(2)提供CIS、UAPI、webservice等接口调用技术，屏蔽了底层数据库的具体实现细节及差异，对外提供统一接口调用服务，用户不用考虑数据存储哪一类型的数据库中，实现了数据访问的透明化以及数据存储分布式管理；

(3)采用将多个准实时数据库进行联合部署形成一个实时数据库群的方案，从而满足超大规模测点存储需求，并能均衡每个实时数据库的负荷，提高了并发吞吐率和性能[4]。该数据库群通过测点位置透明层来实现测点存储位置对外透明访问服务，用户只需使用单一的接口即可从数据库群中获取所需的数据；

(4)基于先进的CWM(Common Warehouse Metamodel)元数据管理规范，制定了标准的元数据管理策略，提供标准的数据交换接口，实现不同系统间的数据交换服务，并能够提供OLAP、数据挖掘、转换等多种数据服务，大大提升了分布式存储环境的数据管理效率。

3平台创新点

(1)统一数据服务平台采用先进的压缩存储方式，将基于测点模型存储在群集数据库中的准实时数据，其压缩比可达15~40:1，节省了大量存储空间，一方面可以提供基于高速的准实时数据访问，另一方面能够提供历史数据的高效检索；

(2)统一数据服务平台中支持以“时间戳、测点名、量测值、质量码”形式的四元组作为测点模型来组织准实时数据。与关系模型相比，具有较好的数据模型透明性和较高的查询效率；统一数据服务平台的建设完善了企业数据存储方式，实现对企业准实时及非结构化数据的集中存储和管理，提高了数据运行效率和安全性，促进企业数据的深加工和挖掘应用，不断提升企业数据应用价值；

(3)统一数据服务平台的建设完善了企业数据存储方式，实现对企业各类数据的集中存储和管理，提高了数据运行效率和安全性，促进企业数据的深加工和挖掘应用，不断提升企业数据应用价值；

(4)统一数据服务平台实现了统一海量存储、统一集中管理、统一版本控制、统一安全管控、统一标准和运维、全生命周期管理和数据深加工和决策支持等先进功能；

(5)提供成熟的运行监控及运维分析工具，实现对数据的存储状况、访问情况以及平台系统的数据库、中间件、主机等运行环境的实时监控，建立起一整套完善的预警体系，提升系统服务质量。

4结语

统一数据服务平台的建设完善了企业数据存储方式和SG-ERP数据中心的基础架构，实现对企业结构化、非结构化、准实时及地理信息数据的集中存储和管理，满足各业务应用统一存储与访问的需求，为各业务应用提供公共服务和工具，构建了公司相关联业务系统间数据共享与交换的通道，逐步消除数据孤岛。通过整合，建立了企业数据存储标准，优化存储结构，集成各个业务应用系统，简化IT整体架构，减少存储和人力的投入，节约企业成本，提高了软硬件设备的利用率，实现综合应用，大幅度提高企业信息化运作效率。通过平台的应用，实现了各类数据管理的规范化、流程化、自动化，促进业务流程规范融合以及运营管理高效协同，实现数字资产有效管理，发挥平台整合效应，降低业务系统成本，有力地支撑了公司的信息化建设，取得良好的社会和经济效益。

参考文献：

[1] 陕西省物联网产业联盟.“十二五”强势推进智能电网“信息化”坚强支撑国电战略[J].物联网技术，2011(8):24-25.

[2] 李艳玲.大数据分析驱动企业商业模式的创新研究[J].哈尔滨师范大学社会科学学报，2014(1)：55-59.

[3] 马强，荆铭,等.电力调度综合数据平台的标准化设计与实现[J].电力自动化设备，2011(31):125-128.

[4] 雷振江，李鹏.海量历史/准实时数据管理平台的建设与应用[J].电力信息与通信技术,2013(9)：68-73.

[5] 田翀，宁洪,等.CWM研究及相关元数据管理系统的设计[J].计算机工程，2006(11)：100-102.

[责任编辑：朱子]

Research and Design of Unified Data Service Platform

ZANGJia-ning,LIUJun

(InformationCommunicationCompanyofStateGridAnhuiElectricPowerCorporation,Hefei230061,China)

Abstract:With the continuous deepening application of information technology in State Grid Corporation, the company attaches great importance to data management. Currently, the scattered, ineffective approach of data management has been unable to meet the needs of company information development. This paper illustrates the unified data service platform, which is able to provide a unified, normative, standardized service for data management, from the aspects of the system architecture, functionality, techniques and innovations. The application of the unified data service platform will strongly support the information construction of company and enhance the information management level of company greatly.

Key words:big data; data management; structured data; business integration; data service

中图分类号：TP274

文献标识码：A

文章编号：1672-9706(2015)01- 0104- 04

作者简介：臧家宁(1984-)，男，江苏连云港人，工程师，从事信息系统运维工作。

收稿日期：2014- 08-27

刘军(1978-)，男，湖北孝感人，高级工程师，从事信息系统运维、信息调度工作。