数据仓库技术在通信管理系统中的应用

摘 要：智能化是目前世界电力发展的新趋势。随着智能电网地不断深化与发展，电力通信资源管理系统的智能水平也得到了相应的提高。文章首先论述了数据仓库技术，然后介绍了数据仓库的功能结构和网络结构，最后介绍了该技术在通信管理系统中的实现。

关键词：智能电网；管理系统；数据仓库

引言

电网智能化是目前世界电力发展的新趋势，电力通信网作为智能电网必不可少的技术支撑手段贯穿于智能电网的各个环节。通信专业必须提高通信网络及其管理系统的智能化水平才能更好地适应和支撑这一要求，通信智能管理系統是实现通信专业智能化管理的关键和重点。

通信资源智能管理系统是基于图形技术、工作流技术、GIS技术和数据库等技术，对现有的各类网管系统和应用系统进行整合集成，统一编码规范、统一界面、统一平台，形成一套完整、科学的电力通信管理系统，实现电力通信各个业务环节的全过程网络化、自动化与一体化管理，实现规范的基于设备和电路图形化的通信运行管理及完备的工作流运作机制，并通过对整合集成的企业通信数据信息进行分析挖掘，为领导层决策提供高可信的信息支持。

1 现状分析与建立数据仓库的意义

电力通信管理不仅要管理各种相关通信设施，而且要负责通信专业的协调管理工作，不仅资产设备众多，而且业务管理流程也相对比较复杂，是一个典型的资金密集和技术密集高度结合的职能管理部门，经过近几年的信息化建设，电力通信业务应用了各类专业网管系统（SDH光传输设备系统、 SDH微波系统、电源设备管理系统、数字同步网管理系统、宽带数据网管理系统、程控设备管理系统、电信生产调度/计费管理系统、人力资源管理系统和远光财务系统等）。

这些信息系统在建设时，大都是针对不同的业务需求在不同的阶段分步实施的。这种方法的好处是分期投资、见效快，但由此带来的问题是各子系统都是针对特定的应用由不同的厂商开发的，不同子系统之间存在着功能设计重复、信息存储冗余甚至相互之间数据不一致的问题，导致信息孤岛的出现。不同部门不同子系统之间难以实现数据共享，查询非常不方便。

因此，对现有各类业务数据进行整合集成，建立数据仓库，提高业务数据的综合利用率和共享程度，可以说已是电力通信部门下一步的信息系统建设的一个重要方向。

2 数据集成的目标

异构数据源的数据整合和集成的目标是为企业综合应用系统提供集成的、统一的、安全的、快捷的信息查询、数据挖掘和决策支持服务。为了满足这个需求条件，整合、集成后的数据必须达到一定的集成性、完整性、一致性和访问安全性的目标。

集成性：企业各种原先孤立的业务信息系统数据经过整合、集成后，应该达到查询一个综合信息不必再到各个业务系统进行分别查询和人工处理，只要在整合、集成后的数据信息仓库中就可以直接访问到，即整合、集成后的综合信息仓库的数据是各异构业务数据的有机集成和关联存储（整合、发掘出各业务数据间的内在关联关系），而不是简单、孤立的堆放在一个数据库系统里。

完整性：包括数据完整性和约束完整性两方面。数据完整性是指完整提取数据本身，约束完整性，约束是指数据与数据之间的关联关系，是唯一表征数据间逻辑的特征。保证约束的完整性是良好的数据发布和交换的前提，可以方便数据处理过程，提高效率。

一致性：不同业务信息资源之间存在着语义上的区别。这些语义上的不同会引起各种不完整甚至错误信息的产生，从简单的名字语义冲突（不同的名字代表相同的概念），到复杂的结构语义冲突（不同的模型表达同样的信息）。语义冲突会带来数据集成结果的冗余，干扰数据处理、发布和交换。整合、集成后的数据应该根据一定的数据转换模式和商业规则进行统一数据结构和字段语义编码转换。

访问安全性：由于数据库资源可能归属不同的单位，各业务数据系统有着各自的用户权限管理模式，访问和安全管理很不方便，不能集中、统一管理，所以保证在访问异构数据源数据基础上保障原有数据库的权限不被侵犯，实现对原有数据源访问权限的隔离和控制，就需要设计基于整合、集成后的综合信息仓库的统一的用户安全管理模式来解决此问题。

3 数据仓库技术

实现信息集成的一个非常有效的技术工具是数据仓库管理系统。通过数据仓库相关技术和工具，可以很方便地对企业现有异构系统数据进行整合集成，使他们以一致的方式表现，将分散在企业内外部的各种数据源进行抽取、清理并整合集成到主题（业务指标）导向的中央数据库（数据仓库）系统中。

“数据仓库是面向主题的、集成的、时变的、非易失的数据集合，支持管理部门的决策过程“，这个简短而又全面的定义指出了数据仓库的主要特征. 所谓面向主题，指的是数据仓库建库时应排除对于决策无用的数据，只有于分析主题一致的数据才整理收集进来。而构造数据仓库通常需要将多个异种数据源，如各类网管系统后台数据库或MIS系统后台库或已有的数据文件等集成在一起，且通常需要使用数据清理和数据集成技术，确保命名约定、编码结构、属性度量等的一致性，这是所谓“集成的“的真实含义。数据仓库应用体系机构如图：

图1 数据仓库应用体系机构

4 数据仓库的设计实施

4.1 概念模型设计

建立数据仓库前必须首先设计好企业级数据仓库的概念模型，然后才能按照该模型实施独立的数据集市。其设计过程分为：

（1）可将按照通信运行、通信维护、工作票、备品备件以及其它业务申请等带有较强独立性的业务流，按照决策层、管理层、业务运作层进行分解，形成电力通信管理业务模型。

（2）针对各级别部门分别绘出数据流程图，从而搞清楚部门之间、部门内部以及部门与外数据源的信息流，进行各管理业务的输入、存储、输出流的量化分析。

（3）调研不同层次的用户所提出的业务需求，确定要提供什么样的事实。结合前面对数据流和用户视图等的分析，可以列基本的数据集市以及相关维度，从而可以形成以数据集市为行、维度为列的数据仓库总线结构矩阵。

按照以上论述并结合电力通信管理的特点，所设计的模型有：

（1）设备维护类，如配置信息；（2）设备运行类，如告警信息；（3）网络运行类，如带宽利用率；（4）业务类，如业务运行分析；（5）资产管理分析，如备品备件；（6）人力资源分析；（7）其它类，如管理制度完备性分析。

4.2 逻辑模型设计

逻辑模型设计是每个当前要装载的主题的逻辑实现进行定义，并将相关内容记录在数据仓库的元数据中，包括： 适当的粒度划分、合理的数据分割策略、适当的表划分、定义合适的数据来源等。主要需要完成如下工作：

（1）分析主题域，确定当前要装载的主题。在进行设计时，对概念模型设计步骤中确定的几个基本主题域进行分析，并选择首先要实施的主题域。如果所选择的主题域很大并且很复杂，可以针对它的一个有意义的子集来进行开发。

（2）确定粒度层次划分。通过估算数据行数等信息，来确定是采用单一粒度还是多重粒度，以及粒度划分的层次。

（3）确定数据分割策略。选择适当的数据分割的标准，一般要考虑以下几方面因素：数据量（而非记录行数）、数据分析处理的实际情况、简单易行以及粒度划分策略等。要考虑到所选择的数据分割标准应是自然的、易于实施的；同时也要考虑数据分割的标准与粒度划分层次是适应的。

（4）关系模式定义。对选定的当前实施的主题进行模式划分，形成多个表，并确定各个表的关系模式。

4.3 物理模型设计

物理模型设计要确定数据的存储结构，确定索引策略，确定数据存放位置，确定存储分配。为了更好的优化存取时间和空间效率。必须了解数据环境、数据的使用频度、使用方式、数据规模以及响应时间要求等。还必须了解外部存储设备的特性，如分块原则，块大小的规定，设备的I/O特性等。

（1）权衡存取时间、存储空间利用率和维护代价三个方面因素来确定数据的存储结构。

（2）考虑对各个数据存储建立专用的、复杂的索引，以获得最高的存取效率。

（3）按数据的重要程度、使用频率以及对响应时间的要求进行分类，并将不同类的数据分别存储在不同的存储设备中。重要程度高、经常存取并对响应时间要求高的数据就存放在硬盘上；存取频率低或对存取响应时间要求低的数据则可以放在磁带上。

（4）确定存储分配。

4.4 数据仓库生成

数据仓库生成就是完成接口设计，数据装入。这一步工作的成果是，数据已经装入到数据仓库中，可以在其上建立数据仓库的应用。

（1）接口设计，在接口建立的过程中必须考虑到：从面向应用和操作的环境生成完整的数据；数据的基于时间的转换；数据的凝聚；对现有记录系统的有效扫描，以便以后进行追加等。接口设计应该满足高效性、保存完整的文档记录、灵活性、完整性。

（2）数据装入，在数据装入前必须确定数据装入的次序、清除无效或错误数据、数据“老化”、数据粒度管理、数据刷新等。在数据装入前要完成数据变换，具体方法有手工编制程序和使用专用数据变换工具。

在数据仓库的生成过程中，对数据的清洗、过滤主要采用：

（1）计算列方法：该方法主要针对简单变换。在传送过程中直接将原始数据导入，在数据仓库中建立计算列进行透明转换，这样不影响数据传送的效率。

（2）视图法：该方法主要针对清洁和集成。视图法同样是在传送时直接导入。对于清洁，可以再建一张额外的表，建立原始數据和清洁数据的对应关系。对于集成，可以将原始数据通过视图集成，然后在视图上建立数据立方体。

数据仓库的生成包含事实表的建立和维表的建立。其中事实表就是数据仓库从资源管理系统中的基本数据中提炼出一些对对管理者决策分析有用的数据，作为事实表中的相应记录。维表则是参考概念模型的需求所建立的日期维、设备维、业务维、运行维等各种不同视角所需的信息表。

4.5 数据仓库运行与维护

建立企业的体系化环境，不仅包括建立起操作型和分析型的数据环境，还应包括在这一数据环境中建立起企业的各种应用。数据仓库装入数据之后，管理数据仓库的一些日常活动，如刷新数据仓库的当前详细数据、将过时的数据转化成历史数据、清除不再使用的数据、调整粒度级别等。

维护数据仓库的工作主要是管理日常数据装入的工作，包括刷新数据仓库的当前详细数据，将过时的数据转化成历史数据.清除不再使用的数据，管理元数据，等等；另外，如何利用接口定期从操作型环境向数据仓库追加数据，确定数据仓库的数据刷新频率，等等。

数据仓库的开发是逐步完善的原型法的开发方法，要在系统运行或使用中，不断地理解需求，改善系统，不断地考虑新的需求，完善系统。

5 电力通信管理系统数据仓库的建立

在具体构建数据仓库时，并不是要面面俱到，而是必须围绕电力通信业务领导层关注的、针对未来电力通信管理决策支持对基础数据需求的角度来组织构建。要充分结合通信管理现有的各类网管系统和MIS子系统的基本应用现状和已有的基础数据来构建。

电力通信系统数据仓库的建立按照概念模型设计、逻辑模型设计、物理模型设计、数据仓库生成、数据仓库运行与维护五个步骤，完成数据仓库的建立。下面详细介绍建立数据仓库的全过程：

（1）在项目实施前期针对已有存量数据和工程资料、已有系统数据等进行数据比对、异常数据分析工作、数据一致性规范等数据清洗工作。

（2）在数据清洗完成后，对资料、动态数据和原有系统数据进行数据合并，实现数据集成。

（3）对数据进行合理的数据转化工作，包括数据模型规范转化、资源标准命名转化。

（4）对数据进行合理设计并进行编码，以实现数据消减。

建成的电力通信系统数据仓库总体逻辑系统架构可划分为三个层次：数据层、应用层、表示层，实现对整个电力通信资源管理系统的商务智能及决策支持系统前后端所有操作、流程管理。

图2电力通信系统数据仓库系统构架

6 结束语

建立数据仓库有助于更有针对性的集中收集保存核心基础业务数据信息。业务系统运行生成的业务数据往往是海量的、细节的，而且存在冗余、标准不一甚至矛盾等现象，把它们收集堆积在一起并没有什么意义。但如果站在更高的高度，站在主管领导这关注的角度，站在企业未来决策支持对基础数据需求的角度，重新审视这些数据，将其中有用的数据抽取出来，并通过一定的变换整理再整合集成在一起，以更有利于查询、检索和统计分析的方式统一存放在一个数据中心点（数据仓库），这对提高业务数据的综合利用率和可共享性，为主管部门决策支持服务将具有极为重要的意义。建立数据仓库有助于电力通信管理实现统一的数据信息标准规范和业务系统规范提供良好的经验和参考依据。

参考文献

[1]黄小桃，焦群.电力系统通信综合网管系统设计[J].电力系统通信，2000（6）：33-37.

[2]陶邦胜.基于CORBA的统一数据采集平台[J].电力系统通信，2010，31（213）： 53-56.

[3]杨君，刘云.基于MapX的通信资源管理系统的设计与实现[J].中国数据通信，2003（5）：75-79.

[4][美]厄曼.陈维军，等译. Oracle9i PL/SQL程序设计[M].北京：机械工业出版社， 2009.

作者简介：王慧卿（1973，3-），女，山西太原人，高级工程师，从事电力通信运行管理及资源管理系统维护工作。