基于地市级移动通信数据集市的整体设计

张世红,秦浩

摘 要： 为了满足地市级移动通信的业务需求，通过对逻辑数据集市和物理数据集市的分析，确定了数据集市的设计思路，构建了数据集市的结构，并设计出数据集市的主题模块。测试表明，其功能模块和增值业务达到了预期效果。

关键词： 数据集市； 设计思路； 数据结构； 主题模块

中图分类号：TP319 文献标志码：A 文章编号：1006-8228（2013）06-18-02

Overall design of data marts based on local mobile communications

Zhang Shihong， Qin Hao

（Department of Information technology， Hainan Vocational College of Political Science and Law， Haikou， Hainan 571100， China）

Abstract： In order to meet the local demands of the mobile communications business， through analysis on logical data marts and physical data marts， the overall design of data marts is settled， the data structure is constructed and theme modules are designed. Tests show that its functions on functional modules and value-add services have achieved the desired effects.

Key words： data marts； design ideas； data structure； theme modules

0 引言

地市级移动通信对数据集市的设计目标，包含建设面向应用和面向地市级两大方面的数据集市。关于面向应用专题的数据集市，因其需求、规划、设计、布局等与专题分析绑定而相对独立，不需要统一规划和设计，本文在此不做重点讨论。对于面向地市级的数据集市，由于不同地市数据集市的设计需求和开放的数据集基本相似，相对而言较易统一规划、设计和管理。因此，本文在数据集市的设计方案中，将着重阐述面向地市级数据集市的设计。

1 地市级数据集市的设计思路

地市级数据集市的设计可分为两种思路，即逻辑数据集市和物理数据集市[1]，以下简要讨论两种数据集市的优劣，并确定本文设计数据集市采用的方案。

1.1 逻辑数据集市

逻辑数据集市采用在数据仓库表上建立逻辑视图的方式建设（见图1），其实际访问的是数据仓库中存储的物理表，数据间的访问都集中在数据仓库上，通过采用数据库的自身机制保证数据的完整性和一致性。同时，逻辑数据集市还需要考虑对数据仓库的性能压力，以及对稳定性和安全性的影响。

逻辑数据集市的优点表现为：一是成本低，只存储一份数据，节省存储空间；二是维护简单，不需要定时导入导出；三是与仓库中的数据保持同步更改，没有延迟。其缺点表现为：因与数据仓库共享资源，影响数据仓库的使用，导致性能降低；数据仓库CPU和MEMORY需要扩容；对省级数据仓库安全性和稳定性要求增高。

图1 逻辑数据集市

1.2 物理数据集市

物理数据集市拥有独立的物理存储，数据和数据访问分散在数据集市上，但数据仓库是其惟一合法的数据来源。物理数据集市一般应建立与数据仓库同步的管理机制和执行策略，在数据集市和数据仓库之间建立数据抽取和加载过程，并纳入数据仓库系统的总体调度进行管理。根据不同的数据类型，其数据同步频度可分为每日或每月，并在数据仓库发生异常回退时，数据集市须进行同步更新（见图2）。

物理数据集市的优点表现为：一是与数据仓库相对独立，不会影响数据仓库中数据对象的访问；二是查询性能相对于逻辑模型能有较大的提高；三是各地市或专题可以自由使用自己数据集市的数据。其缺点表现为：物理数据集市成本较高，需要将数据集市的数据再存储一份；存储费用较大，如果建立独立的数据库环境，还需要购买LICENSE软件；维护较复杂，需要定时导入导出；不能实时反映数据仓库中数据的变化，数据有一定的延迟，还需要控制数据与仓库中的数据保持同步。

图2 物理数据集市

2 数据集市的整体设计

通过以上分析，并从长远使用角度考虑，本文选择物理数据集市进行整体设计。因为它解决了地市级专题使用数据仓库的瓶颈问题，同时为将来数据仓库的深度开发打下了基础。此方案虽然在维护上增加了一定难度，但是如果设计方案完善、严密，完全可以排除其带来的负面影响。

2.1 数据集市的设计目标

建设地市级数据集市的最终目标是为了解决地市级专题临时统计的需要，满足地市统计高灵活性的要求。数据集市的设计方案为物理集市，即由独立的主机承载数据集市的数据库。如按目前经营分析系统的建设进程和规模，各省可选择由一台主机或多台主机承担所有地市的数据集市，它不仅能够支持地市级数据集市的应用，还可以支持不同地市的个性化需求，具有较强的通用性，并能保证数据集市的数据及时生成、优化和补充。

2.2 数据集市的结构设计

地市级数据集市的设计结构如图3所示，需要说明的是：第一，数据集市的数据主要来源于数据仓库，为了处理效率和速度的考虑，数据集市生成的数据主要来源于入库前的清洗后文件；第二，为了更好地生成便于地市使用的数据集市查询数据，在数据仓库内部需要设计数据仓库综合查询数据层，作为数据仓库数据的重要补充部分，它可以同时服务于数据仓库和数据集市；第三，为了便于地市和省中心的数据使用，地市级数据集市的最终数据由数据仓库的明细数据、综合查询数据和ETL文件层的文件数据共同生成[2]。

图3 地市级数据集市结构图

3 数据集市的模块设计

3.1 数据集市的数据模型

数据集市数据及模型由专题数据集市数据和地市数据集市数据两大部分组成，但在本设计中我们着重关注的是地市数据集市的设计。数据集市数据预处理是在数据仓库内部实现，本部分是指在生成数据集市的数据时，部分数据不能直接从现有数据仓库的数据中直接抽取生成，而需要通过预处理来实现（见图4）。

3.2 数据集市的ETL处理

地市级数据集市的ETL主要分为ETL1和ETL2[3]。ETL1是数据集市ETL数据的主要部分，主要是指把数据仓库的数据经过分离、转换和装载生成到数据集市中。ETL2是指各地市自身的个性化数据，输入到本地市的数据集市中[4]。本部分数据不允许倒流到数据仓库中（见图4）。

图4 地市级数据集市的构成

4 数据集市的应用

数据集市的应用主要是在移动业务实践中进行充分呈现，并提高业务的管理效率和管理水平，本文重点通过数据集市的功能模块分析和增值业务呈现来完成。

4.1 功能模块分析

数据集市主要是面向地市的数据集市，所以地区选择已具体到区县一级（原先是地市一级），其中地区级为省、地级市、县（区）。数据集市实现的功能模块有领导关注、区域考核监控、增值业务、大客户、渠道分析等，它们都已经具体到县（区）一级的查询。具体功能包括：①领导关注模块，主要是为领导每天关注的指标和近期开展的各项营销活动进行通报。②区域考核监控模块，主要是为各个区域提供市场发展数据，以及相关考核结果。③增值业务模块，主要呈现各种增值业务的开展情况，每天每月开通工号、渗透率等。④大客户模块，主要为大客户经理提供信息，使之能为大客户提供更方便的服务，为大客户解决疑难问题，并在服务的过程中，针对不同的目标客户群提供主动营销和服务。⑤渠道分析，主要是为渠道经理提供信息，使之能对移动各渠道进行更好的管理，如渠道建设、渠道组织管理、渠道业务管理、渠道酬金管理、渠道放号等，从而使渠道更好地为移动服务。

4.2 增值业务应用

数据集市是一个庞大的项目，需要不断地建设和完善，现仅以增值业务为例，介绍数据集市的实现。增值业务是移动通信运营商为提升品牌附加值开发的新业务，它对提升客户粘性，增加收入都有非常大的作用[5]。通过增值业务的分析，可以为管理者提供开展各种业务的相关数据。

在增值业务功能模块中，有短信、彩信，彩铃、全时通，手机报等功能模块。通过对增值业务的查询，可帮助增值业务管理人员方便、灵活地获得需要的信息。查询内容包括：归属地、日期、开通号码数、净增数等指标，向下钻取可获得具体号码明细等信息。对于报表展现以及具体明细，可选取EXCEL或TXT等格式下载、导出或打印。在统一的配置平台页面中，可以指定返回数据的存储过程，还可以设计报表、表头、配置权限，以及调用存储过程的参数。当前台打开报表时，系统按照指定的参数自动调用存储过程，并返回报表数据。系统每天定时运行一个生成数据的存储过程，该过程从数据仓库中整理用户关心的数据，并及时存储在数据集市中。

5 结束语

本文分析了逻辑数据集市和物理数据集市的特点，确定了数据集市的设计思路，构建了数据集市的结构，并设计出了数据集市的主题模块。研究表明，数据集市的主题功能模块和增值业务的应用效果较好，能够提高移动通信业务的分析效率和管理水平。另外，由于地市级数据集市作为省级经营分析系统的扩展，仍需要较好的兼容性和扩展性，还需要设计清晰的接口，包括权限管理、数据安全等，地市级数据集市也要预留独立的扩展空间，为以后建设独立系统做准备。

参考文献：

[1] 亚信管理软件有限公司.数据集市概要设计（V1.0）[P]，2005.

[2] 李艳，杨永健，李树秋.基于数据集市的电信经营分析系统模型[J].山

东大学学报，2007.11.

[3] 李捷.电信行业经营分析系统_数据集市子系统的设计与实现[D].电

子科技大学，2007.

[4] 于戈，鲍玉斌，王大玲等.数据仓库设计[M].机械工业出版社，2004.

[5] 陈奕新.无线网络中的数据集市原型设计与验证[D].北京邮电大学，

2008.