利用商业智能技术对多系统的数据整合研究分析

孙琳

摘 要：“十二五”期间，由于机构整合及业务的发展，业务不断扩大，包括固定电话、宽带、GPS、无线市话、家庭安防、信息服务、数字电视、IPTV电视、无线宽带等业务，分布在通信、电视、信息主营业务支撑系统中，各系统中都包括客户基本信息、缴费信息、业务变化信息等，沉淀下来丰富的历史数据，这些数据是巨大的财富。如何能对历史数据进行深度的加工提炼，寻找业务之间的潜在联系，预测业务和收入发展趋势，从而辅助支撑领导决策，是此项目所研究的目标。

关键词：商业智能技术；多系统数据；数据整合

本课题通过数据仓库技术和商业智能技术全面了解与应用，实现对通信、电视、信息业务支撑系统中的营收数据进行整合，按照全面的营收分析思路，建立统一的数据库，满足中心营收分析的及时性和准确性要求。 研究各种分析方法，寻找实现可行性。为今后能够建立业务营收数据的主题分析，及时展示营收数据变化情况，对中心运营状况进行分析和监控，辅助支持运营管理决策奠定基础。

1 目前现状

目前中心的营收业务数据分散在通信、电视、信息主营业务支撑系统中，业务数据零散，共享困难。而统计、分析只针对某种业务进行，并没有从多维度多层次深刻理解数据和数据背后的信息，从而造成业务数据的孤立。每月各系统会生成大量营收数据，但系统间的数据无关联性，不能自动、及时汇总。目前需人工完成报表的统计、分析，工作量大、效率低。数据分析工作需人工完成。科室间数据口径难以统一；分析结果靠经验得出，缺乏有效分析方法，不能准确反映中心整体营收情况和业务发展趋势。

2 解决方案

2.1 关键技术介绍

2.1.1 ETL技术

ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。 ETL是BI项目重要的一个环节。 通常情况下，在BI项目中ETL会花掉整个项目至少1/3的时间，ETL设计的好坏直接关接到BI项目的成败。？

2.1.2 商业智能技术

商业智能，又称商务智能，英文为Business Intelligence，简写为BI。商业智能通常被理解为将企业中现有的数据转化为知识，帮助企业做出明智的业务经营决策的工具。

商业智能技术其实就是数据仓库技术和OLAP技术的相结合，首先它能够实现多个系统的整合；其次它可以对数据进行多层多维度的分析，寻找数据之间的关联关系，挖掘数据背后有价值的信息，为领导的经营决策提供辅助有效支撑；最后强大的报表功能能实现报表的自动化生成。

2.2 具体实施方案

2.2.1 整体技术框架

①数据整合：对通信、信息、电视三个数据库数据和外部数据，通过ETL技术，将这些数据通过数据源引擎引擎抽取到统一中，形成完整的数据集合。

②分析模型：预置领导所关注的指标模型以及扩展应用模型以及分析的指标模型。

③应用展示：通过分析模型，以仪表盘、多维透视表等多种可视化方式进行数据的查看。

2.2.2 数据整合内容

2.2.2.1 数据采集

根据具体业务需求和数据量情况。在三个数据库系统中对数据进行采集，在数据采集阶段做了以下工作：

①数据的时间差异性问题：

定义数据规则，在抽取旧有数据时，对于较早的数据不完整或不符合数据规范，一般可以根据规则，在存入中转区的过程中予以更新或补充。同时根据需要也可以采用全局抽取和增量抽取。

②数据的依赖性问题：

业务系统的数据关联一般已有约束保证，代码表和参照表等数据也比较准确，但仍有少量数据不完整，对这部分数据，需根据需求采取清洗策略，保证数据库各事实表和维表之间的关联完整有效。在数据整合时，我们通过事实表的建立了6个维度表，其中包括：时间维度、科室维度、完工量维度、业务类型维度、缴费方式维度、客户类型维度。

2.2.2.2 数据转换清洗

数据清洗主要是针对三个数据库中，重复、空置、逻辑错误、日期类型不同、数据类型不同、同一事物不同名称等进行统一名称、格式、类型等操作。

2.2.2.3 数据抽取方式和频率

为了不增加各支撑系统负担，采用每月30日，对数据进行增量抽取，并对抽取后的数据进行数据校验，从而保证数据准确和及时。只有数据的准确才能使分析的结果更有价值，所以数据的准确和及时是非常关键的 。

2.2.3 分析方法

2.2.3.1 结构分析法

是指对经济系统中各组成部分及其对比关系变动规律的分析。在本项目中主要应用与收入和欠费中各业务的比例分析。比如：欠费单位类型比较，主要分为上市、未上市、社会单位、矿区单位在欠费单位中的比重其公式是：

结构（%）=（部分/总量）·100%

2.2.3.2 趋势分析法包括环比和同比两种方法。

环比主要是针对收入和业务量变化的分析。通过环比可以看出收入的增长速度以及业务发展的趋势。 如：2月与1月收入比较、3月与2月比较、4月与2月比较。 而同比是与上一年同月份的比较。 如：2014年1月与2015年1月比较。通过同比率的数可以反应收入的增长情况。

2.2.3.3 排名比较法：

主要应用于各业务欠费的排名。比如上市公司欠费单位的排名。通过排名比较有助于使用者及时了解客户的缴费进度和欠费情况，从而进行催缴工作。

3 结论

此项目对业务数据进行整合、建立了营收数据分析模型，研究数据分析方法，为中心大数据应用和支撑经营决策进行了有益的尝试。