基于广电网络ODS进行运营数据分析

李志刚 李俊杰

【摘要】 随着广东广电开始进入全面的视频和数据业务运营阶段，各种经营活动将逐步向精细化迈进。 三网融合的大背景下，未来的竞争将考验广电运营商采集和分析数据的能力。对于现有的广电，缺少对数据挖掘和分析的经营分析系统，如何理解数据、规范数据、运用数据、实现数据从信息到价值的提升，成为摆在管理者面前一个重要课题。

【关键词】 ODS 运营数据

一、背景

现在，广东广电各个业务系统都已经全面上线运营，包括集中BOSS系统、综合运维系统（OSS）、客服系统等。系统数据运行状况如何？我们可以从运营数据中看到什么？

问题一：当前BOSS系统主要以业务受理支撑为主，缺乏经营分析模块，难以提供经营分析数据。BOSS提供了一部分经营数据报表，但缺少明细数据。所提供的专用查询数量有限，都局限于面对营业员和客服人员使用的，不能满足复杂的信息提取。

问题二：各个业务系统，数据独立，难以进行联合查询。BOSS负责客户管理、产品管理及收费管理等，OSS系统负责综合工单调度和资源（地址）管理，客服系统负责客户来电接入和客户咨询、投诉等。各个系统的独立性对数据统计分析带来了很大困难。

问题三：缺乏良好的分析视图，缺乏角色定制，对运营决策者、各级管理者的决策支持力度十分有限。

为解决这些数据分析问题，我们的长远目标是建立一套经营分析系统。经营分析系统是基于数据仓库进行数据统计分析和数据挖掘的。

ODS是一个面向主题的、集成的、可变的、当前的细节数据集合，用于支持企业对于即时性的、操作性的、集成的全体信息的需求，支持企业日常的全局应用的数据集合。ODS是介于业务数据库（DB）和数据仓库（DW）之间的一种数据存储技术，和原来面向应用的分散的DB相比，ODS具备业务数据库的部分特性（数据细节和数据结构都接近业务数据库），但也转移和整合了部分数据，数据组织方式和数据仓库（DW）一样也是面向主题的和集成的，具备部分DW特征。（图1）

二、ODS数据查询

ODS的建设本身是为经营分析系统服务的，现在有关BOSS的报表统计都是来源于ODS。我们需要了解更多的经营数据，也可以通过ODS来获取。特别是一些报表数据明细，BOSS本身只给出了结果，缺少过程和明细。

ODS采用Oracle数据库存储，我们查询访问主要通过PL/SQL Developer来处理。PL/SQL Developer是一个集成开发环境，专门面向Oracle数据库存储程序单元的开发。

我们经常使用的就是通过PL/SQL Developer，但使用过程中发现，该工具重点在于进行开发和测试，如经常进行ODS数据提取，则需要操作人具备一定的数据库知识基础；数据的需求者一般是市场部或者运维部的普通员工，由于能力有限，不能自行在PL/SQL Developer进行查询和导出，都需要通过企信人员操作等问题。

三、经营数据分析助手开发

需要数据的市场或者营销人员，他往往只是想看到最终的数据结果，期望一个简单的工具或者界面。为此，我们开发了一个专门基于ODS的“经营数据分析助手”工具。这个工具可以通过简单的参数选择组合，点击一下按钮就可以提取到所需要的数据。

经营数据分析助手采用DELPHI编程语言进行开发。程序结构相对比较简单，采用C/S模式，通过dbExpress组件直接进行ODS数据库访问。让经营数据分析助手可以更加简单和容易部署，直接拷贝就可以使用，真正是绿色版本。

运营数据分析助手开发的初始开发目的是取替PL/SQL Developer，用来做数据查询和提取，并针对用户数据做一些简单的分析处理。所以，程序上很大部分都是针对SQL语句管理和查询数据的处理，下面针对部分主要功能介绍如下：

1、操作员登陆认证与权限设计。

用户数据的查询提取需要保证一定的权限控制，确保数据的安全性，所以必须有登陆认证过程，其中，密码是以MD5格式进行加密保存的。

2、分业务区分类别管理SQL语句。

分析助手对所有SQL进行编号和分类管理，并且区分不同分公司。例如我们有2个查询名称分别是：B01总在用用户数统计，B02按片区在用用户数统计。虽然都是在用用户数统计，但有了不同的编码就可以让分析人员很容易的知道自己需要那一个。

3、参数化的SQL管理。

在分析助手界面上提供常用的参数。根据需要，我们配置了超过20个参数选项， 包括ODS表日期、查询的业务区名称、日期区间、产品名称、营销方案名称等等。这些参数使每次运行SQL的时候，都可以根据用户的界面选择进行自动匹配。

4、使用中间表分步查询。

有些查询要求比较复杂，例如查询结果需要同时展现：客户资料、客户总机顶盒台数、客户高清机顶盒台数、宽带账号数、互动用户数等。如果只用一个SQL执行，不但编写困难，而且执行起来也非常占系统资源。我们可以把这个查询要求进行拆分为几个子查询并生成临时中间表，再通过中间表列出数据。

经营数据分析助手目的是提供一个简单的方法，让数据分析员能快速提取到自己的数据。经营数据分析助手是通过组建更多的宽表，并且加入客户标签，组成BOSS系统和经营分析系统的“外挂”，为做真正的数据挖掘。

四、通过ODS洞察业务数据

实际上，ODS给到我们的并不仅仅于此。我们通过ODS的数据分析，也发现了生产系统存在的一些问题。因为，ODS数据是业务数据库的直接反馈，是直接来源于生产系统明细的。在做经营数据分析过程中，我们就多次发现过存在的一些数据问题。

通过ODS的经营数据分析，我们不但可以了解详细的经营数据，也可以发现存在的一些生成系统数据问题，这也有利于我们去继续改进和优化生产系统。

五、总结和思考

大数据时代来了，其他电信运营商的经营数据分析已经走到了前面，我们只能迎头赶上。ODS是大数据的基础，是大数据分析的第一阶段，重点是解决业务应用统计分析报表功能，具备可变性、准实时性，数据结构也基本和业务系统数据表一致；第二个阶段是就是数据挖掘、决策分析和模型导入。

通过整合所有业务系统数据库，进行ODS的建设和不断完善，把日常的数据查询提炼，整理出模板，相信这将成为日后数据挖掘建模的重要组成部分。我们将努力建设出一套能够真正提供广电决策支持的经营分析系统。