数据挖掘之本地数据应用集市
2014-10-29周宽宽瞿友爱张晶
周宽宽 瞿友爱 张晶
摘 要
本地数据应用集市是为了统一数据出口，及时高效满足分公司个性化分析与取数的需要而建立。本地数据集市减轻了生产系统的压力；自助取数使数据挖掘班组可以把更多的精力转移到数据挖掘层面上；业务支撑分析通报、每月报表及本地针对性营销支撑同样可以减少不必要的重复劳动。
【关键词】本地数据应用集市 自助取数 针对性营销
1 本地的数据模型描述
对于下发到本地网的数据，分CRM、Bill、ODS及EDW四个系统分别进行描述。下发到本地网的数据，根据需求目的，将其分为三大类。
（1）直接由省公司下发到本地网的数据。直接下发到本地网的数据，本地网提供数据来源的系统名称、数据在源系统中的名称及数据的中文描述。
（2）需要进行整合后再下发到本地网的数据。对于要求整合的数据，本地网提供需要整合的数据名称、数据来源系统名称、整合结构。
（3）需要重新建立的数据。对于需要重新建立的这部分数据，完全需要省公司支撑。本地网提供数据结构，这部分数据需要划分到本地网自行管理的范围之内。
2 本地的数据生命周期
本地数据的生命周期，按照数据的实时性程度分四个部分处理。
（1）对于生产系统实时性较高的数据，如计费系统的营收数据、话单数据等，每天晚上进行更新，当天上午06：00前更新完毕。
（2）对于系统中按月生成的月表及中间层表，如ODS的资料中间层表、收入中间层表等，根据分公司硬件设备的存储能力，尽量做到保存两年以内的数据。
（3）对于省公司下发到本地网的静态表，如省公司对这些静态表进行了更新或者是变动，本地网可以在省公司的指导下对这些静态表进行更新。
（4）对于本地网在省公司下发数据的基础上进行开发后生成的各种数据，本地网根据实际情况自行处理。
3 本地的功能需求
本地的功能分为后台取数、前台自助取数、业务支撑分析通报、每月报表及本地针对性营销支撑等五大模块。如图1所示。
（1）后台数据提取。本地数据集市的建立可以完全替代省公司的数据库，减轻生产系统的压力。
（2）前台自助取数。将经常用到的数据进行整合，开发出前台自助取数的页面，将各种常见到的取数功能加进去。那么大量数据提取需求可以从后台提取转向前台自助取数。
（3）业务支撑分析通报。本地网花费了大量的时间在每月的业务支撑分析通报上，其中的许多过程都是靠人工完成。本地数据集市支撑后的“业务支撑分析通报”也将以前台页面展示出来。
（4）每月报表。根据省公司的要求及ODS前台所展示的报表进行重构，开发程序自动导出所有报表，这样可以减少大量人工操作的时间且不易出错。
（5）本地针对性营销支撑。本地网可以针对自身的实际情况及地方特色，开展本地化的针对性营销分析，从而可以不完全依赖于省公司的数据支撑。
4 本地数据集市维护职责流程
4.1 数据库层面的维护分为
数据库及数据整合下发、本地数据集市数据划分、本地数据生命周期三大块。
（1）数据库及数据整合下发。本地网根据省公司的要求配合数据下发工作，及时对下发的数据进行稽核。
（2）本地数据集市数据划分。数据的划分可以保证数据库的安全性，划分根据源系统的数据特性及本地网的实际需求去实现。
（3）本地数据生命周期。保证当天、当月数据更新的准确无误，本地开发产生的数据，对其生命周期进行审核。
4.2 数据集市应用层面的维护
后台的取数操作基本和现阶段的工作保持一致，要随机检查后台取数的一致性。
（1）业务支撑分析通报基本上可以做到一次开发，长期使用。由于从繁琐的取数工作解放出来，本地网可以根据实际情况做本地的专题分析报告。
（2）前台自助取数、每月报表及本地针对性营销支撑开发出来之后，其维护工作主要就是及时检查数据的准确性。自助取数可以根据需求及时增加更丰富的自助功能，当然功能的增加牵涉到更多数据的整合及数据库层面的维护工作。
5 结束语
本地数据应用集市的建立有助于数据挖掘个性化，更好的服务于市场，清晰地把后台复杂的数据展现出来。当然，这些离数据应用集市的距离还很远，需要同事们加倍努力。
作者单位
1.湖南电信怀化分公司 湖南省怀化市 418002
2.怀化市铁路一中 湖南省怀化市 418000endprint
摘 要
本地数据应用集市是为了统一数据出口，及时高效满足分公司个性化分析与取数的需要而建立。本地数据集市减轻了生产系统的压力；自助取数使数据挖掘班组可以把更多的精力转移到数据挖掘层面上；业务支撑分析通报、每月报表及本地针对性营销支撑同样可以减少不必要的重复劳动。
【关键词】本地数据应用集市 自助取数 针对性营销
1 本地的数据模型描述
对于下发到本地网的数据，分CRM、Bill、ODS及EDW四个系统分别进行描述。下发到本地网的数据，根据需求目的，将其分为三大类。
（1）直接由省公司下发到本地网的数据。直接下发到本地网的数据，本地网提供数据来源的系统名称、数据在源系统中的名称及数据的中文描述。
（2）需要进行整合后再下发到本地网的数据。对于要求整合的数据，本地网提供需要整合的数据名称、数据来源系统名称、整合结构。
（3）需要重新建立的数据。对于需要重新建立的这部分数据，完全需要省公司支撑。本地网提供数据结构，这部分数据需要划分到本地网自行管理的范围之内。
2 本地的数据生命周期
本地数据的生命周期，按照数据的实时性程度分四个部分处理。
（1）对于生产系统实时性较高的数据，如计费系统的营收数据、话单数据等，每天晚上进行更新，当天上午06：00前更新完毕。
（2）对于系统中按月生成的月表及中间层表，如ODS的资料中间层表、收入中间层表等，根据分公司硬件设备的存储能力，尽量做到保存两年以内的数据。
（3）对于省公司下发到本地网的静态表，如省公司对这些静态表进行了更新或者是变动，本地网可以在省公司的指导下对这些静态表进行更新。
（4）对于本地网在省公司下发数据的基础上进行开发后生成的各种数据，本地网根据实际情况自行处理。
3 本地的功能需求
本地的功能分为后台取数、前台自助取数、业务支撑分析通报、每月报表及本地针对性营销支撑等五大模块。如图1所示。
（1）后台数据提取。本地数据集市的建立可以完全替代省公司的数据库，减轻生产系统的压力。
（2）前台自助取数。将经常用到的数据进行整合，开发出前台自助取数的页面，将各种常见到的取数功能加进去。那么大量数据提取需求可以从后台提取转向前台自助取数。
（3）业务支撑分析通报。本地网花费了大量的时间在每月的业务支撑分析通报上，其中的许多过程都是靠人工完成。本地数据集市支撑后的“业务支撑分析通报”也将以前台页面展示出来。
（4）每月报表。根据省公司的要求及ODS前台所展示的报表进行重构，开发程序自动导出所有报表，这样可以减少大量人工操作的时间且不易出错。
（5）本地针对性营销支撑。本地网可以针对自身的实际情况及地方特色，开展本地化的针对性营销分析，从而可以不完全依赖于省公司的数据支撑。
4 本地数据集市维护职责流程
4.1 数据库层面的维护分为
数据库及数据整合下发、本地数据集市数据划分、本地数据生命周期三大块。
（1）数据库及数据整合下发。本地网根据省公司的要求配合数据下发工作，及时对下发的数据进行稽核。
（2）本地数据集市数据划分。数据的划分可以保证数据库的安全性，划分根据源系统的数据特性及本地网的实际需求去实现。
（3）本地数据生命周期。保证当天、当月数据更新的准确无误，本地开发产生的数据，对其生命周期进行审核。
4.2 数据集市应用层面的维护
后台的取数操作基本和现阶段的工作保持一致，要随机检查后台取数的一致性。
（1）业务支撑分析通报基本上可以做到一次开发，长期使用。由于从繁琐的取数工作解放出来，本地网可以根据实际情况做本地的专题分析报告。
（2）前台自助取数、每月报表及本地针对性营销支撑开发出来之后，其维护工作主要就是及时检查数据的准确性。自助取数可以根据需求及时增加更丰富的自助功能，当然功能的增加牵涉到更多数据的整合及数据库层面的维护工作。
5 结束语
本地数据应用集市的建立有助于数据挖掘个性化，更好的服务于市场，清晰地把后台复杂的数据展现出来。当然，这些离数据应用集市的距离还很远，需要同事们加倍努力。
作者单位
1.湖南电信怀化分公司 湖南省怀化市 418002
2.怀化市铁路一中 湖南省怀化市 418000endprint
摘 要
本地数据应用集市是为了统一数据出口，及时高效满足分公司个性化分析与取数的需要而建立。本地数据集市减轻了生产系统的压力；自助取数使数据挖掘班组可以把更多的精力转移到数据挖掘层面上；业务支撑分析通报、每月报表及本地针对性营销支撑同样可以减少不必要的重复劳动。
【关键词】本地数据应用集市 自助取数 针对性营销
1 本地的数据模型描述
对于下发到本地网的数据，分CRM、Bill、ODS及EDW四个系统分别进行描述。下发到本地网的数据，根据需求目的，将其分为三大类。
（1）直接由省公司下发到本地网的数据。直接下发到本地网的数据，本地网提供数据来源的系统名称、数据在源系统中的名称及数据的中文描述。
（2）需要进行整合后再下发到本地网的数据。对于要求整合的数据，本地网提供需要整合的数据名称、数据来源系统名称、整合结构。
（3）需要重新建立的数据。对于需要重新建立的这部分数据，完全需要省公司支撑。本地网提供数据结构，这部分数据需要划分到本地网自行管理的范围之内。
2 本地的数据生命周期
本地数据的生命周期，按照数据的实时性程度分四个部分处理。
（1）对于生产系统实时性较高的数据，如计费系统的营收数据、话单数据等，每天晚上进行更新，当天上午06：00前更新完毕。
（2）对于系统中按月生成的月表及中间层表，如ODS的资料中间层表、收入中间层表等，根据分公司硬件设备的存储能力，尽量做到保存两年以内的数据。
（3）对于省公司下发到本地网的静态表，如省公司对这些静态表进行了更新或者是变动，本地网可以在省公司的指导下对这些静态表进行更新。
（4）对于本地网在省公司下发数据的基础上进行开发后生成的各种数据，本地网根据实际情况自行处理。
3 本地的功能需求
本地的功能分为后台取数、前台自助取数、业务支撑分析通报、每月报表及本地针对性营销支撑等五大模块。如图1所示。
（1）后台数据提取。本地数据集市的建立可以完全替代省公司的数据库，减轻生产系统的压力。
（2）前台自助取数。将经常用到的数据进行整合，开发出前台自助取数的页面，将各种常见到的取数功能加进去。那么大量数据提取需求可以从后台提取转向前台自助取数。
（3）业务支撑分析通报。本地网花费了大量的时间在每月的业务支撑分析通报上，其中的许多过程都是靠人工完成。本地数据集市支撑后的“业务支撑分析通报”也将以前台页面展示出来。
（4）每月报表。根据省公司的要求及ODS前台所展示的报表进行重构，开发程序自动导出所有报表，这样可以减少大量人工操作的时间且不易出错。
（5）本地针对性营销支撑。本地网可以针对自身的实际情况及地方特色，开展本地化的针对性营销分析，从而可以不完全依赖于省公司的数据支撑。
4 本地数据集市维护职责流程
4.1 数据库层面的维护分为
数据库及数据整合下发、本地数据集市数据划分、本地数据生命周期三大块。
（1）数据库及数据整合下发。本地网根据省公司的要求配合数据下发工作，及时对下发的数据进行稽核。
（2）本地数据集市数据划分。数据的划分可以保证数据库的安全性，划分根据源系统的数据特性及本地网的实际需求去实现。
（3）本地数据生命周期。保证当天、当月数据更新的准确无误，本地开发产生的数据，对其生命周期进行审核。
4.2 数据集市应用层面的维护
后台的取数操作基本和现阶段的工作保持一致，要随机检查后台取数的一致性。
（1）业务支撑分析通报基本上可以做到一次开发，长期使用。由于从繁琐的取数工作解放出来，本地网可以根据实际情况做本地的专题分析报告。
（2）前台自助取数、每月报表及本地针对性营销支撑开发出来之后，其维护工作主要就是及时检查数据的准确性。自助取数可以根据需求及时增加更丰富的自助功能，当然功能的增加牵涉到更多数据的整合及数据库层面的维护工作。
5 结束语
本地数据应用集市的建立有助于数据挖掘个性化，更好的服务于市场，清晰地把后台复杂的数据展现出来。当然，这些离数据应用集市的距离还很远，需要同事们加倍努力。
作者单位
1.湖南电信怀化分公司 湖南省怀化市 418002
2.怀化市铁路一中 湖南省怀化市 418000endprint
