运营商大数据平台建设方案的研究与设计

辛笛

【摘要】 随着大数据应用在互联网行业的蓬勃发展，大数据逐步成为国内外运营商关注的焦点。首先对大数据的关键技术进行了介绍，分析了数据在大数据处理系统中经过的各个环节，并对业界普遍使用的Hadoop技术做了简要介绍；然后，结合某运营商实际需求，提出了一种大数据平台建设方案，该方案的提出对其他运营商进行大数据平台的规划、设计以及建设具有很好的借鉴意义。

【关键词】 大数据 Hadoop 运营商

进入2012年以来，大数据（Big Data）一词越来越多地被提及与使用，人们用它来描述和定义信息爆炸时代产生的海量数据。各行各业对于数据的分析由来已久。大数据的不同，不仅仅在于数据量的剧增，更重要的是互联网的高速发展，带来的数据技术、数据应用、数据价值的变革。

谷歌公司依托搜索引擎创新了数据处理等一系列技术，一是分布式并行计算和处理技术，提高了海量数据的计算能力，降低了计算成本，解决了摩尔定律周期内的瓶颈，为大数据分析提供了动力引擎；二是数据分析技术更加智能，人工干预更少，并且由于数据量更大，更多可能的相关关系被分析挖掘出来。进而智能推荐、价格预测等建立在海量数据分析之上的互联网应用取得了巨大成功，聚集了海量社会各方面信息的互联网上的价值，获得其他各行业的关注，数据分析不再局限于企业内部数据，而是移动终端、互联网等外部数据源，互联网数据应用的思想扩展到其他行业，如互联网金融、社会趋势预测、无人驾驶汽车等大数据应用模式。数据的价值也被重新审视，作为一种资源，数据逐渐具有商品化属性。

大数据作为云计算的一种实际应用，在电信运营商的运营支撑中有着举足轻重的作用。对于电信运营商而言，大数据主要是大量客户的行为数据。

运营商可以利用大数据提升管道智能化水平，更加精准地发现客户需求，提升行业信息化服务的能力，改变企业管理者以往的决策方式，管理抉择更依赖“用数据说话”，抉择更科学、理性，更具定量化和可评估性，以及准确性和延续性。

一、相关技术研究

大数据来源于互联网、企业系统和物联网等信息系统，经过大数据处理系统的分析挖掘，产生新的知识用以支撑决策或业务的自动智能化运转。

从数据在信息系统中的生命周期看，大数据从数据源经过分析挖掘到最终获得价值一般需要经过5个主要环节，包括数据准备、数据存储与管理、计算处理、数据分析和知识展现.

总的来看，大数据对数据准备环节和知识展现环节来说只是量的变化，并不需要根本性的变革。但大数据对数据分析、计算和存储三个环节影响较大，需要对技术架构和算法进行重构，是当前和未来一段时间大数据技术创新的焦点。

二、大数据平台建设方案

目前某电信运营商EDA域主要是传统的ODS-EDW数据架构，通过获取BSS域、OSS域等传统结构化数据，基本可以满足该运营商的基础经营分析和营销支撑；大数据平台建成后，与现有ODS-EDW的Oracle处理形成的混搭配合，ODS-EDW处理后的结果数据提供给大数据平台，形成数据宽表模型，统一对外共享，支撑各类应用。

该运营商大数据平台的搭建可分三个阶段进行。

第一阶段；构建大数据基础平台（集群主机数量为15台左右），具备移动互联网数据（DPI）接入能力；实现Oracle处理方式与大数据平台处理方式的混搭配合，形成初步的基础标签体系；满足该运营商基于基础大数据标签能力的分析和营销支撑。

第二阶段：扩大大数据平台规模（主机20—30台），提升批处理能力；接入运维侧信令等数据，将EDA域中详单类、工单类数据的数据处理分析过程，迁移到大数据平台；完善大数据平台集群监控和管理能力。基本支撑营销分析，挖掘分析。

第三阶段：扩大大数据平台规模（集群主机数量为50台以上），完全实现EDA域大数据平台化，全新的数据架构（不区分ODS-EDW）；引入该运营商其它域的数据，实现跨域数据的应用，探索数据变现；实现大数据平台对外服务能力。

三、结论

大数据正在以不可阻挡的趋势走进各行各业，电信运营商拥有庞大的用户数据和网络数据等数据资源，在大数据时代具备天然的优势。建设适合运营商自身的大数据平台是发挥数据资源优势，挖掘运营商大数据价值的必由之路。本文阐述了大数据平台建设的关键技术，分析了数据在大数据处理系统中经过的各个环节，并对业界普遍使用的Hadoop技术做了简要介绍；针对某运营商的实际需求，提出了一种大数据平台建设方案，该方案的提出对其他运营商进行大数据平台的规划、设计以及建设具有很好的借鉴意义。

参 考 文 献

[1]陈淑梅.移动运营商的大数据发展策略研究[J].信息通信，2014（6）.

[2]高洪，杨庆平，黄震江. 基于Hadoop平台的大数据分析关键技术标准化探讨[J].信息技术与标准化.2013（5）.

[3]黄勇军，冯明，丁圣勇，樊勇兵.电信运营商大数据发展策略探讨.电信科学.2012，29（3）.