大数据技术在精准营销中的应用

北京东方国信科技股份有限公司 北京 100102

引言

大数据时代，数据已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。回顾近两年对大数据的探索历程，某基础运营商一方面顺应大势，牢牢把握大数据技术快速发展的机遇，另一方面应势而动，充分释放前期IT集中化、一体化的红利，坚定推进数据集中。先后经历了数据集中采集的积淀、初试大数据Hadoop平台、传统数据库与Hadoop混搭架构的大数据平台创建，以及目前朝开放式大数据服务平台迈进四个阶段。

精准化营销与维系系统，依托大数据精准定位支撑端到端多维度维系体系，构建在大数据平台之上，面向客户、面向服务、面向管理，深化数据分析、数据挖掘能力，洞察客户、透视企业，是将大数据转化为实际生产力的重要云化应用之一[1]。

1 大数据技术架构

1.1 MPP数据库

MPP(Massively Parallel Processing，大规模并行处理系统)由多个SMP(Symmetric Multi Processing，对称多处理系统)服务器通过一定的节点互联网络进行连接，协同工作，完成相同的任务，从用户的角度看它是一个服务器系统。其基本特征是由多个SMP服务器(每个SMP服务器称为一个节点)通过节点互联网络连接而成，每个节点只访问自己的本地资源(内存、存储等)，节点之间的信息交互是通过节点互联网络实现的。目前的技术可实现512个节点互联。MPP数据库有以下特点。1)一般存储为结构化数据，有明显的星型或雪花型结构，适用于大数据分析的应用;2)每个服务器都有自己独立的存储、内存和CPU，允许动态地增加或删除节点;3)数据分区划分到不同的物理节点上，通过分布式查询优化来提高系统整体性能;4)主要用在数据仓库和大规模的分析处理应用中。

1.2 Hadoop大数据处理平台

Hadoop是参考Google相关技术而发展起来的开源分布式存储和计算系统。其核心部分是HDFS(Hadoop Distributed File System，分布式文件系统)和M/R(Map/Reduce)。HDFS是一个高度容错性的存储系统，M/R则是一个计算框架。一个M/R作业通常会把输入的数据集切分为若干独立的数据块，由Map任务以完全并行的方式处理。框架会对Map的输出先进行排序，然后把结果输入给Reduce任务，作业的输入和输出数据都会被存储在HDFS中，整个框架负责任务的调度和监控以及失败任务的重新执行[2]。

1.3 ETL技术

ETL是指将数据从源端经过抽取(Extract)、转换(Transform)、加载(Load)至目的端的过程，该部分在数据挖掘和分析过程中为最基础的一部分。一个良好的ETL系统应该有以下几个功能。1)消除数据错误并纠正缺失数据;2)对于数据可信度的评估提供文档化衡量;3)获取相互作用的数据流程来保护数据;4)整合多个源数据;5)将数据进行结构化供最终用户使用。

2 大数据挖掘核心技术

2.1 语义引擎

语义引擎即为一种能够从非结构化数据中提取有效信息的一种工具。相对于结构化数据而言，不方便用数据库二维逻辑表来表现的数据即称为非结构化数据，包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。

2.2 数据挖掘算法

数据挖掘算法是一个不断验证不断匹配的过程，需要数据分析人员与业务人员不断地沟通和交流，使采集的数据更加符合实际营销情况。多数情况下，数据挖掘技术与在线联机处理分析(OLAP)方法相伴使用，也可以单独使用，选择正确的挖掘算法至关重要。如分析电信客户在生命周期中处于哪种状态，需使用回归分析;分析挽留预流失用户，要根据以往流失用户特征预测用户是否有流失意向，需使用分类算法[3]。

2.3 可视化分析

数据可视化是利用图形、图像处理以及用户界面，向用户清晰有效地传达数据所传达的信息。目前，数据可视化技术一般以表格、图形、地图等形式为主，实现图表联动、图表转化、表格下钻、多维切换、地图数据高亮显示等功能。

2.4 预测分析

预测性分析是根据可视化分析和数据挖掘的结果做出预测性的判断。数据挖掘可以预测“谁可能是手机报倾向使用用户，谁可能更喜欢玩网游”，或者预测“谁可能即将离网”。

2.5 大数据处理技术

大数据处理技术按目前分类，可分为大数据查询与数据分析、数据库技术、流与复杂事件处理、分布式文件系统等[4]。

3 精准营销与维系系统的技术实现

精准营销与维系系统的大数据平台，既要支撑对内的数据分析应用(包括面向管理层的企业管理和经营分析，面向前端的业务开发、运营与推广分析，面向后端的网络运营与优化分析)，又要支撑对外的数据开放与数据经营服务，包括数据产品化。

3.1 系统架构

某基础运营商的大数据系统架构如图1所示。主要包括大数据uCloud D“三大体系、四大平台”的总体规划以及全网、宽带明细数据、企业管理域核心数据、移动互联网流量日志、全网手机终端数据等。

精准化营销与维系系统是构建在大数据平台之上，基于数据平台的数据支撑能力，依托传统B域高价值密度数据，充分挖掘O域上网行为等低价值密度数据，通过开放式应用平台将其数据能力转化为实际生产力。

3.2 MPP与Hadoop+MySQL

目前大数据存储技术领域有两个主要的技术阵营和研究方向。一是MPP(Massive Parallel Processing，大规模并行处理)数据库;二是以Hadoop+ MySQL为代表的分布式文件系统。如表1所示[5-7]，MPP兼顾计算和数据访问，在计算能力上不如Hadoop，在数据访问能力上不如MySQL;Hadoop提供了优秀的海量计算能力(同时提供一定程度的数据访问能力);MySQL提供了优秀的数据访问能力，二者结合能够提供优秀的综合数据加工和访问能力。

3.3 数据采集与整合

大数据平台对生产系统数据的采集及整合是精准化营销与维系系统建设的基础。大数据平台的采集整合数据分类与技术如图2所示。

1)结构化数据采集与整合。采集生产系统和业务平台的数据，并通过DCN承载传输。实现前置机中的全/增量数据的实时/定时采集功能;实现前置机中基于Web服务的少量数据采集功能;实现前置机与交换平台之间的传输控制交互功能。

2)非结构化采集与整合。采集互联网相关的内容及行为信息，并通过IP网承载传输。通过网络爬虫引擎采集静态的互联网浏览内容信息，以及通过页面标签解析引擎采集互联网浏览历史和行为等信息。

3)流数据采集与整合。采集网络信令、设备日志、互联网实时行为等流类型数据，搭建流处理引擎和消息处理引擎。

4)临时数据采集与整合。采集各省各部门一次性数据，通过文件方式直接传输入库到数据集市[8-9]。

图1 系统架构图

表1 MPP、Hadoop和MySQL基本特性对比

图2 大数据平台的采集整合图

4 精准营销系统实现电信基础运营商的大数据能力

本文研究的大数据能力，主要分为资源能力和数据能力两种形式。合作伙伴或者客户可根据自身业务需求，申请资源能力和数据能力，精准营销系统会为其提供多种合作模式，以满足不同合作伙伴和客户的不同业务需求[10-11]。

1)资源类能力。主要是指基础运营商对外开放计算资源和存储资源，针对外部合作伙伴和客户实行按需分配资源，允许合作伙伴和客户在所分配资源内部署业务运营所需的应用，在资源范围内使用已授权的电信数据资产，同时，允许其与自身数据进行融合，与电信业开展数据应用运营业务合作。

2)数据类能力。主要指在保证数据安全的前提下，向合作伙伴开放数据资产，允许合作伙伴将其所拥有的数据与电信数据进行充分结合，产生满足业务需求的价值数据，或者借鉴已成熟的数据模型，形成自身个性化的数据模型。主要包括:数据转售、数据咨询、数据能力开放等。

数据转售是指汇聚电信数据资产、外部关联数据、经过脱敏、分析挖掘等加工处理后依按需有偿原则向第三方提供数据接口调用的服务。通过数据挖掘将用户登陆网址分析的大样本数据出售给相关客户，如淘宝、京东、苏宁、新浪等，方便客户进行价值营销，形成新的盈利模式。

数据咨询是指对电信数据、关联的外部数据进行收集、存储和加工，形成有价值的商业咨询报告，向第三方提供以获取信息增值收入。

数据能力开放是大数据能力平台的虚拟运营模式，第三方租用平台空间、计算和数据资源，开展数据分析和挖掘应用，以满足自身业务需要或向其客户提供商业信息服务。

为实现大数据能力，主要从以下几点进行分析。

1)洞察客户需求，提升客户感知。

①洞察客户特征，精准把握客户需求。基于大数据，构建多维度分类分级的高清客户画像，洞察客户消费行为与需求偏好，开展以客户为中心的精准化、高效率的套餐推介、服务维系、流量助推、定向营销等活动，贴合客户需要，提升客户感知。并储备对外合作数据价值多元化、多样化的服务交付能力，如以大数据平台的完整客户画像为基础，为客户进行一对一的个性化广告投放，通过短信等方式发送餐饮、娱乐、购物等生活信息推荐给客户。

②客户触点管理统一，确保客户体验一致。以客户为中心，实现多部门多活动、线上线下多触点的统一协同管理，防止执行渠道单一，避免过度打扰，确保客户体验一致性，并及时评估渠道投放效率与效益，循环优化，持续提升[12]。

2)以大数据为中心，开展精准营销维系。

改变过去粗放式的营销和维系政策的制定与执行，准确识别、精准投放、实时跟踪、循环优化，实现营销维系智慧化、资源投放精准化和经验案例共享化。严格做到事前精准策划，事中精准管控，事后循环优化。

3)满足一体化运营，助力服务下沉。

构建引导型、规范化、自上而下的一体化精准营销维系体系，同时，支撑省分和本地网创新型营销与维系需求，助力服务下沉。

营销维系一体化运营能力，包括规范客户标签体系，精准洞察客户需求;强化营维体系落地，确保一体智慧运营;统一客户接触标准，树立企业服务形象;共享全网营销案例，复制推广成功经验。

精耕细作服务下沉，包括支持省、地市及多专业个性化标签;支持省、地市及多专业个性化模板;支持省、地市及多专业个性化流程配置;支持省、地市执行渠道对接，如呼叫中心、短信、营业厅、网格经理等。

5 大数据应用

5.1 精准营销系统实现公共管理创新

5.1.1 公共交通

基础运营商利用成熟的GPS定位技术和高速的无线传输网络，为公交车、出租车公司提供车辆调度和管理服务，提高车辆运营效率和大众人群使用公共车辆的满意度。

通过遍布全市的公交车和出租车行驶数据，分析挖掘形成整个城市的路面交通“实时路况”，为公共交通治理提供可靠的决策依据。

通过公交车的固定路线行驶时间分析，可帮助公共交通部门优化公交线路，合理配置公交车辆的投放数量，从而满足人民群众的公交出行需求。

5.1.2 公共教育

教育信息化正在引发教学模式的重大变革，传统的“板式”教学向“多媒体教学”转变，云服务的引入缩小了城乡基础教育的差距。

在幼儿教育方面，基础运营商利用视频传输、云服务分享能够实现幼儿、家长、老师三位一体的信息化服务。随着幼教信息化的普及和推广，借助大数据挖掘和分析，将不同年龄段的幼儿特征和偏好进行提炼，能够为教育局和相关教育机构提供有力参考。

在中小学教育方面，基础运营商通过电子黑板、电子书包等形式，将丰富的教育资源通过云服务的方式传递到教育末梢。同时，借助大数据挖掘和分析，将教育资源的使用率进行评估，从而得出相应的推广范本，为教育机构遴选教材、试点新的教育手段提供参考。

5.1.3 医疗卫生

基础运营商利用遍布全国、通达乡镇的通讯网络，将社区医院、乡村诊所这样的基层医疗服务机构连成网络，利用视频通信、云服务、传感设备等先进技术实现远程病情诊断、远程医疗咨询、共享病历等服务。利用大数据挖掘和分析为流行病防控、易感人群分析、季节多发性疾病预测提供有力的数据支持。

基础运营商利用自身在通信网络和用户资源方面的市场优势，与医疗器械设备厂商及集成商建立长期的合作关系，捆绑业务、互惠互利，形成电信行业在医疗卫生行业的大数据应用(如图3所示)，达到双赢共赢。

图3 电信行业在医疗卫生的大数据应用

5.1.4 特殊人群服务

针对残障人士，基础运营商提供定制化的通信套餐，让他们足不出户也能享受高科技带来的信息盛宴。同时，结合位置定位、视频传输等通信技术，借助大数据挖掘和分析，为特殊人群服务，提供位置分布、使用偏好、消费能力的数据参考。

5.2 精准营销系统实现商业模式创新

根据Gartner预测，2015年中国大数据市场规模将达到100亿元。对于基础运营商来说，海量的用户通信数据，能够为各行各业提供末梢消费者的行为分析和结合地理信息的数据分布，从而衍生出形式多样的商务模式。

5.2.1 地理信息的商业价值

随着中国汽车市场的繁荣，“实时路况信息”不仅对公共交通治理有益，对普通的驾驶人员也有极高的参考价值。图商(高德地图、百度地图等)在提供免费地图导航软件的同时，对“实时路况”收取增值服务费。对于基础运营商而言，大数据挖掘分析结果，不仅可以为图商所用，还可以为保险公司售卖车险所用。

5.2.2 互联网金融带来的商业机会

越来越多的人使用“手机支付”，可通过分析此类用户的ARPU(月通信费)以及年龄结构、知识结构， 来为企业细分目标市场。

多数银行普遍采用的“信用卡移动受理”服务，是将银行的信用卡开卡业务移植到平板电脑上，方便银行业务人员随时随地向客户推荐业务、受理业务。通过大数据挖掘和分析，能够为银行提供潜在客户的分布区域、高价值客户的集中度、新增客户的属性和消费能力分析，从而为银行制定信用卡的优惠政策和品牌区隔提供有力的数据依据。

“掌上股市”服务，是将证券市场的实时信息推送至用户终端，不需要用户终端安装庞大的历史证券数据。根据用户的分析需求，采取云服务的方式，在远程服务器进行计算分析，降低用户手持终端的计算复杂度和存储消耗。通过大数据挖掘和分析，证券公司能够获取其最终用户的投资偏好，为其提供定制化的服务，从而提高客户黏性。

5.2.3 成人教育的潜在商机

在成人教育方面，以商学院为例，目前广泛采用基于iPad等平板电脑的教学工具。依托高速3G网络，学生在iPad上通过专有客户端软件进行“云端”电子课件的阅读，还可进行标注、课堂笔记等操作。随着此类高端教学工具的普及，基础运营商针对MBA目标人群进行大数据挖掘和分析，为商学院制定合理的教学计划和教育资源配置提供参考。

5.2.4 物联网的广阔市场

根据新华社物联网咨询中心的数据，2015年中国物联网产业规模将达到5 000亿元，重点行业是安防、电力、医疗、物流、环境监测，覆盖了从公共管理和服务市场到企业、行业应用市场，再到个人家庭市场，已经逐步发展成熟。

综上所述，在移动互联网、物联网、云计算等产业潮流的推动下，基础运营商将通信管道的传统业务与大数据的增值服务相结合，发挥通讯用户行为海量数据的优势，与各行各业的新商机结合，共同推动社会管理水平的提升和新型商业模式的利润增长[13]。

6 前景与展望

大数据技术的演进之路从未止步，大数据应用的范围也在不断扩大。目前，电信行业海量数据还未形成有效的信息资产，其中蕴含的价值和机会还有待发掘。基础运营商可聚焦自身真实、特殊的数据资源，增强大数据分析挖掘技能，从而提升经营效率，提升网络质量，盘活战略资产，使数据价值最大化。大数据的发展需要产业链的开放和更大范围的数据聚合，为此，基础运营商将与产业各方共同合作，打造电信行业大数据生态圈，实现开放合作共赢，大数据必将成为电信业发展的新引擎。

[1]卢云许.电信行业大数据应用浅析[J].信息系统工程,2013(12):20-30

[2]王长武.移动互联网下的运营商大数据应用浅析[J].电子技术与软件工程,2014(13):45

[3]廖凡迪.海量电信数据的挖掘与异常分析[D].北京邮电大学2013:15-21

[4]袁玮.云计算在电信行业经营分析系统中对大数据的处理探析[J].硅谷,2014(06):117

[5]Liu Peter.电信行业中的大数据[J].电信网技术,2013(08):1-3

[6]张雨,蔡鑫,李爱民,等.分布式文件系统与MPP数据库的混搭架构在电信大数据平台中的应用[J].电信科学,2013(11):3-4

[7]王苏卫.基于Hadoop和Hive的电信行业数据仓库研究[J].电子技术与软件工程,2013(11):89-89

[8]李存琛.海量数据分布式存储技术的研究与应用[D].北京邮电大学,2013:29-37

[9]成静静.基于Hadoop的分布式云计算/云存储方案的研究与设计[J].数据通信,2012(05):14-18

[10]颜巍.基于云平台的数据挖掘算法的研究与实现[D].电子科技大学,2013:71-87

[11]林佳烨.云计算在电信行业数据分析领域的应用[J].移动通信,2011(08):83-86

[12]李希,郑惠莉.运营商开展大数据业务的对策及建议[J].中国电信业,2013(11):1-3

[13]Viktor Mayer-Schonberger.Big Data:A Revolution That Will Transform How We Live,Work and Think[M].Hodder Export,2013