基于电信大数据的位置类应用服务策略
2015-02-06
(中国移动(深圳)有限公司,广东 深圳 518048)
1 背景介绍
1.1 电信大数据
大数据是指大小超出典型数据库软件的采集、储存、管理和分析等能力的数据集合。由于处在大数据产业链中的数据传递和交换中心的地位,因此电信运营商天然具有丰富的数据资源,可以进行基于大数据的业务的独特优势[1]。
运营商大数据主要包含:用户基本信息(姓名、性别、手机号码等)、计费信息(资费数据、套餐订购数据等)、业务信息(业务使用情况、互联网访问情况等)、位置信息(所在基站和小区位置等)、管理信息(财务数据、成本分摊数据等)。
运营商传统的IT架构中,主要通过BI(Business Intelligence,商业智能)系统完成数据的管理和分析[2]。在企业级数据仓库基础上,运营商逐步引入了Hadoop[3]、Storm[4]、Spark[5]等平台和技术,以满足大数据ETL(Extract-Transform-Load,抽取、转换和加载)、大数据查询、大数据分析计算等过程中的实时性和准确性要求。
1.2 尝试开展对外应用服务
对于运营商而言,电信大数据存在对内支撑和对外应用服务两个层面。一直以来大数据都在帮助运营商内部各个业务部门进行各种各样的商业决策(如何安排每年上千亿的网络投资、如何分配数百亿的营销资源等),这是大数据价值的传统阵地和主要的关注点。
随着移动互联网的快速发展和运营商内部“管道化”形势的日趋严峻,挖掘运营商内部数据资产的商业价值,对外提供应用服务,实现数据资产货币化,已经成为国内电信运营商转型的普遍方向[6]。
2 对外服务的形式和业务领域
运营商开展的大数据对外服务主要有以下方式:
(1)DaaS(Database as a Service,数据即服务)[7]模式,即以API(Application Programming Interface,应用程序编程接口)等方式为数据需求方提供脱敏数据;
(2)SaaS(Software as a Service,软件即服务)[8]模式,即根据需求方要求,开发软件产品并开放给需求方使用;
(3)PaaS(Platform as a Service,平台即服务)[9]模式,即建设大数据开放平台,吸引第三方合作伙伴一起为需求方提供服务,以多租户方式进行管理;
(4)咨询服务模式,即根据需求方要求,提供定制化咨询报告等服务。
当前运营商已开展了面向政府机构(如旅游、交通、公安等政府管理部门)和商业企业(如航空公司、大型商场、互联网金融公司等)的大数据对外服务的尝试,业务应用覆盖交通管理、城市规划、旅游管理、会员营销、后向广告、产品和服务推荐、金融授信、身份验证等各个领域。
3 位置类应用服务策略
用户开关机、通话等业务过程中的位置切换等这些行为所产生的网络信令,能够深刻地洞察用户日常生活轨迹,所以它构成了运营商现在最有价值的数据之一。面向外部行业的对外服务策略都是围绕这些数据来制定的。
3.1 数据处理及模型构建
用户位置信息相关的信令数据包括A口数据、Mc口数据、SGSN(Serving GPRS Support Node,服务GPRS支持节点)数据、Gn口数据、LTE日志(TD网络特有)、SGs口数据等,通过解析信令接口数据的LAC(Location Area Code,位置区码)+CI(Cell ID,小区号)字段,可定位用户的位置。当用户位置变化或发生业务时,会引起位置信令数据的更新。用户位置更新表结构如表1所示:
表1 用户位置更新表结构
基础模型一:用户位移轨迹模型。将同一用户一定时间周期内的LAC+CI字段进行拼接,可得到用户在此时间周期内的位置移动路径。应用中可根据实际需求设定时间周期间隔,如设置为24小时,即可得到用户在一天时间内的位置轨迹。
基础模型二:用户常驻地模型。根据用户在各小区的驻留时长及时间段特征(如白天时段09:00~18:00和夜间时段00:00~6:00),可识别出用户的住所、上班地点等常驻地信息。
3.2 应用服务场景及方案
以用户位置信息为基础,运营商可面向多个外部行业及公共服务领域提供大数据应用服务。
(1)旅游行业
辅助景区进行游客信息实时动态监测分析,一方面可以帮助景区管理人员实时掌握本景区游客流量、行进线路等信息,及时开展人流疏导等及时服务;另一方面为旅游管理部门提供大数据支持,不仅能够及时了解各景区人流情况,提升监管能力,还能够对游客来源、游客特征等进行全方位分析统计,为景点改进、城市形象提升、旅游推广等工作提供有效支撑。实现方法是:首先根据景区附近的LAC+CI筛选用户;然后根据这些用户在景区区域内的历史驻留时长,剔除景区工作人员群体及其他非游客特殊群体后,识别出游客的群体;最后结合地图展示等可视化技术,可直观展示各景区及景区各区域的游客密度和游览轨迹。
图1是结合GIS地图技术的景区人流监测分析的应用示例。
图1 某景区内各景点人流监测分析
(2)征信服务
大数据技术使得“一切数据皆信用”成为可能[10]。基于用户的常驻地、日常轨迹等信息,辅助构建征信体系,为第三方提供授信决策,如婚恋网虚假会员识别、租车公司免押金租车、第三方小额贷款等。此类应用服务中,位置类数据仅仅是征信体系构建的一部分,但在设计信用评估标准时,位置类大数据所反映的用户特征往往在评分标准中会占据较大的评估权重。
图2展示了如何利用五类电信大数据来辅助银行、互联网金融公司等机构开展信贷审批。其中,电信位置类大数据作为重要的组成部分,为金融信贷审批提供了重要的补充参考。通过实际案例可知,假如某位用户居住地经常发生变化、工作地点经常发生变化、月均上班天数很少,那么金融机构在进行贷款额度审核时,往往会认为其具有较高的逾期风险。金融机构信贷发放完成后,还可以通过电信位置类大数据来跟踪用户拿到贷款后的日常生活轨迹变化情况,及时跟踪并对可能的风险进行预警。
图2 征信案例:辅助金融机构信贷审批的电信征信大数据体系
(3)交通路网监测
辅助交通管理部门对路网运行状态进行实时监测,及时发布路网拥堵情况预警(如节假日期间的高速路网流量监控及预警)和交通疏导方案。实现方法是:根据各路网走向,将路网沿线小区的LAC+CI按顺序进行排列,并利用地图等手段评估和记录小区间的距离。当用户进入路网小区后,根据用户的动态位移方向可识别出用户是否按特定道路行进,对于按道路行进中的用户,可根据小区间切换的时间差计算出用户的位移速度,通过量的叠加能够计算出道路的通行状态。基于电信大数据来进行交通路网监测,具有数据样本量大、数据质量高、成本低、覆盖广等优势,并且能够在较短的时间内完成建设实施。
(4)面向商户的服务
一方面,通过计算地市范围内各区域的人口密度特征及人流量特征,辅助商户进行店铺选址,如彩票零售点选址。在开展这类应用时,往往还需要结合外部数据共同进行分析,如已有的类似门店分布情况、类似区域的销售数据等。
另一方面,利用常驻地归属来帮助商户筛选目标用户,具体做法是找到某商户附近的常驻地用户(在附近区域居住或上班),并以广告形式向其推荐商户的产品和服务。
(5)公共服务领域
除了以盈利为目标的商业应用外,电信大数据应用服务的另一个重要方向是公共服务[11]。在城市应急管理领域,通过对各个交通小区的人口聚集密度、人群移动特征等的实时监测,辅助应急管理部门及时进行人群疏散;在公安刑侦领域,辅助公安部门开展反恐、刑侦抓捕及指定人群分析等工作;在城市规划建设领域,基于位置数据开展区域人口流动分析、城镇及城乡联系强度分析、城市区域人口规模分析、人口居住地分布情况分析、人口职业分析、流动人口情况分析等,辅助规划部门开展社会人口研究、道路规划、商圈规划、学校规划。
图3是某省运营商A的所有用户在某个节假日的位置分布热力图,将为后续旅游出行规划、节假日出行引导等公共服务领域的工作提供参考依据。
图3 某省用户在某个节假日的位置分布热力图
3.3 主要技术困难
已有运营商分公司尝试开展位置类应用服务项目,遇到的主要技术困难包括如下:
(1)网络侧信令数据接口不完整
识别TD网络的4G用户位置时,需要用到SGs口数据和LTE上网日志,但有分公司网络侧的4G信令尚未接入,导致对4G用户的位置和位移无法识别。
(2)网络侧信令数据接入和处理难以满足实时性要求
交通路况监测、景区人流监测等应用场景对数据处理的实时性有很高要求。一方面,每天需要实时采集几十亿条甚至上百亿条规模的网络侧信令数据;另一方面,需要借助分布式并行处理、流处理等技术在ETL、数据汇总、数据分析计算等环节进行实时处理。但有分公司在支撑能力方面无法满足实时性要求,导致某些应用服务难以投入生产。
(3)位置定位精准性有待提升
基于LAC+CI的位置定位,由于定位原理本身的特点,有可能存在几十米至几百米范围的误差,再加上对基站、小区地理位置信息更新和维护过程中产生的一些人为错误,往往会影响位置定位的精准性,这将难以满足公安刑侦和特殊事件处理等公共安全相关应用服务场景中的定位高精准性要求。
下一阶段如果能够从技术层面解决上述问题,将大大提升运营商的对外应用服务能力,同时最大限度地发挥电信大数据的价值。
4 结束语
基于电信大数据的位置类应用服务,对于网络侧信令数据的采集、解析、处理,在实时性、精准性等方面有很高的要求,并且需求方往往要求能够结合可视化图形工具进行动态展示,目前个别分公司已深入开展相关尝试,效果逐步被认可。
根据分公司实施过程中遇到的困难来看,除了在技术层面的系统支撑能力有待提升外,与第三方公司的合作模式、用户隐私保护、对外提供数据的安全脱敏处理策略、平台开放性与规范性管理策略、分公司间的数据共享策略等都是需要进一步探讨和解决的问题,运营商总部后续需要给予分公司更多的规范和指导。
[1] 李政,李继兵,丁伟. 基于大数据的电信运营商业务模式研究[J]. 移动通信, 2013(5): 64-67.
[2] 雷蕾,熊伟. 浅谈电信行业大数据时代商业智能系统数据管理策略[J]. 移动通信, 2014(9): 69-71.
[3] 朱珠. 基于Hadoop的海量数据处理模型研究和应用[D].北京: 北京邮电大学, 2008.
[4] Anderson Q. Storm real-time processing cookbook[M].Birmingham: Packt Publishing, 2013.
[5] 丁圣勇,闵世武,樊勇兵. 基于Spark平台的NetFlow流量分析系统[J]. 电信科学, 2014(10): 48-51.
[6] 乔宏明. 运营商在大数据产业中的定位刍议[J]. 移动通信, 2014(13): 15-18.
[7] Hacigumus H, Mehrotra S, Iyer B. Providing database as a service[A]. Proceeding of 18th International Conference on Data Engineering[C]. Washington DC: IEEE Computer Society Press, 2002: 29-38.
[8] 曹帅,王淑营,刘述雅. 面向产业链协同SaaS平台的业务流程定制技术[J]. 计算机应用, 2013,33(5): 1450-1455.
[9] Wei Yi, Blake M B. Service-Oriented Computing and Cloud Computing: Challenges and Opportunities[J].Internet Computing, 2010,14(6): 72-75.
[10] 刘新海,丁伟. 大数据征信应用与启示——以美国互联网金融公司ZestFinance为例[J]. 清华金融评论,2014(10): 93-98.
[11] 何廷润. 当前大数据应用发展的局限性分析[J]. 移动通信, 2014(13): 29-32.