基于GIS和大数据的运营监控管理系统设计与实现

施晓光

中国联合网络通信有限公司南京分公司

0 概述

随着通信基础设施的完善、网民规模的增长和“互联网+”计划的出台，通信运营商作为通信业务的服务企业，产生了丰富的数据资源。如何高效精准的整合利用这些数据资源，对提高通信收入有着至关重要的作用。大数据的研究与应用为通信业务的分析提供了强有力的技术支撑和丰富的经验。同时百度专门为想要从事软件地图应用开发人员提供了免费的应用接口——百度地图 API，可方便的调用百度搜集的庞大的地图数据库，其含有国内的各种道路信息，由于数据的庞大和功能的多样，百度地图API的实用价值在各个领域都得到了很高的评价。百度地图API的使用为运营商直观地掌握用户的地理位置提供了强有力的条件。

本文基于GIS和大数据分析技术设计的运营监控管理平台是从用户的订单出发，收集用户的位置信息，结合用户的消费习惯，利用大数据技术对数据进行存储与分析管理，充分考虑大数据的安全性，同时制定促销策略的综合性管理平台。此系统可帮助运营商加强营销人员对订单的把控，增强数据分析，从而提高营销效率。

1 监控管理系统设计与实现

本系统是集订单信息收集、分析处理以及制定策略于一体的综合性管理平台。包含了大数据存储管理、大数据展示平台、用户管理等模块。具体的系统框架如图1所示：

本系统利用本地云存储平台作为资源支撑，将收集来的用户订单信息归类整理，微观上为用户进行位置、消费、充值、离网等信息打标，对敏感信息例如用户身份证号、姓名等加密处理，宏观上整理套餐的分布、业务单元的占比、收入变化态势，发展变化态势等信息并汇总。基于安全性、高效性的考虑，建立了汇总信息表，平台展示数据时直接从汇总信息表中读取数据，提高了展示速度；用户管理与系统管理功能从身份认证、访问控制、数据加密、日志记录角度对本系统进行安全防护，利用系统管理的菜单功能实现了系统功能的控制。GIS订单分析功能就是从直观的视角展现整个地区的订单分布情况。策略管理功能就是利用平台的数据存储与分析展示结果，制定营销策略。

图1 系统总体框架图

1.1 GIS订单分析

百度地图API是一套由JavaScript语言编写的将复杂的GIS底层逻辑封装起来的应用接口，通过该接口把地图和订单信息数据结合。此功能是利用百度地图API应用程序接口，标记用户的订单地址信息，将订单标记到地图的具体位置，同时将位置与用户的套餐、激活、充值等关联，以热力图的方式展示订单情况。这个功能的实现，首先是百度地图API开发、然后进行地址的经纬度转换、后台信息关联、前台界面个性化展示。

（1）百度地图API开发

申请百度地图APIkey；根据需要创建秘钥配置APIkey；下载百度地图API库；利用MyEclipse软件在相应的项目中引用百度地图，从而进行项目的开发。

（2）地址经纬度转换

搭建好了百度地图的开发环境，根据数据库中读取的地址信息，利用基于springmvc+mybatis的controller，进行地址的经纬度转换，并将转换后的经纬度信息重新写回数据库，实现了用户＜-＞地址信息＜-＞地址经纬度的关联。

（3）前台界面个性化展示

GIS的订单分析功能经过了地址信息的转换，则完成了地图的基本工作，下面就是充分利用这个信息，将订单以热力图的方式展示出来，设置的个性化查询页面分别包含显示的密度设置、产品设置、激活状态设置，以及订单开始时间等条件。根据这些条件查询出来数据集，利用数据集里的经纬度信息直接在地图上标识，则实现了订单的热力图展示。

1.2 大数据存储与展示

从数据和技术两个角度可以将大数据架构分为两层：大数据生命周期和大数据平台，如图2所示：

图2 大数据生命周期图

大数据生命周期包含收集、存储、整理、使用、分发和删除各环节。数据通过收集进入大数据平台并进行存储，通过使用发掘其潜在价值，通过分发传递和共享数据或分析结果，最后删除不需要的数据。因此可以说大数据生命周期是数据转换为价值的过程。

大数据平台提供大数据生命周期各环节所属的基础设施、存储和处理平台以及数据分析的算法等，是整个大数据架构中的技术支撑。

运营商每天产生大量的用户订单，需要对订单进行地址转换、用户画像、用户收入、激活、充值等信息的关联，直到最后平台的展示，本文的数据处理过程如图3所示：

图3 数据处理逻辑架构图

具体的实施步骤为：

（1）读取转换完地址信息的订单数据，抽取订单ID；

（2）利用订单ID读取用户ID、号码、套餐等信息；

（3）生成用户的充值记录表；

（4）将用户ID与派送员信息关联，生成派送员质态考核报表；

（5）用户的收入与发展汇总，生成收入监控报表和发展监控报表；

（6）利用时刻订单报表和日运营监控报表汇总生成日订单概览报表。

1.3 安全管理

大数据平台安全主要解决大数据组件之间的身份认证、数据隔离、数据加密存储、大数据平台边界保护和设计，主要的关键技术有身份认证、访问控制、数据加密和审计等。

本系统从身份认证、访问控制、数据加密、日志记录角度对系统进行安全防护。

（1）身份认证：通过用户名与密码的方式进行登录。

（2）访问控制：分级设置角色权限，从超级管理员、地市管理员、地市报表查询等，每一级角色只能查看本级功能。

（3）数据加密：对用户的密码进行了二次加密、用户的敏感信息均进行了脱敏操作。

（4）日志管理：用户登录系统，自动记录登录信息、操作信息等，做到有章可查，有迹可循。

1.4 策略管理

本功能从配置策略标签、制定策略、分配策略执行人以及策略执行完成的效果评估来设计。

首先进行标签管理，生成标签库。

然后，进行策略的生成，在此处选择设置好的标签，根据选择好的标签，生成查询结果，并对用户进行打标，表示参与过本次策略，同时分配策略执行人。同时，也要进行策略执行人的管理，此处动态管理策略执行人，只有分配了策略的执行人，才能执行策略。

最后，进行策略的执行效果评估，以报表和明细的方式展示此策略执行完后的数据对比情况，并提供导出功能。

2 系统应用

本系统已经投入使用于某通信公司的互联网营销中，在此次使用中支撑了490万条记录的订单热力图展示，并以每月4万条记录的速度增长，支持不同粒度的订单数据展示，可按套餐、业务单元、激活与否进行条件设定，查询速度均低于3s。以往营销人员分析订单分布情况，只能模糊查看整个地市、业务单元、具体某一个地点的订单情况，无法在全局的层面上分析订单分布情况，此系统的应用可从全局视角把握订单的分布情况，同时此系统的订单明细查询功能又从细化的角度上查看具体某个地点的用户明细，方便工作人员回访，热力图展示如图4所示。

图4 热力图展示图

本系统提高了数据分析能力，大数据的使用在处理数据的过程中提高了处理速度，尤其是分类汇总的处理方法，极大地提高了查询速度，以10万条用户记录查询充值情况为例，以往查询10万条记录的充值记录数要用到2min，现在利用汇总信息表进行查询只需要4s，提高了30倍的查询效率。大数据分析结果的展示，为营销人员提供了经营监控、订单明细、派送员绩效考核方面的各种信息，从宏观到微观，全面展示。

本系统提高了营销人员的营销效率，本系统的营销策略功能充分利用了本平台的数据存储和分析结果，策略执行结果又自适应地完善了系统数据。自定义策略、自定义策略标签极大地方便了营销人员的策略执行速度，策略执行结果可随时查看，免除了以往策略执行完成后需要请专业数据支撑人员提供数据的烦恼，按照数据提供的平均效率来看，至少减少了两天的数据等待时间，提高了策略执行的效果反馈。

3 总结

基于GIS和大数据的运营监控管理系统利用百度地图API和大数据分析技术，搭建了集GIS订单分析、大数据分析展示、策略管理于一体的智能化系统，为运营商制定互联网营销策略提供了高效、及时的决策数据支撑，为营销人员提供了直观的运营情况展示和方便快捷的策略管理功能，进一步促进了互联网营销业务的发展。