基于大数据平台的自动路测系统的实现
2019-09-24刘山彪陈志强冯刚强刘羲新
刘山彪 陈志强 冯刚强 刘羲新
摘要：随着移动通信网络不断增大、移动通信用户日益增多，移动通信网络的优化工作日益繁重，其中很重要的一项测试方法就是DT（Driver Test，路测）。该文基于Spark大数据平台开发了一套自动路测系统，通过分析实时回传的路测数据或基站导出数据，还原出道路路测场景，高效便捷，大大节约人力物力;并以广州市某时段路测数据为例进行了仿真实验，实验结果表明本系统完全可以满足广州市路测需求。
关键词：DT;自动路测;Spark;网络优化
中图分类号：TP311 文献标识码：A
文章编号：1009-3044（2019）19-0096-02
DT路测，是指在一定地理区域内借助测试仪表、测试终端及测试车辆等工具，沿指定路线进行无线网络参数和服务质量测定，是移动无线网络优化中最常用的优化方法之一。传统的路测通常需要耗费不少的人力及财力，要求操作人员具备相当的操作素养，且容易造成路测数据利用率低，急需一种更智能、更普适的路测平台来应对日益复杂的网络环境。
1 引言
随着移动通信网络的迅猛发展，对移动通信网络的测试与网络优化也越来越多，每年都需要进行大量的路测DT与拨打测试CQT，实时发现移动通信网络问题、用户感知问题，尽最大可能减少用户投诉量。面对如此繁重的网络优化任务，如何既快又好的完成指定区域的路测工作，是摆在每个运营商、移动通信网络优化平台面前急需解决的问题。
根据测试内容，可以将DT分为语音业务DT测试和数据业务DT测试，语音业务主要关注覆盖情况、呼叫情况、掉话情况、语音质量和切换情况等;而数据业务更关注测试数据业务平均传输速率，包括前向和反向平均数据业务速率。而自动路测系统是指在移动的交通工具上（如公交车、出租车）搭载自动测试数据采集及回传终端进行的大量数据测试，后端服务器通过数据接收处理生成各种路测报表，并以此为基础建立网络优化系统路测响应机制，更全面地对网络质量进行监测。
目前，国内外已有部分运营商或设备厂商提供了自动路测系统，文献9介绍了自动路测系统在江苏电信的应用，较详细地讲解了路测系统的自测原理，并以实际应用案例进行具体分析，总结了自动路测系统在部署、维护及使用方面的经验。文献10介绍了一款中国大唐移动公司的自动路测仪ADT，通过软硬件集成的方式实现了事件监控、告警监控、状态监控、MOS监控等功能。
本文基于Spark大数据平台，通过采集路测设备回传信息或基站服务器导出信息，对所采集的路测信息进行数据清洗、数据分析，最后以图和表的形式呈现于后端服务器，可以很好应对当前复杂通信环境下的大量路测数据分析工作。
2 基于大数据平台的自动路测系统实现
本自动路测系统从架构上分为基础架构层、数据能力层及数据应用层，其中基础架构负责路测回传数据和基站导出数据的采集，以及数据清洗存储工作;数据能力层负责具体的数据分析工作，基于Spark大数平台根据指定路线进行路线数据集生成、路测数据聚类、路测数据匹配工作，并将结果输出;应用层通过读取数据分析结果，将测试结果映射到地图上，直观显示路测结果。具体工作流程如下图1所示：
为了更好地应对当前复杂的通信环境与日益增大的数据量，本文基于HDFS+Spark搭建了大数据分析平台，其中HDFS负责提供分布式文件系统，Spark负责提供面向对象的大数据计算，将采集到的大规模路测数据抽象成一个个RDD（Resilient Distributed Datasets）对象。数据来源主要包括回传的路测数据及从基站服务器导出的通信数据。
数据清洗模块主要负责发现和纠正采集的数据中损坏、错误或遗失的记录或字段，并将处理后的数据按照一定的规则（如设备厂商、地域等关键字段，通信环境下地域靠经纬度定义）存放于数据库内;而要发现的通常是不符合通信规范的数据段，予以丢弃;要纠正的是数据字段里为null的字段，采用基于采样的近似贝叶斯方法，从已采集到的路测数据中的按贝叶斯概率方法抽取一些数据来补全缺失字段。
本系统的显示模块基于百度地图提供的WEB服务API，用户可与地图范围内自定义路线，也可手动输入路测起点与终点，通过调用DrivingRoute（location;point）进行路线选定;然后系统调用getPath（）将路线生成为位置坐标点集T0，保存于缓存数据库中作为下一数据分析阶段样本参考点集。
基于KNN最近邻算法比较聚类中心点集TC2与参考坐标点集T0中点之间的距离
调用GetDistance（）将路测数据点集DT按位置及事先设定的准则打印在地图上，就能得到指定路线的自动路测案例，运维人员可以此分析区域网络覆盖情况。
3 自动路测结果与分析
为了验证本文系统的性能，以采集的广州市的某时段路测数据为例进行路测校验，结果如下图2、图3所示，系统默认起点终点，可重新指定路线也可于系统页面拖动起点终点生成路线，点击路线添加，确定路测时间，获取数据信息就能得到路线路测信息。系统可选参数包括SINR（信噪比）、Cell UL Traffic（小区上行速率）、DL 64QAMUsage（下行正交调制使用率）。以SINR值为例，绿色点的位置代表信噪比值大于20或25，信号质量好;黄色点代表信噪比值在10-20区间，信号质量一般，需要继续观察;橙色点表示信噪比低于10，信号质量差，需要立即检修。如图中3所示，华南快速干线上信号质量良好，而柯木塱地铁站附近1KM有大段差信号区域，需立即安排网络优化。而且，进行18KM的自动路测还原系统所需时间仅需3.6s，完全可以满足广州市的路测需求。
4 结束语
本文提出了基于Spark开发环境的自动路测分析系统，通过采集路测回传数据或基站服务器导出数据实现路测结果还原，大大减少路测人力物力，降低路测专业度，并以广州为例进行了自动路测实验，实践证明可以达到预期效果。
参考文献：
[1] 张浩.无线网络测试数据分析管理系统的设计与实现[D].成都：电子科技大学，2012.
[2] Famili A ，Shen Wei-Min，Richard Weber.Evangelos Simoudis.Data preprocessing and intelligent data analysis[J].Intelligent Data Analysis，1997（1）.
[3] 袁先伦.GSM系统主要技术指标以及干扰的分析和优化[J].电脑知识与技术，2010（4）.
[4] 徐锋南.移动通信网络自动路测风险评估方法研究[D].北京：北京邮电大学，2014.
[5] 李会志.基于数据挖掘寻找自动路测最小测试量的方法研究[D].北京：北京邮电大学，2015.
[6] 窦中兆.WCDMA系统原理与无线网络优化[M].北京：清华大学出版社，2009.
[7] 白鹏宇.自动路测分析系统的分析与设计[D].北京：北京邮电大学，2012.
[8] 虞帥，董强.自动路测系统在江苏电信的应用[J].移动通信，2010，34（7）：81-84.
[9] 俞兴明.移动通信无线网络优化技术[M].西安：西安电子科技大学出版社，2015.
【通联编辑：代影】
