高速移动环境下4G链路的测量与预测

贾 涛 霍长凡 张 宽 赵建邦

(中车青岛四方车辆研究所有限公司电子事业部 山东 青岛 266000)

0 引 言

互联网通信技术的快速发展和普及把人类社会中的信息孤岛有效地连接起来,信息的共享和畅通让互联网应成为人类学习知识和获取知识的最主要的渠道,而且现在人们的生活、工作、娱乐、出行、健康等各方面都依赖网络。中国高铁技术快速发展,截至2019年底,中国高速铁路营业里程达到3.5万公里,世界领先。高铁以其突出的便利性与经济性已经成为人们日常出行的首选。所以两者结合,如何在高铁上为乘客提供实时的互联网访问,提供视频直播的服务,为乘客提供实时的时政新闻及娱乐资讯,对3G/4G网络的通信能力提出更高的要求[1],主要原因是高铁一直在高速移动中。

中国高铁动车组的运行速度在一般在250 km/h以上,而中国高铁标准动车组复兴号的运行速度达到350 km/h,在如此高速移动的载体上借助3G/4G网络提供稳定、高速的网络接入,在技术上面临非常大的挑战。

中国高铁车体采用金属封闭架构,对4G/5G等高频的无线空口信号会产生严重的屏蔽作用;同时高铁在高速的连续移动下,会产生Cell的快速连续切换,同时也会带来严重的多普勒效应[2],产生的频偏会影响信道的通信能力。

高铁沿线的3G/4G网络覆盖不连续,质量不统一[3]。中国高铁的建设往往选择人员稀少地区,导致运营商专门建设的基站密度小,部分区域会产生不连续问题。虽然运营商还在不断地补充和优化,但是这需要一个过程。目前,沿途的网络环境还比较差,网络体验不够稳定[4],尤其是穿越隧道的时候。

乘客个人通信终端的能力参差不齐,无法获得最优的网络性能。乘客的个人通信终端属于移动终端,受限其功耗和尺寸问题,其通信能力相比企业级通信设备比较弱,而且其通信天线在金属车体内,严重影响通信质量。

基于以上的分析就产生了一个新的技术路线,即通过统一的企业通信网关基于3G/4G网络提供高速网络连接。在车厢内,通过把3G/4G转换为传统Wi-Fi技术,简化对乘客终端的要求。更重要的点在于,因为部署统一的企业通信网关,所以可以在这个企业通信网关上进行硬件、软件的定制和调优。基于三大运营商的无线通信网络部署多条车地通信无线网链路,采用聚合的方式进行总带宽的提升,并通过定制的业务层面调优算法,实现直播类视频在做链路上的智能调度,提升车辆整体传输带宽的同时,优化业务体验。通过Active模式获取3G/4G网络质量,可以优化视频传输,为用户提供高质量的视频传输质量。

如之前所述,由于高铁移动速度快,3G/4G网络质量的变化迅速,要求系统能对链路质量的变化快速做出反应,甚至还需要根据大数据、训练、算法对链路质量的变化进行预判,这就给技术的实现带来很大的困难和挑战。

为此,本文针对高速移动下的3G/4G无线通信网络创新性提出了一种基于大数据预判的链路质量动态感知方法,该方法可以针对通信链路进行持续的实时准确探测,即MLQMP-BD(Multi-link Quality Measurement and Prediction based on Big Data)网络探测方法。该方法综合了大数据技术、Active模式和Passive模式,同时具备动态调整的能力,能灵活应对车辆移动速度的变化。

基于MLQMP-BD获得的链路质量状态,通过反馈到上端应用层,可以动态地进行视频数据传输策略的优化的调整,保证直播视频播放的流畅。

1 网络测量技术

MLQMP-BD的实现的一个最重要的基础就是链路质量探测,关于链路质量的探测区分为Active模式获取和Passive模式获取两种方法。

1.1 Active模式获取

Active模式获取,即通过定义和构造指定的测试报文,并按照一定的规则注入到网络中,通过在实际网络中进行传输,传输结束后就可以获得很多代表网络质量指标,例如链路丢包率、往返时延、链路抖动范围等[5]。Ping就是最常用的一种Active模式方法,传统Ping采用ICMP报文,还有TCP Ping及UDP Ping,通过模拟构造四层的报文,让探测的报文结构更贴近实际业务传输的情况。具体测试时又区分单向测量和双向测量。

Active模式的方式在开发实现时比较简单,开源的工具也很多,因此也是大家常用的探测方法。Active模式的缺点在于需要向现有的网络中额外注入专门用于测试的探测包,如果构造的报文太多,比如为了模拟压力测试,那么这样就会加重网络的负载,导致链路变拥塞或者更加拥塞,得到的验证结果会有实际情况不符;但是如果构造的报文太少,得到的探测质量可能会比较好,但可能实际业务负担比较重,所以这时获得的结果也是不够准确的。

1.2 Passive模式

Passive模式方法也称为随路测量方法,其利用网络中真实的业务流量作为载体,通过监视接口中经过的真实业务流量,测量并获取网络当前质量[6]。因为是直接通过监控网络中转发的真实业务流量,所以这样获得的结果与实际情况完全吻合。另外,Passive模式的方法不需要单独向网络中导入额外的测试流量,所以不会对网络产生干扰或者加重负载。但是Passive模式也不是一点缺点都没有,因为它依赖真实业务流量,当网络中没有业务流量时,Passive模式方法就失效。而且当网络中没有流量时,还不能确定是因为链路质量太差导致的断流,还是真实没有业务发生。另外,因为Passive模式需要对业务流量进行额外的处理,在业务量很大时,会产生很大的处理负担,也会为业务产生额外的延时。针对被动测量的缺点,需要有其他手段进行补充。

Passive模式方法在实现时,主要是依赖对业务报文进行Match-Remark及Match-Measure的方式,即在本端对匹配的报文进行特殊位的标记,对端收到报文后,匹配这些特殊的标记位,从而可以得到丢包率、时延等空口链路质量[7]。

1.3 传统测量方法的弊端

无论是Active模式方法还是Passive模式方法,都有一个相同的适用前提,即测量的环境是静止的,即针对某条链路在t0时刻开始启动测量,经过δ时间,在t0+δ时刻获得一个测量结果,具体情境见图1。基于此结果进行数据传输的调度是完全没问题的。

图1 移动状态下测量遇到的问题

但是高铁是一个高速移动的环境,给传统的Active模式及Passive模式都带来了很大的问题。以350 km/h的复兴号为例,针对某条链路在t0时刻开始进行测量,经过δ时间获得了一个测量结果,这个结果是这条链路当前真实的质量吗?理论上已经不是了。如果在探索花了2 s时间,这时车辆其实已经移动了近200 m,可能已经进入隧道,或者发生了基站的切换。

根据一个基站的实际覆盖能力,按照350 km/h估算,平均3～6 s就会进行一次基站的切换,这就对沿线运营商基站网络的覆盖及能力的连续性提出了非常高的挑战,需要在高铁高速移动时可以平滑地连续切换。在基站切换的过程中,如果我们的速度慢,是感觉不到延迟的。但是高铁的速度很快,可能会因为运营商基站优化不足,导致切换慢,从而出现短暂的信号丢失,如果在信号覆盖不连续时,基站切换带来的网络延迟,用户会有更加明确的感知。

基于此,现实中不能完全简单地依托实时测量链路质量进行业务的优化,因为来不及,即优化传输策略的执行与当前测量链路质量有一个时间差δ。

2 多车地无线链路

虽然4G网络可以提供高速的传输性能,但是对于一列超过600名乘客的高铁来说,一条4G链路的传输带宽还远远无法满足,所以可以通过并行叠加多条3G/4G无线链路(未来可以切换5G链路),实现带宽提升的同时,提高车地链路的可靠性和可用性。

另一方面,由于高铁沿途各运营商部署无线网络质量不一,可能出现信号不连续或信号未调优的情况,再者因为金属车体屏蔽和Cell快速切换,如果只有1条3G/4G链路,根本无法保证链路的可靠性、稳定性及可用性[8],所以通过选择铁路沿线三大运营商的多个4G链路进行聚合,可以大大降低风险。

本文提到的多车地无线链路传输系统,通过捆绑多条运营商无线通信通道,大大提升整体的传输性能,同时规避单链路传输质量不可控的问题。在多链路具体实现中,高铁上的企业通信网关一般是通过9条无线空口链路分别连接到不同的运营商基站,每个运营商有3条,应对3扇区的设计,可以充分利用基站的数据通信能力,同时提高了可靠性。多车地无线传输系统架构见图2。

图2 多车地无线传输系统架构

在真实的运行场景中,同一时刻,这九条链路的差异是动态变化的,这时就需要通过动态、持续的链路测量,在不同链路之间进行数据传输的调度,保证最终乘客观看视频的质量。

3 基于大数据学习的高速多链路质量探测原理

在高铁环境中聚合运营商多3G/4G链路为乘客提供直播视频类的业务,需要不断地对每条质量不确定的链路进行实时的、动态的、持续的测量,并且因为车辆本身在高速移动状态,所以需要更加先进的算法才能实现目的。

本文创新性地提出了基于大数据学习的技术,针对高速移动状态的多链路进行测量,基于此获取的链路质量可以在网络层进行数据差异化调度。质量好的链路多承担业务的转发;对质量差的链路减少业务的转发;而对于质量很差的链路,应该停止使用,否则会发生丢包等问题。而对于上层业务应用本身不需要关心网络层面多链路之间的流量调度,只是需要基于探测的结果和链路质量预测的结果,对视频的分辨率进行动态的编码调整。

如何才能实现高速状态下对多条链路进行实时的质量判定和探测,主要分为两个部分:一是大数据的采集和学习;二是关于多链路的流量调度。

3.1 大数据采集和学习

在本文中,之所以采用大数据采集和学习,主要目的是为了解决车辆在高速移动下的链路质量判定和预判。

一条3G/4G链路的质量,是与3G/4G信号有直接关系,而影响3G/4G信号接收的因素包括:与车辆和基站的相对距离、基站发射功率、车体无线天线的增益能力、车厢屏蔽情况、信道拥塞情况、相对速度、天气情况等。所以确定一个假设:在相同的网络和地理条件下,3G/4G信号传输距离、基站功率、天线角度、车厢屏蔽情况等主要因素均相同,运营商的服务能力不会发生大的波动,所以具有高参考价值。通过大数据的学习和分析,就可以对链路的质量进行预判。

数据采集主要包括以下五个方面:(1) 绝对时间;(2) GPS地理坐标;(3) 车辆速度;(4) 无线空口质量;(5) 每个3G/4G通道的带宽、利用率等指标。

如前文所述,在t0时刻,在(Lonx,Laty)坐标位置,车速为(zkm/h),此时的3G/4G无线信号指标(RSSI/SNR/Cell ID/MCC)。此时开始对每条3G/4G链路进行Active模式和Passive模式测试,经过δ时间,就可以得到一组数据。同时,在车辆运行中,每隔n分钟自动进行一组各维度数据的采集和链路质量的测量,把这些数据在车辆本地进行大数据的存储,通过深度学习算法进行数据的拟合,最终可以实现链路质量的预判,并有时间、坐标强关联,最后通过与业务应用的联动,业务层应用可以实时、动态地进行编码、速率的调整,保证乘客看到流量的画面。

3.2 链路质量预测

链路质量的预测主要是包括两种类型,即Active模式和Passive模式。Active模式是通过注入新的报文获得链路质量;Passive模式是针对随路的真实业务报文进行Remark、业务解析等动作,从而获得链路质量。

针对Active模式探测,可以生成指定数量的、指定长度的报文,在具体到链路通道层面,需要通过修改路由的方式去改变具体的4G通道,具体示例如下:

假定无线通信网关的IP配置为7.7.2.254;enp2s0上的地址是192.168.10.2,这个地址是Wi-Fi系统提供给用户的服务器地址;vnp2m2就是基于enp2s0这个物理网口,enp2s0连接到无线通信网关(其实是个路由器)。

ip addr add dev vnp3m2 7.7.2.201/24

//从这个源地址出去的,代码走4G卡1通道

ip addr add dev vnp3m2 7.7.2.202/24

//从这个源地址出去的,代码走4G卡2通道

ip addr add dev vnp3m2 7.7.2.203/24

//从这个源地址出去的,代码走4G卡3通道

ip addr add dev vnp3m2 7.7.2.204/24

//从这个源地址出去的,代码走4G卡4通道

ip addr add dev vnp3m2 7.7.2.205/24

//从这个源地址出去的,代码走4G卡5通道

ip addr add dev vnp3m2 7.7.2.206/24

//从这个源地址出去的,代码走4G卡6通道

ip addr add dev vnp3m2 7.7.2.207/24

//从这个源地址出去的,代码走4G卡7通道

ip addr add dev vnp3m2 7.7.2.208/24

//从这个源地址出去的,代码走4G卡8通道

ip addr add dev vnp3m2 7.7.2.209/24

//从这个源地址出去的,代码走4G卡9通道

针对Passive模式探测,本文同时使用Remark和业务解析两种方式,其中业务解析是依靠针对视频流进行解码的方式进行链路质量信息的获取,有区别传统简单Remark的方式。因为这是从真实的视频数据流中获取QoS信息,所以能更加真实地反映链路的质量。

3.3 链路质量探测的实现框架

如3.1和3.2两节所述,链路质量的探测和获取是通过多种手段结合实现,包括基于大数据的学习、Active模式和Passive模式,每种技术不是孤立使用的,通过一个整体架构为业务层面的多通道业务聚合提供必要的底层链路质量数据支撑,该架构需要具备的能力总结如下:

(1) 此机制可以通过大数据学习对移动中的高铁列车每条链路的质量进行预判。

(2) 此机制可以通过长期的大数据学习,根据各种相关数据组合下的实际业务呈现效果进行深度学习算法的持续自动优化和数据调度算法的改进。

(3) 此机制能实时、持续、准确地采集设备GPS、时间、车速、每条空口链路的指标、每个空口的端口状态、带宽利用率,并进行大数据的采集及到地面的传输能力。

(4) 此机制能实时、准确地探测出链路的丢包率、往返时延等链路质量数据信息,通过API反馈本地上层业务调度提供参考依据。

(5) 此机制能实时、自动地根据链路探测和预测的结果,对网络的流量进行本地化的调度以保证整个系统能正常运行。

(6) 此机制可以实时根据探索的结果,根据算法自动调整链路质量测试模式,以适应不同的网络变化状况。

整个多质量链路探测框架如图3所示,包括数据采集模块、Active模块、Passive模块、数据智能调度模块、业务关联模块、地面大数据计算模块、车载大数据计算模块、地面控制模块。

图3 基于大数据的多链路质量探测框架模型

3.3.1大数据采集模块

大数据采集模块本质是通过持续的、周期的数据采集,把影响链路性能的各种维度的数据进行采集,在本地进行数据计算的同时,也会在链路空闲阶段同步到地面大数据计算模块进行存储和计算。

在数据采集过程中,所有相关数据会跟具体的车辆(设备ID)、线路进行关联,获得某列车在某个区间运行时的3G/4G链路传输质量热力图。地面的大数据模块因为可以获得全国所有列车的相关数据,通过集中的大数据计算,可以挖掘深度的信息关联规律,从而进一步优化大数据的算法,并可以把优化的算法通过控制面分发到各列车上的车载大数据计算模块。

在实际采集过程中,一定会存在常态规律值和短期异常值的识别,如果新获取的值比之前获取的累加平均值高30%,会认为是一个短期异常数据。

3.3.2主动链路探测模块

主动链路探测本身需要报文的注入,会加剧链路的覆盖,所以会间隔长周期进行调用,作为Passive模式的对比和补充。结合大数据采集模块,对于每次的主动链路探测结果,与时间、地理位置关联,其结果反馈给大数据计算模块,作为数据导入,可以实现数据的预判。其工作流程见图4。

图4 Active模式子模块工作流程

主动链路探测的算法比较简单,主动链路探测进程会关联一个计时器,当计时器归零,探测模块开始发送探测包,根据控制面导入的数据生成规则,每轮生成n个数据探测报文,通过CPU生成报文后,发向目的地,该序列为{N1,N2,…,Nn},每个报文会记录发送时间戳;每接收到一个回应包Ri也会记录时间轴。

首先可以比较简单的获取的丢包率指标:即

丢包率=((发包数量-收包数量)/发包数量)×100%

同时,根据每个报文的发包时间戳和收包时间戳,就会得到每个报文的RTTi数据,即得到链路双向的时延,把周期内所有未丢数据包的时延计算平均值,就可以得出链路往返时延的均值,通过对比不同报文的RTT值,可以得到链路时延的抖动率。

3.3.3Passive链路探测模块

Passive模式子模块的实现比较复杂,首先该模块保留了传统“着色”法原理,通过在报头中标记一些特殊比特,运用Match-Remark和Match-Measure的方式进行报文的统计、核算。但是标准的IP报头中可利用空余位不足,所以本文设计在车地的IPsec安全隧道报头中增加一定冗余的信息字段,即Remark序号、时间戳等信息。最后在隧道接收端对Remark的IPSec流量进行匹配和统计,通过算法可以获取此时该无线通道的网络质量。

另一种被动链路质量探测的实现是通过车载的业务端实现的,即通过解析真实的业务层面视频流,基于视频流总的I帧和P帧信息的统计和时间戳来判断链路的质量。

3.3.4数据调度模块

数据调度模块最核心的目的是在9个不同的3G/4G链路之间进行数据流量的分配,保证高质量的链路可以发送更多的数据,低质量的链路不发送数据,规避丢包引起关键数据丢失。

数据调度模块工作在L3层,把9条链路视为WECMP等价路由链路,根据大数据计算模块、动态探测模块输入的实时信息,在不同链路之间进行数据的调度。具体调度时,根据链路质量的得分,会分配不同的权重,权重高会被分配转发更多的数据,权重为0,则不会被分配流量。

同时根据大数据计算结果,也是考虑链路质量的稳定性,即对每条链路会设置一个惩罚值,在链路惩罚期内,即使预测链路质量会变好,也不会立刻调整WECMP的权重,防止刚增加分配流量,该链路的质量又快速变差,快速的质量翻动也会严重影响视频播放的质量。

3.3.5业务关联模块

该模块作为一个数据中间层,把链路质量探测框架最后的结果实时持续地发送到业务关联模块,由业务关联模块进行数据格式的统一和噪声数据的去重,通过北向的API发送到应用层的各个业务进程。

4 高速环境下多4G聚合链路动态探测能力验证

基于本文提供的MLQMP-BD探测方法,在高速移动环境下,采用多4G链路动态测量及聚合,实现高速、高质量、自适应的车地通信链路,用来支撑直播视频流的播放体验。经过实地的验证,得到良好的测试效果。具体测试过程及结果如下:

实际测试的两地距离大概1 000 km,高铁试验列车的行进速度从100～300 km/h,其中中心服务器配置9张SIM数据卡,每个运营商各3张。通过沿途实际的测试,9张数据卡通过带宽的聚合,峰值可以达到68 Mbit/s,具体见图5。

图5 沿途性能测试结果

通过沿途真实播放直播视频节目,分析直播播放效果,基于MLQMP-BD的车地链路探测很好地支撑了车地多链路的实时探测和动态切换。

在300 km/h速率下,同时播放2路8 Mbit/s码流的高清视频,可以实现下载速率20 Mbit/s,1.2倍于媒体码率,画面流畅无卡顿。不同码流的直播节目下载速率对比可见图6。

图6 不同码流的直播节目下载速率对比

测试结论:列车在300 km及以上的高速运行状态下,基站大约12 s切换一次,基于MLQMP-BD的动态+多链路聚合的技术仍然能保25～30 Mbit/s的聚合速率,满足多路高清视频的正常播放。

5 结 语

为了保障高速移动环境中的信号传播水平以确保高铁乘客可以有效应用网络,基于大数据的高速多链路动态感知机制方案的设计尤为重要。本文介绍了多链路动态感知机制的整体功能需求,决定了设计所需要解决的实际问题,紧接着介绍了各个模块的设计,设计主要涉及大数据计算模块、数据调度模块、主动测量模块、被动测量模块等几大主要的子模块,模块之间相互作用,整体之间相互关联,缺一不可。