基于负载均衡的MEH静态切换机制

刘海鹏



基于负载均衡的MEH静态切换机制

刘海鹏1,2

（1. 联想集团，北京 100085；2. 北京经贸职业学院，北京 102488）

对欧洲电信标准化协会（ETSI）提出的针对移动边缘主机（MEH）服务器的切换机制进行了补充和完善，提出了基于负载均衡的MEH静态切换机制。该机制通过将用户设备对应应用实例迁移到与其所属本地高负载服务器相邻的某个低负载服务器，实现了缓解原控制服务器处瓶颈效应、均衡网络节点间负载、优化信令平均等待时延的目的。分析和仿真结果表明，提出的静态切换机制能够在均衡网络负载和提升用户满意度方面对ETSI规范提供有效的补充和完善。

5G；移动边缘计算；切换；负载均衡

1 引言

伴随着5G移动通信技术[1]大规模商业化的日益临近，5G技术所特有的低时延、高带宽、大容量等特性激发起全球电信运营商以及互联网厂商对新兴“杀手级”业务出现的无限憧憬与联想。与此同时，正在兴起的车联网（internet of vehicle）、增强现实（augmented reality，AR）、物联网（internet of things，IoT）、智能视频加速（intelligent video acceleration）、无人机等业务则寄希望于能够得到5G网络在诸如端到端时延、网络带宽、存储及计算能力等方面的有力支持，实现用户体验和满意度方面质的提升和飞跃。在这种业务与网络相互促进与融合现状的推动下，移动边缘计算（mobile edge computing，MEC，也被称为多接入边缘计算（multi-access edge computing））[2-3]技术作为5G最重要的代表性业务能力之一，引起了学术界和产业界的高度关注。MEC通过把网络远端云计算中心侧部分存储和计算能力按需转移到网络边缘侧，使第三方业务厂商能够直接在更加靠近业务终端的位置向最终用户提供满足超低时延、超高带宽以及超高存储和计算能力的服务。欧洲电信标准化协会（European Telecommunications Standards Institute，ETSI）、第三代合作伙伴计划（3rd Generation Partnership Project，3GPP）等国际标准化组织正在对MEC系统架构及其实现方案进行深入研究、规范和定义。MEC的系统参考架构如图1所示[4]，通常一个独立的MEC系统由若干个移动边缘主机（mobile edge host，MEH）实体及其他软硬件实体协作构成。MEH实体可被看作移动边缘业务应用（ME application）运行服务器，其软件模块主要包括移动边缘平台（mobile edge platform，MEP）、虚拟基础设施（virtualization infrastructure，VI）以及运行在MEH上的多个ME App等。移动边缘编排器（mobile edge orchestrator，MEO）是整个MEC系统的核心控制管理组件，负责管理和维护当前系统中全部MEH及其存储和计算资源，协调各个ME App所需承载MEH的选择和变换，同时跟踪和触发ME App的实例化、运行、终止以及特定场景下ME App实例在不同MEH之间的迁移等。

2 MEC系统中的移动性管理

参考现有研究成果[5]，一种MEC系统的典型网络拓扑部署如图2所示。整个重叠网络（overlay network）系统分成上下两层，分别是底层的物理通信承载蜂窝网络（LTE（long term evolution）网络或者5G网络）和上层由MEC不同功能实体（如MEH、MEO等）构成的MEC网络。每个蜂窝小区可以是LTE小区或者5G小区，一个MEH物理上被部署在某一特定蜂窝小区基站处，可能会同时负责管理维护本蜂窝小区和周边多个相邻蜂窝小区内授权用户设备（user equipment，UE）的移动边缘业务。当某一UE启动其订购的相应服务后，其所属区域对应MEH中会自动实例化一个应用对象，这里称为应用实例（application instance，AI），AI主要负责保存相应的服务上下文信息，记录当前使用该服务的UE信息，同UE进行实时的交互，监控和保障服务的正常使用。

图1 MEC系统参考架构

图2 MEC系统部署方案示意

在ETSI 018规范建议中[6]，为了保障UE上业务连续性和良好的用户业务体验（quality of experience，QoE），当UE在底层承载网络相邻蜂窝小区之间移动时，会触发承载网络蜂窝小区基站对UE管理权的切换，进一步也有可能会触发上层相邻两个MEH服务器之间对UE上所运行业务应用实例管理权的切换，从而导致AI在不同MEH之间的迁移。也就是说，UE的物理移动可能会最终导致特定AI从当前源承载MEH（source MEH，S-MEH）切换到目标承载MEH（target MEH，T-MEH），本文中将这种切换方式定义为MEH动态切换。同上述场景相对应的是当UE在特定承载网络蜂窝小区内处于相对静止状态下（没有离开当前小区的运动趋势或者动作），由于当前所属本地MEH负载过重导致的服务质量下降和QoE异常，或者其他原因也有可能导致MEH管理权的切换，这里将这种切换方式定义为MEH静态切换。

动态切换和静态切换都是将UE服务对应的AI从S-MEH迁移到T-MEH，但是两者的触发条件和产生原因是不同的。动态切换发生的最根本原因是UE在物理位置上发生了移动和改变，而静态切换发生的直接原因则是由于当前MEH负载过重或者通信链路负载过重等。针对两种切换模式的研究对于保证MEC业务连续性和用户业务体验QoE都是极其重要的[4,6]，但是当前针对MEC系统中移动性的管理研究[7-8]以及MEH切换技术的研究才刚刚起步，无论是针对MEH动态切换还是MEH静态切换的研究成果都很少见，本文提出一种基于不同MEH服务器节点间负载均衡的MEH静态切换机制。

3 基于负载均衡的MEH静态切换机制

通常情况下MEC网络主要由若干MEH节点协作构成，每个MEH节点负责维护相应地理范围内全部本地UE的MEC业务，这里把特定UE当前所属本地MEH定义为该UE的控制MEH（controlling MEH，C-MEH），与C-MEH在MEC网络拓扑图中相邻的MEH被称为参与MEH（participating MEH，P-MEH）。每个MEH节点服务小区的实际管辖范围对应底层一个或者多个蜂窝网络通信小区，并且MEH就部署在某个蜂窝小区的基站侧。为避免混淆，本文后续在分析MEH切换算法时将忽略底层的物理通信承载网络，只关注上层的MEH节点、MEO节点及MEC网络其他相关节点。当特定UE在所属本地MEH服务小区管辖范围内相对静止（没有明显离开本MEH服务小区的运动趋势或者动作）时，有可能发生由于当前C-MEH服务器节点负载过重导致的服务质量和用户体验QoE下降，从而触发MEH静态切换。

3.1 机制描述

为了方便判定特定MEH服务器是否能够被作为待切换目标服务器以及标记与衡量其负载状况，定义服务器待切换状况参考指数。关于的取值，首先要考虑该服务器是否能够满足在接管特定UE后的业务时延要求，这可以通过MEO定期向指定UE及其所属MEH发送相关业务时延环回测试指令消息，并根据返回消息的时延等参数来验证和判定。因为只有在服务器能够满足业务时延要求的前提下，业务在服务器之间的切换才有实际意义。当服务器满足业务时延要求时，其对应参考指数的取值主要体现的是服务器当前负载状况，这可以通过MEO定期向相关MEH发送指定查询和测量消息，然后根据接收到反馈消息的内容以及接收到反馈消息的时延等参数进一步遵循特定算法计算得到。进一步定义的有效取值范围（比如满足条件0<<1），当取值满足在特定时间段内持续大于特定阈值（比如>0.8），则认为相应MEH处于高负载状况，需要启动切换算法来进行UE所属C-MEH服务器的静态切换；反之，则不用启动切换算法，维持当前C-MEH不变。这里特定时间段长度和参考阈值的选择要根据具体场景确定，同时注意避免产生切换的乒乓效应。文中对切换机制的描述重点集中在切换操作的主要触发要素、目标切换节点的选择策略、待切换目标节点队列的更新维护算法等几个主要方面，关于触发过程中采用的信令交互流程可参照参考文献[6]中关于动态切换信令交互部分的建议，这里不再赘述。针对特定UE的MEH静态切换算法操作步骤描述如图3所示。

图3 针对特定UE的MEH静态切换算法操作流程

待切换目标队列更新算法（包括4个子算法）描述如图4所示。

图4 更新待切换目标队列算法

待切换目标队列为当前指定UE的C-MEH节点和所有P-MEH节点中的有效节点构成的虚拟队列。从队列头至队列尾各个节点按照本身值的大小升序排列，即队列中越是位置靠前（靠近队头）的节点其值越小，负载越低；越是位置靠后（远离队头）的节点其值越大，负载越高。队列头部节点始终为启动切换操作后的首要T-MEH（队列中负载最低的节点），切换成功完成后，将该头部节点从待切换队列中删除，队列中其他后续节点在队列中的位置均自动前移一位，同时相对位置和顺序保持不变。这样可以保证负载更小的节点有更多的机会被切换成C-MEH。

队列中有效节点的定义为该节点值不超过阈值的节点，即如果该节点负载状况正常，就可以作为待切换目标节点；反之则为无效节点。由此分析可知，一般来说刚刚完成切换操作的S-MEH通常是无效节点（因为该节点通常都是大于阈值的），也不会被插入待切换队列中。总之，待切换队列中的节点都是有效节点，如果队列中某节点值超过了阈值，转换成无效节点，则该节点会实时地从待切换目标队列中被删除，队列中其他节点相对位置和顺序保持不变。反之，如果某无效节点的负载状况有所改善而转换成有效节点，也需要根据该节点的实时值插入队列中相应位置上。另外，队列中所有有效节点在队列中的相对位置和顺序要求根据每个节点最新值实时动态更新。

这里还要补充切换机制要遵循的2个基本原则。

• 由于UE是相对静止在当前服务小区内，故要求其对应AI最远只能由与当前服务小区相邻服务小区的P-MEH来接管，这就保证了UE始终与当前C-MEH距离在1跳范围内。距离超出1跳范围内的切换机制不在本文讨论范围之内。

• 只要UE所在小区的MEH服务器节点负载状况恢复正常（小于阈值），就把UE所在小区MEH服务器节点切换回C-MEH节点，即UE所在小区本地MEH服务器节点拥有随时被切换回C-MEH的最高优先级（其优先级超过待切换目标节点队列中所有节点），这样可以最大限度地保证UE同AI之间的信令消息在底层承载网络中传输时延最小。

3.2 工作实例

本节提供一个工作实例，在图5中分别就MEH静态切换机制以及待切换目标队列的几种典型工作场景进行描述和阐释。假定MEC网络由5个MEH相邻节点构成，包括1个C-MEH和4个P-MEH。初始状态某UE工作在C-MEH管辖范围内，且C-MEH负载状况正常（<|’|，’为负载参考阈值）。图5中每个节点标识含义如下：分隔符前面数字为节点标识，分隔符后面数字为该节点在当前待切换等待队列中的位置标识。比如“3-3”表示节点3，其在待切换等待队列中位置为3，还有2个节点排在其前面，依次类推。有阴影标识的节点为负载异常节点，没有阴影标识的节点为负载正常节点。双环的节点为当前C-MEH节点，即UE服务对应AI当前所在节点，如图5（a）中的节点0、图5（b）中的节点1等。

图5 典型工作场景机制和原理

4 数据仿真及分析

基于负载均衡的MEH静态切换机制主要作用在上层MEC功能节点网络中，如果当前C-MEH节点负载过重导致本服务小区下属UE服务质量和QoE下降，则通过将C-MEH功能迁移到相邻的某个负载相对较轻的小区，从而达到平衡MEH服务器节点之间负载、减少UE用户信令平均等待时延、提升用户体验和QoE的目的。下面分别从MEH服务器负载均衡性、UE用户信令平均等待时延以及该机制的代价3个方面进行分析[9]。为讨论方便且不失一般性，可以假设任意一个MEH服务器服务等待队列中来自本小区UE的各种信令分组到达率符合泊松分布，每个分组得到CPU的处理时间符合负指数分布，只有一个等待处理队列（相当于只有一个服务窗口），且服从“先来先服务”的原则，是一个排队论中M/M/1队列模型且服务率保持不变。这里从UE所在小区MEH服务器节点处的平均服务强度和来自UE的信令分组在服务器节点处的平均停留时延两个方面来分析采用静态切换机制前后服务器处负载变化情况，MEC会话定义相关变量见表1。

表1 MEC会话相关变量定义

4.1 MEH服务器负载均衡性分析

4.1.1 UE所在小区本地MEH服务器负载分析

由式（1）可得切换前在整个会话中C-MEH到达的信令分组总数为：

采用切换机制后UE所在小区MEH服务器到达的信令分组总数为：

定义平均服务强度对比函数：

由式（2）~式（4）可得：

由Little公式可知采用静态切换机制前来自UE的信令分组在C-MEH处的平均停留时延为：

当采用静态切换机制将C-MEH切换到相邻MEH服务器后，来自UE的信令分组在原C-MEH服务器（该节点角色已转换为P-MEH）处的平均停留时延为：

由式（6）、式（7）定义平均停留时延对比函数：

用MATLAB仿真工具对式（5）和式（8）分别分析对比，结果如图6和图7所示。

图6 平均服务强度对比函数

图7 切换前后平均停留时延对比函数

从图6可以看出，当UE所在小区本地MEH下属UE数量固定时，值越大，（，）函数值越大，说明当UE数量固定时，迁移出去的AI越多，切换后本地MEH服务器负载减轻越多。当值固定时，UE数量越大，（，）函数值越小，说明相对于较大的UE用户数量，只有尽量多地迁移本地UE所对应的AI到相邻服务器，才能更好地减轻本地MEH服务器的节点负载。

4.1.2 切换后新C-MEH服务器负载分析

4.1.3 负载均衡性分析

本节分析切换机制前后MEC网络各个MEH服务器节点之间负载均衡性变化情况。为了讨论方便且不失一般性，可用每个MEH服务器所管辖UE数量随机变量来衡量该服务器处负载情况，下属UE数量越多，其负载越大，下属UE数量越少，其负载越小。结合参考文献[10,11]中关于判断负载均衡性好坏的算法及方差的物理意义，本文通过随机变量方差的大小来衡量采用切换机制前后系统负载均衡性的好坏，方差越小，说明系统负载均衡性越好，方差越大，说明负载均衡性越差。进一步比较切换前后方差的差值，差值为正且越大说明采用切换对系统负载差异起到的平衡作用越好。根据方差的基本性质“方差等于平方的均值减去均值的平方”，可得切换前的方差为：

切换后的方差为：

由式（9）和式（10）可得切换前后方差的差值为：

在式（11）中，当=0时，意味着没有发生任何UE对应AI在MEH服务器间的转移，讨论无意义。当>0且满足（+）<时，切换前后方差的差值恒大于0。表明只要满足切换后新C-MEH当前下属UE数量没有原C-MEH下属UE数量多，切换后负载均衡性就比切换前更好。注意此时切换后新C-MEH当前下属UE数量包括本来的个UE和迁移过来的个UE，这里个UE并未真正发生物理位置上的改变（相应UE所属物理承载网络小区没变），但是这些UE在MEC网络中对应AI所属的MEH服务器发生了切换。

如果值保持不变，切换前后负载均衡性的差别主要由和的差值大小决定，和差值越大，切换前后负载均衡性差别越大，切换后负载均衡性要比切换前更好，可见切换对平衡系统负载起到了积极作用。另外当不同MEC小区下属UE数量差别很大时，更容易引起不同MEH服务器节点负载之间的巨大差异。在现实网络环境下，各个MEC小区当前下属UE数量是一个随机变量，因此更证明了本文提出的静态切换方案的必要性。

4.2 等待时延分析

4.3 代价分析

引入MEH静态切换机制后整个系统付出的代价可以从3个方面进行考虑：首先是MEO需要维护用于标记与衡量会话中全部相关MEH服务器（包括C-MEH和P-MEH）负载状况的参考指数，这项任务对于通常具备很高配置的MEO服务器来说，其代价是可以接受的。其次是系统决定启动切换机制继而触发切换操作直到切换完成后所进行的相关信令交互的代价，相对于5G服务控制信令与数据消息交互超大总量来说，此方面也是可以忽略不计的。最后，由于采用切换机制后底层承载通信网络相当于也被切换到了其他服务小区，所以UE和新C-MEH中相关AI进行信令消息交互的物理通信时延相应会有所增大，但是由于本切换机制里限定了上层MEC网络中的切换操作仅限制在1跳距离（拓扑图中两个相邻MEH节点）范围内，所以消息交互时延增大幅度基本可以接受（在第4.2节中已经进行过分析）。总之，相对于由于当前UE所在小区MEH服务器负载状况恶化导致的业务连续性和用户业务体验QoE严重下降，上述提到的几方面代价能够换来用户体验和满意度方面的明显提升是值得的。

5 结束语

ETSI对MEC会话中MEH服务器的切换操作定义[6]只提到了当UE移动引起实际的底层物理承载网络切换时可能会触发上层MEC网络中MEH服务器切换，没有定义UE不动但是由于UE当前小区本地MEH负载异常导致的服务质量下降时，系统应该采取怎样的应对策略。本文提出的基于负载均衡的MEH静态切换机制对上述应用场景进行了补充定义，该机制能够有效平衡MEC会话中各MEH节点负载，降低UE请求处理信令在服务器处平均等待时延和用户总等待时延，提升服务质量和用户体验，对ETSI规范进行了有效补充和完善。后续研究工作将对部署在NFV环境中MEC网络[12]的UE在同一个网络切片甚至跨不同切片[13]场景下产生明显运动趋势时，系统如何进行预判并预先启动相应切换策略[6]进行深入的研究和分析，进一步降低用户对小区业务切换产生影响的感知，使无缝切换更好地服务于5G低时延、高带宽、大容量的新业务。

[1] FOUKAS X, PATOUNAS G, ELMOKASHFI A, et al. Network slicing in 5G: survey and challenges [J]. IEEE Communications Magazine, 2017, 55(5): 94-100.

[2] TRAN T X, HAJISAMI A, PANDEY P, et al. Collaborative mobile edge computing in 5G networks: new paradigms, scenarios, and challenges[J]. IEEE Communications Magazine, 2017, 55(4): 54-61.

[3] ETSI. White paper No.11 mobile edge computing a key technology towards 5G[R]. 2015.

[4] ETSI. Mobile edge computing (MEC); framework and reference architecture: GS MEC 003 V1.1.1[S]. 2016.

[5] 张建敏, 谢伟良, 杨峰义, 等. 移动边缘计算技术及其本地分流方案[J]. 电信科学, 2016, 32(7): 132-143.

ZHANG J M, XIE W L, YANG F Y, et al. Mobile edge computing and application in traffic offloading[J]. Telecommunications Science, 2016, 32(7): 132-143.

[6] ETSI. Mobile edge computing (MEC); end to end mobility spects: GR MEC 018 V1.1.1[S]. 2017.

[7] 田辉, 范绍帅, 吕昕晨, 等. 面向5G需求的移动边缘计算[J]. 北京邮电大学学报, 2017, 40(2): 1-10.

TIAN H, FAN S S, LV X C, et al. Mobile edge computing for 5G requirements[J]. Journal of Beijing University of Posts and Telecommunications, 2017, 40(2): 1-10.

[8] 李子姝, 谢人超, 孙礼, 等. 移动边缘计算综述[J]. 电信科学, 2018, 34(1): 87-101.

LI Z S, XIE R C, SUN L, et al. A survey of mobile edge computing[J]. Telecommunications Science, 2018, 34(1): 87-101.

[9] 刘海鹏, 廖建新, 朱晓民. PoC中一种负载均衡与时延优化的RTP媒体流转发机制[J]. 通信学报, 2010, 31(8): 105-113.

LIU H P, LIAO J X, ZHU X M. RTP stream transferring scheme with load balancing and delay optimization in PoC[J]. Journal on Communications, 2010, 31(8): 105-113.

[10] TURGUT D, TURGUT B, DAS S K, et al. Balancing loads in mobile ad hoc networks[C]//The 10th International Conference on Telecommunications, ICT 2003, Feb 23-Mar 1, 2003, Papeete, French Polynesia. Piscataway: IEEE Press, 2003: 490-495.

[11] 郑相全. 基于负载均衡的无线自组网关键技术与算法研究[D]. 成都: 电子科技大学, 2005: 44-45.

ZHENG X Q. Research on load-balance based key technologies and algorithms for ad hoc networks[D]. Chengdu: University of Electronic Science and Technology of China, 2005: 44-45.

[12] ETSI. Mobile edge computing (MEC); deployment of mobile edge computing in an NFV environment: GR MEC 017 V1.1.1[S]. 2018.

[13] 项弘禹, 肖扬文, 张贤, 等. 5G边缘计算和网络切片技术[J]. 电信科学, 2017, 33(6): 54-63.

XIANG H Y, XIAO Y W, ZHANG X, et al. Edge computing and network slicing technology in 5G[J]. Telecommunications Science, 2017, 33(6): 54-63.

A static MEH handover scheme based on load balancing

LIU Haipeng1,2

1. Lenovo Group, Beijing 100085, China 2. Beijing Professional Business Institute, Beijing 102488, China

Based on the MEH (mobile edge host) handover scheme proposed by ETSI (European Telecommunications Standards Institute), an improved and supplementary static handover scheme was put forward. By transferring the former C-MEH (controlling MEH) to a neighbor server with lighter load, the scheme decreased the average waiting time of a signal message at the former C-MEH site. The negative effect of bottle-neck at the former C-MEH could also be lightened. Analysis and simulation results show that the scheme can provide effective and positive supplementary to the ETSI specification in balancing network load and improving user’s satisfaction.

5G, mobile edge computing, handover, load balancing

TN915

A

10.11959/j.issn.1000−0801.2018183

2018−02−26；

2018−05−21

刘海鹏（1975−），男，博士，联想集团高级工程师，北京经贸职业学院副教授，主要研究方向为网络功能虚拟化（NFV）及移动边缘计算。