电力通信中基于动态阈值的流量控制机制研究

刘金锁，孙信军，李 洋，冯 宝，高凯强

(1.南瑞集团公司(国网电力科学研究院)，江苏 南京 211000；2.南京邮电大学 通信与信息工程学院，江苏 南京 210003)

电力通信中基于动态阈值的流量控制机制研究

刘金锁1，孙信军1，李 洋1，冯 宝1，高凯强2

(1.南瑞集团公司(国网电力科学研究院)，江苏 南京 211000；2.南京邮电大学 通信与信息工程学院，江苏 南京 210003)

InfiniBand架构(IBA)是一种基于交换机的互连技术，拥有高带宽和低时延的特点。InfiniBand网络很适合构建高速网络集群系统并且已经被批准为I/O技术和进程间通信标准。提出了一种适用于电力广域高性能计算网络的基于动态工作阈值的有效流量控制方法。与以往的静态阈值方法不同，该方法根据一个周期内对链路中业务流量的监听，记录下突发大流量，最后根据所记录的流量特点来动态设定工作阈值。交换机对业务流量评估是一个动态连续的过程，对每一个业务流的最大突发值进行评估，动态调整仲裁表来设置恰当的阈值门限，使每个信道都能适应当前链路的流量特点，提高网络突发大流量的处理能力、带宽利用率和传输效率，降低网络能耗、丢包率和时延。采用最大熵原理(Maximum Entropy,ME)来分析所提出的流量控制机制，并用广义指数分布GE-Type模拟业务流到达率和业务服务时间。仿真结果表明，所提出的机制可以实现电力通信网络中广域高性能计算网络流量的有效控制。

InfiniBand技术；动态阈值；流量控制；GE-Type；最大熵原理

1 概 述

随着智能电网的飞速发展，电力通信网络结构日益复杂，承载业务日趋多元化。电力通信部门需要通过可靠、有效的技术手段对网络业务流量进行监控，以降低能耗、丢包率和网络时延。然而，由于交换机网络技术的固有缺陷，如网络风暴、网络拥塞、流量管理和控制等，在一定程度上影响了站内系统的安全与性能。为避免上述风险，必须做好变电站通信网络的规划设计，应使用具备风暴抑制和流量管理功能的专用交换机，并采用合适的网络架构和流量管控措施[1]。但现有方式无法完全实现流量的有效控制问题。

高性能计算网络集群已被广泛地应用于不同的领域去解决富有挑战性的问题[2]。从高端的浮点密集型科学和工程计算问题到商业数据密集任务，很多现行的产品已经实现了吞吐量最大化和延时最小化，但在带宽保证、有限的数据包投递时间和有限的到达时延等方面仍存在不少问题。Infiniband网络由于其可扩展性成为高性能计算网络的首选。Infiniband架构是一种新的工业架构标准，可以使Infiniband网络支持时延约束和多种QoS服务要求的应用。Infiniband提供了一系列机制，例如：服务级别(Service Levels，SL)、虚拟链路(Virtual Lanes，VL)、虚拟链路仲裁表(VLArbitration Table)，通过一定配置可以提供满足不同业务需求的QoS服务[3]。这些机制包括不同的业务类型和不同输出端口的仲裁。仲裁表存储在Infiniband网络的交换机中，可以根据严格的QoS要求配置数据包的优先权[4]。现有技术中有一种固定工作阈值的流量控制机制[5-6]，该方法虽在一定程度上提高了链路吞吐量，降低了时延，但是由于部分电力业务具有突发大流量的特点，仅设置一个静态阈值难以满足各类电力业务的通信需求。静态阈值过低，交换机会频繁切换，导致网络延时和能耗增加。相反地，静态阈值设置过高，交换队列的长度就会增加，导致网络延时增加、带宽利用率下降，当突发流量到达时会导致数据包的丢失，可见静态阈值不是有效的配置方法。

文中提出了一种有效地应用于Infiniband网络中的动态流量控制机制。该机制的基本思想是在虚拟链路仲裁表中给虚拟链路引入一个动态的工作阈值，这些阈值通过严格的QoS限制有效控制了不同业务的带宽划分，从而提高了系统的总体性能。采用广义指数分布对外部的通信量进行建模，捕获网络突发数据流量，利用信息论中的最大熵原理可以得出近似的分析结果，实现对通信网络的简单、可靠、高效的分析和预测。

2 一种基于动态阈值的流量控制机制

2.1 Infiniband网络

Infiniband技术规范描述了一个系统区域网络连接了多重独立的处理器平台、I/O平台和I/O设备等。SAN是一个通信管理设备，支持单个和多个计算机系统的I/O流和处理器间通信。IBA的设计是基于交换机的高速点到点链路互连技术。一个IBA网络可以划分为由路由器互连的多个子网，每个子网由一个或多个交换机、处理节点和I/O设备组成。在IBA中，消息是通信的基本单元，数据被分成数据包在链路上传输。每一个数据包包括数据头信息和实体数据，每一个包的长度为256字节到4 096字节[7]。IBA有三种机制支持QoS：服务级别，虚拟链路和虚拟链路仲裁表[8]。IBA中规定了最大16个服务级别，它取决于管理员如何在不同服务级别之间分派不同的流量类型，并提供了一个字段用来标记服务的级别。根据不同的需求处理不同的业务，可以在一条物理链路上创建多条虚拟链路连接机制。

在Infiniband网络中，每一个节点最小有两个最大16个服务级别(VL0,VL1,…,VL15)。VL15是为子网管理预留的，所有端口都支持并有最高的数据业务级别。因为交换机支持不同的服务级别，子网管理器通过端口的使用数量来配置服务级别的数量。当有超过两个服务级别执行时，仲裁机制将允许一个输出节点选择虚拟链路进行传输。由于VL15用来进行流量控制，并且拥有最高的优先权，因此仅对数据的服务级别进行仲裁。虚拟链路仲裁表定义了数据通道的优先级别，如图1所示。

图1 仲裁表结构

2.2 流量分类

Pelissier基于目前应用的QoS提出了五种业务级别[9]：专用带宽时间敏感业务、专用带宽业务、尽力优先服务(Preferential Best Effort，PBE)、尽力服务和富有挑战性的流量业务。每一类使用一个不同的SL，因此可以达到所要求的QoS。下一步是找到合适的方法填写仲裁表。Pelissier提出对于DBTS业务使用高服务级别，其他业务使用低服务级别。Alfaro等提出了一种填补仲裁表权重的策略[5]。上述两种方法在广域高性能网络中处理突发流量时都存在时延过大和丢包率的问题，因此文中提出一种新的有效的流量控制机制。利用动态阈值以有效填写虚拟仲裁表，提高了网络突发大流量的处理能力、带宽利用率和传输效率，降低了网络的能耗、丢包率和时延。

2.3 过程分析

如图2所示，本地通信代理根据每个交换机的本地信息来决定接受或拒绝连接请求。这些信息包括输出链路的状态以及它们已预留的带宽。当一个连接被接受，代理根据连接请求更改虚拟链路仲裁表，而且为每一个虚拟链路设定初始工作阈值，阈值函数是一个增加排队系统利用率的拥塞控制函数，并且是否到达工作阈值取决于每一个虚拟链路的流量大小。交换机动态地记录下链路中的突发大数据流量。每一个虚拟链路保持各自的动态阈值。动态阈值(Dynamic Threshold，DT)的计算公式为：

DT=Lcap-LBtotal

(1)

其中，Lcap为虚拟链路的容量；中间变量LBtotal计算如下：

(2)

其中，LBmaxi表示第i条虚拟链路观察到的最大流量。

图2 系统流程图

重点关注拥有高优先权的VLi并且按照服务时间分布，到达工作阈值，先到先服务(FCFS)的原则，把它模拟成一个业务到达间隔服从广义指数分布GE/GE/1/N/ET/FCFS的排队系统[10]。业务级别VLs可分为两个部分：常态VLs和共享VLs，如图3所示。

当某一特定VLi的业务量到达阈值时，系统就会分派空闲共享VLs传输数据包，共享过程如图4所示。

假设虚拟链路A的服务速率为u，容量为N，当高优先权的VL业务量达到其阈值(L1)时，VLA将会占用一个空闲的共享虚拟链路VLB。服务率将从u1变为u2，而容量从N增加到2N。另一方面，当业务量小于阈值时，VLA不能使用共享虚拟链路。同时，若VLB的业务量达到了其阈值L2，则来自高优先级的虚拟链路将会占用第二条共享的虚拟链路[11]。

图3 激活共享链路过程

图4 虚拟链路共享过程

3 算法分析

3.1 GE-Type分布

GE-Type分布常被用来模拟到达时间间隔和服务时间[12-13]，形式如下：

F(t)=P(W≤t)=1-τe-σt,t≥0

(3)

τ=2/(C2+1)

(4)

σ=τv

(5)

其中,W为随机变量；1/v和C2分别为均值和方差。

均值和方差是随机变量的两个重要参数，GE-Type分布具有很强的通用性和无记忆性，使得很多基于GE排队模型系统的分析很方便。突发性到达过程由方差和到达时间间隔来表征，这可以模拟突发性流量。文中用GE-Type分布来模拟无线带宽网络中的突发业务，推导出平均队列长度和阻塞概率。提出的流量控制机制基于如下假设：

(1)当某一虚拟链路的流量达到阈值时，系统就会尝试使用空闲的共享信道传输数据包。如果所有的共享信道被占用，那么这些业务就会在虚拟链路仲裁表中等待。

(2)一旦虚拟链路j接受来自VLi的数据包，那么在VLi数据传输完成前，不能接受其他VL的数据。

(3)当VLi完成所有的数据包传输时，虚拟链路i会被立即释放。

为了清晰起见，每个符号的意义如表1所示。

表1 参数表

(6)

式(6)归一化得：

(7)

平均队列长度为：

(8)

3.2 最大熵原理

状态概率分布P(n)(n=1,2,…,iN)可由最大熵函数表征：

(9)

系统模型的最大熵的状态概率分布由下式给出：

(10)

其中：

(11)

利用归一化限制，可以推导出P(0):

(12)

由式(10)和式(12)可得队列长度的概率分布为：

(13)

式(13)表示在平均队列长度的约束下门限值为T的GE/GE/1队列的最大熵[14]，所以很容易得出拉格朗日系数gi和xi(i=1,2)为：

(14)

(15)

其中

(16)

(17)

进一步得出：

(18)

(19)

最后得出平均队列长度为：

(20)

(21)

其中

(22)

(23)

(24)

4 仿真结果分析

用仿真结果和ME算法值进行误差评估，平均队列长度误差函数(Error Measures,EM)为：

(25)

基于ME对文中提出的动态阈值模型和先前的静态阈值进行研究对比，如图5所示。

图5 对平均队列长度的影响

图中，仿真结果和ME预测的结果在误差允许的范围内是一致的。通过计算发现，误差值在0.05～0.1之间，证明了结果分析的正确性。所以阈值函数可以由ME的解来计算，并且图中动态阈值的平均队列长度明显好于静态阈值，减少了队列的平均长度，降低了通信时延和丢包率，并且提高了带宽利用率和传输效率。

图6为动态阈值函数和静态阈值函数的阻塞概率对比曲线。

图6 对阻塞概率的影响

从图6可知，动态阈值算法可以有效降低阻塞概率，提高网络突发大流量的处理能力。

5 结束语

文中提出了一种适应于电力通信系统的广域高性能计算网络中基于动态阈值的有效流量控制方法。首先本地代理根据连接请求更改虚拟链路仲裁表，并且为每一个虚拟链路设定初始的静态工作阈值，其次交换机动态地记录下链路中的突发大数据流量，最后仲裁表根据记录的突发数据流量信息，动态调整本链路中的工作阈值。仿真结果表明，该方法提高了网络突发大流量的处理能力、带宽利用率和传输效率，降低了能耗、丢包率和网络时延。

[1] 郑涪文.交换机流量限制技术及其在智能变电站的技术应用分析[J].华东科技:学术版,2016(6):254.

[2] 黄建强,吴 利,曹腾飞,等.基于高性能计算平台和WRF环境实验的教学改革[J].实验室研究与探索,2016,35(2):94-97.

[3] 夏晓爽,刘 轶,王允彬,等.基于InfiniBand的多链路mesh/torus大规模并行系统互连网络[J].计算机研究与发展,2012,49(1):76-82.

[4] 徐迪威,余焯佳.InfiniBand高速互连网络设计的研究[J].电脑与电信,2012(7):26-29.

[5] Alfaro F J,Nchez J,Duato J.A new strategy to manage the InfiniBand arbitration tables[J].Journal of Parallel & Distributed Computing,2009,69(6):508-520.

[6] Gran E G,Reinemo S A,Lysne O,et al.Exploring the scope of the InfiniBand congestion control mechanism[C]//26th IEEE international symposium on parallel and distributed processing.[s.l.]:IEEE,2012:1131-1143.

[7] Kim E J,Yum K H,Das C R,et al.Performance enhancement techniques for InfiniBand architecture[C]//International symposium on high-performance computer architecture.[s.l.]:IEEE,2003.

[8] Alfaro F J,Sánchez J L,Duato J.A strategy to manage time sensitive traffic in InfiniBand[C]//Parallel and distributed processing symposium.[s.l.]:[s.n.],2001.

[9] Pelissier J.Providing quality of service over Infiniband architecture fabrics[C]//Symposium on hot interconnects.[s.l.]:[s.n.],2000:127-132.

[10] 熊方方.M/M/l/N→M/M/c/K排队系统及其在锚地中的应用研究[D].武汉:武汉理工大学,2010.

[11] 王东洋.基于虚拟设备的虚拟交换机设计[J].软件,2012,33(1):42-45.

[12] 周宗好.通信网络中的排队模型研究[D].镇江:江苏大学,2011.

[13] Yahyaoui N,Sfina N,Lazzari J L,et al.Stark shift of the absorption spectra in Ge/Ge 1-x Sn x /Ge type-I single QW cell for mid-wavelength infra-red modulators[J].Superlattices & Microstructures,2015,85:629-637.

[14] Kouvatsos D D.Entropy maximisation and queueing network models[J].Annals of Operations Research,1994,48(1):63-126.

Research on a Flow Control Mechanism Based on Dynamic Threshold in Power Communication

LIU Jin-suo1，SUN Xin-jun1，LI Yang1，FENG Bao1，GAO Kai-qiang2

(1.NARI Group Corporation (State Grid Electric Power Research Institute),Nanjing 211000,China；2.College of Communication and Information Engineering,Nanjing University of Posts and Telecommunications,Nanjing 210003,China)

InfiniBand Architecture (IBA) is defined as a switch-based interconnection technology with high bandwidth and low-latency,which is suitable for constructing high-speed networks for cluster systems and has been ratified as a new industry standard for the server I/O and inter-processor communication.An efficient flow control mechanism with dynamic job threshold for InfiniBand networks is propopsed.Unlike the existing static threshold methods,it dynamically sets threshold according to the recording traffic in a cycle of traffic monitoring on the link.Switch to traffic assessment is a dynamic and continuous process.The maximum burst value of each business flow to assess,dynamic adjustment of the table to set the appropriate threshold.It can improve the processing capacity,bandwidth utilization,transmission efficiency of network burst traffic and reduce the delay,blocking probability,mean queue length.The principle of Maximum Entropy (ME) is adopted as an effective methodology to analyze the new mechanism with the generalized exponential distribution(GE-Type) for modeling the inter-arrival times and service times of the input traffic.The simulation results show that it can achieve the effective control of traffic flow in the high performance computing network in power communication.

InfiniBand;dynamic threshold;flow control;GE-Type;maximum entropy principle

2016-08-26

2016-11-29 网络出版时间：2017-07-05

国家自然科学基金资助项目(61302100,61471203)；教育部博士点基金资助项目(20133223120002)；国家电网公司2016年科技项目

刘金锁(1980-)，男，硕士研究生，高级工程师，研究方向为电力系统通信及信息安全防护技术。

http://kns.cnki.net/kcms/detail/61.1450.TP.20170705.1650.042.html

TP39

A

1673-629X(2017)08-0187-05

10.3969/j.issn.1673-629X.2017.08.039