支撑电力业务规划的软件定义网络控制器时延性能分析

刘 川, 李炳林, 娄 征, 陈 雷, 黄红兵

(1. 全球能源互联网研究院, 江苏省南京市 210003; 2. 国家电网公司电力通信网络技术实验室, 江苏省南京市 210003; 3. 国网江苏省电力公司南京供电公司, 江苏省南京市 210000; 4. 中国信息通信研究院, 北京市 100191;5. 国网浙江省电力公司, 浙江省杭州市 310007)

支撑电力业务规划的软件定义网络控制器时延性能分析

刘 川1,2, 李炳林1,2, 娄 征3, 陈 雷4, 黄红兵5

(1. 全球能源互联网研究院, 江苏省南京市 210003; 2. 国家电网公司电力通信网络技术实验室, 江苏省南京市 210003; 3. 国网江苏省电力公司南京供电公司, 江苏省南京市 210000; 4. 中国信息通信研究院, 北京市 100191;5. 国网浙江省电力公司, 浙江省杭州市 310007)

引入集中控制理念的软件定义网络(SDN)技术为网络的智能化提供了新的思路,但也同时在业务的端到端传输时延中引入了控制时延。详细阐述了SDN架构下,硬件资源和流表下发模式对控制时延的影响,在仿真环境和实际测试中,开展了两种流表下发模式下端到端时延对比和应用系统控制时延对比。从数据分析中可以得出Reactive模式拥有较高的自动化程度与灵活性,但会引入高控制时延,Proactive模式的控制时延很低,但需要人工干预和预配置。基于对比结论,结合现网业务承载方式,建议电力通信网中涉及路由的承载方式可采用SDN技术进行优化,通过预配置业务路径,以Proactive模式保障实时性,同时支持Reactive模式,应对复杂网络的灵活性需求。

电力通信网; 软件定义网络; 时延; 流表下发模式

0 引言

一次设备智能化后,电网状态信息的实时交换、网络化的视频监控和多媒体交互信息管理等业务将更多的数据汇聚到集控中心、调度中心和数据容灾中心,数据类业务成为电力通信网带宽的主要消耗业务[1]。

传统电力通信网由于老旧设备攀升、受制于一次线路切改等原因,呈现出网络结构薄弱、智能化程度不高等不适应性。因此,迫切需要引入全新的网络技术,以提高网络资源控制的灵活性和带宽的利用率,而软件定义网络(software defined networking,SDN)正是这样一种技术。

SDN最初是由美国斯坦福大学Clean Slate研究组提出的一种新型网络架构,其设计初衷是解决无法利用现有网络中的大规模真实流量和丰富应用进行试验的问题,同时研究如何提高网络的速度、可靠性、能效性和安全性等问题。随着研究的深入,SDN逐渐得到了学术界和工业界的广泛认可,成为未来互联网的主流发展方向[2]。

由于电力业务在实时性与可靠性方面的极高要求,在将SDN技术引入电力系统的过程中,时延敏感业务[3-5]对SDN网络的适应性,成为论证SDN技术在电力通信网中应用可行性的重要因素之一,也是软件定义电网[6]概念下的重要研究方向。由于实时性并不是SDN技术本身所关注的问题,因此,业界对于SDN时延的研究仍以设备的转发时延为主。

本文研究了SDN控制器的时延性能,通过测试与仿真,确定硬件资源对时延性能的影响,详细阐述了SDN流表下发模式中业务控制及传输时延的组成,并基于时延性能与电力业务需求,提出规划建议,提高SDN技术与电力业务的适配性。

1 业务时延需求分析

继电保护、电量数据采集、变电站视频监控等[7]电力业务对丢包和时延极为敏感,即使很小的响应时间增加,都会对业务性能造成影响。以系统保护通信网的需求为例,考虑区域之间的通信需求,以区域内最大传输距离3 000 km,区域间最大传输距离5 000 km估算,要求系统在60 ms内实现电网发、输、配及直流全景状态监测,300 ms内实现重要扰动故障防御控制,而采集和控制通信时延均应控制在50 ms以内。

精准负荷控制系统(下文简称精控系统)作为系统保护的重要部分,在业务时延方面有着更加明确的需求,精控系统的时延需求如表1所示。

表1 精控系统时延需求Table 1 Time delay demand of precise load control system

2 SDN控制器时延性能

SDN控制器的流表下发性能受到诸多因素的影响。在硬件层面,控制器流表下发的性能与硬件配置直接相关。在软件层面,根据不同的流表下发模式,会涉及多个处理模块与软件接口。

2.1 硬件资源对控制器时延性能的影响

SDN控制器是安装在通用硬件平台上的一组软件程序,硬件资源的各种配置直接影响软件的运行性能。服务器主要的硬件资源包括计算资源(CPU主频)、存储资源(内存和硬盘)和网络资源(网卡接口和速率)。因流表的下发一般不会涉及硬盘存储,故硬盘不作为流表下发时延产生的因素。

2.1.1 网络资源对流表下发性能的影响

如果控制器和交换机分属于不同的物理位置,南向接口的流表下发需要通过物理网卡,且本文考察流表下发成功以物理交换机接收到流表为考察点,网络资源对于流表下发性能的影响应该考虑进去。对于网卡接口速率对下发速度的影响,以通用服务器网卡线速1 000 Mbit/s,OpenFlow下发流表的Flow_MOD消息为例,以实际应用中发送流表的Flow_MOD消息为200 B计算,则千兆网卡流表下发速度理论上可以达到655条/s。

因此,如果使用Proactive模式(动态模式)大规模部署流表,或者在小数据包大数据流量背景下的Reactive模式(静态模式)下发流表,网卡速率有可能成为流表下发的瓶颈。

同时,考虑到整个网络传输的质量,如线缆的质量和网络所通过连接设备的线速与转发性能等各种综合因素,以目前千兆网络为主流的背景下,不建议流表下发速率规划在500条/s之上。以现有网络的状况,更高的流表下发速率将难以保障网络的可靠性与实时性[7]。

2.1.2 内存资源对流表下发性能的影响

为了探讨服务器内存资源对流表下发的影响,本文使用VMWare虚拟机安装开放式网络操作系统(open network operating system,ONOS)控制器,每次测试重新分配虚拟机内存,在其他条件不变的情况下,通过调整ONOS所在虚拟机的内存大小,来观察内存大小变化对流表下发的影响。除内存因素之外,其他不变因素见附录A表A1。流表下发采用控制器的北向接口,通过表述性状态转移(representational state transfer,RESTful)在远端调用下发的方式转换为控制器原语,再经由南向接口下发至交换设备进行。测试结果如图1所示。

图1 内存资源对时延特性影响的测试结果Fig.1 Test result of impact of time delay characteristics on memory resource

通过图1可以看出,在10万条流表下发的情况下,内存资源在0～13 GB的变化区间内,时延的浮动在7 s左右,这种时延的波动是由于某一测试时间点,控制器内部运行模块调度等因素造成了运行背景环境的差异而导致的,考虑到此种误差因素,结合实际测试数据,可以得出单条流表承载单个业务的控制逻辑时,内存对于流表下发性能的影响不大于0.07 ms,且该时延与内存资源不存在线性比例关系。因此,在保证控制器正常运转的条件下,控制器的流表下发速率与内存变化的关系不明显,可以认为内存的大小与流表下发时延性能基本无关。

2.1.3 CPU资源对流表下发性能的影响

为了探讨CPU资源对流表下发的影响,本文同样使用VMWare虚拟机安装ONOS控制器,在其他条件不变的情况下,每次测试调整CPU主频与核数,来观察CPU资源对流表下发性能的影响。流表下发通过控制器的北向接口,通过使用RESTful在远端调用下发的方式转换为控制器原语,再经由南向接口下发至交换设备进行。

分别测试流表下发性能在2 394 MHz(单核)、4 788 MHz(双核)和7 183 MHz(三核)的主频下的数据,与内存资源数据拟合,结果如图2所示。除CPU因素之外,其他不变因素见附录A表A2。

图2 CPU资源与内存资源时延特性的数据拟合Fig.2 Data fitting of time delay characteristics of CPU resource and memory resource

从图2中可以看出,CPU的性能对控制器流表下发性能的影响较大,在提高CPU性能的条件下,流表下发时延明显缩短,而这种提升存在一个CPU主频的最优值,即无法通过无限提高CPU主频和核数来无限减少时延。

2.2 控制器流表下发模式对时延性能的影响

2.2.1 Proactive模式流表下发时延分析

SDN控制器与交换机之间的OpenFlow通道建立后,由控制器向OpenFlow交换机预先发送流表项设定的设置称为Proactive模式,也即动态模式。Proactive模式是在大量数据包进入交换机需要转发之前,用控制器将流表预先下发给交换机,这样交换机在收到数据包时,就能根据相关的流表进行转发。通过预先定义好所有流表的规则,并通过控制器下发,在交换机中生效,该模式能够避免交换机生成Packet-in消息所产生的时延,所有进入交换机的数据包都可以按照线速转发。

SDN控制器流表的主动下发过程,可以在控制器的北向接口使用RESTful风格的Web调用,或使用超文本传输协议(HTTP)在远端进行,也可以在控制器内部通过内嵌应用(APP),利用嵌入式的应用程序编程接口(application programming interface,API)直接下发流表[8]。一些支持如地址解析协议(address resolution protocol,ARP)解析等现有基本业务的流表下发,就是通过内嵌APP模块的Proactive模式实现的。两种Proactive模式下流表下发的过程见附录B图B1。

对于Proactive模式的流表下发,当采用北向接口RESTful调用的方式时,从控制器北向接口看,流表下发过程的时延TPRestful满足：

(1)

式中:TN为SDN控制器北向接口处理RESTful HTTP请求的时延,该部分时延主要包括SDN控制器北向接口(可能是物理接口)的处理时延TNp和控制器北向接口对HTTP请求进行协议处理,并将该请求转化为控制器系统原语的时延TNh;TS为控制器南向接口流表下发时延,该部分时延主要包括控制器南向接口的OpenFlow协议栈生成OpenFlow流表下发消息的时延TSp和将流表下发的Flow Mod消息通过南向接口(可能是物理接口)转发出去的时延TSh。

当Proactive模式的流表下发采用控制器内嵌APP模块方式实现时,流表下发过程的时延TPAPP满足：

TPAPP=TC+TS

(2)

式中：TC为SDN控制器内部业务逻辑处理时延。

由于北向接口对HTTP请求进行协议处理可能会经历复杂的迭代过程,且北向接口的实现方式与算法的不同都会影响到TNh这部分的时延,因此北向接口调用的处理时延TN要远大于控制器内部业务逻辑的处理时延TC。因此,对于时延敏感业务的主动流表下发处理,使用控制器内嵌APP方式处理,比通过RESTful进行远端调用实时性更高。

2.2.2 Reactive模式流表下发时延分析

Reactive模式,也即静态模式,是当一个新的数据包进入交换机时,交换机首先在流表中查找匹配规则,如果没有发现匹配的流表,交换机根据不匹配数据包规则或者丢弃数据包或者使用OpenFlow的Packet_in消息将该数据包上送到控制器,控制器根据数据包的各种信息和预配置的相关规则计算创建一个流表项,使用OpenFlow的Flow Mod消息通过南向接口发送给交换机[9-10]。交换机下一次收到类似的数据包时就可以直接转发。

Reactive模式的流表下发速率主要和控制器收到Packet-in消息并生成相关流表规则并下发的响应时间有关。使用Reactive模式的流表下发,控制器可根据上报的数据包,按照策略实时改变特定粒度业务的路径,可能涉及流量或者业务的动态调整,因此,该模式流表下发的各部分处理时延就显得尤其重要。Reactive模式下流表下发过程见附录B图B2。对于Reactive模式的流表下发,时延TR满足：

(3)

式中：TF为SDN控制器收到Packet_in数据包,根据数据包内容和应用处理逻辑生成流表的时延,该部分时延主要包括控制器通过接口(可能是物理接口)收到Packet_in并做协议处理的时延TP和控制器根据内部应用处理逻辑产生流表项的时延TFL。

2.3 SDN架构下端到端业务传输时延分析

在基于OpenFlow的SDN控制器与交换机环境下,端到端数据发送时延涉及的因素较多,除了链路传送时延和交换机转发时延以外,还要考虑OpenFlow流表处理机制对端到端数据包传送的影响。如果端到端的数据包转发之前,数据包经过路径的全部交换机都已通过控制器使用Proactive模式将流表下发好且流表生效,则端到端的数据包时延只需要考虑数据包经过每个OpenFlow交换机流表匹配和转发的时延,此种情况下,控制器流表下发的时间将不会对业务的端到端时延造成影响。

如果该数据包在首个OpenFlow交换机中流表匹配未命中,而交换机的Table-Miss表规则是将未匹配的数据包转发到控制器,就会触发Reactive模式的流表下发,如图3所示。

图3 未知数据包在SDN网络中的匹配过程Fig.3 Matching process of unknown packet in SDN network

如图3所示,当触发Reactive模式的流表下发,端到端的数据传输时延TEnd-to-End除了数据在物理链路上的传送时延以外，还满足：

TEnd-to-End=TPacket_in+TP_send+TF_send+TF_act+TR

(4)

TPacket_in=Tpim+Tpic+Tpis

(5)

TF_act=TFMc+Tset

(6)

式中：TPacket_in为交换机收到收据包后产生Packet_in报文的时延，该部分时延包括数据包在交换机内部查找流表匹配的时延Tpim、交换机生成Packet_in消息的协议处理时延Tpic，以及Packet_in消息通过网络接口的发送时延Tpis；TP_send为Packet_in报文通过OpenFlow通道的传送时延；TF_send为流表通过OpenFlow通道的传送时延；TF_act为流表在交换机中生效的时延，该时延包括了Flow Mod进入交换机接口的处理时延TFMc和流表的安装时延Tset。

通过上述分析可以发现,在Reactive模式下,所引入的端到端转发时延因素要远多于Proactive模式下的数据包转发。

为了考察Proactive和Reactive两种模式下端到端的时延情况,本文首先通过ONOS控制器和Mininet软件交换机仿真环境进行了以下实验:使用Mininet创建7台交换机的线形拓扑和树形拓扑(见附录C图C1、图C2),分别模拟电力通信网络中两种典型的数据流向。线形拓扑模拟纵向交互的业务流向,如精控系统中,业务流仅在控制终端、控制子站、控制主站与控制中心站之间纵向交互,同一层级之间无数据交互;树形拓扑模拟横向交互的业务流向,如电力数据中心业务服务器之间的数据交互。基于SDN分层分域的控制架构,在同一个域间交互的业务一般不大于7跳。

两个主机分别下挂在路径最远的两个交换机下,考察端到端的数据传送时延,结果见附录C表C1。此次测试的转发平面是基于服务器内部采用软件环境生成的OpenFlow交换机,虽然没有经过实际的网卡和物理线路传送,但对于两种模式时延的比较结果没有影响。从数据中可以得出,Proactive模式的端到端平均时延要远小于Reactive模式,并且可以满足电力系统正常通信状态和应急通信状态下的时延要求。

在控制器上层通过北向接口加入应用系统后,本文在并发数50,100,150三种情况下,对Reactive和Proactive两种模式下业务的端到端控制时延进行了实际测试,测试结果如表2所示。

从测试结果中可以得出,Reactive模式在加入应用系统后的控制时延较高,而Proactive模式的控制时延可以达到毫秒级。

3 支撑电力业务时延需求的SDN应用规划模式建议

3.1 硬件资源的选择建议

根据上文硬件资源对SDN控制器时延性能的研究结论发现,在硬件资源的选择上,如果考虑流表下发时延和下发速率等性能因素,应首先保证服务器计算资源(CPU)的充足配置。

表2 两种流表下发模式下控制时延的测试结果Table 2 Test results of control time delay under two flow table release modes

在流表下发性能规划的考虑上,应该考虑控制通道的网络接口瓶颈,合理规划和配置网络的硬件配置(网卡接口极限和物理网络极限),尽量保证控制通道的网络带宽不会成为瓶颈,减少控制器南向接口流表消息下发的pending状态[9],以减少时延。

3.2 流表下发模式选择建议

电力通信网组网中涉及路由的承载方式可以采用SDN的技术体制实现业务的统一管控与灵活调度。例如:精控系统中的秒级及分钟级控制模式,由于其采集和控制指令通过营销控制大区的网络传送,涉及路由调度,因此适合用SDN的方式承载,而毫秒级控制模式的业务通道采用基于SDH的2 Mbit/s专线方式,利用骨干传输网分层传输,不具备灵活调度的条件,因此,不建议采用SDN方式承载。流表下发模式选择建议如表3所示。

表3 流表下发模式选择建议Table 3 Suggestions on flow table release mode

SDN技术最大的特色在于其灵活性与开放性,从某种意义上来说,SDN在某些场合反而会牺牲掉一定的实时性,正因如此,SDN在公网应用中的优势一般体现在资源利用率的提升和运维管理的智能化上。然而,电力业务与公网业务却也有着不同特点,首先,电力通信网作为辅助电力一次设备的基础设施,其网络相对固定,也即很少出现拓扑频繁变化的状况;其次,电力业务数据流相对固定,业务流向与公网相反,一般以上行数据为主,也即电力业务一般不会伴随高随机性与高突发性。基于上述电力业务特点,SDN技术在电力通信网中的应用可以采用策略预先配置的方式,以Proactive模式的流表下发来保障业务传输的实时性,同时辅以Reactive模式的流表下发,来应对大规模网络或复杂网络的灵活性需求。针对不同业务的时延需求和控制需求,引入Hybrid模式(混合模式)的流表下发机制,在业务传输时延可容忍的前提下,达到实时性与灵活性的平衡[11-12]。

4 结论

本文开展的面向电力业务规划的SDN控制器时延性能分析,通过实际测试与仿真,从硬件资源和流表下发模式的角度详细分析了各种情况下,网络SDN化对承载业务时延造成的影响,并以系统保护精控系统的业务时延需求出发,提出SDN技术引入及流表下发模式选择的方案,可以得到如下结论。

1)对于硬件资源,内存和硬盘基本不会影响流表下发的时延,网卡会成为流表下发时延的瓶颈,CPU资源会明显影响流表下发时延,但存在一个阈值。

2)Proactive流表下发模式比Reactive流表下发模式拥有更低的时延,但Reactive模式的自动化程度更高。

3)考虑Hybrid模式理论上可以实现实时性与灵活性的平衡,但在实际网络部署中,引入的环境因素将会更多,混合流表下发模式是否比单一流表下发模式更适用于实际部署还需要进一步验证。

在后续工作中,将进一步优化SDN技术在实时性与灵活性方面的平衡点,引入更多环境变量进行仿真和测试,使其更加适用于实际部署。

附录见本刊网络版(http://www.aeps-info.com/aeps/ch/index.aspx)。

[1] 刘川,黄辉,喻强,等.基于SDN的电力通信集中控制高可靠性业务支撑机制研究[J].电力信息与通信技术,2015,13(12):1-5.

LIU Chuan, HUANG Hui, YU Qiang, et al. Research of high reliability business support mechanism for power communication system centralized control based on SDN[J]. Electric Power Information and Communication Technology, 2015, 13(12): 1-5.

[2] 张朝昆,崔勇,唐翯祎,等.软件定义网络(SDN)研究进展[J].软件学报,2015,26(1):62-81.

ZHANG Chaokun, CUI Yong, TANG Heyi, et al. State-of-the-art survey on software defined networking (SDN)[J]. Journal of Software, 2015, 26(1): 62-81.

[3] 张蕾,占震滨,魏路平,等.广域测量系统分段时延测量及分析[J].电力系统自动化,2016,40(6):101-106.DOI:10.7500/AEPS20150427008.

ZHANG Lei, ZHAN Zhenbin, WEI Luping, et al. Test and analysis of piecewise delay in wide area measurement system[J]. Automation of Electric Power Systems, 2016, 40(6): 101-106. DOI: 10.7500/AEPS20150427008.

[4] 刘文霞,罗红,陈锦山.考虑网络保护的广域测量系统通信时延分析[J].电力系统自动化,2011,35(21):68-73.

LIU Wenxia, LUO Hong, CHEN Jinshan. Communication delay analysis of WAMS considering network protection mechanisms[J]. Automation of Electric Power Systems, 2011, 35(21): 68-73.

[5] 陆子刚,卫志农,孙国强,等.相关量测下处理时延的电力系统动态状态更新法[J].电力系统自动化,2015,39(11):132-138.DOI:10.7500/AEPS20140505003.

LU Zigang, WEI Zhinong, SUN Guoqiang, et al. Power system dynamic state updating method in processing time delay with correlated measurement[J]. Automation of Electric Power Systems, 2015, 39(11): 132-138. DOI: 10.7500/AEPS20140505003.

[6] 曹袖,黄瀚,王雪平,等.软件定义电网:概念、结构与示例[J].电力系统自动化,2016,40(6):1-9.DOI:10.7500/AEPS20150907009.

CAO Xiu, HUANG Han, WANG Xueping, et al. Software defined grid: concept, architecture and samples[J]. Automation of Electric Power Systems, 2016, 40(6): 1-9. DOI: 10.7500/AEPS20150907009.

[7] KREUTZ D, RAMOS F M V, ESTEVES VERISSIMO P, et al. Software-defined networking: a comprehensive survey[J]. Proceedings of the IEEE, 2015, 103(1): 10-13.

[8] MCKEOWN N. Software-defined networking[C]// Proceedings of IEEE INFOCOM, April 19-25, 2009, Rio De Janeiro, Brazil.

[9] MCKEOWN N, ANDERSON T, BALAKRISHNAN H,et al. OpenFlow: enabling innovation in campus networks[J]. ACM SIGCOMM Computer Communication Review, 2008, 38(2): 69-74.

[10] MIT Technology Review. 10 breakthrough technologies,TR10: software-defined networking[EB/OL]. [2015-12-30]. http://www.technologyreview.com/article/412194/tr10-software-defined-networking/.

[11] 王继业,刘川,吴军民,等.软件定义电力广域网通信业务资源公平分配技术[J].电网技术,2015,39(1):1425-1431.

WANG Jiye, LIU Chuan, WU Junmin, et al. Research of software defined service resource equitable allocation technology of power WAN[J]. Power System Technology, 2015, 39(1): 1425-1431.

[12] 左青云,陈鸣,赵广松,等.基于OpenFlow的SDN技术研究[J].软件学报,2013,24(5):1078-1097.

ZUO Qingyun, CHEN Ming, ZHAO Guangsong, et al. Research on OpenFlow-based SDN technologies[J]. Journal of Software, 2013, 24(5): 1078-1097.

Analysis on Time Delay Performance of Software Defined Networking Controller in Support of Power Service Planning

LIUChuan1,2,LIBinglin1,2,LOUZheng3,CHENLei4,HUANGHongbing5

(1. Global Energy Interconnection Research Institute, Nanjing 210003, China; 2. State Grid Laboratory of Electric Power Communication Network Technology, Nanjing 210003, China; 3. Nanjing Power Supply Company, State Grid Jiangsu Electric Power Company, Nanjing 210000, China; 4. China Institute of Information and Communication, Beijing 100191, China; 5. State Grid Zhejiang Electric Power Company, Hangzhou 310007, China)

The technology of software defined networking (SDN) has provided the intelligent network with a new line of thought. But at the same time, control delay is introduced into the end-to-end transmission delay of transaction. The influence of hardware resources and flow table release mode on control delay is described in detail under the SDN architecture. In the simulation environment and actual test, comparisons of end-to-end time delay and control time delay with application systems are made. From the data analysis, it can be seen that the Reactive mode has a high degree of automation and flexibility, but introduces high control delay. However, the Proactive mode has a low control delay, but requires manual intervention and pre-configuration. Based on the comparison conclusions and combined with business bearer of current network, it is suggested that the bearer mode involved in routing in the power communication network be optimized by SDN technology. Proactive mode guarantees real-time performance by pre-configuring service paths, while supporting Reactive mode to meet the flexibility requirements of complicated networks.

This work is supported by State Grid Corporation of China.

power communication network; software defined networking (SDN); time delay; flow table release mode

2017-03-02;

2017-06-12。

上网日期: 2017-07-21。

国家电网公司科技项目“面向电力通信多域交互的软件定义光网络关键技术研究”。

刘 川(1986—),男,通信作者,硕士,高级工程师,主要研究方向:电力通信网络与传感、未来网络技术。E-mail：liuchuan@geiri.sgcc.com.cn

李炳林(1970—),男,硕士,研究员级高级工程师,主要研究方向:电力通信网络与传感。

娄 征(1978—),男,硕士,高级工程师,主要研究方向:电力信息安全及计算机体系结构。

(编辑 章黎)