基于FPGA的虚拟网络功能数据包处理加速架构

范宏伟,,

(国家数字交换系统工程技术研究中心,郑州 450002)

0 概述

为了满足未来网络的发展需求,由运营商主导发起的新型网络技术——网络功能虚拟化(Network Function Virtualization,NFV)随之兴起。在NFV架构中,网络功能由软件实现,并以虚拟网络功能(Virtual Network Function,VNF)的形式部署在通用架构的服务器中,从而实现了网络功能与硬件设备的解耦合,加快网络功能的部署,促进了网络功能的创新。然而,基于软件实现的VNF在数据包处理方面性能较差,和专用设备相比,大概有30%～40%的性能损失[1],是NFV部署和发展的主要瓶颈之一。因此,有必要对VNF的数据包处理进行加速。

目前,针对VNF数据包处理性能较差的问题,主要有软件加速和硬件加速2类解决方案。其中,软件方案通过减少虚拟化和I/O开销[2-4]来加速数据包处理,但单纯的软件方案难以满足不断增长的数据包处理需求。硬件加速方案是指将VNF部分处理任务卸载到硬件中来,利用硬件的高性能来提升VNF的数据处理速率。与软件相比,当同样的数据包处理任务由硬件来完成时,可以大幅提高NFV系统吞吐率并减少处理时延。在NFV背景下,要求承载VNF的加速硬件具有可编程性,由于现场可编程门阵列(Field Programmable Gate Array,FPGA)可以根据需求改变逻辑功能,成为了业内不少研究所采用的硬件加速平台。文献[5]提出了一种基于FPGA的NFV平台设计,利用FPGA实现完整的网络功能,在满足灵活性要求的同时,可获得比拟专用硬件设备的性能。文献[6]提出的OpenANFV架构在OpenStack的云环境下,实现特定VNF的加速性能最大化。文献[7]提出的ClickNP架构使用类C的高级语言模块化编程FPGA,并和CPU细粒度分工合作,实现高性能和低时延的网络功能。文献[8]提出的SLA-NFV架构专注于实现用户的服务水平协议(Service Level Agreement,SLA),通过FPGA加速平台增强NFV性能。综上,现有的基于FPGA的硬件加速方案针对不同的VNF进行加速时,加速器的设计与VNF之间形成了“绑定”关系,与NFV分层解耦的思想相违背,而且FPGA的编程难度相对较高,增加了VNF开发者的负担,不利于NFV生态系统的构建。

基于以上分析,为实现VNF数据包处理加速,本文提出一种基于FPGA的VNF通用硬件加速器 (General Hardware Accelerator,GHA)架构。通过设计能够承载多种VNF加速的GHA架构,并采用FPGA动态局部重构的方法在加速板卡上独立动态地部署加速器,保证整体架构的灵活性和功能之间的独立性。采用基于改进离散粒子群优化(Discrete Particle Swarm Optimization,DPSO)的分配策略,为数据中心内的VNF分配虚拟加速资源,提升有限加速资源的收益。最后,基于NetFPGA-10G[9]板卡实现GHA加速平台的原型,并对算法的有效性进行仿真测试。

1 设计目标

本文的设计目标是设计一种基于FPGA的VNF通用加速架构GHA,能够灵活承载不同的VNF,同时保证较高的数据处理性能,并实现对硬件资源的高效使用。因此,GHA应当遵循以下3个设计目标:

1)通用、灵活的加速架构。对于GHA,要能够灵活地支持网络中多样的数据包协议,除了最基本的IPv4协议外,还能处理STT和VxLAN等新型数据包格式,实现对不同VNF数据处理的承载,保证架构的通用性。架构的通用性易于实现不同VNF对加速平台的调用。

2)支持较高的数据包处理性能。在网络中,通用性和高性能之间往往存在矛盾,为了实现较强的通用性,难免会降低硬件的处理性能。因此,在设计上需要实现通用性和高性能之间的平衡,保证在引入GHA加速架构后,能够有效提升VNF的数据处理速率,满足用户需求。

3)对硬件资源的高效使用。基于FPGA的GHA架构要充分利用FPGA的动态可重构技术,可独立配置加速器,为不同生命周期的VNF实现加速,彼此之间互不影响。被加速的VNF生命周期所占用的硬件资源能被重新使用,从而保证对硬件资源利用的高效性。

2 数据包处理加速架构

根据以上设计目标,基于FPGA硬件平台的GHA整体架构如图1所示。GHA架构将整个FPGA板卡分为一个静态逻辑区和多个局部可重构区(Partially Reconfigurable Region,PRR)。其中,静态逻辑区在运行时不用重新配置,将不同VNF的共享模块部署在静态逻辑区,包括GHA架构的基本组件——解析单元,以及负责通信与数据存储的相关资源。每个PRR内包含相同数量的逻辑单元和存储单元,彼此间通过总线实现互连,从而构成处理单元,也就是GHA架构的另一个基本组件。GHA架构在单块FPGA板卡中可以包含多个处理单元,用于不同VNF的数据处理,彼此间相互独立。不同VNF处理单元内包含的PRR个数由VNF的类型和配置信息条目的数量所决定。当旧的VNF生命周期结束,有新的VNF加速请求到达,相应处理单元内的PRR资源将被释放,用来构建新VNF的处理单元。解析单元与VNF相应的处理单元共同组成GHA架构中的加速器,负责卸载到硬件部分的数据包处理任务,加速器的配置信息生成和VNF的剩余功能部分则由软件完成。

图1 GHA整体架构

2.1 GHA基本组件

VNF数据包处理流水线主要由“解析-匹配-动作”这3个阶段组成。GHA基本组件分为解析单元和处理单元2个部分,实现对数据包流水线3个阶段的处理。为了支持多种类型的VNF,解析单元采用可编程的解析器结构,根据用户进行配置,识别不同的包头格式,对到达GHA架构的数据包进行解析[10-11]。处理单元对解析结果进行匹配、查找后,利用可编程动作处理器[12-13],根据VNF配置需求对数据包进行动作处理。GHA相对固化简单的流水线架构,能够充分利用硬件的高性能特点,保证了加速器较高的数据包处理速率。GHA结合FPGA的动态重构和可编程特性,通过对2个组件的功能设计,将“解析-匹配-动作”这一结构[12]应用到VNF加速场景中,能够承载诸多类型VNF的部分数据包处理任务,实现了一定的通用性,而且对于不同的VNF,仅需配置处理单元内相应的表项,不需要重新设计加速器的内部结构,降低了VNF加速器设计的复杂性。

解析单元整体结构如图2所示。解析单元包含类型域提取模块、类型域查找模块、匹配域提取模块和匹配域组合模块4个模块。当数据包到达后,类型域提取模块读取RAM1中存放的初始化类型域偏移信息,将初始状态类型域信息提取出来,交给类型域查找模块。类型域查找模块在TCAM1中存放的类型域表项信息进行查找,根据查找结果提取出存放在RAM2中的相应匹配域和下一状态类型域的偏移量信息。其中,匹配域偏移量信息送到匹配域提取模块,该模块根据偏移量提取相应匹配域,而类型域提取模块则读取下一状态类型域的偏移量信息,进入下一状态类型域的提取。整个提取过程将重复执行,直到提取出所有的类型域和相应匹配域信息。最后将全部的匹配域信息送入匹配域组合模块,由该模块将其组合成包头域,作为该单元输出结果,送往处理单元完成剩余的数据包处理环节。

图2 解析单元整体结构

处理单元整体结构如图3所示。处理单元包含匹配域选择模块、匹配模块和动作执行器。当数据包的包头域进入处理单元后,首先由匹配域选择模块根据RAM3中存放的VNF需要的匹配域信息,对包头域内的信息进行筛选,然后将筛选结果送入匹配模块。匹配模块包括匹配、查找2个部分。首先该模块读取TACM2中存放的VNF配置的匹配信息,根据查找结果读取SRAM中存放的相应动作字段。动作执行器根据动作字段完成相应报文的添加、删除和修改等动作。

图3 处理单元整体结构

2.2 GHA的部署

作为VNF通用加速架构,GHA需要部署在NFV系统中,根据需求为不同类型的VNF加速。将GHA架构的FPGA板卡作为加速硬件(Acceleration Hardware,AH)资源部署到NFV基础设施(NFV Infrastructure,NFVI)中,通过PCIe总线接入到通用服务器中。

为了使VNF能够灵活地调用硬件加速资源,如图4所示,利用虚拟化技术将AH资源转化为虚拟加速资源。根据GHA架构在FPGA板卡上的实现方式,将板卡中的PRR作为最小粒度的虚拟加速单元;VNF的加速资源需求同样以PRR为单位进行量化,衡量加速资源与VNF之间的供求关系。因此,为了提高AH资源利用率,所划分的PRR内资源数量十分关键,要根据具体的FPGA板卡资源总量和不同场景下的VNF需求进行确定。

图4 GHA在NFV中的部署

将硬件加速资源虚拟化后,为了减少管理开销,并降低结构的复杂性,可以由虚拟基础设施管理器(Virtual Infrastructure Manager,VIM)负责加速资源的管理和分配[14]。VIM通过南向接口与Hypervisor交互,实现对虚拟加速资源的管理,动态检测加速资源的数量和状态。当加速资源被分配或者释放时,VIM会记录资源的上升和下降,并保存到加速资源管理清单中。有新的加速资源加入时,VIM对其资源数量、能力和链路连接进行初始化和记录。此外,VIM要对加速资源进行全方面的维护,负责资源的安装和拆卸,升级和软件更新。VIM要对加速资源的运行情况进行检测,当硬件发生故障时,具有启动恢复能力。

VNF管理功能块(VNF Management,VNFM)负责VNF实例的生命周期管理,包括在部署过程中对所需的虚拟资源的支持。为了实现VNF对加速资源的调用,需要对当前VNFM规范进行扩展,将虚拟加速资源包含其中。当有新的VNF加速请求到达,VNFM会与VIM之间进行通信,将VNF的加速资源请求与VIM加速资源管理清单中的可用加速资源相匹配。相比于存储和计算资源,硬件加速资源的数量有限,不能满足当前时刻所有VNF的加速请求,要根据VNF加速资源请求的优先级,尽可能满足优先级高的VNF。此外,为了保证公平性和稳定性,加速资源应当留有一定的裕量,以满足下一时刻新的VNF加速请求。如果VNF加速资源请求被满足,根据相应的配置信息对VIM分配的PRR进行处理单元的重构配置。为了实现VNF之间功能的隔离,加速资源一旦被占用,直到VNF生命周期结束后才会被释放,并重新成为VIM加速资源管理清单中的可用资源。

VNF与GHA之间的映射关系如图5所示。用户流量T要按顺序依次经过网络中部署的3个VNF。其中,VNF3由GHA承载,VNF1和VNF2仍基于软件进行数据处理。在数据传输、处理时,VNF1和VNF2依旧映射到计算资源内,由CPU进行数据处理,而VNF3则映射到GHA架构的加速资源内,由FPGA内的加速器负责数据处理。因此,在部署GHA架构到NFV系统后,当有VNF被GHA加速时,原有的数据通路会发生改变,被加速的VNF的数据流会传输到GHA,剩余的数据处理仍在基于软件的VNF中进行。

图5 VNF映射到GHA的示意图

3 加速资源优化分配策略

基于FPGA的GHA加速资源可以部署到数据中心,加速数据中心内VNF的数据处理,降低处理时延,提高网络吞吐量。数据中心内会存在大量有加速需求的VNF,但部署的加速资源数量与之相比却是有限的,如果无差别地满足VNF的加速需求时,加速资源会马上被耗尽,无法满足加速优先级更高的VNF的加速需求。因此,需要一种基于GHA架构的资源优化分配策略,能够有效分配数据中心内有限的加速资源。

3.1 加速资源分配问题建模

在数据中心中,与GHA加速资源分配相关的主要参数有:基于FPGA板卡的GHA加速资源总量,VNF加速资源开销及相应的加速优先级。在GHA架构中,用户可以根据需求设定VNF的加速优先级为1～3共3个级别。VNF的加速优先级为1时,需要优先分配相应的加速资源,满足该网络功能的加速需求,数量相对较少;当VNF的加速优先级为3时,需要根据分配后加速资源的剩余情况,决定是否满足该类VNF的加速需求;而加速优先级为2时,也是VNF的默认优先级,是用户在一般情况下的选择,在满足优先级为1的VNF加速需求后,再将剩余加速资源进行分配,尽可能满足其需求。

对于相同加速优先级的VNF,尤其是2级加速优先级,在使用GHA架构加速后,对于加速资源开销不同的VNF,其吞吐量提升幅度一般也会有差别。当加速资源无法满足全部相同优先级的VNF时,为使得运营商获得最大的收益,对不同VNF的加速收益e作出如下定义:

其中,tpn为VNF加速前的吞吐量,tpa为VNF加速后的吞吐量,r为VNF的加速资源开销。显然,不同类型的VNF通过GHA架构所获得的加速收益不同,因此,存在一个有限加速资源收益最大化的问题。基于以上分析,可以得出加速资源分配的优化模型。

一个数据中心内某一时刻有m块FPGA板卡内存在可分配的加速资源,第i块板卡的空闲资源总量为Ci;有n个新生成的VNF需要加速,第j个VNF的资源开销为rj,其加速收益为ej,硬件资源的总加速收益为E。

xij∈{0,1},i=1,2,…,m,j=1,2,…,n

(6)

式(2)是模型的优化目标,即在分配有限硬件加速资源的情况中,保证获得最大的加速收益。式(3)～式(6)为约束条件。其中,式(3)是模型建立的前提,是对资源总量不足的描述。式(4)使得每块板卡可提供的加速资源不超过其空闲资源上限,这也是对单个VNF的加速资源只能由单块FPGA板卡提供的限制条件。位于不同板卡内的PRR以跨板卡的方式组成处理单元时,会对加速器的构建带来额外的开销和难度,同时增加整个架构管理的复杂性。因此,单个VNF的分配加速资源要限制在单块板卡内。式(4)保证了VNF的加速资源最多只能被分配一次。式(5)对VNF加速资源分配矩阵的元素进行了约束,保证元素的取值范围只能是0或1。若xij为1,表示第j个VNF的加速资源由第i块板卡提供;若xij为0,表示第j个VNF的加速资源不由第i块板块提供。

3.2 加速资源分配算法

根据上述加速资源资源分配模型,同时考虑到数据中心内所能承载的有加速需求的VNF数量较多,可以将该优化问题归纳为一个大规模多背包问题(Multiple Knapsack Problem,MKP)[15]。MKP是0-1背包问题的一个扩展形式,也是完全NP难问题,其计算复杂度为O(2mn)。因此,精确算法难以在实际应用的可行时间内获得MKP的最优解,而目前用于求解MKP的启发式算法仅限于遗传算法(Genetic Algorithm,GA)[16]、人工鱼群算法(Artificial Fish Swarm,AFS)[17-18]和粒子群优化算法(Particle Swarm Optimization,PSO)[19]。其中,GA算法对MKP的个体编码形式一般为0-1矩阵,式(5)的约束使得该矩阵为稀疏矩阵,降低了算法的求解效率,对于大规模MKP,在实际应用时间很难得到令人满意的结果;AFS算法对不可行解一般采用罚函数处理,而MKP问题本身约束的程度较高,当问题规模较大时,不可行解在初始化人工鱼群及执行行为算子的过程中不断增加,算法性能随之劣化[20]。本文采用的DPSO算法对速度和位置更新方式进行了改进,编码方式从0-1矩阵形式变为整数向量,而且对于不可行解的处理采用了随机修复策略,避免对无效解的搜索。基于以上改进,DPSO算法在对大规模MKP问题求解时,在有限的时间内,能够得到满意解,具有较好的实用性。

算法给出了用DPSO优化分配的求解过程。首先确定粒子种群规模Size、最大迭代次数iter、位置更新公式中的惯性权重w。接着初始化每个粒子的位置编码和速度编码。其次对超出约束条件的粒子进行随机修复,然后评价每个粒子的适应度,并更新个体历史最优解和全局最优解,计算下一代每个粒子的速度和位置。最后将算法循环q次后,判断粒子是否达到预设的资源收益或是否达到最大迭代次数,根据输出结果进行加速资源的分配。

DPSO优化分配算法如下所示:

算法DPSO资源分配算法

输入{Size,w,(r1,r2,…,rn),(e1,e2,…,en),(C1,C2,…,Cm)}

输出最佳位置Pg

1.For each particle

2.initialization,generating X(0) and V(0) randomly

3.End

4.t←0

5.Do

6.For each partilce

7.For j=1:n

8.If xj(t)≠0

9.Rxj(t)←Rxj(t)+rj

10.End

11.End

12.If ∃Ri(t)>Ci

13.H=rand(n)andj←1

14.Do

15.If xH(j)(t)≠0

16.xH(j)(t)←0 and Ri(t)←Ri(t)-rH(j)

17.End

18.While (Ri(t)>Ci)

19.End

20.For j=1:n

21.If xj(t)≠0

22.E(t)←ej(t)+E(t)

23.End

24.End

25.If E(t)>Pb(t)

26.Pb(t)←E(t)

27.End

28.End

29.For k=1:Size

30.If Ek(t)>Pg(t)

31.Pg(t)←Ek(t)

32.End

33.End

34.For each particle

35.V(t+1)=w⊗s(V(t))⊕rand()⊗[Pb(t)ΘX(t)]⊕rand()⊗[Pg(t)ΘX(t)]

36.X(t+1)=X(t)⊕V(t+1)

37.End

38.t←t+1

39.While(t≥iter or Pgachieved the scheduled gain)

定义如下公式:

a⊗b=round(ab)

(9)

对基于NetFPGA-10G平台的GHA架构原型系统进行性能测试,而且对算法的加速收益优化率进行仿真验证。

4.1 原型系统测试

为了测试GHA架构的数据处理性能,本文基于NetFPGA-10G平台实现了GHA原型,进行了数据吞吐量的测试。NetFPGA-10G板卡上的芯片系列为Xilinx Virtex 5(XC5VTX240T),具有4个10 Gb/s物理端口和4个支持直接内存访问并连接了PCIe总线的虚拟端口。加速平台的开发软件环境为Xilinx ISE 14.7,利用Xilinx提出的动态局部可重构设计流程划分出4个PRR,每个PRR中资源为9246 Slice,75 BRAM。硬件加速平台通过PCIe总线与部署有VNF的通用服务器(Intel Xeon E5-2420 CPU 1.9 GHz,16 GB DDR3 RAM,Ubuntu14.04)相连,OpenVZ作为虚拟层,由Spirent Tester产生测试数据流,与FPGA的4个物理端口相连接,整个性能测试的搭建平台如图6所示。

图6 数据平面的服务器和FPGA架构

为了验证GHA加速架构对不同VNF数据处理的性能,分别采用虚拟路由器(vRouter)和防火墙作为VNF实例,而且与纯软件和采用DPDK软件加速方案的包处理速率进行对比。为了比较实验结果与纯软件VNF和DPDK软件加速方案,在NetFPGA-10 Gb/s板卡上分别构建了一个vRouter和一个防火墙,并对不同长度的数据包处理速率进行测试,其中一个vRouter的资源为14 588 Slice,84 BRAM,需要2个PRR构建处理单元;一个防火墙的资源为14 588 Slice,65 BRAM,需要一个PRR构建处理单元。采用软件方案测试时,将服务器的4个10 Gb/s端口直接与测试仪相连,其中服务器运行vRouter的软件版本为Click[21],防火墙则为网络层防火墙[22],负责检测包的五元组信息。使用DPDK作为软件加速方案时,VNF服务器分配2个核心用作数据包转发,并且将内存大页设置为4 G。Spirent测试仪在每次实验中模拟生成20 000条流,而且分别设定数据包长度为64 Byte、512 Byte和1 512 Byte。

实验结果对比如图7所示。采用纯软件数据平面处理时,受到虚拟化开销和多层I/O处理限制,2个VNF最多分别能达到677 Mb/s和670 Mb/s。利用DPDK的软件加速方案,通过旁路内核协议栈和零复制等技术,极大减轻了数据包在服务器中的I/O开销,但受到VNF本身的软件处理速率的限制,吞吐量最多达到19 Gb/s和17.2 Gb/s。GHA架构下的vRouter和防火墙的数据包处理完全在FPGA内部完成,没有经过CPU,吞吐量达到34 Gb/s和33.3 Gb/s。可见,GHA的最大吞吐量为纯软件的50.7倍、DPDK加速方案的1.8倍,通过GHA架构能够提升VNF的数据处理速率。与其他类型VNF相比,vRouter和防火墙2类网络功能的全部数据包处理任务由硬件实现,不经过CPU,加速效果显著;但其他类型VNF的部分数据处理可能在CPU中实现,另一部分卸载到GHA硬件中,加速效果无法比拟实验中的2类VNF。GHA架构的相对通用性降低了网络功能加速的复杂性,但也限制了所能承载的数据处理任务,对不同类型的VNF加速效果不同。总地来说,相比纯软件和软件加速方案,GHA架构以一种相对通用的加速方式,能够对不同类型的VNF取得较好的加速效果。

图7 3种类型加速方案的处理性能对比

4.2 算法性能仿真

对于分配算法的仿真,用Matlab R2015a编程,在PC机上(Intel Core CPU i5-3450 3.10 GHz,4 GB RAM)运行。为了对资源分配算法进行性能分析,将上述2类VNF的测试数据作为参考,设置8种不同参数的VNF作为初始数据,如表1所示。

表1 VNF类型和属性

在仿真实验中,设定单块FPGA板卡所能提供的加速资源均为8个PRR。为了尽可能保证资源分配的公平性,给后到达的VNF留有可分配的加速资源,通过限制每次分配的硬件资源总量,实现系统的稳定性,根据每次加速资源的总开销设定每次的资源分配总量。在此次实验中,引入分配系数γ,表示可分配加速资源与总开销之间的比值,分别设定为1/2、3/5和2/3,用于模拟真实环境,显示不同情况下可分配的加速资源的总量。

为了测试算法对不同VNF数量的优化性能,一共做了5组实验,每组实验生成不同数目的服务功能链(Service Function Chain,SFC),每条SFC由8类设定的VNF中随机挑选4个～6个来组成。在每组实验中,对于同一数目的SFC,测试5次,然后取平均值。另外,设定DPSO算法中种群规模Size为100,最大迭代次数iter为200,惯性权重w为0.65+0.25×cos(t×π/iter),其中,t为迭代次数,w随着算法迭代的进行而逐渐减小,可降低算法陷入局部最优的频次。仿真不同分配系数下DPSO算法的加速收益,并与传统的贪心算法(Greedy Algorithm)和遗传算法(SGA)[23]的加速收益作对比。贪心算法按照VNF的加速收益大小依次选取剩余资源最大的FPGA板卡进行分配;SGA算法通过在适应性函数中引入容量约束惩罚和物体单一归属惩罚,并采用一致交叉的交叉算子[23],设定与DPSO算法相同的迭代次数,求解出资源分配方案。

图8为3种加速资源分配算法的收益对比。由仿真结果可知,在相同的服务链数目下,3种算法的加速收益随着分配系数的增大而增加。这是由于可分配的加速资源越多,VNF的加速需求得到满足的可能性也就越大。加速资源分配数量与总开销的比值γ、VNF个数和算法优化率之间的关系如图8(d)和图8(e)所示。综合5次实验结果,在限定不同的可分配加速资源总量时,与贪心算法相比,DPSO算法的收益优化效率平均能提升24.5%、13.5%和8.0%;与ASG算法相比,在相同的迭代次数内,DPSO算法得到的分配方案更优,收益优化率平均提升11.1%、7.8%和5.4%。当γ确定时,随着VNF个数的增长,解空间不断增大,在设定的搜索次数内,算法所能找到的较优解质量随之下降,所提升的加速资源收益有限,可以通过增加种群规模和迭代次数扩大搜索范围,直到找到令人满意的结果;当VNF个数确定,加速资源分配数量与总开销的比值γ越小,约束条件下的解空间越小,在相同的迭代次数内,算法能够搜索到更优的资源分配方案,算法优化率明显提高。可见,基于DPSO的资源分配优化算法是有效的,在实际情况中,需要根据具体VNF个数和加速资源总量以及所限定的加速资源分配时间,来确定种群规模和迭代次数,以获得预期的优化率。

图8 DPSO算法性能仿真结果

5 结束语

本文针对VNF在通用服务器中数据包处理性能受限的问题,提出了基于FPGA的相对通用的硬件加速架构GHA,将“解析-匹配-动作”的处理环节卸载到硬件中,由硬件中的解析单元、处理单元实现数据处理加速。GHA能够利用FPGA的动态可重构技术,根据VNF需求部署GHA加速器。另外，采用DPSO算法对加速资源分配进行优化，提高了数据中心内有限硬件资源的加速收益。仿真测试证明，本文提出的VNF数据包硬件加速架构，在促进NFV性能提升的同时，降低了VNF加速的实现难度。