湖北工业大学：利用QinQ&PPPoE扁平化改造校园网

文/黄学松 范凯 周昕

湖北工业大学校园网扁平化改造中采用的主要技术是QinQ&PPPoE。本文介绍了基本思路，选型过程及实施效果。改造后的校园网传输速率提高，技术维护节省。

建设背景

高校校园网一般采用VLAN 技术。湖北工业大学校园网也经历了802.1X、PORTAL认证、PPPoE认证三个阶段。校园网早期（2004年）建设时，考虑过PPPoE模式，但由于缺少实际案例，技术成本较高而搁置，当时选择了比较成熟适用的802.1X方案。采用的认证计费系统是交换机厂家免费赠送。后续由于厂家对802.1X标准做了大量扩展，需要配合该独家的交换机及客户端才能使用，设备采购存在较大麻烦。为此我们将计费更换为当时也较流行的网关计费方案。该方案与交换机厂家无关，部署、使用都非常简便，因此在较长时间里满足了学校校园网运营和管理需要。

但随着校园网的发展，用户数量不断增加（用户数3万），出口带宽越来越大（4G），P2P应用大量存在，网内流量也增长迅速。网关式认证计费方案（X86架构）的弱点就逐步显现出来，流量超过700M时会出现明显的延时甚至丢包，需要考虑更换认证计费的新方案。

建设思路

计费认证方案的总需求是：避免IP网络的一些问题，减轻维护人员的工作量。以前校园网中管理存在的主要困难有：

有效避免用户私接困难；用户上网行为审计困难；同VLAN用户量太大,可能导致广播流量泛滥，占用带宽，影响业务开展；某用户中毒对交换机及同VLAN用户影响大；面积查障/排障困难。

基于这一需求，PPPoE方案又被提上议程。PPPoE方案所需要的BRAS价格较高，早期PPPoE方案还存在着一定的技术局限性：

PPP协议和Ethernet在技术本质上存在差异。传统以太网不具备详细的用户管理功能。PPP协议需要被再次封装到以太帧中，增加了封装开销，导致效率降低；增加了分片处理的开销；PPPoE在发现阶段会产生大量的广播流量，对网络性能可能产生较大的影响，导致网络性能降低的矛盾却越来越突出。如何最大限度地限制广播流量，是需要考虑的问题；组播业务开展困难，而视频业务大部分是基于组播的；为了方便管理和维护，需要为每个用户设定一个VLAN，这样就需要接入交换机、汇聚交换机和核心交换机都能够支持QinQ功能。经过PPPoE封装以后的帧又要经过QinQ封装，帧会加大(达1526Byte)，需要接入、汇聚和核心交换机都能够支持巨帧传送。

在PPPoE模式下，每个用户的带宽都是受限的（学校分配策略：非高峰时段每用户6M，高峰时段为2M），这种策略不仅限制了访问外网的带宽，也限制了内网P2P应用，如文件传送等，也存在着较大的限制。

什么是QinQ&PPPoE技术？

QinQ技术。IEEE802.1Q中定义的VLAN Tag域中用12个比特位表示VLAN ID，最多支持4094个VLAN。而在大型校园网中，需要大量VLAN隔离用户，这个数量远远不能满足需求。QinQ能够解决这个问题。QinQ在802.1Q封装的报文Tag嵌套一个Tag，以增加Tag数量。它将私网VLAN Tag封装在公网VLAN Tag中，报文带着两层Tag穿越网络（二层VPN隧道）。QinQ分为基本QinQ和灵活QinQ。基本QinQ通常以物理端口来隔离用户（或用户网络），是简单二层VPN应用。灵活QinQ根据用户报文的Tag或其他特征（IP/MAC等），给用户报文打上相应的外层Tag，以区分用户（或应用）。如内层标签代表用户，外层标签代表业务，有效实现用户定位和业务分流。

PPPoE技术。PPP（Point-to-Point Protocol点到点协议）是工作数据链路层的协议，实现同等单元之间的数据包传输。这种链路提供全双工操作，并按照顺序传递数据包。设计目的主要是用来通过拨号或专线方式建立点对点连接发送数据，使其成为各种主机、网桥和路由器之间简单连接的一种共通的解决方案。而PPPoE（Point-to-Point Protocol over Ethernet）协议允许通过一个连接客户的简单以太网桥启动一个PPP 对话。PPPoE 以其良好的网络管理效率，获得了广大网络运营商的认可和应用。

技术选型

随着技术的进步，PPPoE的上述局限性得到解决。某运营商BRAS采购及方案论证过程中，对市面上几乎所有厂家的BRAS设备进行了非常详细的测试。测试表明：上述PPPoE的技术局限问题在REDBACK、华为、Juniper的最新BRAS设备中，都有针对性地进行了解决和优化。例如，组播几乎所有送测设备都能很轻松地应对5000～10000并发的组播需求；PPP协议带来的封装延迟用户也几乎无法感知。传统以太网数据帧被重新封装成PPPoE帧，所有流量都经过PPPoE服务端，虽效率稍有降低但却实现了强大的流量控制和用户上网行为管理功能。传统网络结构中被IP地址管理、ARP攻击、接入层网络环路等搞得焦头烂额的管理员们，发现这些在PPPoE面前不是问题（传统网络架构面对这些却完全无能为力）。

PPPoE技术局限性的解决得益于QinQ的巧妙运用。QinQ 将用户私网VLAN Tag封装在公网VLAN Tag中，报文带着两层VLAN Tag穿越网络。公网中只根据外层VLAN Tag传送，私网VLAN Tag被屏蔽（内层Tag 透明传送）。这样，不仅对数据流进行了区分，而且由于私网VLAN Tag被透明传送，不同的用户VLAN Tag 可以重复使用，只需要外层VLAN Tag 在公网上的惟一即可，实际上也扩大了可利用的VLAN Tag 数量。根据这个原理，采用双层VLAN Tag技术构造多个VLAN ，实现用户认证前端口隔离和VLAN 隔离，从而达到有效减少广播流量的目的。

另外，送检的BRAS设备都完全通过了IPv6的所有项目测试，包括认证、接入控制、IPv6地址下发、IPv4/IPv6双栈接入及流量区别计费等。测试时间长达半年，对设备的几乎所有功能都进行了完整测试，测试结果坚定了学校校园网进行扁平化改造的决心。

除此之外，采用PPPoE模式以后，BRAS设备以下的所有设备都工作在二层，大大降低了这些设备的负荷，以前接入层交换机和楼栋汇聚交换机既需要处理基本的三层路由交换任务，还需要启用一部分ACL、STP等安全功能，这些功能也大大消耗了交换机本身的CPU和内存等资源。几年来学校校园网运行表明，片区汇聚交换机和核心交换机的负荷非常小（CPU很少超过20%），但楼栋汇聚交换机却负荷较大。如果楼栋内的环路较多，上网用户较多时，楼栋交换机的CPU的使用甚至会达到100%，大大影响了该楼宇的网络性能和用户体验。

经过测试得出：采用QinQ&PPPoE技术进行网络扁平化改造是可行的。在BRAS强大的吞吐性能及PPPoE完善的流量控制与用户行为管理机制支撑下，完全能够构建一张没有性能瓶颈的无阻塞校园网，并大大降低网络管理和维护工作量。

建设方案

图1 湖北工业大学校园网拓扑图

湖北工业大学校园网改造方案是一揽子方案。经过合法的招投标程序和精细比较，学校全网改造最终采取以下建设方案。部分拓扑如图1所示。

两台某厂商ME60-X8作为全网的认证和路由管理网关，三台S9312构建二层环网作为全网核心层，楼栋汇聚采用S5700系列交换机，接入采用S2700系列交换机，采用扁平化架构，利用QinQ技术实现二层隔离，有效避免了广播风暴等网络问题，实现用户流量到网关都由ME60统一管理。ME60可按每用户组播或者基于VLAN组播，考虑到未来网络应用不断丰富和无线校园网等应用可能导致的并发用户激增，容易出现峰值接入认证的情况，采用高性能的ME60-X8，而没有选用目前所用的ME60-X3，充分考虑性能的冗余，而且ME60-X8具备独立的路由处理引擎，相对于ME60-X3具备更加强大的路由处理能力。整个网络结构简单、清晰，高性能和高可靠并存，用户安全隔离，流量模型清晰可控，能够支持IPoE/PPPoE/PORTAL等多种认证接入方式，具备非常好的可扩展性，能够满足未来一个时期的业务增长需求。

这种网络构架，BRAS以下的所有设备都只能工作在二层，又给网络规划带来新挑战：随着IP网络向承载多业务方向发展，3G、NGN、IPTV等业务对于网络的可靠性、QoS要求越来越高。在三层网络中，可以通过路由快速收敛来保证，如可以通过OSPF、VRRP等协议，实现交换机和链路的冗余和故障的快速切换，提高核心网络的稳定和健壮，但不论是OSPF还是VRRP都是工作在三层的，在PPPoE组网模式下，传统技术不能满足快速收敛、链路切换的要求，当然也就无法通过这类协议来实现核心交换机的故障转移和链路切换。对于这一问题，如果核心交换机只有两台，可简单地使用S9312等核心交换设备支持的CSS集群技术，通过构建高性能交换机集群，使用跨框链路聚合提高链路利用率和网络可靠性。而像我校使用三台以上S9312交换机构件核心层的用户，可以采用智能以太环网解决方案，能够将三台以上的S9312等核心设备组建一个二层的以太环网，通过SEP为二层以太网络提供高可靠性和服务质量保证，可以防止环路上的广播风暴，链路故障时可以提供快速收敛，从而实现链路的快速切换。

经过近一年的运行实践表明：全网运行稳定，设备运行良好，用户体验改善，运维人员工作量减轻，故障处置简单、及时，全网改造达到了建设预期。监控表明：所有的楼宇汇聚交换机和接入交换机，CPU的负荷最高只达到了32%（正常情况下基本都稳定在20%以下，远优于改造前）；而核心交换机的CPU更是稳定在15%左右；负荷最大的BRAS设备的CPU最高也没有超过30%，所有设备运行稳定。