CDMA2000 1XEV－DO中R－P接口大流量数据负载均衡技术研究和实现＊

王立夫 明慧芳

（1.海军驻武汉地区通信军事代表室 武汉 430079）（2.中船重工集团公司第七二二研究所 武汉 430079）

1 引言

随着3G数据业务的不断深化和移动互联网数据通信的持续发展，带来流量的快速增长，业务类型越来越丰富，为移动网络运营商带来新的业务增长点和创收点，移动网络的骨干出口呈现高宽带和高流量化的发展趋势。随着宽带和流量的增大移动网络运营将面临网络负荷和网络设备数量不断增大，网络的质量和性能的稳定性难以保证，客户投诉攀升等问题。

通过获取网络接口控制信令和业务数据并快速在线关联分析可以全面有效地掌握网络运行状态、快速准确定位网络故障［1］、了解业务区域使用情况和用户使用喜好和习惯，为用户提供更可靠的网络和个性化的服务。移动网络数据的主要特征是数据流量大，会话关联性强，因此在大流量数据接入系统中负载均衡技术必须能够满足根据实际流量可扩展和保持会话关联的需求。

本文提出并验证了一种适用于中国电信的CDMA2000 1XEV－DO 网 络 R－P（PCF 和 PDSN之间的连接）接口大流量数据处理（10G～40G）的负载均衡方法。

2 CDMA2000 1XEV－DO中R－P接口数据特征

CDMA2000 1XEV－DO技术是目前已经商用的、成熟的第三代移动通信标准。CDMA2000 1X EV－DO网络与CDMA2000 1X网络的无线接入网部分在逻辑功能上相互独立，分组域核心网部分可以共用［10］，一般采用混合组网方式［11］，如图1所示。

图1 CDMA2000组网示意图

R－P（Radio Network to PDSN）接口是无线网络和核心网分组域的分界点［2］，它是无线网络提供分组数据服务的基础。R－P接口承载的交互信令和业务数据码流，可以反映网络原始流量特性。RP接口包括两个逻辑接口，A11接口和A10接口［4］。A11是用户的接入控制的信令接口，为用户的分组数据业务维护PCF到PDSN之间的信令连接［5］，用于传输会话、连接以及其他相关消息。A10接口是数据接口，承载用户的分组业务数据，用户的数据业务（如：视频、音乐、图像等）所需要的数据流都由A10连接承载。A10链路由A11信令完成建立、维持和释放［9］。在CDMA2000 1XEVDO中的数据业务都要经过A10／A11接口的协商，R－P接口是移动互联网用户数据业务通信必经的接口，同时R－P接口是开放接口，数据封装在PPP协议中，没有进行加密处理，不同厂家的设备都按照R－P接口规定设计就可以实现互联互通［6］。通过获取R－P接口数据可以掌握网络运行状态、定位网络故障、了解业务区域使用情况和用户使用喜好和习惯。

R－P接口中信令数据和业务数据之间存在紧密的关联关系，要实现快速R－P接口业务流程还原、业务故障还原和用户会话还原，要求大流量数据接入系统中的负载均衡技术能根据不同的关联关系，按照一定的均衡策略将大流量数据在使用多个采集板协调工作的同时，保证同一用户的数据在同一块处理设备上进行处理，不打乱用户会话过程。

随着移动数据业务的快速发展，R－P接口数据流量增长迅速，仅以中国电信一个中等规模的省会城市为例：目前的峰值流量已经超过15Gbps，并且以每月5%左右的趋势持续递增。大流量数据接入系统中的负载均衡技术必须具有硬件设备的可扩展性和均衡算法的可分层性，以适应实际网络发展。

3 常用负载均衡技术

常用的负载均衡方法都是将负载进行平衡，平均分摊到多个操作单元［3］上执行。如加权法、轮询法［7］就是以报文分组为颗粒度［8］，在需要恢复用户会话数据的应用场景中采用传统的负载均衡方法会使得具有相同属性的流量可能被分离，失去了会话关联性，导致有序数据处理乱序，数据分析存在较大的误差和难度，无法满足快速还原CDMA2000 1X EV－DO用户会话流程的需要。

目前通用的数据接入系统中的负载均衡方法是将接入的数据通过单块10G处理板将接入数据均衡地发送到多块协议解析板卡上，由多块协议解析版来承担整个数据接入带来的大负荷。但是，随着移动数据业务的快速发展，R－P接口数据流量增长迅速，受制于硬件性能，单块处理板入口峰值流量将远远超过10Gbps，单靠多块协议解析板来进行扁平化的负载均衡将导致相当一部分有效数据由于处理板不能及时处理被丢弃，这种方法不能适应大流量数据接入。

4 R－P接口大流量数据的负载均衡方案关键技术

针对CDMA2000 1XEV－DO实际网络中的R－P接口数据流量大且持续递增和数据间关联关系紧密等特点，硬件上采用多级设备级联的提升负载均衡的可扩展性，软件上采用基于会话关联的分层负载均衡算法，实现将R－P接口接入的大流量数据均衡的发送到多套处理板卡上进行处理，且保证每个用户的数据在同一套处理板卡上。

具体实现方案中主要包括以下两大技术：

1）硬件设备可扩展的级联结构部署方式

硬件设备可扩展的级联结构部署方式中采用商用成熟稳定的10G处理板和10G交换设备，根据网络中R－P接口的实际数据流量，按照每块处理板负荷流量在10G以内的原则，扩展处理板数量，多块处理板卡通过级联方式均衡数据，通过中心交换设备进行汇聚，适应入口数据流量增长。

2）基于会话关联的分层负载均衡算法

基于会话关联的分层负载均衡算法中首先通过接入数据所属的PCF（分组控制功能设备）的IP标识和处理板板号之间的对应关系将数据包发送到对应的处理板，进行第一层数据负载均衡；紧接着按照用户IMSI（国际移动用户标识码）和会话Key关联信令和业务数据还原会话流程，以用户IMSI为索引查找对应协议解析板的MAC地址，将对应用户的数据发送到获取到MAC地址的协议解析板上进行协议处理，完成第二层数据负载均衡。

5 R－P接口大流量数据的负载均衡方案实施

5.1 硬件设备可扩展的级联结构部署方法

本文针对R－P接口峰值流量为20Gbps和40Gbps的场景分别描述硬件设备可扩展的级联结构的具体实施部署方式。

1）R－P接口数据峰值流量为20Gbps时硬件设备级联部署

R－P接口20G的峰值流量数据通过10对千兆口发送到10G交换设备A中，交换设备A按照预先配置的原则（地市、区域等）将数据分为两部分，并从交换设备万兆口发出。数据从两块10G处理板的后IO板中的万兆口进入，处理板关联分组报文协议上下文，并按IMSI关联关系查找目的协议解析板卡MAC地址，数据从两块处理板的后IO千兆口发出进入10G交换设备B，并经其汇聚按目的MAC地址发往对应的协议解析板卡，从而保证数据均衡并且属于同一用户的数据包发往一个协议解析板卡，硬件部署如图2所示。

图2 20G流量时硬件设备级联部署图

2）R－P接口数据峰值流量为40Gbps时硬件设备级联部署

图3 40G流量可扩展的设备级联结构部署图

40G的R－P接口数据通过10对千兆口发送到10G交换设备A中，交换设备A按照预先配置的原则（地市、区域等）将数据分成四部分，并从交换设备的万兆口发出。数据从四块10G处理板的后IO板中的万兆口进入，处理板关联分组报文协议上下文，并按IMSI关联关系查找协议解析办卡MAC地址，数据从四块处理板的后IO千兆口发出进入10G交换设备B，并经其汇聚进入10G交换设备C，10G交换设备C按目的MAC地址发往对应的协议解析板卡，从而保证数据均衡的同时属于同一用户的数据包发往同一个协议解析板卡，硬件部署如图3所示。从20G流量数据和40G流量数据中的设备部署来看通过增加处理设备和交换设备的级联数量可以实现更大流量数据的负载均衡，该方法具有可扩展性。

5.2 负载均衡软件实施流程

负载均衡算法软件实施过程如图4所示，包括如下过程：

1）解析数据包所属PCF的IP地址，查找与该IP对应的预先配置好的处理设备板卡号，将数据包发送到对应的处理板上，完成第一层数据负载均衡；

2）处理设备板对R－P接口数据包进行解析，在A11信令消息中解析Message Type字段，在Message Type等于Request的消息中，进一步解析数据的IMSI、GRE key［5］值；

3）根据解析得到的IMSI、GRE key值确定一个用户的一个会话，在A11和A10数据中对信令数据和业务数据进行上下文关联还原会话数据；

4）将IMSI作为索引，查找IMSI对应用户协议处理的协议解析板卡号，获取该协议解析板卡的MAC地址；

5）将获取到的MAC地址值改写为数据包的目的MAC地址，把数据发送到对应的协议处理板卡上，完成大数据入口的负载均衡工作。

图4 负载均衡软件实现流程图

6 实验结果分析

实验中选用上海恒为科技的两台SF2300交换板作为负载均衡系统的10G交换设备，选用两块AC2620系列（或者更高端）网络处理器的板卡作为系统10G处理设备，部署25块协议解析板。SF2300和AC2620都是基于ATCA架构，SF2300背板符合标准PICMG3.1规范，前面板提供11个万兆以太网接口；AC2620采用多路Cavium公司芯片，集成了多核处理器，配备高性能网络I／O。

该策略充分利用硬件设备和软件算法的性能和优势，可以处理10G以上的网络数据流量，在多省份的CDMA2000 1XEV－DO网络中得到了应用，运营情况良好。表1和表2是实际流量为20G的某省商用点负载均衡系统的统计数据。

表1 系统运行简协议解析板流量瞬时表

表2 系统负载均衡流量统计表

实验数据为系统运行74天6小时43分钟的数据，实验获得数据的负载均衡系统的实时峰值流量约为14Gbps，最大峰值流量为15Gbps。负载均衡系统累计接收到5153817482340个数据包，发送5131656067165个数据包，瞬时丢包率为0.43%，在系统设计指标（5%）以内，系统在峰值为15Gbps的网络中运行正常符合设计要求。

7 结语

本文通过分析CDMA2000 1XEV－DO中R－P接口数据压力和数据特征，提出了一种基于硬件设备的可扩展性和保持会话的分层负载均衡方法，文章从硬件部署和软件实施两个方面对提出的负载均衡方法进行了阐述。该方法能够在保证一个用户的所有会话从建立到拆除的整个过程数据集中在一个协议解析板中进行处理的基础上实现对峰值流量大于10Gbps小于40Gbps的数据进行流量均衡。该方法可广泛应用于大流量强会话关联数据的接入系统，具有较强的可扩展性和易用性。

［1］李玉华，明慧芳，黄涛.TD－SCDMA中Gn接口数据均衡方案的研究与实现［J］.移动通信研究，2012（6）：65－68.

［2］3GPP2A.S0017－D 2009.Interoperability Specification（IOS）for cdma2000Access Network Interfaces－Part2 Transport［S］.

［3］罗拥军，李晓乐，孙如祥.负载均衡算法综述［J］.科技情报开发与经济，2008，23：134－135.

［4］3GPP2A.S0017－D 2011，Interoperability Specification（IOS）for cdma2000Access Network Interfaces－Part7（A10and A11Interfaces）［S］.

［5］刘旸.CDMA2000系统下无线接入网与核心网分组域协议的设计与实现［D］.南京：南京航空航天大学，2010.

［6］李玉华.基于Hadoop的CDMA分组域海量数据处理模型的研究［D］.武汉：武汉邮电科学研究院，2012.

［7］王彬.无线局域网中的负载均衡技术［J］.中兴通讯技术，2006（3）：46－50.

［8］陈伟，蒋铃鸽，何晨.一种基于负载均衡的WCDMA基站站址选择算法［J］.上海交通大学学报，2007（5）.

［9］张强.CDMA2000 1xEV－DO网络监测技术研究与应用［D］.重庆：重庆邮电大学，2010.

［10］刘申建.联通CDMA网络演进相关问题研究［D］.南京：南京航空航天大学，2010.

［11］张寅申.CDMA2000系统互操作规范R－P接口协议的研究与设计［D］.北京：北京邮电大学，2007.