省内IDC接入CMNet网络优化探讨

张皆悦 唐利莉

【摘要】    由于家庭宽带用户发展迅猛，同时随着用户上网行为改变及内容源的丰富导致近几年网络流量年增速保持在100%以上，传统IDC作为内容源的重要组成部分，对于保障网络质量、用户的发展及业务收入的增长发挥着无法替代的作用。本文分析了目前省内IDC的组网及相关问题，并根据省网、城域网及IDC的不同部署情况给出相关的组网优化建议，提升网络性能。

【关键词】    IDC    省网    城域网    接入优化

一、CMNet网络结构

中国移动省内CMNet网络共分为CMNet省网和城域网。CMNet城域网是城域范围内互联网的接入，目前包括互联网接入类、虚拟专线/专网、语音和多媒体类三大类业务的接入;省网位于骨干网和城域网之间，由于城域网、IDC双跨骨干网改造的持续推进，省网目前主要负责省内各城域网之间流量转发以及省集中设置业务的接入功能。

城域网分为城域网核心层、城域网业务控制层、城域网汇聚层。核心层用于汇聚出入城域网的流量，并转发城域网内的流量;业务控制层用于完成对用户业务的接入认证控制、QoS（Quality of Service）策略控制和计费统计等功能;汇聚层主要用于汇聚OLT（Optical Line Terminal）、接入交换机等各类接入设备至BRAS（Broadband Remote Access Server）/SR（Service Router）设备的流量。目前由于网络扁平化改造，城域汇聚层在部分省份已经取消，接入层设备直连城域网业务控制层设备。

二、城域网内流量分类及占比

2.1用户流量分类及占比

目前CMNet城域网内主要用户为互联网接入类用户，包含集团客户互联网专线业务、家庭宽带/小微宽带业务、WLAN（Wireless Local Area Network）接入业务、移动互联网接入业务等，目前家庭宽带/小微宽带业务用户流量占比为83%。

目前新增用户增长速率逐渐减缓，但随着用户上网习惯的变化、内容源的丰富、片源清晰度的提升，网络中用户总流量年增长率预计仍将维持60%以上的增幅，对网络的冲击不可小觑。

2.2内容源流量分类及占比

目前全网的内容源提供主要有CDN（Content Delivery Network）、IDC、国内互联互通流量和国际出口流量，其中全网IDC提供流量目前占比为47%。

近年来，随着CDN系统内容的不断丰富，以及OTT（Over The Top）、IPTV（Internet Protocol television）业务被广大用户所接受，CDN系统未来的流量提供占比将逐年提高。但是CDN为自建系统，并且可随着流量需求的增加逐步下沉CDN边缘节点与BRAS互联，因此对整体网络的影响可以弱化。

而IDC的流量则主要由省级IDC提供，且在未来几年中流量仍将以每年35%以上的增长率增加，其部署的地理位置及链路局向的开设原则对省内网络影响巨大。

三、IDC及配套安全系统介绍

3.1 IDC定义

IDC（Internet Data Center）即互联网数据中心，通过与互联网的高速连接，向服务提供商、内容提供商、各类集团客户等提供大规模、高质量、安全可靠的主机托管、主机租赁、网络带宽租用、内容分发等基础服务和企业邮箱、企业建站等增值服务[1]。从IDC采用的技术类型来划分，可以分为IDC传统业务节点和IDC云计算业务节点，其中传统IDC根据面向用户的不同，又分为一类IDC节点和二类IDC节点。

（1）一类IDC节点

重点引入全国性网站、全网性服务提供商/内容提供商、跨省/跨市的重要集团客户等内容源，同时可兼作省内的二类IDC节点[1]。

（2）二类IDC节点

重点引入省内服务提供商、政企门户网站、集团客户等内容源，可按照省内总体部署兼作全网一类IDC的内容分发节点[1]。

3.2 IDC配套安全系统

目前IDC配套安全系统主要包括统一DPI（Deep Packet Inspection）、防火墙、抗DDoS（Distributed Denial of Service）系统及入侵防御系统，用来统计分析及保障IDC内部系统及用户数据安全。

四、IDC部署、链路开设现状及分析

4.1 省内IDC部署现状

目前绝大部分省均部署有一个或多个一类IDC，即省级IDC，主要为省内家宽用户、移动用户及外省客户提供内容源或主机托管服务等服务，直连省网汇接路由器PB;部分地市部署有二类IDC，即地市级IDC，主要提供所属地市的政企客户主机托管等服务，直连地市核心路由器MB（Metropolis Backbone）。但个别省份市场策略有所不同，地市级IDC也为家宽用户、移动用户及外省客户提供内容源。

4.2 省内IDC组网情况

4.2.1 多个省级IDC局址通用组网模式（模式一）

存在多个省级IDC时，每个IDC均通过独立的出口路由器分别接入省网汇接路由器PB（Province Backbone）疏导流量。

4.2.2 省網汇接路由器兼做IDC出口组网模式（模式二）

多个省级IDC局址分别通过各自数据中心交换机接入省网汇接路由器PB，将省网汇接路由器兼做IDC出口路由器疏导流量。

4.2.3 多IDC局址统一出口组网模式（模式三）

多个省级IDC局址分别通过各自数据中心交换机接入统一IDC汇聚路由器后接入省网汇接路由器PB疏导流量。

4.2.4 各组网模式优缺点对比

各种组网模式优缺点对比如表1：

五、省网部署对IDC的流量疏导影响及分析

5.1 省网单地市部署时省内IDC组网

通常采用星型组网结构，省级IDC及部分流量较大的地市级IDC以全互联方式（V字型）连接至省汇接路由器，如省级IDC流量较小，带宽需求小于200G时，可采用口字型上联，避免链路利用率过低导致资源浪费。

5.2 省网异地市部署时省内IDC组网现状

部分省份由于地理位置、经济发展、机房条件等原因，目前省网汇接路由器部署在不同地市，省网对于地市城域网流量存在分片区汇聚和不分片区汇聚情况，因此IDC的接入及流量疏导的情况也会相对复杂，由于传输保护长短路由因素、地理位置因素等原因，导致产生网络时延，一定程度上降低了网络的性能，影响部分用户感知。

5.2.1 省网分片区汇聚城域网情况

以L省为例，省网在地市A和地市B均部署有一对汇接路由器，地市A位于全省的中心区域，地市B位于省内最南端，全省城域网分南、北区域分别通过地市A或地市B的一对省网汇接路由器进行接入，同时地市A、地市B均部署有省级IDC机房通过本市的省网就近接入疏导流量。

以该省省会城市A为基准，拨测全省城域网访问省会城市A的省级IDC资源时视频吞吐、游戏时延、网页打开总时长三个指标参数，挂接在省网B域的地市J、K、L、M、N中视频吞吐速率为基准的48%以下，游戏时延增加121%以上，网页打开总时长增加110%以上，对比省网A域下挂地市城域网相关指标拨测结果有明显劣化。主要原因为IDC流量经省网A节点至省网B节点后再疏导至省网B域的各城域网用户，由于市场策略，A、B地市IDC资源为互补部署，因此部分城域网跨域访问IDC资源时，增加了流量疏导路径及距离，产生了时延，对于实时交互性游戏体验较差，降低了视频吞吐量。

5.2.2 省网不分片区汇聚城域网情况

以F省为例，省网在省会A和地市B各部署1台汇接路由器，A、B地市位于省内中心偏南、偏北，省内每个城域网均口字型上联至两台省网汇接路由器，IDC采用V字型上联至两台省网汇接路由器。

以地市C用户访问地市B省级IDC为例，根据传输距离，最优路径平均时延为3ms，次优路径平均时延为14ms，时延相差4.7倍，因时延对大包下载速率影响较大，最优路径与次优路径大包下载速率分别为16.8Mbps和12.5Mbps。并且由于A、B地市仅部署1台PB设备，因此全省绝大部分地市城域网一对MB上联均存在长短路径问题，对现有路由及流量优化难度较大。

5.3 省内IDC组网建议

5.3.1 省网单地市部署时省内IDC组网建议

各IDC局址采用数据中心交换机或路由器作为出口设备，设置统一的IDC汇聚路由器，统一部署IDC配套安全系统，对省级IDC和地市IDC进行汇聚后再接至省网汇接节点PB，地市IDC同时接入本地城域核心MB;同时IDC汇聚路由器同时疏导省内DCI（Data Center Inter-connect）流量，提供云间互联通道。

当IDC对某城域网流量较大时（带宽需求大于400G），建议以V字型增开高速直达链路，如图4中地市A城域网至省级IDC直达链路，减少网络扁平化，节省省网汇接设备背靠背建设投资。如果维护界面允许，在风险可控的情况下，省网汇接路由器可兼做IDC汇聚路由器。

5.3.2 省网异地市部署时省内IDC组网建议

当省网部署在异地市且省级IDC也部署在省网设备所在地市时，建议地市A、地市B各部署一对省网汇接路由器PB，各地市城域网核心MB采用口字型分别上联两个地市的一对PB设备进行组网，省级IDC采用V字型分片就近上联一对PB设备进行组网;地市级IDC同时接入本地城域核心MB，省网汇接路由器PB可兼做IDC汇聚路由器以疏导省内DCI流量，提供云间互联通道。流量疏导原则仍按照图4所示。

当省级IDC部署在3个及以上地市时，省网设备所在地市IDC组网如图5所示，其他地市省级IDC采用双V字型与4台省网汇接路由器PB全互联。当省级IDC至某地市流量达到一定阈值时（带宽需求大于400G），允许IDC与地市核心MB之间开设直达链路，优化网络结构。流量疏导原则仍按照图4所示。

单一地市至不同IDC的流量通过BGP路由进行优化选择，实现最优路径和负载均衡，避免绕行增加访问时延，增强用户体验。

当省级IDC分布地市数量较多时，可新建统一的IDC汇聚路由器构建全省的DCI互联平面，省级IDC和地市IDC按合理区域分片区进行汇聚后再上联省网汇接路由器，地市IDC同时接入本地城域核心。

目前CMNet城域网大量直连骨干网，省网业务逐步轻载趋势的前提下，建议优先通过省网汇接路由器兼做IDC汇聚路由器以承载DCI流量。

六、总结

近年来，由于网络的快速发展，应用内容的日益丰富，人们对互联网的需求也越来高。作为部署全国性网站、全网性服务提供商/内容提供商的基础应用设施，传统IDC发挥着自建CDN系统无法取代的作用，仍将为互联网内容源的主要部分为互联网用户提供服务，因此IDC的部署选址、组网方式和链路的开设原则对于网络指标的优劣至关重要。建议省内根据自身地域特点、传输条件以及省级/地市级IDC的定位，做好长远规划，合理引入资源，避免盲目发展，导致后期网络优化难度增加。同时，随着承载网中SDN（Software Defined Network）的部署，网络智能化逐步提升，省内网络可在一定程度上优化用户流量路径，为用户提供更优质的业务体验。

参  考  文  獻

[1] IDC总体技术要求（传统业务）（V1.1.0）： QC-D-008-2014[S]. 2011.

General Technical Specification for Internet Data Center （for Tranditional Service） （V1.1.0）： QC-D-008-2014[S]. 2011.