从网络的规划建设和运维管理论网络架构

袁海涛 中国电信集团公司网络发展部高级工程师

从网络的规划建设和运维管理论网络架构

袁海涛 中国电信集团公司网络发展部高级工程师

从业务及技术出发分析总结了电信运营商网络的架构及其演进历程。业务主体由话音向数据的变化导致电信网的主体架构也由电路交换网向分组交换网演进，IP网正在逐渐成为所有业务的统一承载网络。互联网本质是“扁平”的，但为克服互联网流量的不确定性以及技术架构的缺陷，IP网在实际建设中采用了一定的分层结构，IP网的分层结构同时也决定了波分网络的分层结构。通过网管系统的集中以及管理架构的简化，实现“一二干融合”，是国内电信运营商集约化运营的切入点。

网络架构 演进 互联网

1 引言

电信运营商是通过运营网络提供信息通信服务获取利润的企业，网络是运营商的根本，网络的运营主要包括两大内容：一是网络的规划建设，二是网络的运维（运行及维护）管理。网络运营的核心目标有两点：一是效益，二是效率。效益及效率将贯穿网络规划建设和运行维护的各个环节。在网络规划建设阶段，效益指如何用最少的投资满足业务的需要，这其中涉及网络的技术选择、技术演进的路线及时机、网络建设方案、设备选型及采购策略等，效率主要指如何根据市场及业务发展的需要快速建网，此效率一定程度上也影响着效益；在网络运行维护阶段，效益是指如何用最少的成本维持网络正常运转以及网络故障时如何尽可能减少损失，效率是指如何快速地为用户提供业务以及网络故障时如何快速修复故障恢复业务，此效率在相当程度上影响着效益。

2 网络架构

中国电信网络的覆盖范围、承载用户数、网络设备数量及规模容量巨大，所需的建设及运维人员数量众多，网络运营的复杂性远非一个局域网或本地网可比，需要一定的体系架构来支撑网络的运营，称之为网络架构。从支撑整体网络运营（即涵盖网络规划建设和运维管理所有环节）的角度讲，网络架构可以分为技术架构、组网架构和管理架构。

技术架构是指网络技术方案的选择，包含技术演进的路线和时机。总的来讲，承载不同类型业务的网络其技术架构相对独立，但在由于技术发展带来不同专业之间设备或网络融合的情况下，在已开始融合但尚未完全融合的阶段不同网络的技术架构选择可能会相互影响。技术架构取决于技术的发展以及业务的特性，比如数据业务流量的突发性最终决定了互联网在20世纪70年代初期采用了以分组交换为核心的技术架构（分组交换技术在20世纪60年代初实现了理论突破）。同时，技术架构并不是一成不变的，技术的革新往往会带来技术架构的改变，比如随着各种Voiceover IP技术的发展，承载话音业务网络的技术架构从最初的以电路交换为基础的电话交换架构演进到以分组交换为基础的软交换/IMS架构，同时从与IP网相互独立的一张网络演进成以IP网做为基础承载的依托IP网的一张网络。

组网架构指的是网络的结构设计及技术方案，主要包含网络的拓扑结构以及每个网络节点具体的技术手段选择（即采用什么样的设备）。组网架构主要取决于（按通常情况下影响程度的大小排序）：业务的流量流向（或用户）分布、业务的需求（如保护需求）、技术架构中各种技术的实际应用能力、设备能力等，管理结构对组网架构的选择有一定的约束。组网架构中的网络拓扑主要由业务的流量流向（或用户）分布决定，而业务的流量流向往往取决于业务的特性。

由于技术之间的相关性或者存在一定的受限因素，不同专业网络的组网架构在某些方面有一定的相关性。比如，软交换网络虽为一级结构，但节点的设置位置主要需参照IP网的拓扑结构而定；IP网的拓扑结构由于数据业务的突发性特性必然需要汇聚节点进行流量的汇聚，汇聚节点的选择实际上与具体的流量流向关系不是很大，更多地是取决于或者受限于底层的传输网结构，尤其是光缆网的结构（光缆网的结构由于限制于地理及道路环境，其拓扑结构不是可以随意规划的），只有依据传输网的拓扑结构来设计IP网的拓扑结构，才能找到最优的网络结构，保证整个网络的建设成本最优，实现效益目标。从上述意义讲，统筹规划不同专业网的组网架构是必需的。需强调的是，统筹规划不同专业组网架构，其目的是在约束因素（技术相关性或其他受限因素）存在的情况下，综合考虑业务流量流向及所有相关设备成本等，实现不同专业网络组网架构的协同，使得网络整体建设成本最低，其结果并不一定是不同专业网络组网架构的类同。

管理架构是指网络建设及运维管理的权限划分，其从很大程度上决定了网管的结构。技术架构、组网架构一定程度上影响管理架构，但不是决定因素，管理架构主要取决于组织架构及运营维护的模式及权限划分。

重新回到原先提到的网络运营的核心目标：效益和效率。评估网络技术架构、组网架构及管理架构选择合理性的唯一标准也是效益和效率。其中，效益更多程度上取决于正确合理的技术架构及组网架构的选择，效率更多程度上取决于管理架构。

3 话音网及互联网的组网架构分析

纵观电信网络发展的百年历程，电信网络承载的业务就是话音、数据和图像，如将图像也归入数据（实际上业务在网络中的传送交换是无法区分出数据和图像的），那就是两类业务：话音和数据。20世纪电信网络承载的主要业务是话音，电信网的主体架构是当时话音网所采用的电路交换网；21世纪电信网络承载的主要业务是数据，电信网的主体架构正在由电路交换网向数据网所采用的分组交换网演进，即IP网正在逐渐成为所有业务的统一承载网络。因此，深入分析话音网和IP网的组网架构特点及其演进历程，将有助于从更高更宽广的视野去研究电信网络架构的变化。

3.1 话音网络的组网架构

上文已经提到，承载话音业务网络的技术架构正在从以电路交换为基础的电话交换架构向以分组交换为基础的软交换/IMS架构演进，技术架构的变革也同时带来其组网架构的变化，下面将分别总结话音网两个阶段的组网架构。

3.1.1 电话交换网时期的组网架构

传统的电信交换网的组网架构总的来讲分为本地网、省内长途网和省际长途网3个层面，其中本地网内又分为模块局、端局、汇接局3级，省际长途网也分为两级（建设了8大区的汇接层），因此电话交换网为3个层面6级结构，拓扑结构总体为星型结构，两个汇接层（本地汇接局间、省际汇接局间）为网状网结构，相邻级的节点之间开有基干电路，业务量大的节点之间开有高效直达电路，技术手段为根据不同层级节点的功能需求选择不同类型的交换机。

当时选择此组网架构主要是综合考虑业务的流量流向（或用户分布）、相关设备的能力和成本，该结构经济合理。具体分析如下：

（1）业务的流量流向：业务的流量流向取决于业务特性，话音业务的特点是关系密切的人之间通话较多，且大多数关系密切的人居住地相距较近，因此端局内的通话量要大于端局间的通话量、本地网内的话务量要远大于出本地网的话务量、省内的话务量要远大于出省的话务量。网络结构按照话务量的分布来分层级，实现了就近交换，降低了传输成本。

（2）相关设备能力和成本：用户接入采用铜线，铜线传输距离的受限决定了必须要模块局这一层级；交换机的容量有限，分层结构可以减少每个节点的容量；当时的传输成本比较高，就近交换能降低传输成本。

另外，原先话音业务分为区间电话费、本地电话费、长途电话费等多级的资费结构（传输成本因素决定）也需要网络分为相应的层级实现相应的计费功能。

3.1.2 软交换/IMS阶段的组网架构

软交换阶段话音网的组网架构从5级变化为1级，即所有的软交换设备都可以直接交换数据，原先模块局实现的业务接入网络功能（话音到数字信号的转换）被移到了用户端设备实现。

软交换阶段话音网络的组网架构之所以可以大大简化，是因为技术的进步及成本的下降，主要有：

●单个话音传输的成本已经降至可以忽略不计的地步，不再需要就近交换。

●IT技术的发展使得单台软交换设备的处理能力非常大。

●基于IP网络承载的技术架构可充分利用IP网自动选路的机制，节点间不需要物理连接，实际上是将选路交换的功能转移至IP网实现。

●PON接入技术的应用大大延伸了用户的接入距离。

软交换阶段由于传输成本极大降低（可以忽略不计）、设备处理能力极大提升，以及选路交换功能转移至IP网实现，业务的流量流向对网络结构的影响不再重要。

3.2 互联网的组网架构

上文已经提到，组网架构取决于技术架构以及业务的流量流向（由业务特性决定），因此在分析互联网的组网架构之前，有必要先简要总结一下互联网技术架构和业务的特性。

3.2.1 互联网技术架构的特性

互联网的核心理念是“自由、开放、平等”，这一理念最为重要的体现是去中心化、去权威化，也就是现在经常提到的“扁平化”。互联网的核心理念引领了互联网的技术架构选择以及网络的整个发展进程，是互联网能够得以迅猛发展的根源。在上述理念的指引下，互联网的技术架构最终采用了主要包括TCP/IP协议（面向端到端的连接、面向无连接的数据报网络层）、分组交换以及分布式路由等技术的架构，此技术架构决定了一个网络内的所有路由器设备地位都是平等的，即网络不分层级，通过路由协议实现动态的路由选择。为保证网络的扩展性，互联网提出AS域的概念，每个AS域相当于一个子网，AS域的划分更多取决于管理架构，不同AS域的子网从技术层面讲其地位是一样的，即通过BGP协议实现动态路由选择，因此互联网的技术架构决定了互联网的结构是扁平的，即网络可以不分层，网络中的所有设备地位平等（没有汇接隶属关系），仅通过路由协议实现动态的路由选择。由于在网络的发展过程中任何人和组织都可以将自己的网络随意接入到互联网中（只要其申请到IP地址和AS域号），所以全球互联网的整体拓扑结构实际是无序的。

总之，互联网的技术架构决定了互联网的结构是“扁平化”的，其拓扑结构是无序的，这一技术存在最大的缺陷是拓扑结构的无序会带来路由的不确定性，由此会导致两大后果：一是业务的服务质量难以保证；二是网络的流量难以管控，网络利用率严重不均衡。

3.2.2 互联网业务的特性

IP网是面向无连接的分组交换网络的，但IP网之上承载的互联网业务（应用）则是存在端到端连接的（绝大多是TCP连接），这种TCP连接实际上是研究互联网组网架构所要考虑的业务流，在总结互联网业务特性时笔者仅限于讨论这一业务流的特性。

互联网业务从流向角度可以分为3类，即客户端到服务器的流量、客户端到客户端的流量、服务器到服务器的流量。互联网业务起源与人机之间的通信（人类通过互联网获取信息），采用的是客户端/服务器的模式，目前互联网中的流量绝大部分仍是客户端到服务器之间的流量。客户端到客户端之间的流量主要包括两类业务：一是人们之间相互通话及发送信息，二是未来物联网带来的流量。第一类业务受限于人的感官能力以及实际需求，流量的总量有限，仅占很小比例；第二类业务正在发展的初期，目前感觉未来流量的总量也不会很大（因为物联网流量中很大比例也会是客户端到服务器的流量），总之客户端到客户端的流量占总的流量比例非常小。当前，由于云计算技术的引入，服务器和服务器之间的流量在快速增长。

服务器是储存用户所需信息或者为用户提供计算能力的机器，通常位于IDC机房，客户端到服务器的流量实际上是用户到IDC的流量，目前互联网中绝大多数的流量流向分布是用户到IDC的流量，这完全不同于话音网（话音网的流量流向分布是用户到用户的流量），用户一般有固定的物理地点，而IDC却是可以随意设置的，即理论上可以设置在任何物理地点。

基于下面因素，用户到IDC的流量流向分布是完全不确定的：

●互联网成为商用网络后，IDC服务成为除互联网接入服务之外的互联网主要服务类型，市场竞争异常激烈，IDC服务竞争的商业环境决定了用户到IDC的流量流向是完全不确定的。

●互联网业务的不断创新也会带来流量特性的变化，不仅仅是流量流向，还可能是流量的特性。比如，视频业务相比原先的数据业务，在所需的带宽及连接的时长方面差异很大。

●ISP及ICP为提高服务质量，引入CDN等技术，也会在很大程度上改变互联网流量流向分布。

综上所述，互联网业务的特性是流量流向分布的不确定性，这种不确定性体现在两个方面：一是不可预测性，二是时刻在动态变化。这种不确定性也会导致互联网拓扑结构的无序性，最终带来路由的不确定性。

3.2.3 互联网的组网架构分析

总结以上互联网技术架构业务的特性，主要有两点：一是互联网中业务流量流向的分布是完全不确定的，由于流量的不确定性，导致其网络结构是无序的；二是从技术角度讲，无论是整个互联网还是一个AS子网，其网络结构都是完全扁平化的，即各节点设备地位平等，不存在谁归属谁、谁汇接谁的关系，节点间流量的路由选择是靠统一的路由协议来决定的。

聚焦到一个运营商的网络，上述结论会有一定的改变。从网络流量流向分布讲，由于运营商可以自己规划网内IDC的地址位置、预先商定与其他AS网络的互联点及BGP策略，网内流量流向分布的不确定性可适当降低，但仍有相当大的不确定性。

对于运营商内部互联网的组网架构，基于以下原因及目的，其网络结构在具体实施中不完全是扁平的，通常会分层或分级：

●对于大的运营商，由于组织架构的分级，以及其网络承载的业务量非常大、网络设备众多、配置工作量庞杂，通常根据管理权限分级进行网络的规划建设管理或者运行维护（在中国一般情况下分为本地、省和总部3级），因此互联网一般分别多个层面，不同层面分属不同的AS域。每一层网络与上级网络互连时，由于不会出现每台设备都与上层网络互联，通常只通过有限的几台设备上连，来完成流量的汇聚。

●由于数据业务的突发性，网络中必须进行业务的汇聚才能充分发挥分组交换的优势并降低网络建设成本，一些网络中会设置汇聚节点，通过物理拓扑结构以及Metrics值的配置实现流量的汇聚，在这种情况下网络会出现分层，如分为核心层、汇聚层和接入层。

●互联网技术架构的缺陷会带来路由不确定性的问题，路由的不确定性对业务的QoS保证以及网络流量的管理会带来巨大的挑战，这是运营上必须面对且解决的问题。由于这一问题的根源在于互联网技术架构的缺陷，因此从技术层面是无法解决的，目前国内大多数运营商是通过将网络进行分层，再通过规划与分层相呼应的网络拓扑结构以及Metrics值设置来实现对网络流量的路由进行一定程度的管控。从这一角度讲，对于大的网络，分层是必需的。

综上所述，互联网技术架构决定了互联网本身的网络结构是扁平化的，但对于大型运营商的网络来讲，数据业务的特性及为克服互联网技术架构中的缺陷，其内部的互联网络通常是分层的。

3.2.4 中国电信CHINANET网的组网架构及其演进

CHINANET网络的组网架构历经了2个阶段的演进，其缘由有历史、业务量发展、技术进步等。

（1）早期的组网架构

CHINANET网早期的组网架构分为骨干网和省网两个层面。骨干网（即省际网）为一个独立的AS域，疏通跨省之间的流量，骨干网又分为两级结构，其中8大区组成了核心汇接层，8个大区之下采用分区汇接的方式，节点设备分为核心路由器和汇聚路由器两类。每个省网均为一个独立的AS域，疏通省内流量，各省网类似传统的大本地网概念，省网内设备主要有省网出口路由器、城域网出口路由器等。

CHINANET网早期采用上述组网架构的原因有：

●管理架构的影响：网络的规划建设和运行维护至少需分为集团和省两级，按骨干和省两个层面建设，与当时的传输网结构相吻合。

●网上的流量相对不大，因此每个省可以组建一个网络承载所有省内流量。

●由于业务量不大，所以在骨干层面仍需进行汇聚。

（2）当前的组网架构

CHINANET网早期组网架构中存在的问题是骨干网的汇聚路由器与省网的出口路由器一般在一个机房，且背对背互连，流量仅是穿通两台路由器，无谓地增加了网络的跳数、网络投资，其原因可能是由于受限于当时的设备能力。

当前，CHINANET网的组网架构仍分为两个层面，但调整为骨干网和城域网两个层面，取消了省网出口路由器，骨干网汇聚路由器直接与城域网出口路由器互连。当前架构与早期架构中的骨干网覆盖范围完全一样，即每个省覆盖1～2个节点，主要疏通省际流量。两个架构最大的变化是当前架构将早期架构中的省网调整为多个城域网（大多为本地网范围），城域网与骨干网通过长途电路互连，可以理解为将传统意义的省内长途流量（本地网出口到省网出口）由IP网承载转变为由传输网直接承载。

当前，CHINANET网组网架构的第二个变化是在骨干网层面增加了类核心节点，类核心节点可以和所有的核心节点互连，网络结构更为扁平，类似于传统电话网中打破分区汇接结构，分属于不同级别节点之间增开高效直达电路。

通过上述对话音网络和互联网组网架构的分析，可以看出电信网络的网络结构变得更为简单，分层更少，网络更加扁平。这一变化的首要原因是由于互联网业务与话音业务的业务特性不同带来网络流量流向分布不同而决定的；其次是因为相应技术架构的变化以及设备能力的发展，互联网技术架构中的分布式路由技术为网络的扁平化提供了技术支撑，但同时，为克服互联网技术架构中的缺陷，又必须对网络进行人为的分层，这对扁平化会又带来了一定的反向作用。

4 中国电信传输网网络架构研究

4.1 传输网的技术架构

传输网技术可分为物理光纤及传输设备两个层面。物理光纤层面当前主要关注的是低损耗光纤技术；传输设备层面又可分为链路传输技术及交换技术（分别对应网络拓扑中的链路和节点），当前的链路传输技术主要分为SDH技术和波分复用技术，交换技术主要分为SDH范畴的VC交叉技术、OTN交叉技术、光交叉技术（以ROADM为代表），实际中的设备可以是上述各种技术的组合。

4.2 传输网的组网架构研究

上文已经提到组网架构主要取决于（按通常情况下影响程度的大小排序）业务的流量流向（或用户）分布、业务的需求（如保护需求、快速调度等）、技术架构中各种技术的实际应用能力、设备能力等，因此研究传输网的组网架构，应首先从研究业务的流量流向分布和业务的需求特性着手。

传输网承载的业务分为两类：一类是出租专线类业务；一类是为其他业务网络提供的服务，即业务网节点间的互连电路，当前主要是为互联网提供互连电路。由于业务的特性及需求不同，承载不同类型的业务可能需要采用不同的技术手段，建设不同类型的网络。

出租专线类业务业界已达成共识的是：小颗粒专线业务（GE以下）适合在SDH网中承载，大颗粒业务（GE以上）适合在OTN网络中承载。目前，互联网路由器之间互连的电路大多使用波分系统的波道。总的来讲，传输网可以分为SDH网、OTN网和波分网，分别主要承载小颗粒专线业务、大颗粒业务和互联网电路（绝大多数为CHINANET网所需电路）。

下面分别研究SDH网和波分网络的组网架构，OTN网络的组网架构可参考SDH网络。

4.2.1 SDH网的组网架构

SDH网络主要承载客户小颗粒的专线业务，业务的特性（业务需求）主要有：

●业务流量流向分布的需求：客户租用专线是为自组网需要，其流量分布与客户的分布、客户内部分支机构的分布及隶属关系密切相关，一般来讲客户内同级分支机构之间以及上下级分支机构之间的电路需求数要大于跨级之间的电路需求，因此客户专线业务流量流向分布的特点类同电话网，即本地网内的电路总数要远大于省内长途的量，省内长途的量要大于省际长途的量。

●电路可靠性的需求：客户的租用专线业务都要求比较高的服务质量，即要求电路中断的概率要低、电路中断时需快速恢复。

●电路快速调度的需求：客户一般都要求签订合同后尽快交付电路。

●端到端管理的需求：大多数客户希望提供实时的端到端性能监测。

●一点服务的需求：大多数客户希望运营商提供一点受理，不希望和运营商内部各级机构分别去打交道。

拓扑结构：由于出租专线业务流量流向分布的特点，SDH网络拓扑结构按照传统的本地网、省内长途网、省际长途网3个层面组网是合理的，每个层面根据实际情况可以采用格型网或环型网的组网方式。

保护手段：SDH网提供MSP（1+1）保护、MSP环保护、SNCP保护等多种保护方式，在网络设计中各层面的SDH网可因地制宜地选择合适的保护方式，层与层之间的连接可采用MSP（1+1）保护方式。

快速调度、端到端管理和一点服务等主要涉及SDH网管、业务流程和维护流程等方面，其中最为重要的是实现全网的统一网管、全网资源的集中管理和统一调度，在此不再详述。

4.2.2 波分网的组网架构

目前，中国电信波分网络承载的电路中90%以上为CHINANET网络的电路，因此波分网络上业务流量流向实际上对应着CHINANET网络的网络拓扑结构，其在很大程度上影响着波分网络的组网结构。前面已经提到，CHINANET网络拓扑结构分为骨干网和城域网两个层面，其中骨干网包括核心节点、类核心节点及汇聚节点，节点之间形成不完全的网状网结构，城域网基本上以地市为单位，城域网出口路由器至骨干网汇聚节点之间采用长途波分电路（地市—省会）承载。

长途波分网络涉及CHINANET骨干网和骨干汇聚路由器到城域网出口路由器两部分电路，第一部分电路组与第二部分电路组在电路的数量和连接关系上有很大的不同，因此长途波分网络的网络拓扑适合分为省际和省内两个层面组网。省际层面应涵盖CHINANET骨干网的所有节点及大的IDC节点；省内层面分区域组网，基本以省为单位，覆盖到所有的地市。

在组网技术的选择方面，由于省内层面以省为单位，覆盖范围有限，大多适合采用ROADM的方式组网；省际层面由于覆盖范围大，大多数电路长度远远超过现网纯光传输的距离，可以采用分区域或分平面的组网方式，其中OTN交叉技术是实现省际层面全网电路自动调度的一种现阶段较为可行的技术。

由于IP网正在向“以IDC为中心”的架构演进，未来波分网的组网架构也应顺应IP网这一演进趋势进行调整，但总的来看，波分网在未来还会保持两层的组网结构，第一层主要承载IDC之间的电路，第二层主要承载城域网出口至IDC之间的电路。

5 管理架构

管理架构是指网络建设及运维管理的权限划分。技术架构、组网架构一定程度上影响管理架构，但不是决定因素，管理架构主要取决于组织架构及运营维护的模式及权限划分。管理架构从很大程度上决定了网管系统的结构，也是决定网络运营效率最主要的因素。

网络管理架构向集约化转变是电信运营商应对客户需求的变化、互联网公司的挑战以及激烈的市场竞争的必由之路。目前，国内运营商多是采用总部、省公司和地市公司分别负责省际长途网络、省内长途网络和本地网络的规划建设运维，将来建议演进到以总部和省公司为主的两级架构，即总部负责所有长途层面网络的规划建设运维、省公司负责本地网络核心汇聚层面的规划建设运维，地市公司负责销售、接入端建设及属地维护支撑。

6 结束语

本文重点从业务及技术出发分析总结了电信运营商网络的架构及其演进历程。业务主体由话音向数据的变化导致电信网的主体架构也由电路交换网向分组交换网演进，IP网正在逐渐成为所有业务的统一承载网络。互联网本质是“扁平”的，但为了克服互联网流量的不确定性以及技术架构的缺陷，IP网在实际建设中采用了一定的分层结构，IP网的分层结构同时也决定了波分网络的分层结构。通过网管系统的集中以及管理架构的简化，实现“一二干融合”是国内电信运营商集约化运营的切入点。

SDN及NFV将会对未来的网络架构带来深远的影响，两项技术既有一定的关联性又各有侧重点，但总的来讲，最终将会实现如下目标：

●搭建开放的产业链，促进技术进步，降低建网成本。

●克服IP网分布控制的技术缺陷，实现网络资源的集中管理调度，提供QoS，提高网络资源利用率。

●大大提升网络节点的柔性及处理能力，简化网络结构，快速响应业务变化。

●开放网络能力，拓展新的市场空间。

1 Leonard Kleinrock.History of the Internet and its Flexible Future.IEEE Wireless Communications.2,2008

2 David D.Clark.The Design Philosophy of the DARPA Internet Protocols.1988

3 RFC4984.Report from the IAB Workshop on Routing and Addressing.9,2007

4 Rebekah Larsen.The Political Nature of TCP/IP.Scholarly Commons.http://repository.upenn.edu/momentum/ vol1/ss1/20

2015-03-10）