铁路数据通信广域网的高可用性设计

高晓冬

铁路数据通信广域网的高可用性设计

高晓冬

摘 要：为满足铁路通信系统、安全生产监控系统和信息系统业务的IP化快速发展需求，如何构建一个高可用的承载多业务的铁路数据通信网广域网成为设计过程中应关注的重点，从互连拓扑结构、网络组件、路由协议等方面进行分析，并提出设计建议。

关键词：铁路数据通信网;广域网;高可用性

随着铁路数据通信的发展，铁路会议视频、视频监控、GPRS等通信系统，安全生产监测及监控系统 (信号微机监测、5T等)，铁路信息系统(办公、旅客服务、运输生产、经营管理等)，以及新生IP业务都需要接入数据通信网，因此构建一个高可用的承载多业务的综合数据通信的广域网是当务之急。如何构建一个高可用的承载多业务的铁路数据通信广域网是设计过程中应关注的重点，为此，从互连拓扑结构、网络组件、路由协议等方面进行分析，并提出设计建议。

1 铁路数据通信网总体拓扑架构

网络的规划应面向业务，即网络的拓扑结构应与业务的流量、流向相匹配;网络的管理体系应与业务的管理相对应;网络组件的选择、单节点设备的设置、设备间的互连方式，应满足部分设备或设备组件故障、设备间部分链路中断等不影响业务的正常使用，或对业务的影响要达到最小;单个铁路局区域内网络的故障，不影响其他路局及总公司至铁路局的业务稳定性;网络协议的选择能适应业务、用户不断增长的趋势，并且具备稳定、安全和可实现灵活的路由控制策略的特性。

承载于数据通信网的业务按照业务使用涉及范围可分为铁路局内、铁路局间和总公司至铁路局三类。在铁路局内部，通信系统、安全生产监测及监控系统、信息系统的业务中心点主要分布在铁路局和办事处 (原铁路分局)所在地，业务中心点之间有互访需求。对于铁路局内这种业务层次分明，各层有互访需求的业务模型，建议在铁路局内采用树形拓扑架构。即在铁路局设铁路局区域网的核心节点，在办事处和站段设置较集中的地区设汇聚节点，在有业务接入需求的站段设接入节点。同时，在核心节点和汇聚节点同址设置接入节点，用于各业务中心点的接入。这种结构能够覆盖较大的区域，易于延伸和扩展，可以适应接入铁路数据通信网的站点数目迅速增加的趋势。这种树状多层拓扑还便于部署MPLS VPN等虚拟化技术，实现网络的虚拟化，为铁路不同业务或专业提供横向隔离的业务通道，保证业务或专业之间互不影响。

图1 铁路数据通信网总体拓扑架构

在网络的分层、分域管理方面，树形拓扑架构也是与铁路通信网络的维护管理匹配的。按照维规的要求，铁路局的通信网管中心负责本铁路局区域网的总体管理和配置，各车间的网管分中心对本车间内的网络进行日常的监控和故障处理，而车间的管辖范围与汇聚节点及所辖的接入节点是基本一致的。因此，建议每个铁路局的数据通信网构成一个自治域 (AS)，为网管中心和网管分中心分配不同的管理范围和权限，从而实现网络的分权分域管理。

铁路总公司至18个铁路局均有业务互通需求，例如会议视频、视频监控、应急等通信系统及各类管理信息系统;铁路局间的主要业务为GPRS、视频监控、接口监测等，铁路局间流量集中在相邻局和个别业务中心局与其他铁路局之间。由于在铁路总公司设置各业务系统总公司级业务中心，铁路总公司至铁路局的流量要明显高于相邻局流量，因此建议按照地理位置划分，在总公司和部分路局设置大区节点，大区节点之间采用全网状的互连结构，构成数据网的骨干网络，为铁路局区域网络间、铁路局区域网络与总公司业务中心的流量交互提供稳定、冗余的网络平台。

这样，各铁路局区域网络通过本区域的核心路由器接入数据网骨干网络，铁路局区域网内的流量交互不占用骨干网络资源，区域网间及区域网与铁路总公司的业务中心的交互通过骨干网络实现，相邻铁路局跨局业务流量只与互联的大区节点相关，而不影响其他大区节点。骨干网络与区域网络划分独立的路由自治域，便于保持网络的稳定性和业务路由的策略控制。铁路数据通信网总体拓扑架构如图1所示。

在这种网络结构下，结合路由汇聚策略的部署，区域网络内部的网络调整和故障不会扩展到骨干网络和其他区域网络，有效隔离了局部网络震荡对全网业务的影响。

2 网络设备选择及设备间互连方式

高可用的网络不能频繁出现故障，即使出现故障也应能很快修复。故障次数少和修复时间短基本概括了高可用网络的特点。根据统计学的概念，用可用性 (Availability)参数来度量网络的可用性。

Availability=MTBF/(MTBF+MTTR)

其中，MTBF为平均无故障时间 (Mean Time Between Failures)，MTTR为平均修复时间 (Mean Time To Repair)。若提高网络可用性，可以增加MTBF或降低MTTR。MTBF取决于网络设备本身硬件、软件及设备间互连传输电路的质量;而通过合理的组网设计可以提高网络的自愈能力，有效地减小MTTR，实现网络的高可用性。

2.1 网络组件的选择

网络组件完成网络的基本连接和数据包的路由转发，是构成网络的基本元素，典型代表为路由器和交换机等网络设备。网络组件的高可用性包括硬件结构和软件系统2个层面。

2.1.1 硬件方面

1．采用控制和转发分离架构的路由设备，并且要做到主控冗余。原因在于控制和转发分离可实现数据包的快速转发;与单主控相比，主控冗余的收敛性能要好很多。因为在双主控情况下，备用控制板已经预先完成映像文件的加载和配置的初始化工作，当主用控制板出现故障时，业务接口板不需要重新注册，二三层接口也不会出现Down。另外，由于备用控制板上已经备份有转发表项，可以立即承担转发任务，一定程度上可以避免业务中断。例如二层及从本设备往外发送的流量，如果和邻居之间配置的是静态路由，流量也不会中断。

2．支持单板热拔插功能。这样新增单板不会影响在线使用的其他单板业务;当确认板卡故障更换板件时，新单板能继承原来旧板卡的配置;在添加或拔插接口单板时，路由转发信息表能同步到单板，从而有效减少故障的处理时间。单板热拔插与跨板的链路捆绑技术结合，一定程度上可提供接口板间的1：N备份功能。

3．关键节点设备的电源模块供电采用1：N备份模式。即一个电源模块为其他N个提供备份，在检修或故障处理需要拔出某一个电源模块时，其他模块能提供足够电源功率。

2.1.2 软件方面

网络设备软件系统支持热补丁。在不影响系统正常运行的情况下，可实现对系统错误的修正，即完成对系统进行动态升级。

2.2 单节点设备数量及设备间互连方式

每个节点设备设置数量和设备间的互连关系决定了网络可用性的计算方法。如图2所示，常用的互连拓扑结构包括：单点单归、单点双归、双点单归、双点双归和双归属。

图2中A1和A2是网络设备自身的可用性指标，当网络设备仅有1个方向与相邻设备连接时，其组成的部分网络系统的可用性为A1×A2;当网络设备有2个或2个以上方向与相邻设备连接时，其组成的部分网络系统的可用性为1减去所有方向同时不可用时的值。由此得出的不同拓扑连接方式下的可用性计算结果对比如表1所示。

表1 不同拓扑连接方式下的可用性计算结果对比

图2 常用的互连拓扑结构

99.999%的网络可用性为电信行业建网要求，而《铁路客运专线通信技术装备标准》中数据通信网络的可用性要求大于99.99%。由表1可见，双点双归和双归属的拓扑连接方式明显优于其他3种连接方式，并且满足电信行业的标准;而这两者相比，可用率相差甚微，考虑到双归属比双点双归多使用2条链路并且每台设备多占用1个端口，对于广域网来说，链路、设备端口资源非常宝贵，因此在汇聚层及以上节点、铁路总公司和铁路局的业务中心的接入节点等关键节点处设置双设备，并采用双点双归互连拓扑结构。铁路通信传输网接入层一般是按铁路线建设的，对于只用于业务和用户接入的普通数据网接入节点，可以采用链型串接后双归至汇聚节点的互连方式，经计算串接节点数不超过5个时可满足铁路标准。双点单归在所使用设备端口的数量和长途互连电路方面均与双点双归一样，但网络的可用率比双点双归结构差很多，不建议使用。上述结论在实现重要业务接入数据通信网时同样适用。

以上结论是基于传输、电源等设备100%可用的前提下计算得到的，广域网传输电路设置时要尽可能做到双归链路分布在物理路径不同的传输系统上，尽量避免1台或1个节点的传输设备故障时影响双归的2条链路;还要考虑核心节点中的核心路由器、路由反射器做到同城异地设置，有条件的汇聚节点做到同城异地设置，在进行双点双归时选择非同址设置的上层节点进行互连等。

2.3 广域网路由协议部署

路由协议的高可用设计与节点、业务设置数量、所选的链路种类等息息相关。按照《“十二五”铁路通信网规划》，广域网中的互连链路选用高带宽的SDH链路，由于传输系统对承载业务的保护已经相当成熟，链路的稳定性较高，很少出现闪断和震荡的情况，因此设备、用户、业务的设置数量，路由策略的灵活性和对流量的控制能力成为路由协议选择应考虑的重点。

对于铁路数据通信网这种分布到站段的泛在的网络，用户路由条目数会随着用户数量和承载业务的增加而不断扩张。用户路由条目多，数量可以达到几十万甚至更多，同时需要对路由策略和业务流量等有强大的控制能力，但对收敛速度要求不高，建议用户路由采用BGP协议承载。而划分多个区域网络后，每个自治域的设备路由条目是可控的，设备路由对收敛速度要求高，内部网关路由协议(IGP)中基于链路状态算法的中间系统到中间系统(IS-IS)协议和最短路径优先(OSPF)协议均可以满足要求。OSPF和IS-IS两者原理相同，功能相似。考虑到IS-IS协议设计比OSPF简单，功能同样强大，直接运行于链路层上，支持IP、OSI二种路由，协议安全性好，网络运营管理成本低，建议铁路数据通信网的设备路由采用IS-IS协议承载。在域间互联采用BGP协议，以实现对域间流量的合理控制。在骨干网的路由控制中，建议采用双平面的方式对业务流量进行疏导，即在设备配置时，将出口宣告业务分为粗、细2种路由，从而实现对各互联接口的入流量控制和对业务路由的冗余保护。建议采用A平面承载与运输生产关系密切的业务，B平面承载办公、经营管理信息等管理业务，这样当A平面出现多点故障时，业务可自动切换到B平面，并通过预先设定的QoS实现业务的优先传送。双平面的方式可以充分利用网络资源，并使重点业务的通信质量得到有效保证。总之，数据通信网广域网的高可用性设计，需要从互连拓扑结构、网络组件、路由协议等多方面全盘考虑。随着网络的逐步建成，网络运维、网络支撑及网络优化将成为下一步需要关注的重点工作。

［1］中华人民共和国铁道部．铁运［2013］10号．“十二五”铁路通信网规划［S］．2013.

Abstract:In order to meet the needs of the rapid developing railway communication system，safety production monitoring system and information system services that adopt IP technology，how to construct a high availability railway data communication wide area network which bears a variety of services must be the focus of attention in design process．This article analyzes the interconnection topology，network components，routing protocol in the network．Some proper design suggestions are proposed．

Key words:Railway data communication network;Wide area network;High availability

高晓冬：北京铁路通信技术中心 高级工程师 100038 北京

2013-05-28

(责任编辑：诸 红)