湖南省气象广域网应用故障分析

2018-11-20朱亮贺炜郑秋生欧阳计跃

现代计算机 2018年30期

朱亮，贺炜，郑秋生，欧阳计跃

（湖南省气象信息中心，长沙 410118）

0 引言

湖南省气象广域网连接我省气象部门省、市、县三级气象机构，承载了省内业务、办公等各种信息的传输，是我省重要的气象基础支撑系统之一。2015年省气象局通过新建一套联通MPLS VPN线路，实现与原电信MSTP双网动态互为备份，拓展了带宽，提高了气象通信吞吐能力。截止到目前，全省MSTP线路与MPLS VPN线路混合组网，运行稳定。联通运营商MPLS VPN线路，省局接入速率总带宽为1000M，各市州局接入速率总带宽为100M；各区县局接入速率带宽为30M。电信运营商MSTP线路，市局采用10-20Mb⁃ps的接入，各区县局接入速率带宽为4M，组网系统整体提高了数据传输的速度和可靠性，为数据及时传输、集约化数据环境应用和气象业务扁平化提供了强有力的支撑。

1 广域网结构功能简介

各地市、各区县节点建设两套路由器和交换机，分别接入不同广域网链路，实现双终端热备，形成线路冗余。主路由器接入MSTP专线，备用路由器作为CE，接入运营商PE设备完成MPLS VPN线路连接。总体网络结构图设计如图1所示，该系统主要实现以下功能：

图1 总体网络结构图

（1）省、市、县节点互联互通，任意节点间互访不依赖其他节点

总体实现了省、市（州）、县互联互通，能满足省、市（州）、县各级气象部门间点对点直接通信的要求；系统内部任意两点间实现点对点通信不需通过其他节点，网络中任意节点的单个设备或单条线路故障均不影响其他节点信息的传输。

（2）两套网络无缝兼容，动态互为备份

MPLS VPN线路与MSTP线路互联互通，无缝兼容，同时两套网络实现动态、实时、自动的互为备份。当任意一套线路出现故障时能将本该从故障线路传输的数据快速自动的切换至另外一套线路传输，保障气象业务数据传输的连续性。

（3）业务分流

气象广域网中需要数据传输或交换业务种类较多，其中有视频、各种观测数据、办公、网站等。在两条线路都正常的前提下，根据不同业务传输对带宽、时延等要求的高低，通过策略路由或者其方式使该项业务运行在优先运行于某条线路上。如时延要求的视频会商、时效被考核的上传数据等，此类业务放在MSTP线路上运行；而对于带宽要求大，时延要求不是很高的下行数据传输业务，适合放在MPLS VPN线路上运行。

2 故障问题情况分析

气象广域网在建设和运维过程中，发现和解决了一些问题，着重介绍如下：为了解决静态路由无法实现双网动态互为备份，引入采用GRE隧道方法；CMACast接收数据从长沙市局备份站推送省级中心站失败，采用修改服务器MTU值解决。

（1）实现线路动态切换

广域网中，MSTP线路是主用网，采用OSPF三级网模式；MPLS VPN线路备份网，采用纯静态路由技术实现。由于纯静态路由技术只依托本设备的物理接口的物理状态，不能监测MPLS VPN线路中设备接口及设备状态的通断情况；在本地设备接口状态正常下，而MPLS VPN中设备及接口状态不正常时无法判断路由是否可达，导致网络数据包丢失。

解决方法：鉴于纯静态路由的这种弊端，经过论证及测试利用通用路由封装协议GRE隧道的特性，将静态路由依托的物理接口变为虚拟接口，从而解决路由黑洞问题。因为虚拟地址在设备中的状态比物理接口稳定，GRE通过具有隧道保活机制keeplive对Tunnel进行检查，能定时检测远端隧道地址是否可达，发现承载网络故障的时候关闭Tunnel隧道，从而达到实时监控备份网的状态，解决普通静态路由不能实时检查链路状态的缺陷，也便于整个网络系统检查到任意一套线路出现故障时自行将业务切换到另一条线路。

（2）利用MPLS VPN线路传输CMACast备份数据

省级CMACast数据接收设置长沙市局作为备份站点，数据从市级往省级进行推送。实际数据传输过程中，发现MPLS VPN线路传输失败。通过实时抓包数据分析，从接收机进行推送的过程中，从客户端服务器发出的每个数据包均包含有DF=1的标志位，此标志位代表该数据包不允许重新分片。当数据包到达NE05路由器时，由于采用GRE隧道，数据重新封装一个24字节GRE头部，NE05路由器有开启强制分片命令，将数据包的DF位修改为0，DF位为0之后，在数据传输过程中将对MTU大于1500字节的数据包进行分片处理，因此数据包从客户端传输至省局服务器正常。由于CMACast业务服务器会对数据包状态进行检测，防止数据被篡改，不接受分片数据包重组。所以在抓包数据上会显示数据重组异常并中断连接，最终导致业务数据上传失败。

解决方法：可以看出数据包能通过分片在网络中传输并到达目的端，是在数据包重组过程中发生异常导致上传失败。在客户端服务器上调整物理接口的MTU值大小，不使数据包分片，调整客户端至接收到端的数据包大小，MTU值调整至1400恢复正常。

3 日常故障的排查

全省网络建设涉及130多个点，日常运行维护相对繁重，因此在省级部署软件监控，查询线路状态如图2所示，主要通过ping包等方式进行查看。网络正常连接显示绿色；如果发现网络断开，则会红色标识。省级监控发现故障的情况下可以及时与系统运维人员或市县级业务人员进行联系解决。

图2 全省MSTP线路监控状态图

市县级最常见故障现象就是内网数据不通，可以参考下面（1）（2）（3）。正常情况两条线路有一条正常都不会影响业务运行；同时日常检查还需要查看两条线路是否均正常，可以参考下面（4）（5）。故障排查需按一定的步骤才能很快发现问题，发现问题后及时联系系统运维人员或电信联通运营商进行线路维护。

（1）Ping命令排查故障

在业务PC上Ping本地局域网网关或目的地址，检测地址是否能正常到达。

①网关能到达：可以排除掉局域网PC到主交换机这一段的问题；

②网关不能到达：则故障肯定出在局域网PC到主交换机这一段，需要检查PC网关是否设置正确、接入交换机是否正常，PC至接入交换机与主交换机之间的网线是否连接完好，设备是否死机等。

（2）Tracert路由跟踪命令排查故障

Tracert（路由跟踪）用于确定IP数据包访问目标地址所采取的路径，在内网PC上进行路由跟踪（tracertd目的地址），就能检查到路径在哪个地址发生丢包，从而确定出故障点所在。由于数据共享服务器部署在MPLS VPN，数据上传服务器部署在MSTP，两个地址正好走的不同路径，那么我们就可以用这两个地址进行Tracert命令测试判断，如果两个服务器Tracert路径不一致则线路正常。

（3）分析路由条目cost值进行排查故障

根据层次化划分，将全网路由分成省级路由、市级路由和县级路由，所有的业务网段路由都定义成外部引入路由，在所有节点的备路由器上将需要引入的路由条目加上开销值cost成为备选路由，市级MPLS VPN线路的静态路由引入加上cost80、县级MPLS VPN线路的静态路由引入加上cost70。在市级主路由器上使用display ip routing-table查看全网路由表，针对本市业务网段进行筛查，如果发现cost为80，那么说明此网段所在的网络节点的MSTP线路故障。

（4）设备冗余测试

①关掉MSTP主路由器等待路由重新收敛约40s时间（理论值），从PC Ping省局内网地址。能Ping通说明数据从MPLS VPN备路由器出去通过MPLS VPN网络到达省局。

②关掉主交换机，约5s时间Ping省局内网地址，从PC能Ping通说明网关切换成功。

（5）线路冗余测试

①断开MSTP线路，等待路由重新收敛，30-60s之间从PC Ping省局内网地址，能Ping通说明MSTP线路发生故障后，通过MPLS VPN可以恢复业务访问。

②断开MPLS VPN线路后，30-60s之间如Ping包数据正常，说明MPLS VPN线路发生故障后，通过MSTP可以恢复业务访问。