处理交换机端口故障

引言： 近期，单位的局域网出现两个楼层办公室无法访问网络的现象，经过排查，是因为交换机端口出现errdisable故障，导致端口不能正常工作。这种故障不是常见的网络故障，因此排除故障需要针对具体情况来处理。

故障现象

周一上班时，正是网络使用高峰时段，有两个楼层的办公室人员反映上不了网。通过Ping两个楼层的交换机管理地址，不通。到现场检查，这两个楼层的其他设备工作正常，故障楼层各有一台交换机上联的光端口指示灯熄灭，怀疑近期单位安装楼道监控设备，在施工时不小心将机柜中光纤配线架上其中的一对光纤扯断，导致中心机房到楼层的光纤线路中断，或是因为光模块故障，导致设备上联链路不通，与此相连的终端无法访问局域网。

由于是网络使用高峰时间，必须尽快使网络恢复畅通。笔者采用了应急的办法，到现场用网线或Console线登录到故障交换机，将其中一个以太网端口设为Trunk口作为上联端口，将原来的上联光模块的端口Shutdown防止环路产生，并将同一楼层的另一台正常上网交换机其中一个以太网端口设为Trunk口，两个端口用一根网线连接，将故障交换机的业务流量合并到另外一台交换机上，访问局域网。另外一个楼层也采取同样方法，设定好以后，两个楼层办公室都能正常上网。

图1 端口故障

随后，请专业的光纤施工人员到现场检查光纤，从中心机房的光纤配线架到故障楼层机柜的光纤配线架，找出故障的一对光纤。这是一对多模光纤，跳线为62.5/125 3M ST-SC光纤,通过一边打光，另一端用肉眼能看到对端发过来的光，测量光衰为15.4db，属正常。楼层交换机光模块是Cisco的GLC-SX-MM的SFP模块，波长850NM,传输距离550m，用备份同型号光模块替换后，在非生产时间打开交换机端口测试，故障依旧。初步可以排除中心机房至楼层配线间的光纤线路问题和楼层交换机及上联光模块问题。

到中心机房核心交换机处，检查连接以上两个故障楼层的光纤连接的交换机端口，发现这两个端口 为tenGigabitEthernet 2/2/5和tenGigabit Ethernet2/2/6，它们都在同一个交换机模块上（Cisco DCEF2T4port 40GE/16 port 10GE WS-X6904-40G），端口指示灯显示橙色，而连接其他楼层交换机的端口指示灯为绿色，说明这两个交换机端口处于errdisable状态（如图 1）。

故障分析

通过查阅资料，交换机端口出现errdisable有以下几个常见的原因：

1.Ether Channelmisconfiguration，当FEC两端配置不匹配的时候就会出现err-disable。假设一端交换机把FEC模式配置为on，这时它不会发送PAgP包和相连的另一台交换机去协商FEC的，如果另一台交换机没有配置FEC，当超过1分钟后，这台交换机的STP就认为有环路出现，因此也就出现了err-disable。解决办法是，把FEC的模式配置为channel-group1mode desirable non-silent，这个意思是只有当双方的FEC协商成功后才建立channel，否则接口还处于正常状态。

2.Duplex mismatch，就是由于两端双工模式不匹配，导致链路errdisable。解决方法是，将两端设置双工模式一致，如都设成fullduplex。

3.BPDU port guard。与portfast和BPDU guard有关。如果一个接口配置了portfast，那也就是说这个接口应该和一个PC连接，PC是不会发送spanningtree的BPDU帧，管理员又在同一接口上配置了BPDU guard来防止未知的BPDU帧以增强安全性，如果把一台交换机接到这个同时配置了portfast和BPDU guard接口上，于是这个接口接到了BPDU帧，因为配置了BPDU guard，这个接口自然要进入到err-disable状态。解决办法是 ：no spanningtree portfast bpduguard default，或者直接把portfast关掉。

4.UDLD UDLD是Cisco的私有二层协议，用于监听利用光纤或双绞线连接的以太链路的物理配置，当出现单向链路（只能向一个方向传输，比如我能把数据发给对端，对端也能收到，但是对端发给我的数据收不到）时，UDLD可以检测出这一状况，关闭相应接口并发送警告信息。当AB两端都配置好UDLD后，A给B发送一个包含自己port id的UDLD帧，B收到后会返回一个UDLD帧，并在其中包含了收到的A的port id，当A接收到这个帧并发现自己的port id也在其中后，认为这链路是好的。反之就变成err-disable状态了。假设A配置了UDLD，而B没有配置UDLD：A给B发送一个包含自己 port id的帧，B收到后并不知道这个帧是什么，也就不会返回一个包含A的port id的UDLD帧，那么这时候A就认为这条链路是一个单向链路，自然也就变成errdisable状态了。

5.Link-flap error就是链路的抖动，当链路在10秒内反复Up、Down五次，那么就进入err-disable状态。

6.Loopback error在12.1EA之前，默认情况下交换机会在所有接口都发送keepalive信息，如果一个接口又收到了自己发出的keepalive，说明存在环路，这个接口就会变成errdisable了。解决办法是，把keepalive关掉，或者把iOS升到12.2SE。

7.Portsecurity violation Cisco port security violation有三种模式：(1)protect(2)restrict(3)shutdown，前两种模式只丢弃违规的数据流量，不违规的正常转发，shutdown是默认模式，当违规时，将接口变成error-disabled并shut down，并且接口指示灯会关闭，也 会发 SNMP trap，并会记录syslog。如果端口errdisable，就是由于配置了port-security violation shutdown。

发生端口errdisable后，可以通过show interfaces status err-disabled查找产生的具体原因，比如是loopback造成的，在排除环路后，可在配置模式下errdisable recovery cause loopback，恢复时间一般为300秒，不用重启交换机的情况下，使交换机端口恢复到正常状态。

但是，当输入命令sh interface status errdisabled时，显示两个端口故障原因是diagnostics（如图2），不能使用命令errdisable recovery cause ？来恢复端口，输入命令sh logging查看日志，结果显示有两个端口进入errdisable状态，再输入命令sh diagnostic result switch all failure detail和 sh module switch 2，结果如图3所示。

图2 err-disable原因及系统日志

图3 诊断信息

由此可见，由于两台Mar 05 2017 17:08:28做TestPortTxMonitoring在线监测时，由于switch2module 2（DCEF2T4port 40GE/16 port 10GE），其中switch2的WS-X6904-40G模块硬件故障，导致Switch2Module 2的Te2/2/5和Te2/2/6端口测试首次失败。在连续进行了5次测试都失败后，系统将Te2/2/5和Te2/2/6两端口设成errdisable状态。Cisco 6506E组成一个VSS虚拟交换机系统，系统于

图4 修复后VSS状态

故障解决

知道了故障产生的原因后，问题就迎刃而解。分别进入核心交换机tenGigabitEthernet 2/2/5和tenGigabitEthernet 2/2/6接口，在接口配置模式下，shut，no shut，然后输入命令 ：sh interface status err-disabled，发现没有端口处于errdisable状态了，输入sh diagnostic result switch2module2failure，结果显示 PASS，输入 sh module switch 2，结果显示switch2的模块1、2、5的在线诊断状态均为Pass（如图4），说明模块和端口故障解除。当楼层交换机上联光端口no shut恢复后，发现在核心交换机端仍然不能Ping通楼层交换机管理地址，于是将核心交换机重启，问题彻底解决，核心及两个故障的楼层交换机均能正常通信。

经验总结

出现交换机端口errdisable状态时，不能按照常规思路去排查问题，而要从实际情况入手，查明原因，再排除故障。上面一例既不是因为网络中出现环路，也不是因为端口抖动等原因导致errdisable，如果一味地查找网络有无环路，或有无抖动，就会误入歧途。要充分利用Cisco设备提供的sh命令和日志功能查找故障原因，做到有的放矢，针对不同的故障采取不同的办法，使问题尽快解决。