一次变电站调度数据网故障处理与分析

2021-01-28王茂春褚云龙

微型电脑应用 2021年1期

王茂春, 褚云龙

(1.国家电网有限公司青海省电力公司, 青海西宁 810008; 2.国家电网有限公司西北分部, 陕西西安 710048)

0 引言

调度数据网是国家电网调度自动化、管理现代化的基础，是确保电网安全、稳定、经济运行的重要手段，是电力系统的重要基础设施，在协调电力系统发、送、变、配、用电等组成部分的联合运转及保证电网安全、经济、稳定、可靠的运行方面发挥了重要的作用。电力调度数据网为电力生产、电力调度、水库调度、燃料调度、继电保护、安全自动装置、远动、电网调度自动化等通信提供保障，在电力生产及管理中发挥着不可替代的作用[1-2]。

网络环路导致网络瘫痪或中断是在调度数据网运维工作中经常遇到的问题[3-4]，但是在规模较大的网络环境中，这种故障常常具有较强的隐蔽性，无法快速高效地处理。本文针对某500 kV变电站调度数据网的故障，详细阐述了故障处理的过程，分析了故障发生的原因，为此类故障的处理提供参考[5-6]。

1 故障描述

接到国家电网某业务部门反馈，某500 kV变电站调度数据网B平面调度发令业务中断。国家电网调度数据网网管发现该500 kV变电站调度数据网交换机B无法网管，检查路由器B，发现OSPF状态异常。通知现场人员检查交换机是否正常，现场答复交换机B运行正常。随后通信运维人员进站处理。查询调度数据网网管告警时，告警显示该变电站调度数据网接入层交换机A和B均脱管，路由器A和路由器B与下联交换机的OSPF状态均异常，该变电站调度数据网实时业务和非实时业务全部中断。

2 故障处理过程

500 kV变电站调度数据网拓扑如图1所示。

图1 500 kV变电站换调度数据网拓扑图

通信专业运维人员到达变电站现场后，检查调度数据网交换机A和交换机B配置的文件，检查结果为配置文件正常。

随后跳开II区纵向加密装置，用网线直连路由器和交换机，ospf状态依旧为异常状态。在保存配置后，分别重启交换机A、交换机B，重启后，故障状态依旧。在保存配置后，重启路由器A，重启完成后，故障状态依旧。关闭交换机B，检查路由器A ospf状态为异常状态。关闭交换机A后，检查路由器B检查路由器A ospf状态，ospf状态为正常状态，交换机B恢复网管，业务恢复正常。拔除所有连接交换机A的业务网线，只保留II区纵向加密装置与交换机A的互联网线，ospf正常建立。网管能远程管理交换机A，检查CPU使用率，如图2所示。

ospf状态如图3所示。

图3 交换机A 的OSPF协议状态

此时CPU使用率正常，ospf状态正常。

逐步接入交换机A业务网线，接至网口11在线监测业务时，CPU使用率暴增，如图4所示。

图4 交换机A CUP使用率

ospf状态由正常转为异常状态,如图5所示。

图5 交换机A OSFP协议状态

恢复交换机A接入，除交换机A端口11在线监测业务外，其余端口网线均正常接入，CPU使用率正常，如图6所示。

图6 交换机A的CUP使用率

ospf状态恢复正常，如图7所示。

图7 交换机A 的OSPF协议状态

业务恢复正常。

3 故障原因分析

调度数据网交换机A端口11业务为在线监测业务。变电站在线监测装置拓扑结构,如图8所示。

图8 在线监测装置拓扑结构

在线监测装置1、在线监测装置2、在线监测装置3、在线监测装置4分别通过3个交换机与在线监测装置综合处理单元交换机相连，在线监测装置综合处理单元交换机通过Eth1网线将数据上传至在线监测综合处理单元主机，在线监测综合处理单元主机经过Eth3网线桥接在线监测综合处理单元交换机与调度数据网相连。

在线监测装置恢复联网过程中，在综合处理单元交换机处形成网络环路，如图9所示。

图9 综合处理单元交换机处形成网络环路

综合处理单元交换机二层交换机环回时，连接到调度数据网的交换机A机的11口上产生大量的数据收发，产生广播风暴，造成链路阻塞，占满整个带宽，使得调度数据网交换机A机的CPU使用率过高致使设备进程运行缓慢，导致OSPF路由协议中断,网络管理不上，其他端口业务不能正常上送。交换机A、B互联23口(缺省配置)使得广播风暴直接到达交换机B ，导致交换机B的CPU使用率过高，同样造成OSPF路由协议起不来，调度交换机B上业务不能正常收发，最终导致调度数据网交换机A和交换机B瘫痪，变电站调度数据网业务全部中断。