基于OPEN-3000系统前置网络问题的排查与处理

邓 萍，苏胜皓，胡泽文，桂新凯，郑洪積

(国网四川省电力公司凉山供电公司，四川 西昌 615000)

0 引 言

随着电力系统电网建设步伐的加快以及智能综合自动化无人值班变电站的不断增加，对电网的安全、稳定、优质、经济运行提出了越来越高的要求，地区调度自动化系统的功能也日趋复杂化、多样化[1]。前置系统作为调度自动化系统中实时输入、输出的中心，主要承担了调度中心与各所属厂站、各上下级调度中心、其他系统之间以及与调度中心内的后台系统之间的实时数据通信处理任务，是这些不同系统之间实时信息沟通的桥梁。信息交换、命令传递、规约的组织与解释、通道的编码与解码、卫星对时、采集资源的合理分配，都是前置系统的基本任务，其他还包括报文监视与保存、站多源数据处理以及为站端设备对时等任务[2]。

由于地县一体化的要求，调度自动化系统厂站接入数据急剧增加，通道数据也在增加，前置网络、通道的配置更复杂化，如何快速地处理通道故障，提高故障恢复能力，是保证厂站数据采集实时性、可靠性的一个重要部分[3-4]。

国网凉山公司地区调度自动化系统采用国电南瑞科技公司OPEN-3000系统，于2012年12月投入运行；备用调度自动化系统于2015年6月投入使用。系统现接入凉山地区变电站168座、电厂84座。系统具备数据采集监视和控制(supervisory control and data acquisition，SCADA)、高级应用(power application software，PAS)、AVC自动电压无功控制、DTS调度员培训仿真系统、web浏览等主要功能[5]。

SCADA系统中的实时数据来自于前置系统，因此前置系统的可靠运行是SCADA系统正常工作的前提。为了保证前置系统的可靠性，前置网络采用双网双冗余的配置模式，即采用两台前置服务器、两台前置交换机分别接入一、二平面交换机，实现双平面架构。前置服务器处于双机运行状态，站端RTU需同时接到两台前置服务器中相对应的两个串行口上，保证网络的冗余[6]。

国网凉山供电公司前置D网交换机出现风扇模块及电源模块告警，考虑到前置D网交换机运行环境及运行年限，决定对其直接进行更换。更换过程中发现单平面104通道全部退出，经过分析排查，发现是OPEN-3000系统前置服务器程序的逻辑判断存在设计缺陷，在单个平面出现中断时，对应前置服务器判定为不接受任何厂站通道，进而导致单个平面104通道全部无法正常使用，通过在前置服务器增加配置文件解决了该故障。

1 前置网络结构

前置网络结构如图1所示，调度数据网采用双平面架构，前置网络中前置服务器C和前置服务器D并列运行，经过分析，在前置D网交换机更换过程中，前置C网交换机正常运行。前置C网交换机与前置C、D服务器之间正常通信，不会影响101通道及104通道工作。

图1 前置网络拓扑结构

2 故障现象

在更换前置D网交换机过程中，断开D网前置交换机到前置C服务器与前置D服务器的网线后发现110 kV某甲变电站、110 kV某乙变电站、35 kV某丙变电站等厂站104通道工况中断，数据业务未正常上送。于是立即结束工作，复原网线后以上变电站业务成功恢复。

3 故障原因排查分析过程

3.1 通道情况对比分析

通过OPEN-3000系统告警查询发现，断开D网前置交换机到前置C服务器与前置D服务器的网线后，并不是所有厂站的通道退出，仅部分厂站的104通道退出。经排查，仅110 kV某甲变电站、110 kV某乙电站、35 kV某丙变电站等厂站104通道工况退出后无法恢复。对以上中断的变电站进行分析对比，查找共同点，发现上述中断的变电站均只有二平面104通道，暂未满足双平面通道的要求。

3.2 网络结构排查分析

考虑到工作过程中环境变量仅为D网前置交换机到前置C服务器与前置D服务器的网线，如图2所示，对前置网络拓扑进行分析。

图2 前置网络拓扑结构分析

由图2拓扑图可见：前置C网交换机与一、二平面交换机、前置C服务器、前置D服务器均网络可达，在进行更换前置D网交换机的过程中，不应该影响任何变电站104通道工况。

针对此种情况，经过分析讨论，决定采用以下两个方案对网络结构进行测试分析。

3.2.1 网络拓扑测试方案1

按照测试方案1，将前置D网交换机到前置D服务器的网线断开，如图3所示，观察通道投退情况。

图3 前置网络拓扑测试1

测试后，断开前置D网交换机到前置D服务器的网线后，厂站有通道工况退出的情况，但在短时间内即恢复正常。测试结果表明前置D网交换机到前置D服务器网络正常。

3.2.2 网络拓扑测试方案2

按照测试方案2，接着把前置D交换机到前置C服务器网线断开，如图4所示，观察通道投退情况。

图4 前置网络拓扑测试2

测试后发现，断开前置D交换机到前置C服务器网线后，上述110 kV某甲变电站、110 kV某乙变电站、35 kV某丙变电站等厂站的104通道工况退出。同时，经测试，二平面交换机到前置C网交换机再到前置D服务器网络正常。

3.3 关键设备排查分析

以上排查分析过程表明，二平面和前置服务器之间并未实现有效的数据传输，二平面交换机到前置C网交换机再到前置D服务器网络正常，故而进一步将问题锁定到前置服务器上，对前置服务器软硬件进行深入检查。

3.3.1 设备硬件检查

首先，对前置服务器的硬件情况进行检查，设备电源指示灯、硬盘工作指示灯、系统运行指示灯均正常，且巡视记录并未发现设备硬件异常或有遗留缺陷未处理的情况，排除由于设备硬件引起故障的情况。

3.3.2 设备软件检查

随即对前置服务器的软件程序进行检查，常规检查并未发现程序有连接异常或告警日志等信息。结合通道中断现象，开始对前置服务器与104通道之间的程序逻辑进行梳理，如图5所示，最终在前置服务器的逻辑判断程序fes_assign上找到原因。

图5 前置服务器通道判断逻辑

通过分析以上程序可以看出，目前OPEN-3000前置服务器的网络通道判定机制是：当前置C服务器的C网中断时判定其不接管任何厂站通道；当前置D服务器的D网中断时判定其不接管任何厂站通道。

即在更换前置D网交换机过程中，拔掉前置D网交换机到前置D服务器之间的网线后，前置D服务器判定为不接管任何厂站通道，此时二平面数据仍可以从D网交换机传输至前置C服务器，所以通道并未有工况退出不再恢复的情况。当继续拔掉前置D交换机到前置C服务器之间网线后，二平面数据按网络分析依然可以从前置C交换机到前置D服务器；但是由于服务器本身对通道的判定机制影响，前置D服务器已经不接管任何厂站通道，此时二平面所有104通道均无法正常使用。

上述中断的110 kV某甲变电站、110 kV某乙变电站、35 kV某丙变电站等厂站只有二平面通道，在前置D服务器不接管任何厂站通道、二平面到前置C服务器网络不达的情况下，出现通道工况中断情况。

3.4 故障分析结论

通过以上分析并与设备厂家沟通后确认，前期建设OPEN-3000系统时的网络结构较为简单，并没有考虑到一、二平面并行的需求。故OPEN-3000系统前置服务器程序的逻辑判断存在设计缺陷(家族性缺陷，D5000系统中该判断条件已修改)，在单个平面出现中断时，对应前置服务器判定为不接受任何厂站通道，进而导致单个平面104通道全部无法正常使用。

4 故障处理措施及结果

针对以上分析结果，经研究后，提出如下的处理措施，但考虑到设备厂家对前置服务器程序逻辑修改耗时较长，提出了临时处理方案。

处理方案：设备厂家对OPEN-3000前置服务器程序的逻辑判断进行修改，使其不再因单平面退出而判断为不接收任何厂站通道。

临时处理方案：为各前置服务器增加fes_seg.sys配置文件，重启fes_ping_send、fes_ping_recv、fes_exchange、fes_assign，让各前置判断C网中断时才不接管厂站通道；当更换前置D交换机时，前置D服务器的D网中断不影响二平面通道的接入，封锁各二平面厂站通道至前置D服务器，不会出现厂站通道退出现象。

临时方案实施后，当断开D网前置交换机到前置C服务器与前置D服务器的网线后并未出现任何厂站通道退出不再恢复的情况，D网前置交换机顺利更换。

5 预防类似故障的措施

综上所述，依据目前OPEN-3000前置服务器程序的逻辑判断机制，当一平面或二平面到前置服务器网络出现中断时，会造成单个平面所有104通道全部不可用。在一、二平面交换机正常运行时，如果OPEN-3000前置服务器程序逻辑不判定为不接收任何通道，那么一、二平面依旧正常运行，这种逻辑判定机制更适合冗余要求。

针对以上分析，提出如下建议措施：

1)其他使用OPEN-3000系统的地市公司，如果使用一样的前置网络结构，在前置交换机与一、二平面交换机之间有工作需要断开网络连接时，要考虑单平面出现完全中断的情况，建议按照本案例的临时方案处理；

2)建议设备厂家对OPEN-3000前置服务器的逻辑判定机制进行合理修改，使其不因A、B、C、D网任何网络的中断而判断不接收任何厂站。

6 结 论

针对一起由于OPEN-3000系统前置服务器程序的逻辑判断存在设计缺陷，导致单平面104通道全部退出的故障处理案例，详细分析了排查处理过程，提出了处理措施，对调度自动化系统运维工作者具有较大的参考借鉴价值。通过在实际工作中采取所建议的处理方案，确保了前置网络没有再发生类似的故障，有效地降低了故障发生率，保障了调度自动化系统的正常运行。