智能变电站高可靠无缝冗余环网性能测试平台的研究和实现

张 峰 徐 晨 穆云龙 陈洪波 李 德

（1. 国网安徽省电力有限公司电力科学研究院，合肥 230000；2. 安徽新力电业科技咨询有限责任公司，合肥 230000；3. 国网安徽省电力有限公司检修分公司，合肥 230000；4. 武汉凯默电气有限公司，武汉 430223）

0 引言

继电保护装置是确保电力系统安全可靠运行的关键装置[1]，保护装置的正确动作是整个电力系统安全稳定运行的前提。随着IEC 61850 数字化变电站技术的成熟和推广[2]，就地化保护因其具有二次回路简单、通信协议和接口统一、动作时间快、可靠性高等优点，目前已成为智能变电站继电保护的重要发展方向[3]。

就地化保护将保护装置贴近一次设备安装[4-5]，现场即插即用，实现间隔二次设备模块化集成、工厂化预制、更换式检修[6]。就地化保护设备在安装现场按间隔分散布置[7]，每种保护装置设置独立的子机。为保证通信的可靠性，多个子机采用高可靠无缝冗余（high-availability seamless redundancy,HSR）环网双向组网[8]，通过冗余方式克服单点失效对通信的影响[9]，满足信息传输可靠性的要求。

HSR 环网是智能变电站就地化保护实现的重要环节之一，其性能直接影响继电保护装置正常运行。当前的就地化保护测试研究，主要集中在单个保护设备的出厂检验和故障检修，但整个HSR 环网的可靠性除了与单个保护设备相关之外，还与安装过程、传输链路和现场工作环境等因素相关。因此，在实验室、检修中心和现场投运前开展HSR 环网的网络性能测试研究工作，具有非常重要的意义。

就地化HSR 环网的网络性能测量，既与传统的网络性能测试相关，又有重要区别。HSR 环网内传输的是环网通信报文帧，报文内带有HSR 标签，标识环网类型、传输方向和数据链路长度等信息。环网通信报文帧只能在环网内部传输，在环网外部无法被识别，普通报文也无法在环网内传输，因此通用的网络测量设备，无法进行环网网络性能的评估。本文根据HSR 环网的工作机制，结合环网的工作特点，分析影响环网性能的参数和测量方法。在基于以上研究的基础上，设计以现场可编程门阵列（field programmable gate array, FPGA）和多核数字信号处理器（digital signal processor, DSP）为主体的硬件测试平台，实现吞吐量、时延、丢包率和错误帧监测功能，并进行测试验证，为智能变电站就地化保护环网性能评估提供理论和实践支持。

1 HSR 环网

1.1 工作机制

智能变电站就地化保护采用“三层两网”的系统架构[10]，IEC 61850 标准定义了继电保护自动化系统基于以太网方案进行通信[11]，对于变电站快速响应事件具有优先级高、灵活且可靠的传输机制[12]。为保证保护设备可靠动作，HSR 环网通过冗余链路和数据的方式，提高网络传输的可靠性。IEC 62439—3 标准详细介绍了HSR 冗余网络的通信原则[13-14]：就地化保护HSR 环网由若干网络节点组成，每个网络节点包含两个双连接交换节点（double attached node with HSR, DANH），每个DANH 含有两个独立的网络端口，每组DANH 的网络端口依次相连，形成双向串行环形网络拓扑结构，两个环形网络相互独立[15]，由4 个网络节点组成的HSR 网络如图1 所示。

图1 HSR 网络

就地化保护HSR 环网由启动环和保护环两个冗余环网组成，网络中的节点为就地化元件保护子机。子机内每个DANH 的网络端口，共享介质访问控制（media access control, MAC）地址和互联网协议（internet protocol, IP）地址，各网络端口均传输HSR 报文，在普通网络报文中插入HSR 标签，HSR报文帧格式如图2 所示。

图2 HSR 报文帧格式

当某个节点进行数据发送时，该数据包被复制为4 份，从两个环形网络的两个不同方向被同时发送，做到数据的冗余备份[16]；目的节点只响应第一个收到的数据包，但会转发所有数据包；其他节点只会转发收到的数据包；发送节点收到自身发出的数据包后不进行处理，直接丢弃。

就地化保护环网实现了数据和链路的双重冗余，当某个链路或DANH 发生故障，数据仍能通过另一链路到达目的节点，不会引起网络中断，有效解决了通信环节异常对保护带来的影响，极大提高了保护的可靠性[17]。由于数据冗余会带来大量的计算处理工作，为减轻应用处理的负担，HSR 标签添加、复制帧处理、接收报文转发等工作，在DANH内部完成，其结构如图3 所示。

图3 DANH 内部结构

DANH 的核心是链路冗余单元（link redundancy entity, LRE），上层应用的发送报文经过LRE 加入HSR 标签后分别向两个端口进行发送；一个端口接收到的报文，在向LRE 提交的同时，会转发向另一个端口；LRE 和发送端口会对接收到的报文进行检查，如果报文是从本节点发出，或报文格式错误，则会直接丢弃；对于接收的有效环网报文，LRE 会去掉HSR 标签后，提交到应用层处理，而发送端口则会将该报文进行转发。

1.2 网络测量

网络测量用于展现当前网络工作状态，根据网络状态进行性能优化，开展网络管理。网络测量从不同角度看，分类也各不相同。按测量方式，可分为主动测量和被动测量[18]；按测量点的数量，可分为单点测量和多点测量；按测量功能，可分为拓扑测量和性能测量等。

进行主动测量时，基于不同的测量目的，向目标链路或节点发送测试流，根据这些测试流的传输情况来了解网络行为。这种方法测量目标明确，可控性较高，但主动测量向网络注入的测试流量本身增加了网络负荷，改变了网络的运行情况，造成测量结果和实际情况之间的偏差。因此在进行主动测量时，必须考虑注入测试流对网络本身的影响，并将这种影响降到最低。

被动测量方式对网络内链路或节点的数据进行捕获，然后根据设置条件汇总和记录测试信息。被动测量不产生任何探测报文，因此对测试网络不产生额外的开销，缺点是采集的数据不够规律，很难进行网络端到端的性能分析，对需要监测的报文设置条件不合理会导致测量结果不准确。在网络流量较大时，对网络数据捕获设备的性能要求高，需要更加复杂的分析机制。

在网络测量实际过程中，会根据测量目的、对象等，综合选择一种测量方法，或多种测量方法相结合。

1.3 性能参数

网络测量通过仪器或工具对网络的各项指标和性能参数进行评估，取得网络的性能和服务参数。网络性能测量是网络测量的核心分支，网络性能指标是理解、认识和量化网络行为最基本、最有效的手段。根据网络设备评测国际标准RFC2544，结合就地化保护HSR 环网的现场应用，本文从吞吐量、时延、丢包率和错误帧监测四个方面来对HSR 环网性能进行评估。

吞吐量是网络性能的一项重要指标，分为端口吞吐量和链路吞吐量，是指端口、链路在单位时间内成功传输数据的数量。网络设备的硬件条件和软件算法是决定吞吐量的主要因素。对于一台理想的网络设备，其吞吐量应该等于端口最大速率。进行吞吐量测试时，同一台网络设备对不同测试帧长的测试结果不同，由于前导码和帧间隔的原因，越小的帧长其传输速率越低，尤其是64B 的小包处理能力，最能体现网络设备的性能。

时延用于衡量网络设备转发数据帧的速率，是指数据帧进入和离开网络设备之间的时间间隔。在同一帧长情况下，测得的时延变化称为抖动，它反映网络设备处理数据的稳定性。RFC1242 将时延分为两类：存储转发时延和直接交换时延。存储转发时延与测试帧长有关，只有接收到完整的数据包才开始转发，测试帧长较大的时候时延也会相应增大。采用直通转发技术的网络设备不管数据包的整体大小，其时延相对固定。

丢包率指一定时间间隔内，丢弃的数据包占总数据包的比例，它反映了网络设备对过载压力的承受能力，过载程度不同，丢包率也不一样，因此只有标明测试速度的丢包率才有参考意义。

网络传输并非百分之百可靠，在外部干扰下，数据帧传输过程中可能出错，产生错误帧。根据受影响数据位置的不同，错误帧的类型不同，如某些比特位可能从0 变成1 或从1 变成0，则会产生循环冗余校验（cyclic redundancy check, CRC）错误。理想情况下，网络设备应当能识别错误帧，不会响应和转发错误帧。

网络性能各个测试参数的侧重点不一样。吞吐量反映设备在长时间使用时不丢包情况下所能达到的最大转发速度；时延表征设备处理网络帧的速度；丢包率表示测试设备在短时间、高转发时的丢帧百分比；对错误帧的处理显示了网络的抗干扰能力和纠错能力。结合以上四项参数，可以对HSR 环网的性能进行综合评估。

2 系统架构

2.1 硬件平台设计

根据就地化HSR 环网性能测试的功能需求，测试平台具备多个网口同时进行环网报文的高速收发，需要强大的并行处理和高速计算能力，并兼具良好的用户交互操作性。综合以上分析，进行硬件方案选型，确定硬件平台方案，由X86 上位机、DSP和FPGA 组成，如图4 所示。

图4 硬件平台方案

X86 上位机运行Linux 操作系统，使用Qt 图形界面与用户进行交互，接收用户配置，通过网口发送配置信息到DSP，同时接收DSP 的测试结果信息并显示；DSP 控制测试流程，实现高速计算，负责测试报文的组织和接收报文的解析；FPGA 进行外围接口控制、报文收发控制和并行处理。

就地化HSR 环网性能测试平台提供6 个千兆光网口，每个光网口的功能可单独配置，实现多点测量功能。FPGA 与DSP 通过串行高速输入输出口（serial rapid input & output, SRIO）和周边装置互连高速（peripheral component interconnect express,PCIE）总线进行批量报文传输，以及外部内存接口（external memory interface, EMIF）进行内部寄存器配置。

2.2 系统功能划分

测试平台功能包括人机交互和测试功能实现两大部分。人机交互由X86 上位机完成，测试开始前，由用户通过界面配置测试功能、持续时间、测量方式等信息；测试过程中显示测试状态；测试完成时统计测试结果。

测试功能实现由DSP 和FPGA 共同配合完成，其内部又分为系统对时、寄存器控制、报文收发和报文特殊处理。

系统对时实现与保护装置时钟同步，保护装置的采样率为每周期80 点，即每秒4 000 点，智能变电站内设备通过 B 码或全球定位系统（global positioning system, GPS）统一卫星对时。DSP 通过串口配置GPS 产生秒脉冲（pulse per second, PPS），读取时间信息，写入FPGA 内部寄存器。FPGA 根据B 码或PPS 产生4K 中断到DSP，与保护装置的采样同步。

寄存器控制用于DSP 和FPGA 共享系统信息。FPGA 内置了一组配置寄存器和状态寄存器，由DSP通过EMIF 进行读写。配置寄存器保存测试参数，如时间、测试帧长，状态寄存器实时更新系统状态，如接收报文统计、错误帧数量。通过寄存器控制，实现DSP 与FPGA 的信息同步。

报文收发是系统功能实现的关键。6 个千兆光口的接收报文，由FPGA 加入时间戳和端口信息等处理后，进行缓存，在下一个4K 中断通过SRIO 直接写入DSP 内部存储器，并进行环网报文的转发。原始发送报文由DSP 根据功能进行组织，并附加发送光口等信息，在下一个4K 中断到来时，通过PCIE传输到FPGA，由FPGA 根据附加的光口信息进行转发。

报文特殊处理根据测试功能，对原始报文进行修改，达到特定目的。如根据接收报文时间加入时间戳，可用于发送报文和接收报文的时延计算；附加接收端口信息，便于DSP 和FPGA 确定接收和发送的具体光网口；修改CRC 信息，可用于向网络内主动注入CRC 错误帧，用于错误帧监测。

2.3 测量点选择

开展就地化HSR 环网性能评估，掌握环网的运行状态，在网络整体评估的过程中，测试平台模拟就地化保护子机的功能串入环网中，对于4 个子机组成的就地化保护HSR 环网，其可选测量点如图5所示。

图5 可选测量点

对环网整个链路测量时，测试平台可在A、B、C、D 4 个测量点中的任意一个串入，进行单点测量即可。在测试中发现问题，需要分析单个链路，或者评估单个子机功能时，应根据被测链路或子机选择测量点。如对子机2 进行测量时，测试平台应分别在测量点B 和测量点C 同时串入进行多点测量。

3 功能设计

上位机配置的测试参数通过网口发送到DSP，DSP 将相关数据写入FPGA 内部配置寄存器，然后DSP 和FPGA 根据设置参数共同实现测试功能，具体实现过程如下。

3.1 吞吐量

吞吐量定义为网络互联设备在没有丢帧的前提下发送帧和接收帧的最大速率，采用主动测量方式进行，其实现方法是：测试设备串入环网，由DSP根据参数组织目的地址为本设备的测试包，FPGA负责等间隔发送，经过网络中其他子机转发后，DSP统计接收报文，如果丢包则降低发包速度重新测试，否则提高发包速度，直到达到测试精度为止。吞吐量测量结果与测试帧长、精度和背景流量相关。

RFC2544 要求网络设备一般采用以下7 种测试帧长：64B、128B、256B、512B、1 024B、1 280B和1 518B，软件默认测试精度为端口理论最大速度的1%，以上测试参数均可通过上位机由用户自定义进行配置。

测试开始时，DSP 按某一帧长，以端口最大速率的100%组织报文，如果无丢帧则吞吐率为最大速率。如果有丢帧，则将报文发送速度调整到端口最大速度的80%，若仍有丢帧，则继续下调20%进行测试，直到没有丢帧。此后DSP 根据二分法来调整发包速度，逐步逼近，当测试有丢帧和没丢帧的端口速率小于所设置的测试精度时，将没丢帧时的端口速度作为此帧长的吞吐量。之后DSP 改变帧长，重新测试，直到完成所有帧长的吞吐量测量。

吞吐量测试时，需要考虑背景流量的影响。串入环网中的测试平台，不应改变环网内报文的传输，且其传输优先级应高于测试报文。FPGA 在报文转发时设置了判决逻辑，根据环网内流量的大小动态调整数据包的发送。当FPGA 收到环网内部子机发送的报文时，优先转发，记录报文长度，并按此长度相应调整发送缓冲区，记录实际发送的报文数，写入状态寄存器，DSP 根据此寄存器组织下一次测试报文。计算吞吐量时，需要加入背景流量数据。

3.2 时延

时延通过DSP 组织测试帧，FPGA 在报文发送时加上发送时间，报文经链路传输，在选取的测量点接收时FPGA 加上接收时间，DSP 解析报文后根据这两个时间计算时延。假设数据的发送时间为T1，接收时间为T2，则时延为

时延测试时，DSP 根据测试帧长和时间发包，FPGA 需要根据存储转发还是直接交换来添加时间戳。直接交换方式下，测试帧的第一位数据出现在输出接口时，为发送时间；接收数据的第一位出现在输入接口时，为接收时间。存储转发需要考虑测试帧长的影响，测试帧的最后一位数据出现在输出接口作为发送时间，FPGA 需要在发送数据时提前将此时间计算好。

对于采用存储转发的就地化保护子机，在整个网络的时延测试时，需要考虑链路中间子机的影响。

3.3 丢包率

丢包率采用主动测量方式，由DSP 根据测试速度计算报文，通过FPGA 进行转发，在待测链路的两端分别进行发送和接收。在测试时间内，发出的数据包数量为N，收到的数据包数量为M，则丢包率为

数据丢包是一种随机行为，七种标准帧长都要测量，且需要重复多次进行，以便获取统计数据，速率的调整一般按10%进行，但不能超过10%。

与吞吐量的测试一样，由于丢包率测试在环网内注入大量报文，为保证环网工作不受影响，同样需要FPGA 按照背景数据流量动态调整测试报文的发送。但在计算时，丢包率只统计设备自身发出和接收的测试帧，背景报文由于帧长随机，且测试设备只是转发，其数量与丢包率计算无关。

3.4 错误帧

错误帧测试需要结合主动测量和被动测量方式实现。被动测量方式不发送测试数据，由FPGA 根据规则检测报文，统计测试结果。主动测量方式则根据需要检测的错误帧类型，构造错误类型帧，经过测试链路传输后检测是否能收到，来验证被测链路是否能识别错误帧，而不进行转发。本测试平台能够进行监测的错误帧识别规则见表1。

表1 错误帧识别规则

某些错误帧的发送和识别，需要网络MAC 控制器底层的特殊操作，被动测量时其监测功能完全由FPGA 实现，DSP 只需从相应的统计寄存器读取结果。主动测量时，由DSP 构造最原始报文，FPGA根据需要测试的错误帧类型进行特殊处理后发送。

4 测试验证

测试平台软硬件设计完成后，以图5 所示的四子机环网作为被测网络，验证测试平台功能。在测试过程中，为避免测试报文对环网正常工作的影响，测试平台模拟子机功能串入环网，被动测量时转发环网内的数据，主动测量时发送目的地址为自身的报文，其他子机对测试报文只转发，不响应。

4.1 吞吐量测试

测试平台在测量点A 串入，为保证吞吐量测试结果，验证采用七种标准测试帧长，测试精度1%，重复测试20 次，取20 次测试的平均值，得到每种测试帧长对应的吞吐量，如图6 所示。

图6 吞吐量测试结果

以太网规定了8B 的前导码及12B 的最小帧间隔，从图6 可以看出，测试帧长越小，前导码和帧间隔对测试结果的影响越大。

4.2 时延测试

测试平台在测量点A 和测量点B 串入，由测量点A 向子机1 发测试报文，在测量点B 处接收测试报文。测试采用七种标准帧长，每种重复测试20 次，计算平均值，得到子机1 的时延结果，见表2。

表2 时延测试结果

子机采用存储转发方式，测试时按后进先出方法计算，消除了数据传输时间的影响，中长帧的测试结果比短帧更为稳定。

4.3 丢包率测试

丢包率反映网络超负荷工作从而导致异常的情况，通常网络设备要求在70%负载下丢包率不超过0.1%。对于就地化保护HSR 环网而言，正常情况下流量达不到满负荷状态，满载测试可能会导致网络异常，使测试结果不具备参考意义。从验证测试平台功能的角度出发，将测试平台从测量点A 串入，按70%的端口流量、七种测试帧长发送测试包并接收统计，每种帧长测试30s，重复20 次，所有报文均能被正确接收，丢包率为0。

4.4 错误帧测试

测试平台在测量点A 串入，通过被动测量的方式监测错误帧，持续时间30s。然后再以主动测量的方式分别向子机1 和子机4 发送指定错误帧，并继续监测，持续时间30s，网络内检测不到任何错误帧。

将测试平台光网口的发送端直接连到接收端，按主动测量的方式发送指定错误帧，此时可以检测到错误帧，且错误帧类型和数量与发送一致。

从上面的测试过程可以看出，测试平台具备错误帧监测功能，环网内子机能够正确识别错误帧，且不会转发错误帧。

5 结论

HSR 环网通过链路和数据的双重冗余，消除单点故障对网络的影响，通信可靠性高。智能变电站就地化保护装置在实验室、检修中心和现场投运前，开展HSR 环网性能评估显得非常重要。针对当前HSR 环网缺乏有效测试手段的问题，本文根据当前电子技术的发展和HSR 环网的工作原理，设计了基于FPGA 和多核DSP 的硬件平台，通过对吞吐量、时延、丢包率和错误帧监测的原理进行分析，软硬件结合实现测试功能。试验时测试平台模拟环网内子机功能串入环网，在吞吐量、丢包率测试时优先转发环网内报文，不影响原来环网链路和数据的正常收发。验证结果表明，本文所设计的测试平台，能够满足智能变电站就地化HSR 环网性能评估的要求，保证保护装置正确动作，确保电力系统的安全稳定运行。