基于多智能体强化学习的水电机组标准化检修管控

蒋飞勇

（广州健新科技有限责任公司，广东 广州 510000）

0 引言

有效的管控措施不仅直接关系到水电机组运行的稳定性，更与机组所在生产环境的安全密切相关[1]。对此文献[2]建立了考虑梯级水电站耦合的水火电系统年度机组检修优化模型，考虑系统、机组、水库的运行约束，并采用代理绝对值拉格朗日松弛法求解，在一定程度上起到了提高输电机组安全性的作用。但是其在具体实施过程中需要大量的人力投入。文献[3]探索了一种融合虚拟现实、智能决策、电站多元信息的数字化检修技术，并基于此开发抽水蓄能电站机组检修数字化管理系统。但是随着水电机组运行周期的延长，其性能参数也会发生相应变化，这就意味着以固定的标准对其实施管控是难以实现的。

结合上述研究内容以及实际水电机组检修工作执行的情况，该文提出基于多智能体强化学习的水电机组标准化检修管控方法研究，构建了智能化管控装置，并通过对输电机组设备的历史运行状态数据进行强化学习，对相关检修工作的执行标准进行更新优化，确保对应管控的合理性，并通过实际应用测试的方式分析验证了设计管控方法的可靠性。

1 水电机组标准化检修管控方法设计

检修进度与资源的科学规划关乎检修计划能否按期完成。针对传统水电机组检修管控方法对检修进度与资源管理的不足，该文在多智能体的基础上引入了强化学习机制，构建了多智能体强化学习机制，以实现对检修过程实时跟踪和智能化管控，优化资源配置，为检修工作顺利完成提供标准化数据支撑。

1.1 水电机组检修管控前期准备

检修管控前期准备工作是检修标准化工作的重要环节，关系到检修目标能否最终实现。首先，确认检修项目名称、上次检修时间、检修级别、检修所需备件、标准项目。其次，由相关专业人员根据检修设备运行情况、上次检修存在的缺陷和遗留问题、技术监督数据、设备检修规程等进行综合分析，提出水电机组检修重大技改项目和设备重大缺陷，并将其作为检修依据，制定相应的专项施工方案。检修作业包括各系统的检修、水轮机系统检修、发电机系统检修、辅机系统检修、大型设备专项吊装等[4]。最后，确认检修工具是否准备充分，这将直接影响检修目标的完成。在检修之前应对检查器具进行整理，并及时补充检修所需要的检修器具，如检修工器具、安全防护用品等。

1.2 多智能体强化学习机制构建

考虑现阶段的水电机组已经实现了较大规模的智能化建设[5]，该文借助多智能体实现对对应设备运行状态的分析。在设计阶段，为了最大限度保证对设备异常识别的准确性，该文为多智能体引入了强化学习机制。将Q-Learning与W-Learning相结合，在动作选择和执行阶段，根据学习到的策略独立选择动作，以有效减少学习阶段的计算量。先构建强化学习智能体，将水电机组作为强化学习智能体的学习环境，智能体m在机组运行过程中进行异常状态属性s的感知，状态属性集包括设备延迟时间st、异常运行温度c、冷却水压p等水电机组运行过程中相关的设备状态信息。在此基础上，智能体根据所对应的异常状态属性s选择检修动作Ae，智能体根据所感知的异常状态进行自学习，其中在每次学习迭代过程[σ，σ+1]下智能体的预测函数w可定义为公式（1）。

式中：xm（t）为水电机组异常状态属性s的迭代函数。

在水电机组正常运行时xm（t）=1，水电机组发生故障或空闲时xm（t）=0。假设在初始状态下水电机组正常运行的参数为x0，那么多智能体实施对机组异常状态判定时也是以其为基准进行的。但是在运行过程中，受自身磨损以及周围环境等因素的共同作用，正常运行参数会出现一定程度的波动[6]，对该波动程度的计算方式如公式（2）所示。

式中：k为水电机组正常运行参数的波动程度；x为在运行t时间后，水电机组的实际参数信息。

当t无限趋近于0时，k与t呈线性关系存在，利用这一特性，筛选智能体在水电机组各种异常状态下能够达到最大回报的决策行为。为了均衡智能体在学习过程中的发现和利用，采用平衡智能体决策策略局部搜索和全局搜索，以改善其在虚拟环境中智能体的学习效果。另外，将经过训练完备的智能体运用于实际生产流程中，能够根据当前的水电设备运行状况自主制定决策行为，并对水电机组中存在的不确定性异常因素进行智能决策优化。该文基于以上强化学习机制内容，借助Speedy Q－learning的更新方法，解决强度学习算法存在的计算量大、收敛速度慢等问题。Speedy Qlearning的主要思想是将上一迭代步更新后的Q值作为下一状态的最大Q值，可有效提高算法的收敛速度。对多智能体中的标准值进行更新，对应的更新机制可以为公式（3）。

式中：x（t）为任意时刻多智能体中判断水电机组异常状态的标准参数信息；Δ为历史观测数据的误差范围； 为学习函数，可利用其计算出连续的k变化率。

需要注意的是，当公式（2）计算得出的水电机组正常状态判断标准参数超出设备自身的设计值时，表明此时的设备已经达到了最大使用寿命，需要进行更新替换处理。

通过Speedy Q－learning算法在下一状态联合动作空间的子空间上进行部分采样并求取最大Q值。为减少学习阶段的计算量，提高算法的运行效率，该文在多智能体中引入强化学习机制，以便在执行水电机组标准化检修管控过程中根据当前水电机组的实际运行状态准确判断负荷，如果水电机组的实际运行状态出现异常，可及时发现并进行相应的故障处理。

1.3 水电机组检修管控

该文在构建多智能体强化学习机制的基础上对水电机组进行检修管控。在实现水电机组检修管控的过程中，该文建立了多智能体与水电机组管控系统之间的连接关系。考虑水电机组的原始数据大多是以Wigner-Ville分布（Wigner-Ville Distribution，WVD）的形式存在的，因此该文利用RDF策略为多智能体设置了数据转化指令。接收到WVD形式的状态数据文件后，将其制成RDF文件，再利用WVD-RDF数据，将对应的参数信息集成为SVG图形的形式。这样做的目的是在确定水电机组异常的同时，能够同步确定对应的故障位置。为了满足多智能体的强化学习需求，该文为其建立了数据存储模式，考虑水电机组的数据规模较大，直接存储需要较大的空间，因此采用EEMD分解后将数据转化为以元素为基础单元的矩阵形式。多智能体接收到实时水电机组运行数据后，经上述处理，并利用智能体的中间件基础架构匹配数据中故障要素与计算得到的实时标准参量之间的关系，实现对其异常情况的准确识别。具体的实现流程如图1所示。

如图1所示，多智能体通过消息传递接口（MPI）建立与水电机组运行数据后，根据历史数据的发展情况计算实时异常状态判断标准，在此基础上将输入多智能体中的数据转化为RDF文件，并对比其与状态判断标准之间的关系。当其在标准参数范围内时，表明此时的机组处于正常状态；当其超出标准参数范围时，则表明此时的机组存在异常。结合SVG图形实现对具体故障位置的定位，并将其作为检修工作的执行指令传输到水电机组管控系统中。

图1 基于多智能体的水电机组检修管控流程

通过这样的方式并结合实际情况实现对水电机组运行状态的判断，以更合理的标准实现对检修工作的管控，确保检修管控的执行效果。此外，还需要为每个智能体设计一个单一目标问题，为了保证获得预期的收益，必须在最优时给予智能体相应报酬，但这也会造成在一个模型中出现贪婪行为，解决方案如下：在每段时间内对智能体的行为进行调节，直至被认可。且为了避免在高需求阶段对非关键的智能体进行检修，将问题转化为一个多目标问题，因此水电机组优化的第二个目标是对智能体的不当行为进行处罚。如果智能体决定在需求量高时被维修，则对智能体模型输入惩罚，这可以由预测元件所提供的未来环境状况信息来完成。

2 应用测试与分析

在对该文设计的基于多智能体强化学习的水电机组标准化检修管控方法的应用效果进行测试的阶段，该文以实际环境为基础，将所设计的方法与文献[7]提出的基于TOPSIS的抽水蓄能机组设备重要度评估方法、文献[8]提出的电机组状态监测数据清洗方法进行对比，通过对三种管控方法下的检修执行效果进行分析来对该文设计的管控方法的应用价值做出客观评价。

2.1 测试环境

该文以某企业的水电机组为测试对象，测试电站配备的机组类型为混流式水轮发电机组，共6台，具体的运行功率参数均为550MW。在对测试装置的数据进行获取阶段，该文主要采用S8000在线监测系统。在具体的实施过程中，分别通过位移传感器实现对机组摆度信号的实时获取。为了确保采集数据信息的完整性和可靠性，对位移传感器位置的布置需要兼顾水轮发电机组在不同方向上的具体运行情况，按照垂直的方式在水导轴承X方向、Y方向设置2个传感装置。在此基础上，设置采样数据平均时间间隔为30分钟，共获取166组数据。以此数据为基础，分别设置不同的故障状态，并采用三种方法实施检修管控。在对三种方法的管控效果进行分析阶段，该文以其对水电机组故障状态的检修效果为评价指标。

2.2 测试结果

按照上述测试环境设置情况，该文差异化设置水电机组检修故障的类型和程度，具体见表1。

表1 水电机组检修故障设置/μm

按照表1所示的方式，分别对每组检修故障进行30次测试，如果在测试阶段对故障的有效检修次数达到30次，则表明对应的管控方法能够实现对水电机组异常情况的有效管控。随着有效检修次数的降低，表明对应的管控方法在水电机组检修中的应用效果也相应降低。统计不同管控方法下的测试结果，得到的数据信息见表2。

表2 不同管控方法下水电机组故障检修效果统计

从表2可以看出，在不同水电机组故障状态下进行的测试结果中，文献[5]和文献[6]方法的测试结果均随着异常程度的减弱而表现出管控效果逐渐下降的趋势。其中，文献[5]方法的管控效果受故障程度的影响更明显。当水导轴承X方向摆度异常程度达到5.0μm时，检修阶段对其的准确检修次数达到28次，但是当短路阻抗异常程度仅为2.0μm时，检修阶段对其的准确检修次数也仅为22次，表明此时有8次测试并未实现对故障的有效检出，这对水电机组的安全运行是十分不利的。虽然从整体角度分析，文献[8]方法的管控效果波动性低于文献[7]方法，但是对实际的水电机组检修工作而言也存在一定的不足。相比之下，该文设计方法对不同类型和程度故障的准确检修次数均在26次以上，并且测试结果并未受到故障程度的明显影响。测试结果表明，该文设计的基于多智能体强化学习的水电机组标准化检修管控方法可以实现对水电机组检修工作执行质量的有效管控，对提高故障检出效果具有积极作用。

基于上述试验内容，使用训练集大小为200的水电机组数据库，对该文检修管控方法进行验证。假定所有数据集具有相同的扩展功能，通过故障检测成功率试验可以发现，使用基于多智能体强化学习的水电机组标准化检修管控方法进行故障检测，成功率达到99%以上。数值结果表明，该文检修管控方法在区分水电机组参数集中所有的故障参数方面较为有效。这是因为该文方法利用强化学习机制实现了对水电机组异常判断标准的实时更新，利用智能体的中间件基础架构，匹配数据中故障要素与计算得到的实时标准参量之间的关系，可实现对其异常情况的准确识别。

3 结语

为了确保水电机组检修工作的执行效果，实施有效的管控方法是极为重要的。该文提出基于多智能体强化学习的水电机组标准化检修管控方法，以智能装置为执行载体，在引入强化学习机制的基础上，实现了对水电机组检修工作的标准化管控。希望该文的研究内容能够为实际的检修工作提供有价值的参考，助力水电机组的安全运行。