基于Ｐｒｏｐｈｅｔ－ＧＭＭ 的大坝监测数据异常检测算法

孙政杰 丁勇 李登华

摘 要：大坝监测数据受环境等因素影响，往往存在异常数据，异常数据的检测对于大坝的正常运行起着不可或缺的作用，但是传统异常检测算法对于大坝监测数据往往达不到精度要求。提出了一种基于Ｐｒｏｐｈｅｔ－ＧＭＭ 的异常检测算法，利用Ｐｒｏｐｈｅｔ 算法较好的拟合性能对大坝数据进行拟合，由拟合数据与实测数据求残差序列，再利用ＧＭＭ 算法对残差序列进行聚类，从而准确识别出异常值。结果表明：Ｐｒｏｐｈｅｔ－ＧＭＭ 法对于不同类型的大坝监测数据都能准确识别出异常值，与传统检测算法相比，在查准率、查全率及准确率３ 个检测指标上，均有较为明显的提升。

关键词：Ｐｒｏｐｈｅｔ；ＧＭＭ；大坝监测数据；异常检测

中图分类号：ＴＶ６９８．２ 文献标志码：Ａ ｄｏｉ：１０．３９６９／ ｊ．ｉｓｓｎ．１０００－１３７９．２０２４．０３．０２４

引用格式：孙政杰，丁勇，李登华．基于Ｐｒｏｐｈｅｔ－ＧＭＭ 的大坝监测数据异常检测算法［Ｊ］．人民黄河，２０２４，４６（３）：１３２－１３５，１４２．

０ 引言

大坝监测数据对判定大坝状态，预测大坝安全情况起着重要作用。准确的大坝监测数据有利于提升大坝安全报警精确度，及时预警并解决问题。近年来，随着大坝自动化监测水平不断提升，大坝内测点的不断增加导致监测数据量大幅上升。鉴于自动化仪器本身存在各种误差，且易受其他因素影响，大坝监测数据往往存在异常值，因此识别异常值变得尤为重要。目前，针对大坝监测数据准确性的提升，普遍采用基于聚类［１－２］ 和基于模型［３－４］ 的异常检测方法，然而上述方法无法有效规避数据异常值的影响，异常值检测效率较低。

鉴于大坝监测数据本身为时间序列数据，由Ｆａｃｅ?ｂｏｏｋ 开源的Ｐｒｏｐｈｅｔ 算法是一种自适应拟合数据的算法［５－６］ ，该算法对于时序数据有良好的适应性，对缺失值容忍度较高，拟合速度较快，具有良好的拟合性能［７－８］ 。本文在利用Ｐｒｏｐｈｅｔ 算法拟合大坝监测数据后，引入数学模型求得残差序列，再结合高斯混合模型聚类（ＧＭＭ）算法［９－１０］ 对残差序列进行聚类，通过聚类准确判断出大坝监测数据的异常值，對比仅使用将Ｐｒｏｐｈｅｔ 算法预测值上下限［１１］ 作为异常数据识别区间的方法以及各传统算法，试验表明异常检测精度得到有效提升。

２ 案例

２．１ 大坝监测数据来源

本文采用某面板堆石坝近１０ ａ 的监测数据进行案例分析，其中包含大坝自动化监测系统投入使用后的数据。该大坝自动化监测系统监测频率为１ 次／ ｄ，涵盖各类测点共计大约８００ 个，包括大坝测缝计、大坝钢筋应力计、大坝渗压计等近２０ 类不同监测仪器。

本试验将大坝监测数据分为３ 类，其中试验模拟序列采用标准正弦波谐波因子的方式模拟以年为周期的大坝周期温度项，其过程线如图２ 所示；周期性序列为对于大坝混凝土面板钢筋应力计及测缝计等具有较为显著的单调性和年周期性的序列；非周期性序列为对于土压力计及大坝渗压计等没有较为明显的单调性和年周期性的序列。分别从上述仪器的测点中选取数据质量较好的１０ 条序列，通过人工检查，序列均无明显较大异常和测量误差，其过程线见图３、图４。

２．２ 异常数据的添加

为测试算法检测效果及稳定性，采取在每条序列随机添加人工误差的方式，以达到标记异常点位置的目的，并计算查准率、查全率及准确率。误差的添加方式为：

１）在某个数据点位置独立添加误差；

２）在某几个连续数据点位置添加连续误差；

３）对数据点进行独立和连续两种方式的混合添加。

添加误差值大小分为：１ 倍标准差的小数值误差；１～２ 倍标准差的中数值误差；２～３ 倍标准差的大数值误差；１～６ 倍标准差的混合数值误差。误差值添加数量分为：２％左右的少量误差添加；５％左右的中等数量添加；１０％左右的大量添加。

对上述异常数据添加方式进行多组试验可以很好地反映大坝数据存在的异常情况以及实际情况中的各种突发状况，本文将在各类传感器中取３０ 组数据进行误差添加以及算法检测试验。

利用Ｐｒｏｐｈｅｔ 算法构建该大坝数据监控模型，由拟合后的数据与实际数据求得残差序列，利用ＧＭＭ算法对残差序列进行聚类，例如大坝渗压计的聚类结果如图５ 所示。

式中：Ｐ、Ｒ、Ａ 分别为查准率、查全率、准确率，ＴＰ 为检测为正的样本实际也为正样本数量，ＦＰ 为检测为正的样本实际为负样本数量，ＦＮ 为检测为负的样本实际为正样本数量，ＴＮ 为检测为负的样本实际也为负样本数量［１５］ 。

由于Ｐｒｏｐｈｅｔ 算法本身可得到预测值上限及下限，并且可以将此区间外的数据点识别为异常点，因此本文也将其作为对比方法。

查准率也称精确率，由表１ 中Ｐｒｏｐｈｅｔ－ＧＭＭ 算法与其他方法的查准率可知，由于模拟序列本身是较为理想的序列，因此该算法可以得到很好的效果；对于周期序列而言，查准率均值大都在０．８５ 以上，且标准差较小，表明Ｐｒｏｐｈｅｔ－ＧＭＭ 算法对于不同的序列均有较好的适应性，对比绝对中位差法和四分位控制法均有较大提升。

查全率也称召回率，传统的绝对中位差法和四分位控制法对于实测序列而言检测效果较差。针对非周期和周期两类实测序列，本文所提出的检测算法相较于Ｐｒｏｐｈｅｔ 算法而言，精确性更高（见表２）。

准确率主要表示检测分类正确的样本占总样本的比例，是综合判断检测算法整体检测性能的指标。由表３ 中３ 类序列的准确率均值及标准差，可以看出Ｐｒｏｐｈｅｔ－ ＧＭＭ 算法的检测准确率及稳定性优于Ｐｒｏｐｈｅｔ 算法，对于不同周期的实测序列均能有效地检测异常。

由上述试验结果可知，本文算法相较于传统异常检测算法及使用预测最大值上限和最小值下限为检测区间的Ｐｒｏｐｈｅｔ 算法，在查准率、查全率、准确率３ 个指标上均有不同幅度提升。

３ 结论

大坝监测数据受天气、气候等因素影响往往具有周期性和非线性的特征，加之受仪器本身误差的影响，往往会产生突变的极端误差，对后续大坝数据分析工作造成影响，本文提出基于Ｐｒｏｐｈｅｔ－ＧＭＭ 混合算法识别大坝监测数据中的异常值，通过多种异常值添加方式添加异常进行标记来测试算法效果，并进行对比试验，有以下结论：

１）Ｐｒｏｐｈｅｔ 算法将本身具有的预测值上限和下限作为异常数据识别区间的异常检测方法，其稳定性受异常数据的较大影响，无法达到满意的异常识别精度。

２）对于Ｐｒｏｐｈｅｔ 模型拟合的数据求得的残差序列进行二次处理，使用高斯混合聚类（ＧＭＭ）算法对残差数据进行进一步聚类，将偏离的异常值进行有效的聚类，求得正常值所在的位置，进一步提高了异常检测识别的精度，同时相较于其他传统异常检测方法有较为明显的提升。

参考文献：

［１］ 陆春光，叶方彬，赵羚，等．基于密度峰值聚类的电力大数据异常值检测算法［Ｊ］．科学技术与工程，２０２０，２０（２）：６５４－６５８．

［２］ 肖勇，郑楷洪，余忠忠，等．基于三次指数平滑模型与ＤＢ?ＳＣＡＮ 聚类的电量数据异常检测［Ｊ］．电网技术，２０２０，４４（３）：１０９９－１１０４．

［３］ 杨志东，丁建武，陈广久，等．基于ＬｉｇｈｔＧＢＭ 和ＬＳＴＭ 模型的电力大数据异常用电检测方法研究［Ｊ／ ＯＬ］．电测与仪表，［２０２２ － ０８ － ０１］． ｈｔｔｐ：／／ ｋｎｓ． ｃｎｋｉ． ｎｅｔ／ ｋｃｍｓ／ ｄｅｔａｉｌ／２３．１２０２．ＴＨ．２０２２０７１３．１９５８．００４．ｈｔｍｌ．

［４］ 陳利军，王畅．基于ＤＢＳＣＡＮ 的地震电离层扰动异常数据检测方法［Ｊ］．地震工程学报，２０２０，４２（２）：４１０－４１５．

［５］ ＷＡＮ Ｘ Ｌ，ＺＯＵ Ｙ Ｌ，ＷＡＮＧ Ｊ，ｅｔ ａｌ．Ｐｒｅｄｉｃｔｉｏｎ ｏｆ Ｓｈａｌｅ ＯｉｌＰｒｏｄｕｃｔｉｏｎ Ｂａｓｅｄ ｏｎ Ｐｒｏｐｈｅｔ ＡＬＧＯＲＩＴＨＭ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆＰｈｙｓｉｃｓ：Ｃｏｎｆｅｒｅｎｃｅ Ｓｅｒｉｅｓ，２０２１，２００９（１）：１－７．

［６］ ＳＡＫＩＵＲ Ｍ Ｔ Ａ Ｒ，ＴＡＫＡＨＩＲＯ Ｈ，ＯＺＧＵＲ Ｋ，ｅｔ ａｌ．Ａ Ｍｉｎ?ｉｍａｌｉｓｔｉｃ Ａｐｐｒｏａｃｈ ｆｏｒ Ｅｖａｐｏｔｒａｎｓｐｉｒａｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ Ｕｓｉｎｇｔｈｅ Ｐｒｏｐｈｅｔ Ｍｏｄｅｌ［Ｊ］．Ｈｙｄｒｏｌｏｇｉｃａｌ Ｓｃｉｅｎｃｅｓ Ｊｏｕｒｎａｌ，２０２０，６５（１２）：１３９７－１４１７．

［７］ 李衡，朱理，郑洁，等．基于Ｐｒｏｐｈｅｔ 算法的配电网线路峰值负荷预测［Ｊ］．浙江电力，２０２２，４１（３）：２０－２６．

［８］ 周子琪，周世健，陶蕊．基于ＥＷＴ－Ｐｒｏｐｈｅｔ 方法的地表沉降预测［Ｊ］．大地测量与地球动力学，２０２２，４２（３）：２４７－２５２．

［９］ 王荣荣．基于迁移学习的高斯混合模型聚类算法研究［Ｄ］．济南：济南大学，２０２１：４５－５０．

［１０］ 黄咏宁．基于混合高斯模型的面板数据聚类研究［Ｄ］．广州：华南理工大学，２０１６：２０－２４．

［１１］ 高赫．基于机器学习的连续式风洞马赫数控制［Ｄ］．南京：南京航空航天大学，２０２０：４２－４８．

［１２］ 刘铭基，田雅楠，张亮，等．基于Ｐｒｏｐｈｅｔ－ＡＲＩＭＡ 模型的民航周转量预测研究［Ｊ］．计算机技术与发展，２０２２，３２（２）：１４８－１５３，１６０．

［１３］ 吴文培，宋亚林，魏上斐．基于改进Ｐｒｏｐｈｅｔ 模型的用电量预测研究［Ｊ］．计算机仿真，２０２１，３８（１１）：４７３－４７８．

［１４］ 王一妹，刘辉，宋鹏，等．基于高斯混合模型聚类的风电场短期功率预测方法［Ｊ］．电力系统自动化，２０２１，４５（７）：３７－４３．

［１５］ 况华，何鑫，何觅，等．基于双向长短期记忆神经网络的配网电压异常数据检测［Ｊ］．科学技术与工程，２０２１，２１（２４）：１０２９１－１０２９７．

【责任编辑 简 群】