电力计量主站采集链路监测技术研究与应用

摘要：随着电力计量设备种类、数量的持续增长，采集数据项、频次的逐渐增多，电能量数据量呈爆发式增长趋势，如何建立一套切实有效的电力计量关键业务全链路监测体系，加强对各关键业务链路级的监测，进一步提高电力计量主站运维效能，值得深入探讨与研究。本文以南方电网某省电力公司为例，通过分析电力计量主站运行监测现状问题以及南方电网相关政策要求，设计了基于典型场景分析、监测对象与指标界定、技术路线设计、监测信息拦截收集、传输与汇聚、数据处理展现的电力计量主站采集链路监测整体方案。

关键词：电力计量;主站采集;链路监测;技术设计

当前电力行业发展面临供给侧结构性改革、售电市场放开、能源新技术涌现等变化，随着电力计量设备种类、数量的持续增长，采集数据项、频次的逐渐增多，电能量数据量呈爆发式增长趋势，对电力计量主站运行水平提出了更高要求，如何建立一套切实有效的电力计量主站采集链路监测体系，加强对各关键业务链路级的监测，进一步助力电力计量主站运维效能提高，值得深入探讨与研究。

1 电力计量主站采集链路监测的建设必要性

1.1 省公司计量主站采集运维现状及问题

南方电网某省电力公司计量主站自上线至今已稳定运行多年，在服务器、中间件、数据库等系统状态及覆盖率、自动抄表率等业务指标全部实现了高效的监测。伴随着公司系统规模的不断壮大和业务量的逐年增加，导致内部资源对象、业务层级和容器层级的监管和排查变得越来越麻烦。当前电力计量主站系统监控暴露出以下几方面的问题：

1.2 南网数字化转型与电能量数据深化应用要求

近年来，南方电网公司提出了“数字南网、智慧南网”的建设目标，而计量自动化系统作为南网关键组成系统之一，是支撑南网数字化转型成功的关键组成要素，其在“数据资源、数字电网、数字运营、数字能源生态”建设中发挥着巨大的作用。同时，南方电网公司在2020年也提出了“开展新一代计量自动化主站技术研究”“加强主站性能在线监测”等要求。随着电力计量设备种类、数量的持续增长，采集数据项、频次的逐渐增多，电能量数据量呈爆发式增长趋势，进一步凸显了电力计量主站要提升计量采集能力、加强主站性能监测等方面要求。因此，本文建立一套切实有效的电力计量主站采集链路监测体系，加强对各关键业务链路级的监测，进一步助力电力计量主站运维效能提高，具有十分重要的意义。

2 电力计量主站采集链路监测整体设计

2.1 典型场景分析

监控系统的主要作用是全面掌握现场所有场景的运行情况，仔细观察监控系统，能够及时发现潜在的问题，并采取措施予以处理。借鉴其它行业领域全链路监测技术应用情况，典型全链路监测场景主要包括以下几个方面：

2.2 监测对象和指标界定

运行全链路监测是指从全局上下游视角出发，利用信息采集、计算与展示技术，反映呈现监测对象即端到端调用链路节点的健康状况监测指标信息，助力业务运维人员快速发现、定位、排查问题。其中，端到端调用链路节点、健康状况监测指标信息是运行全链路监测的核心概念。

2.3 技术路线设计

为确实保障电力计量主站采集链路监控数据的真实性及客观性，将独立开发建设监控系统，并针对性的开发实用化监控数据采集客户端，嵌入计量系统采集监控数据，并集中采集到监控系统服务端进行分析统计及实时展示，最终实现链路监控的建设。因此，设计开源监控组件和分布式组件结合的监测系统技术架构，整个电力计量主站采集链路监测从技术架构上会根据具体业务不同有所变化，分为物理层、服务层、应用层。其中：

（2）服务层。包括监测信息拦截收集、数据传输与汇聚以及数据存储与处理。

（3）应用层。通过可视化Web界面来查询电力计量关键业务全链路、采集信息和监测指标，同时还提供根据不同维度的综合统计分析应用。

监控的核心问题在于对业务系统运行数据的实时采集上，为保障数据来源可靠和真实，并且对原业务系统的性能影响较小，因此采用了非侵入式探针技术。非侵入式探针技术监测在采集方式上属于旁路连接方式，由于不需要在业务系统中安装客户端，减少了对业务系统的影响，避免了给现有业务增加管理复杂度，减少了业务运行故障点，在监测系统出现问题以后，现有的监测系统不会受到任何的影响，使系统的稳定性得到保证，同时，通过采集方式的热部署和无缝衔接，还可以保证监测系统的可扩展性。应用在监测信息拦截技术选型上采用Pingpoint。Pinpoint是一款全链路分析工具，提供了无侵入式的调用链监控、方法执行。通过选用Pinpoint工具开展探针及数据采集工作，公司根据业务需求对其进行探针优化改造和插件开发，使它能够更大程度满足设计需求。

通过监测信息拦截收集功能，系统完成了对链路监测信息的收集后，再由收集器将这些数据通过数据发送器负责将采集到的数据以数据流的方式发送给数据汇聚器。其中，数据发送器通常和监测信息收集器通常一起部署在同一台服务器上，根据设置的发送数据间隔，将监控数据收集器中的信息采用异步线程同步的方式发送给数据汇聚器，减低对计量系统数据采集本身的性能影响。为了使数据能够在监测系统服务端和发送器之间实现高效的传输，也为了降低海量数据入库和准实时计算导致的性能问题，我们引入了实时消息队列Kafka以及Zookeeper集群的模式作为监测数据统一汇聚器[8]，以此为基础，搭建数据高速传输路径，使可插拔式集成得以实现，用户能够更加迅速、准确的获得监测信息，使服务端与客户端的流数据整合得以较好的实现，为数据存储和流式计算提供数据。

数据处理是监测系统的核心部分，主要通过获取Kafka中的链路、指标数据，完成数据存储和数据计算两部分。其中，数据存储采用ElasticSearch，一方面对调用链路、指标原始数据进行存储，另一方面支持对经数据计算后的数据进行存储。监控数据分析是数据计算处理的核心内容，以汇总的监控数据为基础，使调用链各个节点上的响应时间、TPS、并发数和调用链得到准确的计算，以此为特征完成逻辑回归模型的创建。以历史数据中获取的调用链节点响应时间和并发数为基础，对逻辑回归模型的有关参数信息进行有效的训练，准确的判断出调用链在正常运行状态下的安全置信区域。在预测调用节点响应时间、TPS、并发数以及给定时间是否正常时，可以使调用链安全置信区域和逻辑回归模式来快速预测出准确的结论。一旦发生问题，要第一时间报警。在应用过程中，针对监测系统做了很多定制化的改造，以更高的提高查询效率，主要表现在以下两个方面：

（2）预警算法[6]。监控数据的暗涨、持续阴跌或者是微量波动不会被传统的监控预警算法所发现，使得故障漏报的情况时有发生。对于此类问题，将机器学习算法与mean-shift等均值漂移模型结合在一起后引入到监控系统中，实现对监控数据变点的準确查询。变点主要是指在持续微量下跌到一定时间以后，变化量累计到一定程度时，变点前后监测指标会在一段时间范围之内发生均值漂移。传统监测预警算法难于识别的阴跌趋势被均值漂移模型转化成为CUSUM时间序列，通过对历史数据的分析，使用机器学习算法将其变化趋势自动的反应出来。使用支撑Web应用将处理好的数据展示出来，工具展现端为用户提供各项服务，针对不同的角色提供不一样的服务，还能够将负载预测、应用瓶颈以及采集全链路等指标状态进行完美的实现，最大程度的支撑了典型场景的实现。

结语

本文以南方电网某省电力公司为例，通过分析电力计量主站运行监测现状问题以及南方电网相关政策要求，设计了基于典型场景分析、监测对象与指标界定、技术路线设计、监测信息拦截收集、传输与汇聚、数据处理展现的电力计量主站采集链路监测整体设计方案。这些内容已实现并开展应用，进一步提高了电力计量主站运行水平，助力了电力计量主站运维效能提高。且可满足常见电力计量采集业务运行链路监测需要，对其它电力公司研究设计电力计量采集运行全链路监测具有较强的借鉴意义与可扩展性。

参考文献：

[1]马永，吴跃，何李囡，等.基于Prometheus的基础软硬件全链路监控设计和实现[J].电子技术与软件工程，2019（24）：39-40

[2]丁学英，刘迪，邱镇.基于微服务架构的应用监控系统设计与实现[J].电力信息与通信技术，2018（7）：75-79.

[3]佟业新，曲新奎.民航微服务架构设计[J].中国科技信息，2019（21）：27-29.

[4]刘霞霞，高阿朋，任春雷，等.一种基于APM应用全链路监控工具设计[J].网络安全技术与应用，2019（6）：19-22.

[5]路辉，刘星.一种全链路分析工具在电力生产管理系统监控的应用[J].中国战略新兴产业，2019（18）.

[6]李映.移动应用支撑系统中全景监控技术的研究与实现[J].电信工程技术与标准化，2019（06）：61-65.

[7]刘嘉裕.基于分布式微服务全链路实时监控系统设计与实现[D].北京交通大学，2018.

基金项目：中国南方电网有限责任公司科技项目（项目编号：060000KK52190002）

作者简介：林晓庆（1986—  ），女，布依族，贵州贵阳人，硕士研究生，工程师，研究方向：市场营销、计量自动化。