基于海量平台的水电生产实时信息系统数据稳定性及准确性问题的分析与解决

刘 浩，周文宇，张亚武，李建光，吕志娟，朱海锋，郭 帅

（1.北京许继电气有限公司，北京市 100085；2.国网新源控股有限公司，北京市 100053；3.华东桐柏抽水蓄能有限公司，杭州市 317200)

基于海量平台的水电生产实时信息系统数据稳定性及准确性问题的分析与解决

刘 浩1，周文宇1，张亚武2，李建光2，吕志娟2，朱海锋3，郭 帅1

（1.北京许继电气有限公司，北京市 100085；2.国网新源控股有限公司，北京市 100053；3.华东桐柏抽水蓄能有限公司，杭州市 317200)

本文对影响水电生产实时系统数据稳定性及准确性的原因进行分析。重点针对影响数据稳定性的数据通道中断问题，提出一种数据传输通道状态自诊断及恢复的解决方法；并为解决数据准确性问题提出一些改善建议。

生产实时系统；数据稳定性；数据准确性；自诊断；解决

0 引言

随着信息化水平的不断发展，电力行业已经建立了很多计算机信息系统，积累了大量的数据。其中，依托大数据海量平台技术，水电生产实时信息系统为国网新源控股有限公司（简称新源公司）提供电厂生产过程综合优化的实时管理和监视服务，主要处理实时/历史的生产过程数据，生产过程数据多数属于时间序列，具有很强的时效性，且数据采集范围覆盖全电厂，因此数据量非常庞大[1]。这些数据经过远程传输，从电厂上送至新源公司海量平台并存储下来，通过数据挖掘与分析实现高级应用。随着新源公司水电生产实时信息系统接入电站不断增多，数据稳定性、准确性等方面的问题逐渐凸显，人工维护、处理等非自动化运维方式已经满足不了水电生产实时系统对数据质量的要求。

本文将全面分析影响水电生产实时信息系统数据准确性及稳定性的原因，针对性提出改善或解决这些问题方法。着重介绍数据传输通道状态自诊断及恢复功能的实现方法，用以增加数据稳定性，并为提升数据准确性提出一些改善建议。

1 生产实时系统数据稳定性及准确性问题原因分析

1.1 影响数据稳定性的原因

1.1.1 数据传输通道稳定性不高

新源公司下属常规电站及抽水蓄能电站众多，基于海量平台的水电生产实时系统，接入了各电站的生产过程数据，因此数据传输通道多，且每个通道数据传输要经过多个环节，如从数据源头至总部上层数据管控平台，一般要经过电站生产大区、管理大区才能到达总部海量平台；又因涉及众多厂家的信息系统，数据接口不统一，造成数据链路复杂、数据稳定性及可靠性不高。因此，数据中断问题时有发生。

1.1.2 数据传输通道中断不能及时恢复

因新源公司海量平台汇集了众多电站的生产实时数据，数据运维工作繁重，人工日常运维模式无法在第一时间得知某电厂数据中断的情况并做出恢复响应，产生数据中断延时；数据通道中断可能发生在电厂侧，也有可能发生在公司侧，因此需要人工判断数据中断环节，再协调电厂及公司海量平台运维人员进行故障处理，导致数据延时加长。

因此数据传输通道稳定性差及故障后处理恢复时间长，是造成水电生产实时信息系统数据稳定性不高的问题。

1.2 影响数据准确性的原因

1.2.1 数据冗余及不一致

水电站生产数据中有很多重要数据，如机组的电气参数、瓦温等，保护系统和监控系统都需要，这就造成同一个数据因为不同的用途而都存储下来[2]。继而这些数据向上发送至公司海量平台，这些数据重复出现，造成数据冗余。如果这些意义相同而来源或通道不同的数据，其中某一来源或通道故障，又会造成这些数据相互不一致。这两个问题给数据甄别和数据应用造成很大困扰，影响数据高级分析及应用的效果。还有一种导致数据冗余的原因，基于海量平台的生产实时信息系统接入一些应用上不需要的数据，占用存储空间。

1.2.2 源头数据错误

少量数据在数据源头时，就存在数据质量问题，譬如数据采集传感器异常产生的错误数据、传感器至现地装置传输通道受干扰或中断而导致的异常数据等，这些数据的错误是不可修复的，导致这些数据的应用失去意义。

以上这些是造成水电生产实时信息系统数据准确性问题的主要原因。

2 生产实时系统数据稳定性及准确性问题的解决

2.1 数据传输通道自诊断及处理

上文中已经阐述了数据传输通道不稳定造成的种种问题。数据通道状态自诊断及恢复功能能够快速有效的恢复数据，将数据中断对生产实时系统的影响减到最小，提高数据的稳定性。以下提出一种数据通道自诊断及处理功能框架及实现方法。

2.1.1 数据传输通道状态自诊断

基于海量平台的生产实时系统，数据传输的过程为：生产实时数据源自各电站生产大区的监控系统或其他信息系统，由电站生产大区（二区）传至电站信息管理大区（三区），再转发至水电公司总部级数据海量平台，供总部生产实时系统使用，每个接入电站都有这样一条数据传输通道；其中的每一个环节都经过传输网络、数据接口程序；这构成了总部海量平台的一条数据接入通道。当然，随着总部生产实时系统接入的厂站增多，这样的通道也逐渐增多。

各电站数据是否能由二区正常地传输到海量平台，决定了公司级生产实时信息系统能否正常使用。就新源公司的生产实时系统海量平台来说，数据通道状态的自诊断应采取的思路是：自动分级诊断故障问题，先判断出哪些通道数据没有持续刷新，定位出故障通道后，再诊断该通道的哪一个环节出现问题。

（1）判断故障通道。

在公司总部海量平台中建立数据是否持续刷新的判断功能：设置固定频率的判断数据是否已经刷新（如每5分钟1次），抽取此时刻各通道的断面差值数据，与之前一个时刻的差值数据进行比对，如源于该通道的所有测点数据中存在部分测点的数据不一致，则表示在最近的5分钟内，这些测点存储了新的数据，表明该数据所在通道的状态是正常的；相反，如此时刻的数据与之前一时刻的数据完全一致，则表示这个数据的传输通道中断。这时应该具体判断这个通道中哪个环节出现问题。

（2）判断故障节点。

确定了故障的通道，就需要精确判断该通道中的故障节点及具体故障原因。通道中的环节有三个：数据源中断、二区至三区通道异常、三区至公司海量平台通道异常。采用由海量平台向电站自上而下逐级诊断的方法来定位故障位置。

公司海量平台布署数据接口程序，在该程序中设置一个状态点A来表征通道故障电站三区至海量平台的通道状态，海量平台接口程序定期（如5分钟1次）向该电站三区发送询问测试帧，如得到三区返回的应答，则表示三区至海量平台通道正常且三区数据接口程序运行正常，状态点A的值写入1，反之为0。然后同理，三区再采取这样的方式测试二区至三区的通道状态及二区数据接口程序运行情况，形成状态点B。如最终判断出整个通道通信正常，则应是源头数据中断。在二区接口程序也可采用同样原理向数据源方向进行诊断，得出数据源头信息系统至二区接口服务器的通道状态，形成状态点C，如源头数据系统不具备通道测试条件，可由二区接口程序判断数据是否持续刷新，得知数据源是否中断，形成状态点D。状态点A、B、C、D均逐级向上传输至海量平台，在海量平台汇总，得出整条数据通道状态的情况。

若中间传输的某个环节就已被诊断出异常，则需要分析是下级节点接口程序运行异常，还是至下级节点之间网络中断。判断是否是网络中断，可在本节点接口程序中设置自动网络探索功能：自动因特网包探索器，简称PING（Packet Internet Groper）下级节点服务器的IP地址，获得网络是否中断的信息[3]。当然，电力行业中，很多生产、管理信息的服务器是禁止使用PING命令的，这时就需要人工分析和排查网络是否中断。这种数据通道状态自诊断方法在项目应用中证实可行有效。

2.1.2 故障处理措施

经过上述的故障自诊断过程，基本可以判断出故障通道中具体的故障环节，不论是否可以自动判断出该环节的网络状况，都可以设置一个简单的故障自处理功能：将故障环节中涉及的数据接口程序进行自动重启，若重启后解决了该通道数据中断的问题，则不需再进行人工排查及恢复；若未解决问题，则故障极大可能是网络中断所致，为人工维护提供明确指向。

数据传输通道健康情况自诊断及自恢复的根本目的是尽快恢复数据传输，那么在诊断出通道存在故障后，应立即通知系统维护人员（如发送短信）等，以便维护人员确认自诊断及处理的结果，或在诊断结果基础上快速恢复故障。

2.1.3 数据传输通道状态报告

在生产实时系统中，根据数据传输通道状态自诊断的信息，定期形成“数据传输通道状态诊断报告”以及“数据传输通道状态诊断及处理记录”，便于当前通道故障状态分析及常见故障原因汇总，为后续维护工作提供指导。

数据传输通道状态自诊断和恢复功能框架及流程如图1所示。

2.2 建立标准化数据模型

在系统使用阶段中甄别冗余数据及不一致数据是不容易的，而在数据接入及数据管理方面入手解决则是一个行之有效的方法[4]。这就要求在项目调研及需求设计阶段，认真甄别数据的有用性和有效性，形成严谨且规范的标准化数据模型和数据管理方案，对各接入电站接入的测点有统一、全面的要求，每个测点只接入一个正确有效的数据，从数据接入上避免数据冗余和数据不一致问题，保障数据的准确性。

2.3 应用数据逻辑判断进行数据校验

应用水电生产实时数据之间的逻辑关系，针对重要数据制定具体的数据判断规则，如机组工况状态与有功功率、机组转速、导叶开度、机组出口电压电流等都有必然的关系。通过这些数据之间的关系，在系统中设置逻辑判断功能，判断数据是否异常，并在功能页面上显示，能够让用户和数据管理员及时发现这些重要数据问题并进行处理，在数据应用过程中，完善数据的准确性。

本文还引入一种提高数据质量的思路：数据质量定量化评估，其是指从关系数据库中自动发现数据质量规则，并以其为依据检测错误数据，研究质量规则表示形式及其评估度量，提出以数据项分组及其可信度为依据的最小质量规则计算准则、挖掘算法以及采用质量规则检测错误数据的思路。

这项技术在数据信息系统中还未广泛应用，但已经有研究提出了一种数据质量评估的方法，并在实验中证明有效[5]。如这项技术能够在生产实时信息系统中使用，自动检测出错误数据，则会是一个数据质量诊断的突破，是甄别错误数据的有效途径。

3 结束语

基于海量平台的生产实时信息系统，应用了数据通道自诊断及处理技术，使中断数据能够及时恢复，增强了数据稳定性，提高了数据通道维护效率，降低了系统管理员及电站专职维护人员的运维工作量。通过制定标准的数据接入要求及规范的数据管理模型，使新接入电厂的数据准确性大幅提升，同时有效避免了数据冗余，下步仍需要对已接入电厂的数据测点按照标准化数据模型进行梳理和整改，实现所有接入数据的规范化；应用数据逻辑判断功能，更容易发现重要数据错误的问题，及时进行校验处理；数据接入规范化及数据校验的应用大大提高了系统数据的准确性。还应继续深化研究数据质量判断及处理方面的新技术，使系统数据质量不断提升。

[1]喻宜，吕志来，齐国印．分布式海量时序数据管理平台研究[J]．电力系统保护与控制，2016，44（17）：165-170．YU Yi，LV Zhilai，QI Guoyin．Research on distributed largescale time seriesdata management platform[J]．Power System Protection and Control．2016，44（17）：165-170．

[2]余海明，华中平．水电站计算机监控系统数据采集与处理[J]．科技信息，2010（15）：68-68．YU Haiming，HUA Zhongping．Data acquisition and processing of computer monitoring system for Hydropower Station[J]．Science & Technology Information，2010（15）：68-68．

[3]王信俊．调度数据网通道故障的诊断及处理技术[J]．现代电子技术，2016，39（8），168-170．WANG Xinjun．Diagnosis and processing technology of dispatching data network channel fault[J]．Modern Electronics Technique，2016，39（8），168-170．

[4]刘浩，苏钢，常玉红，等．基于海量平台的水电生产实时系统建模办法[J]．科技与创新，2016（23）：15-17．LIU Hao，SU Gang，CHANG Yuhong，et al．Modeling method of hydropower production real time information system based on massive platform[J]．Science and Technology & Innovation，2016（23）：15-17．

[5]刘波，耿寅融．数据质量检测规则挖掘方法[J]．模式识别与人工智能，2012，26（5）：835-844．LIU Bo，GENG Yinrong．Mining Method for Data Quality Detection Rules[J]．Pattern Recognition and Artificia Intelligence，2012，26（5）：835-844．

2016-10-12

2016-11-29

刘 浩（1977—），男，本科，电力系统自动化，主要研究方向：电力信息化。E-mail ： liuhao_sgxj@163．com

周文宇（1989—），女，本科，电力系统自动化，主要研究方向：电力信息化。E-mail ： zwy890501@163．com

张亚武（1973—），男，本科，高级工程师，主要研究方向：水电设备技术管理。E-mail： yawu-zhang@sgxy．sgcc．com．cn

李建光（1978—），男，本科，高级工程师，主要研究方向：水电设备技术管理。E-mail： jianguang-li@sgxy．sgcc．com．cn

吕志娟（1980—），女，硕士，工程师，主要研究方向：水电设备自动控制技术。E-mail： zhijuan-lv@sgxy．sgcc．com．cn

朱海锋（1980—），男，本科，工程师，主要研究方向：抽水蓄能电站信息化应用、通信系统、电力监控系统。E-mail ：hf-zhu@sgxy．sgcc．com．cn

郭 帅（1977—），男，本科，电力系统自动化，主要研究方向：电力信息化。 E-mail ：15901219913@139．com

Analysis and Solution of the Data Stability Andaccuracy in Hydropower Production Real Time Information System Based on Massive Platform

LIU Hao1，ZHOU Wenyu1，ZHANG Yawu2，LI Jianguang2，LV Zhijuan2，ZHU Haifeng3，GUO Shuai1
（1.XJ Electric Co.， Ltd.，Beijing 100085，China； 2.State Grid Xin Yuan Hydopower limited company，Beijing 100761，China；3.East China TongBai Pumped Storage Power Station，TongBai 317200，China）

This paper analyses the reasons of affecting the data stability andaccuracy in hydropower production real time system. Focusing on data transmission channel interruption problems， which influence the stability of the data in this paper，we put forward a method of data transmission channel self diagnosis and recovery； and give some improvement suggestions to solve the problem of data accuracy.

production real time system ；data stability ；data accuracy ；diagnosis ；solution

TV736

A学科代码：510．80

10．3969/j．issn．2096-093X．2017．05．013