电力物联网大数据质量智能评价技术与实现

张东东，郑 波，吴月超，罗远林，邹 雯

（中国电建集团华东勘测设计研究院有限公司，浙江 杭州 311122）

0 引 言

数据质量是智慧电厂“自主决策、无人值守、状态检修”的基础保证。电力物联网打通电站数据孤岛间的数据链路，但在数据采集端和传输存储过程中，由于传感器故障、信号干扰、隔离装置异常等情况，经常造成原始数据质量下降，无法为后续智慧化深度应用提供基础支撑。掌握数据的质量，是有效利用数据的基础。随着海量数据的不断累积，对电力物联网大数据质量进行有效的监督已成为电力行业面临的新课题。

1 电力物联网大数据的特点

电力物联网大数据具有多源多度性[1]。电力物联网第一类数据来自生产实时信息系统；电力物联网第二类数据来自生产管理信息系统；电力物联网第三类数据来自流媒体平台。同时，这三类多源数据采用了不同的采样率，呈现出多种时间尺度，包括纳秒级、微秒级、毫秒级及秒级等。

电力物联网大数据具有海量异构性。常规水电厂单台机组配有近万个监测点，每天产生海量数据，仅存储的数据就在GB 级，且数据结构多样。

2 数据质量评价的现状

传统评价流程如下：

（1）从电站计算机监控系统/状态监测系统数据库导出需要查看的数据excel；

（2）人工查看某时间段某些测点的数据质量情况；

（3）人工统计数据缺失、异常情况。

选择某水电厂1 500 条计算机监控系统数据，采用人工方式进行数据质量评价，对各个环节的耗时情况进行统计，如表1 所示。将表1 的结果绘制成饼状图如图1 所示。

表1 人工方式数据质量评价各环节耗时统计表

图1 采用人工方式进行数据质量评价各环节耗时饼分图

按行业现状，人工方式进行数据质量评价需要人工识别和统计数据的缺失条目、错误条目、异常条目、重复条目、时间戳错误条目等，评价 1500 条数据总耗时94 min，其中人工统计数据质量占88%，人工查看数据质量占11%，导出数据库占1%，总体效率不高。

3 数据质量智能评价系统

3.1 系统架构

系统采用数据层、技术支撑层、用户层三层架构，如图2 所示。数据层提供分布式大数据存储、数据查询功能，通过数据接口与其他两层实现通信；技术支撑层提供8 种识别数据质量问题的算法模型和软件系统常规性功能模块；用户层提供系统前端页面，可按时间、按系统选择数据，并可生成数据质量评价报告。

物联网、云计算、大数据、移动通信等新一代信息技术的发展，正深刻改变着传统制造业的发展模式。2015年5月国务院印发了《中国制造2025》，把智能制造作为两化深度融合的主攻方向。2016年12月，工信部发布了《智能制造发展规划（2016-2020年）》，明确了到2020年，将要建成300个以上智能制造试点示范项目，数字化车间、智能工厂试点示范项目，遴选确定150个以上智能制造标杆企业”［1-3］。

3.2 评价结果

在系统前端页面选择要进行数据质量评价的数据，数据经过接口灌入算法模型进行质量评价，并生成数据质量评价报告（见图3），报告包含数据信息、数据特征、评价结果及综合意见等信息。

图3 数据质量评价报告

4 结 论

本文在总结电力系统传统数据质量评价方法基础上，提出提高评价效率的方法，通过编写识别数据质量的算法模型，开发数据质量智能评价系统，按选定时间范围自动评价数据质量，将1 500 条数据质量评价的总耗时降低至26 s，即由人工评价94 min 降低至26 s，大大提高了数据质量评价效率。