数据质量核查工具的设计与实现

陆俊 李葵 周明 辛永 陆鑫

摘 要：本项目研究旨在解决一体化电量与线损管理系统的数据集成和实施过程中遇到的数据传输路线繁琐、传输时间过长、传输过程缺乏有效的监控和问题处理机制以及数据准确性和及时性不能满足线损计算要求的问题。通过建设数据质量核查工具，实现各专业数据到线损系统传输过程监控，完成线损系统中各类数据的合理性校验，完善的线损数据质量管控机制能够确保数据的准确、及时和有效。

关键词：线损应用；传输监控；数据校验；质量管控

中图分类号：TP311.52 文献标识码：A 文章编号：2096-4706（2018）08-0047-03

Abstract：The purpose of this project is to solve the problem of complicated data transmission line，long transmission time，lack of effective monitoring and problem handling mechanism in the process of data integration and implementation of integrated electricity and line loss management system，and the problem of data accuracy and timeliness can not meet the requirement of line loss calculation. Through the construction of data quality verification tools，we can monitor the transmission process of various professional data to line loss system，complete the verification of all kinds of data in the line loss system，and improve the quality control mechanism of the line loss data，which ensures the accuracy，timely and effective data.

Keywords：line loss application；transmission monitoring；data validation；quality control

0 引 言

随着国家电网公司“十二五”信息化系统的建设，线损管理相关业务支撑系统得到了長足的发展。一体化电量与线损管理系统（简称同期线损系统）全面推广应用，系统建设所覆盖的管理层级、电压层级、电网设备、用电客户、计量装置和采集数据呈几何级急速增长，系统已经面向各层级、各专业、各基层班组全面开放，实施工作量越来越大，数据治理范围越来越广，管控工作越来越困难。在同期线损系统建设过程中，发现多系统间关联、数据传输过程及线损管控治理不及时等各类问题。当数据质量出现异常时，能够及时预警，通知相关专业或部门进行数据消缺，确保数据质量可靠、传输稳定、消缺及时，并满足同期线损系统数据接入要求。同时为进一步加强公司基础管理，扎实做好同期线损管理系统建设和基础数据治理工作，确保源端数据从中间平台到线损数据库过程中数据传输的准确性和效率，通过对传输完成的数据进行合理性校验分析，实现对线损数据质量的管控，促进线损数据治理和同期线损系统建设快速有效进行。

1 同期线损系统存在的问题

随着同期线损系统建设工作的推进，同期线损系统对电网生产运营数据质量要求越来越高，同期线损系统在数据集成和实施过程中遇到了很大的难题。主要包括以下两个方面：

（1）数据传输模式并非都是全量传输，数据传输路线繁琐，传输时间过长，传输过程没有有效的监控和问题处理机制，导致存在冗余数据，运维人员不能及时发现和处理问题，从而影响同期线损计算结果；

（2）同期线损系统的基础数据大都来源于各个业务系统，因各种原因导致数据的准确性和及时性不能满足线损计算的要求，从而造成线损计算错误，且同期线损系统目前的计算周期也较长。线损专责不能及时发现数据质量问题，也不能及时掌握数据治理的效果，工作效率不高。

2 数据质量核查工具的建设目标

建设线损数据质量核查工具的总体目标是充分利用同期线损系统，开发省级线损数据质量管理工具，以加强基础管理、支撑专业分析、满足高级应用、实现智能决策为功能主线，实现档案数据传输监控、采集数据传输监控、营配关系数据传输监控、数据一致性校验、数据合理性校验、指标全过程监控和业务全方位贯通协同，实现同期线损系统建设标准化、智能化、精益化和自动化，有力地支撑公司坚强智能电网和现代配电网建设。

通过各专业数据到线损系统传输过程监控、线损系统中各类数据合理性校验，协同各业务系统建立完善的线损数据质量管控机制，确保数据地准确、及时和有效。数据质量核查工具为省级、地市、县公司和供电所等各级单位线损数据质量治理提供异常清单，与调度、运检、营销相关业务融合互动，提升同期线损系统建设的数据质量。

数据质量核查工具建设分为以下三个方面：

（1）开展数据质量核查，实现省级同期线损库与数据中心、源端系统数据进行比对，发现不一致的数据，并定位到具体环节，降低人工比对数据的投入，为同期线损计算提供数据保障；

（2）开展数据异常分析，利用大数据技术开展高损、负损的异常诊断，列出产生高损、负损的原因，为公司线损治理提供可行性方案，减少人工分析；

（3）开展数据异常监控，把数据责任落实到具体专业和源头系统，通过数据异常工单能够实现异常数据及时汇总、及时跟踪和及时消缺，保障数据治理工作的有序开展。

3 数据质量核查工具的设计与实现

随着同期线损系统建设的推进，发现多系统间关联、数据传输过程及数据治理没有有效的核查工具，导致线损所需源段数据不能及时准确地反馈线损数据质量，从而影响日线损、月线损的结果计算。同时线损数据治理工具需根据计算结果进行分析，影响数据治理效率。线损数据质量将围绕以下四个方面进行设计：

（1）优化数据传输过程，进行数据传输管理。通过对源段从中间平台到省级线损数据库的传输过程进行优化，确保线损数据傳输时间能够有效支撑日线损计算。通过传输时间、数据量等方面对数据进行日志管理和记录，有效管控数据传输时间和传输频度，使地市线损数据治理结果能够及时得到线损数据质量提高的反馈，促进线损数据治理的进行；

（2） 进行主要线损数据传输过程全量数据一致性比对。数据传输过程中因为各种原因会导致源段与数据中心，或者数据中心与省级线损库数据存在差异。工具通过大数据技术将数据抽取到大数据服务进行一致性比对，并将不一致的结果反馈给相关负责人进行数据治理，在不改变数据传输通道的前提下，确保线损数据传输完整和准确；

（3）进行省级线损数据合理性分析。由于同期线损对各专业数据要求较高，无论是字段，还是与其他业务系统的关联关系都超出了各业务系统本身的需求。本工具对传输到省级线损数据库的数据进行了线损合理性分析，初步筛选出不合理数据，将结果反馈给相关负责人进行确认和整改，节省了线损专责和运维人员根据线损结果核查数据的大量时间，在线损计算前解决部分问题，提高线损治理效率；

（4）建立符合省级特色的异常诊断界面。对数据传输、一致性、合理性和日线损结果进行分析和展现，使各线损专责能够清楚地查看自己的负责线路、台区等指标问题及原因，各专责根据实际情况制定问题处理计划，同时关联工单系统，及时管控线损治理进度。通过明确问题、分工和管控线损治理进展的方式来促进线损建设。

在同期线损数据核查架构设计上，采用插件式设计模式，减少与现有集成程序的耦合度。改造省级线损同步程序，具体系统结构图如图1所示。

数据质量核查工具从以下六个功能模块进行开发：

（1）数据传输优化。对线损档案和表底数据从源端到中间平台到同期线损省级数据库传输过程进行优化，同时对传输过程中产生的冗余数据进行清洗，将清洗后的数据移至异常数据库；

（2）数据传输管理。制定数据传输计划，记录传输批次号和时间，生成数据传输日志，并在数据传输过程中进行数据一致性比对；

（3）数据合理性分析。对已抽取至线损库的数据进行合理性校验分析，并对异常数据进行标红处理，连同脏数据一起发送至备份数据库，供源端整理分析。对不合理数据进行异常数据标记处理后，通过工单系统发送至各源段系统负责人处；

（4）线损异常诊断。完善线损管理界面，针对线损异常做统计和细化分析，除了满足同期线损系统需求的基础页面外，针对安徽省个性化页面展现需求，充分满足安徽同期线损系统治理要求，辅助线损专责查找线损异常原因；

（5）报表管理。对传输异常和异常数据分析等结果进行分类汇总，结合工单系统发送至各相关负责人；

（6）系统管理。通过权限管理做到每个角色只负责自己管辖的数据，通过工单系统将问题提交给各级系统角色，充分发挥系统积极性。

4 数据质量核查工具的效益分析

（1）对各类线损数据传输过程进行监控，确保源端数据完整地传输到线损系统，增加传输效率，减少线损实施人员的数据核查时间；

（2）线损数据质量核查工具采用大数据技术对数据传输过程中的数据进行一致性校验，解决数据传输过程问题，加快同期线损系统数据治理和指标建设进度；

（3）实现电量与线损本地化计算，做到电量与线损异常数据早发现、早治理，提高线损数据治理效率；

（4）对传输到线损库的数据进行合理性分析，并分类导出数据异常结果。提高各业务系统线损数据治理工作效率，加快各地市数据治理速度，提升同期线损系统建设效果；

（5）根据角色不同、显示不同的线损数据，做到线损建设过程责任到人，提升地市同期线损建设效率。

5 结 论

本文在同期线损系统的基础上建设数据质量核查工具，围绕数据传输优化、数据传输管理、数据合理性分析、线损异常诊断、报表管理和系统管理这六个方面建设数据质量核查工具。数据质量核查工具通过对线损系统数据传输过程进行监控、对各类数据合理性进行校验以及协同各业务系统建立完善的线损数据质量管控机制，确保了数据的准确、及时和有效。数据质量核查工具为省级、地市、县公司和供电所等各级单位线损数据质量治理提供异常清单，与调度、运检和营销相关业务融合互动，提升了同期线损系统建设的数据质量。

参考文献：

[1] 国家电网公司.关于国家电网公司“五大”体系建设总体方案的报告 [R].北京：国家电网公司，2011.

[2] 国家电网公司.关于国家电网公司“大规划”体系建设方案的报告 [R].北京：国家电网公司，2011.

作者简介：陆俊（1983.03-），男，汉族，安徽合肥人，高级工程师，硕士研究生。研究方向：电力通信新技术应用、信息通信调度管理、基建通信工程管理、电力信息化建设。