电能量计量数据质量管理研究与应用
2012-08-26张明明
郑 龙,张明明
ZHENG Long1, ZHANG Ming-ming2
(1.中国南方电网公司 市场交易部,广州 510623;2.中国南方电网公司 科学研究院,广州 510623)
0 引言
数据信息是企业重要的战略资源,合理有效的整合和使用正确的数据可帮助企业作出正确的决策,提高企业的竞争力,使用不正确的数据(即数据质量差)可能导致企业高层决策的失败,给企业带来损失,正可谓差之毫厘、谬以千里。目前已经有相当大部分企业意识到数据信息和数据质量的重要性,专门成立了数据质量管理相关的部门来管理数据方面的工作,确保企业数据信息的准确性和真实性。
电能量计量相关数据(有功无功电能、三相电流、三相电压、负荷、电能质量、功率因素、谐波数据、失压断相、电压合格率等)作为电力有关部门进行交易结算、市场分析、成本核算、内部管理的重要数据,是电力管理部门、发电部门、供电部门等单位必备的核心数据。电能量计量数据质量的好坏,不仅直接关系到电能量计量相关系统能否更好发展下去,更能影响电力相关企业高层决策的成败。
随着我国电力系统规模的迅速发展以及电力系统经营和管理体制的改革,电网企业的经营管理越来越市场化,电能量计量数据的重要性也日益突显。我国的大型电力公司对电能量计量系统的建设也作了详细规划,并投入大量资金逐步进行建设,国家电网公司建设了以负控、配变监测、低压集抄系统为主体的电力用户用电信息采集系统,中国南方电网公司建设了包括厂站遥测系统、负控、配变监测和低压集抄系统为主体的计量自动化系统。这些电能量计量系统的建设基本都采取全覆盖、全采集、大集中和精细化管理的工作思路,因此都集中了海量的电能量数据,然而在系统建设过程中由于涉及面广、节点环节多、数据量大,任何一个节点数据质量问题都将可能导致后续对应功能无法正常发挥。加之现在由于各级系统建设尚未完善,因此收集上来的海量电能量数据无法进行有效利用,使电能量计量系统大量的资金投入暂时未能达到预期的效果。现阶段系统存在问题有:计量点数据不能按时采集、电厂上网电量临时调整未及时通知同步更新、数据出现问题后没有专门的部门去处理、汇总电量与分项电量不匹配等等,导致了数据的不准确。在计量自动化系统的实际应用中,作为计量应用的电能数据必须要求精准,因此提高电能计量数据质量是电能计量系统成功建设的必要条件。
除了系统本身的原因外,电能量计量平台系统建设通常参照金字塔模式由低到高逐级上传数据,比如地区级到省级,省级到总部企业级,而在计量数据的逐级上传集成中,时常出现电量计量数据质量问题,最终影响上级系统的正常运行以及企业高层决策:如基层数据不准确导致上层数据错误、上传数据无审核机制确保数据准确、各种原因缺数据、上传数据缺对应档案、高层需求与基层供给矛盾等等方面。
数据质量不准确的具体原因大致表现在两方面:
1)技术方面
(1)电能量计量系统间接口规范不完善;
(2)电能量计量系统无数据有效检查功能;
(3)无数据质量处理流程技术环节;
(4)其他技术原因。
2)管理方面
(1)无专门的数据质量管理部门;
(2)无严密的数据质量处理管理规程;
(3)系统运维支持措施不到位;
(4)对各级电能量计量系统的管理责任界定不清;
(5)其他管理原因。
本文将针对电量计量数据系统运行中常会出现的数据质量问题进行专题研究,并以南方电网计量数据平台系统为案例进行实践应用研究。
1 电能量计量数据质量管理研究
数据质量包括数据本身的数据质量和数据的过程质量,数据本身的数据质量包括三方面:数据的真实性、数据的完备性和数据的自洽性。其中数据的自洽性尤为重要,也最易为人所忽视。数据并不是孤立存在的,数据之间往往存在着各种各样的约束,这种约束描述了数据的关联关系,数据必须能够满足这种数据之间的关联关系,而不能够相互矛盾。除了数据的绝对质量外,在利用和存贮数据的过程中所产生的数据质量,包括使用质量、存贮质量和传输质量,称之为数据的过程质量。
数据质量管理包括数据质量检查监控和数据质量问题处理流程两部分内容,数据质量检查监控分为物理数据检查与业务数据检查,物理数据检查是指纯粹从技术上保证数据的有效性,与业务无关,而业务数据检查则是基于业务考虑,对原始数据以及最终的业务统计数据之间的逻辑平衡性检查,通过这些检查监控,可及时发现数据问题并解决问题,同时也能根据这些检查结果提前知道可能产生的后果,为后续的业务分析报告作出进一步的修正和完善。对于数据质量问题处理流程则是与企业管理制度有关,可结合系统维护单位的职能管理结构进行科学布置,从而使系统的数据质量问题能得到有效的处理(陈志泊,2009)。
电能量计量数据通常包括有功无功电能、三相电流、三相电压、负荷、电能质量、功率因素、谐波数据、失压断相和电压合格率等类型数据,根据电量计量业务应用及电能量计量系统的管理需要,系统还应关联厂站、线路、主变、表计、汇总对象等基础档案数据以及四分线损、汇总对象、计划值等统计数据,本文将结合数据质量的基本概念统一考虑,电能量计量数据质量管理大致表现为以下两个方面。
1.1 提高电能量计量数据本身的数据质量
1)电能量计量数据有效性、合理性检查。包括电量超过最大值,电量小于零检查、计量点表码数据奇异无效、计量点旁路换表电量计算错误等检查。
2)电能量计量数据完备性检查。包括电能量计量各费率数据是否齐全、电能总与各分费率之和是否相等、各功率类型计量数据是否齐全、上层结算应用数据是否齐全、计量点(主变、母线、汇总对象等设备对象)档案是否缺失、计量业务参数缺失、计量点电量缺失、电量追加是否正确、计量满度计算错误等检查。
3)电能量计量数据自洽性检查。包括汇总对象电量与分电量是否匹配、汇总对象电量是否齐全、汇总对象计算公式是是否合理等数据自洽性检查。
4)提高电能量计量数据过程质量。电能量计量系统之间接口规范统一,而且接口规范具备完备的校验规则;下级系统数据修改能及时自动上传到上级系统中,确保上下数据完全一致;系统数据存储采用双机冗余模式设计,并实施完备的数据备份方案,保证数据安全可靠。
1.2 电能量计量数据质量问题流程化管理
1)搭建机构。建立专门的组织部门管理电能量计量系统并负责处理电能数据质量问题。
2)明确流程。针对各级电能量计量系统的实际情况,制定电能量计量系统的管理规范,明确责任主体和数据质量问题处理流程。
3)闭环管理。数据问题处理流程参照问题单管理模式,系统可生成问题处理单,系统维护人员登录数据质量管理系统,查看上传数据问题单,根据问题单的内容描述进行处理,处理结果可实时查询,根据各单位问题处理的结果进行统计报告,实现数据问题流程化闭环管理,电能量计量数据质量问题处理流程图如图1所示。
图1 电能量计量数据质量问题处理流程图
2 数据质量管理在电能量计量系统中的实践应用
根据南方电网二次系统“十一五”规划及营销自动化信息化规划要求, 南方电网电量计量数据平台系统分二期建设,第一期在五省(区)及跨省电能量计量系统的基础上建设,汇总南方电网220kV及以上电压等级的厂站关口计量数据,并进行统计分析;第二期在五省(区)营销综合分析系统的基础上建设,汇总10kV及以上电压等级的电量及负荷数据,并进行综合实用化分析。具体目标如下。
1)实现对南方电网内所有220kV及以上电压等级厂站计量点、网间交换关口点及省网统调电厂上网关口点的电能量计量数据的汇集,满足南方电网公司电量考核的要求。
2)从省(区)电能量计量系统接收直购电用户及电力市场所需电力用户的电能量计量数据,实现南方电网电量监测分析、西电东送线路监测、直购电分析、线损分析、非竞价电量结算等功能。
3)连接省(区)和跨省电能量计量系统(如图2所示南网计量数据平台连接关系图),建立网、省电能量计量数据交换接口机制;按主题进行分线、分压电能量分析、线损计算;建立电能量分析、线损分析信息发布平台。
图2 南网计量数据平台接入关系图
南方电网电量计量数据平台系统是为南方电网电力市场及营销决策分析提供服务的电量计量数据汇总统一数据平台。目前系统一期项目已经顺利完成,建成了南方电网统一关口计量数据中心,能够自动采集超高压输电公司、广东、海南电网公司220kV以上联络线关口电量数据和发电厂上网电量数据,满足南方电网公司对网省统调电厂及西电东送线路电量监测分析要求,在实现数据采集、电量监视、指标监视、数据分析、报表分析、档案管理、工况监视和相关系统进行数据交换以及自动快速定位和分析异常数据等功能的同时实现了对公司电量考核、电量监测分析、西电东送线路监测、直购电分析、线损分析、非竞价电量结算的技术支持。为满足南方电网总部电子化结算要求,还着重完善系统与相关系统的接口规范,消除实际应用中的缺陷。
南方电网电量计量数据平台系统技术升级和改造包括提高数据质量、实用化功能开发和完善运行管理等方面内容,为确保电能量计量系统正常运行以及实用化功能正常应用,将重点实施数据质量管理研究并实施的工作,结合电能量计量数据质量管理研究内容,下面重点从技术方面和管理方面阐述项目的在数据质量管理方面的实践应用。
2.1 技术方面
南方电网计量数据平台数据质量管理包括数据质量检查,如各省区基础档案检查、计量点表码数据检查、电量合理性和越限检查、汇总对象电量统计等检查功能,从技术上实现计量数据问题单产生、问题单处理、问题统计报告等功能,电量计量平台数据质量管理总体功能框图如图3所示。
图3 电量计量平台数据质量管理功能框图
比如电厂关口电量数据小于0、电厂上网电量同比相差较大比例、云南送广东总电量与分项电量不匹配、三峡送广东电量环比大幅度变化、某厂站线路有代路发生但总电量中无旁路电量,统调电厂关口电量数据有但无对应档案、某省系统上传数据不及时等等系统都将产生数据质量报告,并通过流程化管理方式,下发到各维护单位。
完善网省之间接口规范,并拓展配电网数据接入规范,为平台系统二期项目实施作技术准备,通过接口规范完善既能保证数据上传过程中的数据真实性合理性,又能保证数据修改后及时上传准确计量数据,确保电能量计量数据上下保持一致性,比如某省已经上传非统调电厂的上网数据,但是由于某些原因需要调整个别关口点的电量,并已在省计量系统中修改关口点电量和上网电量,修改后将立即产生触发信息并上传修改数据,同时注明修改原因并在修改数据上打上标记。
在系统实践中,如电厂关口电量数据小于0、某省系统上传数据不及时等属于计量数据本身有效性问题,在数据质量管理中采取实施计量数据合理性检查并记录数据不合理类型错误;电厂上网电量同比相差较大比例、三峡送广东电量环比大幅度变化、某厂站线路有代路发生但总电量中无旁路电量等属于计量数据的自洽性问题,在数据质量管理中采取实施计量数据自洽性检查并记录数据自洽性类型错误;云南送广东总电量与分项电量不匹配、统调电厂关口电量数据有但无对应档案等问题属于电能量计量数据自洽性检查问题,在数据质量管理中采取实施计量数据的完备性检查并记录数据不完备类型错误。在形成错误记录后,形成数据质量问题报告,以问题单形式提交报告下发各维护单位处理。对于某省已经上传非统调电厂的上网数据但是过后发生修改未及时上传的问题属于电能量计量数据过程质量问题,系统中采取修改完善并统一接口规范解决。
2.2 管理方面
1)成立企业级电能量计量管理中心,负责制定各级电能量计量系统管理制度和数据质量考核制度及相关功能标准,对于电能量计量系统运行中出现的新问题组织相关部门协调处理,确保电能量计量相关设备和系统运行正常。
2)利用技术手段对电能量计量平台系统运行中出现的数据质量问题进行汇总,并以问题单的方式下发各基层单位,定期对数据质量问题处理结果进行分类统计报告。
在系统实践中,电能量计量管理中心作为系统的主管部门,制定电能量计量数据质量的管理规范和处理流程,通过系统的数据质量管理功能,自动生成各类数据质量各类问题报告单,并提示数据质量问题处理建议,各级维护单位通过技术系统查看报告,并按照规范和流程处理数据质量问题,系统管理人员通过数据质量问题单处理结果汇总处理结果信息,并监督各维护单位做好数据质量管理。
3)制定电能量计量平台系统日常运行管理制度,明确管理的范围、目标和要求,确保系统连续稳定运行,协调安排系统现场支持工程师,负责系统日常维护工作,并对系统中出现的技术问题和新需求进行及时处理。
通过在南网电能量计量平台系统技术改造中实施数据质量管理,从提高电能量计量数据质量的各个方面入手对现有系统进行全面技术改造和管理提升,初步取得以下成效。
1)数据方面:目前系统月接入数据记录约1500万条,日均接入数据记录约50万条并能够自动完成电量数据的异常校验、环比分析、同比分析等。已数据量最大的广东省为例,数据准确率完整率达到99%以上。此外,系统拟在今年内实现网间结算的电子化。
2)机制方面:搭建机构明确职责。建立电能量计量管理中心,建立相应的管理规范和流程,明确人员设置和职责,监督管理电能量计量设备和系统的正常运行。规范数据接入标准。规范网省电能量计量系统间的数据接入标准、格式和内容,基层系统数据修改后及时上传,确保上下级系统数据保持一致。
3)系统方面:快速检测和报告数据质量。结合计量点电量数据、汇总对象数据、关口结算数据等相互之间的逻辑关系,从技术上建立完善的数据检测功能,并及时报告给系统维护人员。实现数据质量问题处理常态化闭环管理。根据电能量计量系统运行中出现电能数据质量问题形成问题单,并按照制定的流程常态化闭环管理。
3 结束语
电能量计量数据质量管理主要通过研究电能量计量数据特征及相互逻辑关系,结合数据仓库数据质量管理相关理论和应用成果,对电能量计量数据实施数据质量管理:数据质量检查监控;数据质量问题流程处理,从而提高了电能量计量数据本身的数据质量和电能量计量数据的过程质量,通过在南方电网电量计量数据平台系统中实施数据质量管理:成立企业级的电能量计量管理中心,协调处理计量设备和系统运行问题,确保各省区上传数据出现的数据质量问题能够及时准确地被发现,并从技术上协助用户对数据质量问题进行有效的处理,保证南方电网计量数据平台系统正常的应用功能,更好地为南方电网电力市场及高层决策分析服务。
通过在南网电能量计量平台系统中实施数据质量管理不仅为电能量计量系统建设发展提供了技术保障,也为电力企业其它信息化系统如南网电能质量数据分析系统、南网电力客户呼叫中心数据分析系统等大容量数据分析系统的顺利建设提供重要的借鉴意义。
[1]雍俊海. Java程序设计(第二版)[M]. 清华大学出版社,2007.
[2]陈志泊. 数据仓库与数据挖掘[M]. 清华大学出版社,2009.
[3]Bruce Eckel. 侯捷, 译. Java编程思想第1版[M]. 机械工业出版社, 2005.
[4]Joshua Bloce, 著. 潘爱民, 译. Effetive Java中文版(第4版)[M]. 机械工业出版社, 2004.
[5]杨国庆, 卢有龙. 加强关口电能计量管理, 为区域电网电力市场提供技术支撑[J]. 华东电力, 2008, (36): 48-49.
[6]蒋川, 杨再生. 综合计量管理系统的设计和应用效果[J].中国计量, 2008, (2):107-108.
[7]Dalenius, T., 1983. Errors and Other Limitations of Survey,Statistical Methods and the Improvement of Data Quality.London: Academic Press Inc.
[8]Wang, R.Y, D.M.Strong, and B.K.Kahn. 1999. “An Information Quality Assessment Methodology.” Proceedings of the International Conference on Information Quality.
[9]Yang, L., R.Y.Strong, and B.K.Kahn. 2002.“AIMQ:a Methodology for Information Quality Assessment.”Information & Management, 15(2): 134-143.
[10]吴毅杰, 张志明. C/S与B/S的比较及其数据库访问技术[J].舰船电子工程, 2003, (02).
[11]中国南方电网市场交易部.南方电网电量计量数据平台系统[Z]. 2009.
[12]广东省电力设计研究院.南方电网电量计量普通系统信息编码[Z]. 2009.
[13]中国南方电网有限责任公司. 地区供电局营销自动化系统主站功能规范[Z]. 2008.