基于ETL技术的电能计量设备全方位检测方法体系研究与实现

阙华坤，林国营，陈启冠

(广东电网有限责任公司电力科学研究院，广东 广州 510080)

基于ETL技术的电能计量设备全方位检测方法体系研究与实现

阙华坤，林国营，陈启冠

(广东电网有限责任公司电力科学研究院，广东 广州 510080)

随着电网自动化水平的不断提高，传统的电能计量设备现场检验模式已远远满足不了实际应用需求。针对这种情况，本文提出基于分布式处理技术的电能计量设备远程状态检测方法体系。重点论述了海量数据处理模式下的远程检测方案设计和方法实现，应用回路检查矢量分析算法，提出并建立了基于ETL技术的电能计量设备远程状态全方位检测方法体系。实验结果表明，利用该方法体系能远程、高效开展计量回路检查、误差比对、时钟比对等检测内容，可有效代替现场检测工作，及时发现和查处存在的异常用电行为，提高企业经济效益和设备管理水平。

用电信息采集；电能计量设备；远程检验；矢量分析；误差测试；ETL

0 引言

随着配、用网自动化水平的提高，电能计量设备覆盖范围越来越广，现场安装环境具有点多面广、环境复杂等特点。传统的电能计量设备运行状况检测，主要依托“人海战术”进行现场检验，工作量大，同时消耗大量的人工、车辆、仪器等成本；另外，广东全省现有超50万台的智能计量终端，超过3000万只计量表计，采集数据项和告警信息几十余项，日数据达千万条、50GB之多，如何利用自动采集的海量数据，进一步提高设备管理精益化、集约化水平，减少电能计量设备的安全风险，节约客户服务成本，亟需通过自动化手段实现对电能计量设备的远程状态检测。文献[1]和文献[2]研究了电能表的远程误差校验和测算方法，但均未考虑回路检查、时钟的比对检查等状态检测方法；另外，文献[2]虽然给出了直接误差的测算方法，但是无法计算出检验后的综合误差。本文基于海量数据模式下ETL处理技术，利用用电信息采集系统自动采集的丰富电能量数据和告警信息，实现电能计量设备多指标、多维度的远程状态全面检测。

1 研究内容

本文研究利用用电信息采集系统实现对电能计量装设备的实时状态检测。基于海量数据处理模式，对装设于现场的电能计量设备的运行参数和运行信息进行采集，结合档案信息和历史数据，应用矢量分析检测算法，实现对电能计量设备的远程状态检测。本文研究内容主要包含以下几个部分：

（1）海量数据ETL技术：将用电信息采集系统采集回来的分布的、异构数据源中的数据抽取到临时中间层后进行清洗、转换、集成，而后加载到中心数据仓库进行分析应用。

（2）回路检查：基于海量数据ETL过程，利用用电信息采集系统（或采集前置机）读取计量装置电压、电流、有功功率、无功功率、推算相位角，画出六角图，利用电气量和六角图判断计量装置回路接线情况。

（3）电能表计量误差比对：电能表计量误差比对是通过由电能表和计量装置的积分电量对比，分析电能表计量误差情况[3]。

（4）时钟及电能表时段设置检查：抄读电能表和计量装置的时钟，与标准时钟比对；查询一天整点时刻的峰平谷电量，与峰平谷时段设置比对。

（5）冻结时间检查：冻结时间检查是利用用电信息采集系统查询到电能表月冻结表码及在每月1号00:00时（终端时间）的电能表表码，比较差值。

（6）结果处理：在完成以上记录分析，判断计量装置正常运行后，将所记录的数据录入电力营销信息管理系统，对远方运行状态检测中发现疑似故障（缺陷）的，可生成疑似故障处理工作单，分配给相关人员现场处理。

2 海量用电数据处理工作模式

海量用电数据模式下数据仓储工作原理框图如图1所示。首先读取系统主站文本格式的计量数据接口文件；验证接口文件，验证正确后将接口文件转化成二进制块结构内部文件；对内部文件进行数据预处理，预处理包括：（1）缺点统计：检查文件数据缺点并统计；（2）缺点修复：参考历史数据修复数据缺点；（3）数据核对：数据时间核对，数据绝对值有没超出范围等；（4）缺点告警：将数据文件缺点统计情况告诉监控中心。通过预处理的文件为正确数据文件；再通过分布式并行计算，根据分析对象计算汇总数据，计算完后生成入库文件，入库程序读取入库文件入库，完成海量数据的仓储过程。

图1 海量用电数据处理模式工作原理框图Fig.1 The block diagram of mass data processing mode

3 方案设计与实现

3.1 海量用电数据ETL过程

ETL过程包括数据抽取、数据传输、转换与清洗、数据加载、调度。ETL工具中典型的代表产品有Informatica的PowerCenter、IBM的Datastage、Oracle的OWB/ODI、Microsoft SQLServer的SSIS服务等。在数据抽取过程中经常采用两种方法，第一种是借助专业的ETL工具实现；第二种是SQL编程方式实现。两种方法各有优缺点，借助工具可以快速的建立起ETL工程，屏蔽复杂的编码任务，提高速度，降低难度，但缺少灵活性。SQL编程的优点是灵活，提高ETL运行效率，但是编码复杂，对技术要求比较高。本文采用第一种和第二种相结合的方式实现数据的抽取，极大地提高了ETL的开发速度和效率。

通过海量用电数据的ETL过程，将用电信息采集系统采集回来的分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到中心数据仓库中，为远程状态在线检测提供数据支撑。

3.2 全方位检测方法设计

按照时间序列和数据特性，对海量数据进行分区、分表存储，采用聚类分析算法[4-8]，对用户数据进行分类、分群，通过聚类、筛选，可相应地按时间、检测模式等维度进行检测策略的设置和调整：

时查：每天随时针对用电信息采集系统告警信息、线损异常信息、供电所人员或客户的报障信息并进行初步的分析、筛选，对异常计量点立即开展状态检测。

周巡：每周定期性地导出全部计量装置的简单运行状态参数，如电压、电流、时钟等，进行快速分析、筛选，然后对异常计量点进行重点的状态检测。

检验：开展状态检测，代替部分现场检验，采取与现场检验相结合的方式，完成规程规定的现场检验任务。

以时查、周巡、检验三个时间维度为纵轴，以收集信息、初步分析、深入检测等检测步骤为横轴，建立完整、全方位的状态检测体系。通过将状态检测与现场检测相结合，最终构建先进、高效的运维模式。

图2 方法设计思路Fig.2 Method design ideas

3.3 检测方法流程

（1）组建海量用电数据信息池

利用用电信息采集系统采集的电压、电流、功率因素、计量装置告警信息、计量装置报障记录等实时数据，结合线损异常信息和相关历史数据，通过海量数据ETL过程，在中心数据仓库中组建疑似计量装置故障的信息池。

（2）初步分析

基于海量用电数据信息池，通过电量数据横向平衡分析、电量数据历史对比分析、数据完整性信息可靠性分析、顽固性误告警数据库比对等分析方法，建立分析方法体系，对需要进一步检测的计量装置生成状态检测清单，开展深入检测。

图3 海量数据仓库Fig.3 Mass data warehouse

（3）深入检测

在步骤（1）和（2）的基础之上，对可以计量装置故障进行从回路检查到冻结时间检查的全面性检查，主要包括五个方面的内容：回路检查、电能表计量误差比对、时钟及电能表时段设置检查、冻结时间检查和结果处理。

图4 远程状态检测流程Fig.4 Remote state detection process

利用从海量用电数据信息池抽取的计量装置相关电能量数据，通过以下判据逐项进行深入检测：（1）通过电压、电流、功率的大小及其平衡情况分析，结合六角图，判断是否出现失压、失流及回路接线情况；（2）通过比对同一段时间内电能表和终端走过电量的相对误差，排查计量装置异常情况；（3）抄读电能表和计量装置的时钟，与标准时钟比对，检查电能表和装置的时钟是否准确，同时查询一天整点时刻的峰平谷电量，与峰平谷时段设置比对，检查时段设置是否正确；（4）利用用电信息采集系统查询到电能表月冻结表码及在每月1号00:00时（终端时间）的电能表表码，比较差值，差值若小于15分钟内电能表走过的表码，则冻结时间设置正确。结合以上判据综合分析判断，得到计量装置的远程状态检测结果；对远方运行状态检测中发现疑似故障（缺陷）的，可将所记录的数据传送至入电力营销信息管理系统，生成疑似故障处理工作单，分配给相关人员现场处理[9-10]。

3.4 检测算法实现

以三相四线电能表为例，采用矢量分析算法设计实现过程如下：

（1）对于07规约电能表，可直接采集相位角参数；对于不支持直采旧规约电能表，可根据计量自动化系统采集终端采集回来的电压（U）、电流（I）、有功功率（P）、无功功率（Q）等瞬时电量参数，

推算出相位角[11-12]：

有功功率状态下相位角计算公式：

无功功率状态下相位角计算公式：

以上相位角的平均值作为矢量分析用的相位角：

根据有功无功的正负值状态和三角关系推导出真正相位角角度。

（2）根据采集回来的电压、电流数据，判断是否存在失压、失流、断相等故障；

如果采集到的电压值缺少U12或U32项，即U12或U32值为0，则可能是A项或C项开路，若电压项U12、U32为1/2的额定电压值，则可能是B项电压开路；

如果测量出的电流I1、I3有一项缺相，即有一项测量值为0，则可能是对应的电流线路有短路。

（3）分别进行不同负载属性（感性、容性）、不同相序状况（正相序、反相序）下的接线分析。

（4）按照电压、电流和相位角数据，利用矢量图分析方式绘制六角图。

（5）根据不同相序状况下的不同的三相电压接线方式，推导出对应的三相电流相序状态，结合负载属性、相位角角度确定电流互感器回路是否接反。

（6）得到接线、相序和电压极性分析表，作为回路检查的分析依据。

表1 接线、相序和电压极性分析表Tab.1 Wiring, phase sequence and voltage polarity analysis table

4 应用效果

该检测方法体系在某电力公司电能计量设备状态检测中得到很好的应用。2016年1月至6月，该电力公司通过电能计量设备远程状态全方位检测方法，利用系统共监测发现专变计量装置运行缺陷62起，占运维人员发现缺陷的94%，专变计量缺陷的平均存续时间比传统的工作模式少10天以上，有效的提高了计量装置运维效能和运维水平，确保了计量装置的准确可靠。

利用此远程状态检测方法，可监测长时间段计量装置运行状态，对特殊故障进行专业分析，尤其对大用户的进行针对性的重点检测，如图5、6。通过对该市某银行用户计量装置进行回路检查，电能表综合计量误差比对、电能表及重点时钟检查、冻结时段检查等远程状态检测手段，可有效地掌握计量装置的在线运行状态，实时监控用户的用电情况。

图5 方法应用效果图Fig.5 Methods renderings

图6 方法应用效果图Fig.6 Methods renderings

5 结论

本文研究的基于海量用电数据ETL处理技术下的电能计量设备远程状态全方位检测方法体系，真正意义上实现了不去现场作业即可实时、在线远程检测的效果。随着电力行业的迅速发展和自动化应用水平的提高，该方法将大大提高电能计量设备集约化管理水平，同时可进一步优化资源配置、节约成本，及时发现和查处存在的故障，提高企业经济效益和客户服务水平，具有较强的推广应用价值。

[1] 杨如康. 电能计量装置在线监测系统分析与应用[J]. 云南电力技术, 2008, 36(4): 49-50. YANG R K. Analysis and Application of On-line Monitoring System for Electric Energy Metering Device[J]. Yunnan Electric Power, 2008, 36(4): 49-50.

[2] 白洋. 电能计量装置远程校验监测系统[J]. 电测与仪表，2005, 42(7): 30-32. BAI Y. Remote Verification and Monitoring System for Energy Metering Device[J]. Electrical Measurement & Instrumentation, 2005, 42(7): 30-32.

[3] 曹锐. 电能计量装置误差实时在线监测系统的研制[J]. 电测与仪表, 2010, 47(3): 52-54. CAO R. Development of On-line Real-time Error Monitoring System for Electric Energy Metering Device[J]. Electrical Measurement & Instrumentation, 2010, 47(3): 52-54.

[4] 杨善秀, 韩飞. 基于聚类和微粒群优化的基因选择新方法[J]. 计算机应用, 2013, 33(5): 1285-1288. YANG S X, HAN F. A New Method of Gene Selection Based on Clustering and Particle Swarm Optimization[J]. Journal of Computer Applications, 2013, 33(5): 1285-1288.

[5] 刘玉海. MapReduce大数据分析在煤矿的应用研究[J]. 软件, 2016, 433(05): 101-104. LIU Y H. pplication Research of Map Reduce Big Data Analysis in Coal Mine [J]. Soft , 2016, 433(05): 101-104.

[6] 于戈, 谷峪, 鲍玉斌, 王志刚. 云计算环境下的大规模图数据处理技术[J]. 计算机学报, 2011, 34(10): 2369-2371. YU G, GU Y, BAO Y B. Large Scale Data Processing Technology in Cloud Computing Environment[J]. Chinese Journal of Computers, 2011, 34(10): 2369-2371.

[7] 陈新泉. Rosenbrock搜索法在聚类分析中的研究[J]. 软件, 2016, 434(06): 37-40 CHEN X Q. Research in Clustering of Rosenbrock Search Method [J]. Soft, 2016, 434(06): 37-40.

[8] CHANG L, DENG X M, ZHENG S W, et a1. Scaling up Kernel Grower Clustering Method for Large Data Sets Via Core-sets [J]. ACTA AUTOMATICA SINICA, 2010, 34(3): 377-382.

[9] 周广, 闫丹凤, 许光可, 李笋. 大数据在输变电设备状态评估中的研究[J]. 软件, 2016, 429(01): 9-13. ZHOU G, YAN D F, XU G K, et a1. Research on Big Data for Transmission Equipment Status Evaluation[J]. Soft, 2016, 429(01): 9-13.

[10] 陈蔚文, 杨劲锋, 肖勇. 电能计量自动化系统在电力营销中的应用[J]. 广东电力, 2011, 24(12): 117-121. CHEN W W, YANG J F, XIAO X. Application of Electric Energy Metering Automation System in Electric Power Marketing[J]. Guangdong Electric Power, 2011, 24(12): 117-121.

[11] 陈涛, 张春杰, 张文旭. 基于ATT7022A电能计量芯片的电力监控终端设计[J]. 东北电力技术, 2007, 6: 42-45. CHEN T, ZHANG C J, ZHANG W X. Design of Power Monitoring Terminal Based on ATT7022A Energy Metering Chip[J]. NortheastElectricPowerTechnology, 2007, 6: 42-45.

[12] 于海波, 唐红燕, 丁再贤. 大数据在电力行业内的应用与运营中指标体系优化的研究[J]. 软件, 2016, 438(10): 68-73. YU H B, TANG H Y. Application of Big Data in Electric Power Industry and Research on Index System Optimization in Operations[J]. Soft, 2016, 438(10): 68-73.

Research and Implementation of Comprehensive Detection System under the ETL Technology for Energy Metering Device

QUE Hua-kun, LIN Guo-ying, CHEN Qi-guan
(Electric Power Research Institute of Guangdong Power Grid Co., Ltd,, Guangzhou 510080, China)

With the increasing levels of network automation, the traditional energy metering device field test mode has can not meet the demand for practical application. In view of this, we propose a remote state detection for energy metering device under the mass data distributed processing technology. Focuses on the program design and method of remote detection based on the mass data processing, the application of loop check vector analysis algorithm, and the establishment of a full range of remote status measurement system for energy metering device under the ETL technology. Experimental results show that the detection method remotely and efficiently carry out the metering loop checking, the error measurement , the clock measurement and other test contents. This methodology can be an effective substitute for on-site testing work, to discover and investigate the existence of abnormal electrical behavior, and improving economic efficiency and energy metering device management level.

Electric energy data acquirement; Metering device; Remote inspection; Vector analysis; Error test; ETL

TP480·30

A

10.3969/j.issn.1003-6970.2017.05.023

阙华坤(1986-)，男，中级工程师，主要研究方向为电测仪表、用电计量技术、计算机应用。

阙华坤，中级工程师，主要研究方向为电测仪表、用电计量技术、计算机应用。

本文著录格式：阙华坤，林国营，陈启冠. 基于ETL技术的电能计量设备全方位检测方法体系研究与实现[J]. 软件，2017，38（5）：112-116