基于电网防台抗台系统的应急主题数据仓库分析与设计*

2018-10-09荣莉莉

中国安全生产科学技术 2018年9期

荣莉莉，李群，于振

(1.大连理工大学系统工程研究所，辽宁大连 116024；2.全球能源互联网研究院，北京 102209)

0 引言

近年来，地震、台风、洪涝等自然灾害突发件频发，给电网稳定运行带来巨大威胁，同时也造成严重的社会影响和经济损失。以2013年的“四川雅安地震”为例，共造成雅安、成都、内江、甘孜18.66万户用户停电，损失负荷44.67万kW，其中雅安地区12.6万户损失负荷31万kW(占震前负荷的37.35%)，芦山、宝兴、天全全县停电。相对于地震来说，台风作为严重威胁我国尤其是南方沿海省份电网安全的自然灾害，每年都是相关企业和部门应急的重点工作。据统计，台风灾害给国家电网公司带来严重的损失，近十年来，共计造成国家电网公司系统10 kV及以上线路停运23 957条，35 kV及以上变电站620座停运，41万个配电台区停运，用户停电2 350万户。仅在2015年就有3次台风对公司造成影响，分别为“灿鸿”、“苏迪罗”和“杜鹃”，共造成福建、浙江、上海、江苏、山东、安徽、湖北等省份中14.6万个配电台区停运、963.9万用户停电、5座35 kV以上变电站停运、6 434条10 kV以上线路停运。因此，为了给电网的安全与应急提供辅助支持，众多学者从多个角度进行了针对性研究。在电网安全运行评价方面，崔明建等[1]针对电网安全运行评价的需求，构建了一套多层次事前综合评价指标体系，提出一种基于多层次灰色面积关联分析法的电网安全综合评价模型；徐鹏等[2]提出一种基于层次分析法和变权重机制的电网安全指标计算及展示方法；穆永铮等[3]提出一种电网安全与效益综合评价方法，通过规范安全指标、一般安全指标及效益指标3类指标来刻画电网安全与效益的特性，并构建了目标层、类别层、指标层及子指标层4层指标体系。在电网因灾(自然灾害)受损方面，陈鹏云等[4]根据高压电网故障统计资料，分析了中国电网中自然灾害概况，并结合主要自然灾害对电网损毁性影响的特征及其时空分布特征，指出了目前中国高电压主网的安全风险(大范围冰灾、大面积污闪、大面积线路覆冰舞动)；门永生等[5]针对典型自然灾害对电网重要设施影响的特征，构建了基于8类典型自然灾害的电网重要基础设施脆弱性评价指标体系；王兴发等[6]在分析风灾、洪涝、雷害、火烧山、污闪、地质灾害和覆冰7类自然灾害对电网造成主要影响的基础上，从电网自然灾害预警系统的目标与功能、预警指标体系、系统结构、信息资源的整合、预警事故集的生成5个方面进行系统构思和设计。随着近些年云计算、物联网、大数据等技术和平台的快速发展，以“数据驱动”代替“模型驱动”进行各类决策的趋势在各行各业逐渐得到认可与推广，其中，围绕特定业务主题的数据仓库与联机分析处理(OLAP)由于直接对接具体应用业务与数据源，得到了广泛应用[7-10]。但纵观现有研究成果，谈理论方法较多，工程技术较少；谈模型构建较多，系统集成较少，限制了相关成果的转化与落地。本文即针对此类问题，围绕电网防台抗台过程中缺少应急辅助支持的情况，提出基于现有电网防台抗台系统中的业务数据，采用星型结构分析与设计“台风气象灾情”、“电网因灾(台风)损失”、“电网因灾(台风)应急资源投入”等应急主题数据仓库，充分利用、开发相关的数据探查与ETL工具实现相关的数据集成，构建相关应急主题下的多维数据模型，并开展联机分析处理(OLAP)研究工作，为相关企业和部门开展电网应急管理工作提供应急辅助支持。

1 电网应急主题下的数据仓库分析与高层模型

由于台风对我国电网影响非常大，故国家电网公司构建了针对性的防台抗台业务系统。从系统使用角度来说，该系统侧重于应急业务的事务性系统(OLTP)，为了对相关业务数据围绕相关电网应急主题进行多维分析，以应对相关复杂统计和报表生成的需求，本文提出在电网应急(防台抗台)业务指导下进行数据仓库分析，最终得出以下3方面主题：

1)台风气象灾情数据主题：存储一定时间段内的历史气象数据记录，对不同区域在特定时段的气温、湿度、风向、风力、降雨量等进行分析，以便找出不同时间段、不同区域的某些气象信息特点。

2)电网因灾(台风)损失数据主题：存储一定时间段内相应区域的损失数据记录(变电站故障、输电线路故障、配电网故障、重要用户停电、人员伤亡及失踪)，对不同区域的故障类型、损失情况等进行分析。

3)电网因灾(台风)应急资源投入数据主题：存储一定时间段内相应区域内的应急资源投入数据记录，如抢修人员(人)、抢修车辆(辆)、发电车(辆)、发电机(台)、大型抢修机械(台)，对不同区域在特定气象条件下投入的抢修人员、抢修车辆、发电车、发电机、大型抢修机械等数据进行分析。

1.1 台风气象灾情数据仓库高层模型

台风气象灾情数据仓库的高层模型如图1所示，高层模型中，从属性与度量清单2方面进行描述。

图1 台风灾情数据仓库高层模型Fig.1 High level model of typhoon disaster data warehouse

1)属性

①日期属性：包括日期编号、日期值(YYYY-MM-DD)、年份值、季度值、月份值、星期值、日值等。

②监测地点属性：包括监测地点编号、地点名称、所在市、所在省、地点经度和纬度。

③天气类型属性：包括编号、天气类型名称(晴、阴、多云、阵雨、雷阵雨、雷阵雨伴有冰雹、小雨、中雨、大雨、暴雨、大暴雨、特大暴雨、小雪、中雪、大雪、暴雪、雾、冻雨、沙尘暴、强沙尘暴、霾、雨夹雪)。

④风向类型属性：包括编号、风向名称(东风、西风、南风、北风、东北风、东南风、西北风、西南风)。

2)度量清单

包括最高气温、最低气温、湿度、风力、降雨量。

1.2 电网因灾(台风)损失数据仓库高层模型

电网因灾(台风)损失数据仓库的高层模型如图2所示，高层模型中，从属性与度量清单2方面进行描述。

图2 电网因灾(台风)损失数据仓库高层模型Fig.2 Data warehouse high level model for power grid disaster (typhoon) loss

1)属性

①时间属性：包括时间编号、时间值(hh:mm:ss)、24小时时值、12小时时值、分值、秒值、上午/下午标签值等。

②变电站属性：包括变电站代码、变电站名称、所属单位、电压等级、值守类型、主变台数、主变容量、投运日期、退运日期、责任人、地址、联系电话、施工单位、防洪水位、地质条件、周边排洪设施、经度、纬度、维护班组等。

③输电线路属性：包括线路编码、线路名称、线路简称、线路类型、所属单位、所属市局、电压等级、设计电压等级、起始点名称、结束点名称、起点类型、终点类型、线路总长(km)、干支类型、主干线名称、电缆总长、所属调度、运行最大电流、输送容量、运行状态、投运日期、杆塔数、电流性质、额定输出功率、施工单位、架空长度。

④配电线路属性：包括馈线编码、馈线名称、所属单位、所属变电站、站房编号、站房类型、站房名称、运行状态、供电单位、馈线电压等级、主干名称、投运日期、变电站电压等级、施工单位。

⑤重要客户属性：包括用户编号、用户名称、供电单位、用户地址、供电类型、供电容量、供电电压、用户等级、用户类型。

⑥台风属性：包括台风编号、台风中文名、台风英文名、台风形成时间、台风状态、是否影响电网、台风停止时间。

⑦单位属性：包括单位编号、单位名称、上级单位名称、单位地址、单位联系人。

2)度量清单

包括输送负荷、受损电量、故障持续时间、故障测量距离、死亡人数、失踪人数、受伤人数(含重伤)、重伤人数。

1.3 电网因灾(台风)应急资源投入数据仓库高层模型

电网因灾(台风)应急资源投入数据仓库的高层模型如图3所示，高层模型中，从属性与度量清单2方面进行描述。

图3 电网因灾(台风)应急资源投入数据仓库高层模型Fig.3 Data warehouse high level model for power grid disaster (typhoon) emergency resource

1)属性

台风属性和单位属性属于统一维度，具体内容同上文。

2)度量清单

包括抢修人员(人)、抢修车辆(辆)、发电车(辆)、发电机(台)、大型抢修机械(台)。

2 基于防台抗台系统的数据抽取、转换与加载

数据仓库的设计与构建，以及后续的联机分析处理，甚至进一步的数据挖掘，往往离不开一定数量和质量标准的数据支持。在实际工程实践中，相应的数据集成与系统集成需要耗费大量的人力和时间，不仅有技术上的难度，而且有管理和标准上的挑战。本文以国家电网防台抗台业务系统为例，简要说明相关数据抽取、转换与加载(ETL)的关键要点，以保障相关应急主题数据仓库的有效实现。

从整体数据仓库的数据载入过程来看，大体可以分为数据探查、数据抽取、数据转换、数据加载等4个步骤。

1)数据探查

数据探查是指对多种来源数据的基本情况作一个全面了解和分析，以指导后续的数据抽取工作，具体到防台抗台系统来说，作为一个实际运行的事务性业务系统，其后台数据库为关系型数据库，数据探查需要关注的重点包括数据记录条数、数据依赖完整性、空数据项以及数据标准不统一等问题，以防台抗台系统中的“当天天气表”、“气象站点表”进行简要的数据质量分析，分析工具为datacleaner4.5，分析结果如图4所示，天气监测信息和气象站基本信息的数据参考完整性检验如图5所示。

图4 防台抗台气象监测数据质量基本分析Fig.4 Basic analysis of weather monitoring data quality

图5 天气监测信息和气象站基本信息的数据参考完整性检验Fig.5 Data reference integrity check for weather monitoring information and meteorological station basic information

2)数据抽取

数据抽取即是对数据源中数据的读取过程，主要是指缓慢变换维表数据以及事实表数据的抽取，由于防台抗台系统后台是关系型数据库，可以采用SQL接口访问，也可以采用一些较为成熟的工具辅助(如Kettle)，在抽取环节需要注意的是基于时间戳的数据过滤，对于已经加载到数据仓库的数据，需要在抽取环节根据时间戳过滤掉。

3)数据转换

数据转换是整个过程中的关键环节，既要完成不同标准下的数据整合，还需要解决不同来源数据项的二次计算与新数据项的生成，对于防台抗台系统来说，比较典型的是故障时间的计算，在数据转换环节，需要完成原始数据项中“故障恢复时间”与“故障发生时间”之间的取差计算(单位：h)，在Kettle中的JS算法如图6所示。

图6 故障时间计算脚本Fig.6 Fault time calculation script

4)数据加载

数据加载是整个过程的最后步骤，是经过转换后的数据真正载入数据仓库的环节，基于防台抗台业务系统构建的应急主题下的多个数据仓库存储在SQLSERVER2008数据库管理系统中，分为维表和事实表，数据加载需要按照“先维表、后事实表”的顺序加载，数据加载完毕后，星型结构下的数据仓库中就有了可以进一步分析的数据。

为了更详细地解释有关数据仓库的数据ETL过程，以输电线路因灾受损事实表的数据导入为例进行讨论，在Kettle下的业务与转换设计如图7所示。

由图7可知，整个ETL过程大体可以分为10个环节。

图7 输电线路因灾受损事实表的ETL过程说明Fig.7 ETL process description of fact table of transmission line fault

①源数据读入：从记录输电线路因灾受损信息的业务数据表中读入记录。

②“输电线路因灾受损信息”与“输电线路基本信息”之间的参照完整性检查：通过外键检索，检查2个业务数据表间数据的参照完整性，并过滤掉不符合参照完整性的因灾受损记录数据。

③过滤空数据：将“输电线路因灾受损信息”中，输电线路名称或编号为null的数据记录过滤掉。

④数据库查询(故障日期)：将“输电线路因灾受损信息”中，故障日期属性进行提取，并在“日期维表”中进行查询，最终获得日期维表中对应日期的“主键ID”。

⑤数据库查询(故障时间)：将“输电线路因灾受损信息”中，故障时间属性进行提取，并在“时间维表”中进行查询，最终获得时间维表中对应时间的“主键ID”。

⑥数据库查询(输电线路故障类型)：将“输电线路因灾受损信息”中，故障类型属性进行提取，并在“输电线路故障类型维表”中进行查询，最终获得维表中对应故障类型的“主键ID”。

⑦过滤记录：对源数据中，故障时间、恢复时间或故障类型属性为null的记录，进行过滤。

⑧计算故障持续时间：根据恢复时间和故障时间2个字段取值，通过编写计算脚本，批量自动计算故障持续时间属性值。

⑨过滤记录：对故障持续时间为负的记录进行过滤(说明原始数据记录有误)。

⑩表输出：将之前几个步骤建立起来的自定义集成数据集，批量写入输电线路因灾受损事实表。

3 基于应急主题数据仓库的联机分析处理

联机分析处理(OLAP)是一种软件技术，可使分析人员能够迅速、一致、交互地从各个方面观察信息，以达到深入理解数据的目的。其具有FASMI(Fast Analysis of Shared Multidimensional Information)即共享多维信息的快速分析的特征。其中F是快速性(Fast)，指系统能在数秒内对用户的多数分析要求做出反应；A是可分析性(Analysis)，指用户无需编程就可以定义新的专门计算，将其作为分析的一部分，并以用户所希望的方式给出报告；M是多维性(Multi-dimensional)，指提供对数据分析的多维视图和分析；I是信息性(Information)，指能及时获得信息，并且管理大容量信息[11]。本文以电网防台抗台系统构建的应急主题数据仓库为基础，开展多维数据的联机分析处理，考虑数据敏感性，以配电线路因灾(台风)受损数据为例，采用Microsoft Analysis Service构建相关的多维数据分析模型，构建结果如图8所示。