数据驱动的燃气应急抢修系统设计与实现

肖文凯

(1.申能(集团)有限公司，上海 201103；2.上海智慧能源工程技术研究中心，上海 201103)

0 引言

随着软硬件技术的不断发展，云计算、大数据、北斗定位技术、深度学习算法等极大丰富了各行业信息技术应用的内涵和智能化水平，如何将这些技术应用于上海燃气专业管理领域，并为燃气行业规划未来发展战略至关重要[1]。数字化燃气及上海燃气地理数字平台的推广使实时感知的数据急剧增长，采用统一采集和存储的能源数字平台，能整合并统一管理上海燃气数据资产。在技术方面则侧重于推动GIS、SCADA、应急处置、车载定位(北斗/GPS)、燃气综合信息平台、视频监控平台、移动信息管理等孤岛化系统的整合和共享[2]。

上海燃气地下管网超过26 000 km，覆盖用户数约700万户，具有感知功能的设施和测点超过10万个，规模在国内同行中名列前茅。随着城市数字化管理转型及上海燃气地理数字信息等平台的推广，实时感知的燃气管网和调度等数据也急剧增长，即为实现燃气科学化管理和城市应急响应提供了数据来源[3]。如何构建城市燃气应急抢修数字平台，建立多源异构数据的标准化采集、治理和存储的方法和机制，提高数据利用率，形成能源燃气行业数据驱动业务创新的应用示范，为提高上海城市燃气管理与公共服务的水平等带来了诸多新的挑战。

燃气数据标准趋于统一，但是数据标准的落实和数据生产维护的工具有紧密的关系。燃气数据来源多样且数据结构各不相同，核心数据无统一编码标准，彼此间无法有效共享交换数据[4]。用于采集和处理燃气数据的方法和流程没有统一，数据的准确性有待提高[5]。本文对多源数据统一采集和存储，形成高效、统一的多源异构燃气数据采集方法与处理机制。采用“内部数据+外部数据=知识库”的方式，将自有数据和外部获取数据结合在一起，实现核心数据的标准化、规范化管理，提高数据准确性和质量。通过对抢修事故数据的实时动态数据分析，建立智能分析模型，从而实现调度优化、应急事故分析、站点管理、路径推荐等功能。

本文主要从燃气数字化转型出发，对数据标准化提出解决方案，实现燃气智能应急抢修系统，并对实际运行结果进行分析。

1 燃气数据标准化方法

建立良好高效快速的数据平台对后续的算法模型的快速实现提供了有效的支撑[6]。面向大数据分析的数据结构存在多样性与及时性等各类要求，所以数据架构需包含逻辑分区设计、多样化数据存储设计、及时数据处理设计等。通过燃气数据互联建立一套统一的标准体系和指标体系，实现数据的清洗与整合。数据知识库是数据知识服务的支撑，是利用数据和分析数据的基础，在一个稳健的知识库基础之上，才能够进行更为精准的数据分析。

1.1 燃气数据治理体系

燃气服务和应用过程中产生的燃气数据，是燃气企业的重要资产，需要采用科学的方法进行有效管理和长期治理。2017年颁布的ISO/IEC 38505-1《信息技术IT治理数据治理第1部分：ISO/IEC 38500在数据治理中的应用》，为企业大数据治理提供了可供参考的规范框架。基于此，上海燃气明确数据治理标准并逐步搭建起数据治理平台，主要工作如下。

(1)参照ISO/IEC 38500大数据治理标准和国家标准《信息技术服务治理第5 部分：数据治理规范》，针对数据标准不统一、分散维护、数据不一致等数据治理问题，明确数据管理标准、管理责任单位和管理流程，以及相应的监督机制。

(2)根据数据治理“E(评估)—D(指导)—M(监督)”方法论，面向开发、应用、运维管理等多种场景，合理分配数据采集、数据存储、数据发布、数据维护等相关治理任务，配置统一的数据治理工作环境。图1为数据治理过程示意图。

图1 燃气数据统一治理过程

(3)逐步构建燃气企业数据标准，包括体系梳理、元数据采集分类、数据标准整合和发布等。体系梳理主要通过现状调研、主题编制等传统手段梳理企业现有数据标准，结合数据治理平台元数据自动化智能化采集等功能对元数据进行分析和分类，最终整合出适合企业应用，又便于更新维护，同时又涵盖业务属性、技术属性和管理属性等特征的企业级数据标准[7]，如图2所示。

图2 构建企业数据标准

(4)通过汇聚多源数据，按企业数据标准进行加工整合，形成基础数据集和各专题数据集，保障数据服务平台通过数据服务网关对外输出合规的高质量数据，同时增强数据监控管理和数据资产管理等功能，逐步搭建起完善的燃气数据治理平台，如图3所示。

图3 大数据治理平台

1.2 数据采集与处理

数据采集与互联的总体方案是利用现有数据，即燃气公司提供的内部数据，结合网上数据，即通过网络爬虫爬取的数据，按照互联规则与标准，实现互联，建立知识库[8]。利用标签体系、指标体系、智慧引擎(包括使用到的各类智能算法和模型)等模块形成数据引擎。通过数据引擎对各个应用点提供技术与信息支撑。具体过程如图4所示。

图4 燃气数据采集和处理过程

实现上海燃气行业基础数据和燃气基础管网数据以及监测和保护数据的在线共享与服务功能，包括燃气行业专业数据的共享交换功能，以及支持行业基础信息处理的空间分析和综合应用。结合数据治理成果，集中对燃气数据的模型、规范、标准和质量进行管控，规范GIS数据、管网数据、输配数据、应急抢修等燃气数据管理流程。

1.3 燃气数据互联

数据互联的第一步是将自有数据标准化，建立标签体系和指标体系，以统一的标准联合网上数据，以方便快捷地构建知识库[9]。通过燃气大数据平台实现公司基础地理信息数据在统一标准下的互联互通，以此为基础开发数据产品和相关功能，实现SCADA系统、GPS/北斗系统通过数据接口按需接入或调用，便于公司以更加精细和动态的方式管理各自的日常业务，以提高各种管理信息资源的利用率，实现上海燃气的智能服务和精细化管理[10]。

数据互联是根据燃气用户的地址信息进行匹配。将收集到的分散数据实现数据汇集，建立标签体系和指标体系，以统一的标准联合外部数据。接着，进行数据的分治和分布计算，形成需要的智能结果，汇总所有的处理数据和智能结果，联合建立一个共享数据库，为数据分析和拓展行业开放性提供强大数据支撑。最后，将自有数据与网上数据按照经纬度坐标进行匹配，即可以将2条数据整合为1条数据。

将全上海市划分为栅格，最后将各类离散数据按照所处栅格坐标进行数据互联，实现地下燃气管网与地上用户数据互联。将燃气公司内部已有管道数据与地上用户数据进行互联，形成一个全新的数据库。将地上客户数据与地下管网数据根据栅格形成互联，互联后的数据可以为数据视图分析提供强力的数据支持。

1.4 数据邻域处理与分析

通过对上海市地图划分成众多的方格，可以很容易地运用领域的概念来进行模拟计算。根据用户所留地址信息，通过百度地图提供的地址转换功能，生成相应的经纬度坐标[11]。

数据缩放邻域计算需要同时对方格的邻域进行快速计算，充分利用计算资源，达到快速计算的目的，方形邻域可以转换为条带邻域，如式(1)所示，

Ν3(Ν4(Ai,j))=Ν4(Ν3(Ai,j))=Ν(Ai,j)

(1)

其中，Ai,j表示目标点，N(Ai,j)表示目标点Ai,j的正方形邻域中所有方格的集合，邻域大小为n。

方形邻域信息计算可以转换为条带邻域信息计算，从而避免重复计算，减低计算复杂度，式(2)给出具体算法：

(2)

其中，目标信息计算in(N(Ai,j))就是相应邻域信息的一个综合计算(in=info)。式(2)表示可以先计算方格列邻域信息，汇集到本方格中然后基于汇聚信息进一步计算行的邻域信息进行汇聚就得到了方格周边整个方向邻域的聚合信息，这种在计算列的时候进一步观察推进的方式可以将横向推进实现为完全并发，而列向推进实现为顺序计算，也就是对于每一列可以同时进行列向顺序计算，进一步将列减少运算次数。当基本信息单元集合本身可以单机存储或者进行稀疏化存储和相应序列化技术压缩，之后可以进行单机存储，那么此时可以通过查询层并行查询实现加速计算，主要过程包括创建分布式共享数据集，将数据分发到不同机器上，并且对待计算邻域进行适当切分，每个机器计算一部分邻域标号集的邻域信息，从而实现并行计算。具体过程如图5所示。

图5 邻域计算过程

2 智能应急抢修系统设计

智能应急抢修系统是燃气公司用户在日常工作中监测、预防、处置应急事件应用的在线辅助系统，为能够更为全面地提供应急参考信息，系统提供跨系统数据转换引擎，能够与SCADA数据、应急处置数据进行交互，实现PC端和移动端的应急辅助处置、应急状态监测应用功能，便于用户从系统中及时地获取应急支持，正确制定应急策略。具体过程如图5所示，主要功能包括下述几点。

(1)开发系统间数据接口。将SCADA系统数据接入，使数据能在系统的GIS地图上撒点展示，通过技术的融合应用实现数据信息的进一步交互，以能够为用户提供更为全面、直观的信息参考，方便用户在输配调度过程中加强对供气用气平衡和安全的监测。

(2)应急处置交互系统。应急处置系统读取应急业务交互系统中的GIS基础地理数据、门站数据、管网数据等数据信息，与其采集到的事故信息、事故位置、事故处置过程信息等进行匹配，使应急事故数据具有地理信息属性，并再次推送回应急业务交互系统，在应急业务交互系统中得到可视化展示和便捷应用。具体过程如图6所示。

图6 应急处置交互系统

(3)移动应急辅助处置系统。移动应急辅助处置系统通过安装在手持移动端的App系统帮助用户实时进行管网分析、图档调阅、道路导航等操作，使用户能够不受办公空间的限制，限时限地实现数据信息的应急辅助。

(4)应急抢修数据分析与智能化应用。利用天气数据、管网信息以及地理信息数据等，将新一代信息技术与互联网实现深度融合，确定安全事件数据来源。基于深度学习、强化学习、高维大数据集成与分解、多维时间序列处理技术、内存数据库、时间片等技术实现应急抢修数据智能分析。功能包括：实时对上海市燃气事故处理分布、精准定位和智能分析；实时确定上海市所有应急站点的科学覆盖范围；实时科学计算上海某地点发生事故后能有哪些站点到达；实时进行上海市站点无法达到的栅格定位；实时确定上海每一块土地(栅格)内的事故数，从而实时科学计算上海市每一块土地的安全情况；科学计算全上海市范围内最能提高急修到场及时率的新增站点位置(序列)；科学云计算全上海市范围内最能减少隐患栅格(规定时间内无站点可达的栅格)的新增站点位置(序列)；急修站点的智能排班；事故抢修跨区域实时智能调度功能。应用上海燃气城市地理数据，实现燃气智能预测、管网预警、区域燃气供求实时分析等。利用天气数据、管网信息和地理信息等，实现管网安全事件智能预测与处理。对管网压力点进行统一管理，为事故预警和远程诊断提供数据支持。

3 智能应急抢修系统实现

基于华为Fusion Insight Farmer数据服务平台，实现燃气数据的实时采集、存储和智能挖掘等功能。通过对抢修事故数据的实时动态分析，建立智能分析模型。实现调度优化、应急事故分析、站点管理、路径推荐等功能，进一步实现以数据驱动业务创新，提升公司应急抢修管理和服务水平。

事故数据包含14条属性，包括事故ID、受理时间(年月日)、受理时间(时分)、负责人、受理类型、事故地址、信息来源、联系人是否已知、联系人电话、客户性质、所属区域、时限、处理状态和责任单位。事故处理信息数据，每条记录有23条属性，包括抢修ID、事故ID、派发单位、派发时间(年月日)、派发时间(时分)、事故处理状态、所属区域、事故类型、抢修站点、事故等级、责任人、出车时间、到场时间、完工时间、销根时间、接收类型、地址、信息来源、客户类型、所属区域、时限、处理状态和责任单位。

在位置分布上，采用领域技术将事故地理位置信息转成经纬度信息，基于事故地址显示在地图上，可以通过各项组合选择自己需要的视图。在未选择距离时，确定好各项组合选择之后，点击事故详情信息，可以将满足条件的事故详细信息进行展示，包括满足条件的事故总数量、事故ID、接受报警时间、事故地址等信息。具体结果如图7所示。

图7 应急事故处理结果

邻域分析主要是用户选择好各个条件之后，用户选择希望查看的邻域范围并在地图上进行点击，选择位置，然后会在地图上显示符合条件的事故的地理位置分布，并在右边显示该邻域范围内在该时间段发生事故的总数，事故类型分别对应的总数。将事故点的经纬度转换成栅格坐标，计算出事故发生的栅格到所有站点在不同条件下的距离，然后筛选出符合条件的站点。随机点击地图上一点能够显示可达站点，白色站点为可达站点，黑色为不可达站点，并按照优先顺序进行排序，可以进行优先调度。若此时事故点周围发生大面积事故，可达站点无人员可用时，可以优先调度离事故点最近的黑色站点。具体结果如图8所示。

图8 应急事故邻域分析结果

若是无站点则返回-1；若事故周围所有站点都被调走则处于等待状态返回0；若是类型转换出错则返回-2。最终返回结果显示在屏幕右边，能够调度站点的显示：站点X正在支援事故n；若事故无站点可以调度且处于等待状态,则显示事故n处于等待状态；若此事故无站点能到，也就是该事故处于0栅格，那么显示事故n无站点可达。

采用k-means聚类算法对数据进行聚类分析。选择k-means算法，多次调参后，当簇为4时结果较优，如图9所示。

图9 应急数据聚类和分析结果

采用k-means聚类算法对数据进行聚类分析。选择k-means算法，多次调参后，当簇为4时结果较优，如图9所示(横坐标为事故数，纵坐标为聚类系数)。由图9可知，事故结果共分为4簇，取其中较为集中的2和3簇。由于簇3下面的部分较为稀疏，最为集中且数量最多的时间段为簇2部分及簇3上面的部分，所以取簇2部分的上限为白班结束的时间。多次实验得出的平均值为0.724 4，换算成时间为17：23，与之前推测的17：30结果接近。所以聚类算法实验能验证其结果，推荐白班时间为7：30—17：30。

4 总结

燃气大数据是大数据技术在燃气领域的深入应用，是能源生产、消费及相关技术革命与大数据理念的深度融合。本文提出对不同来源的燃气数据进行数据整理、清洗和集成，以保证燃气数据质量。智能挖掘燃气数据资源与价值，拓展基于互联网的燃气智能化服务，动态分析应急站点和流动抢修设施信息，实现通过新增5个抢修站点合理布局、抢修人员智能排班和事故抢修智能调度，上海燃气事故半小时内应急抢修及时率从51%提高到83%以上(得到有效提高)，应急抢修覆盖范围也显著增加，通过有针对性地提供精细化服务，形成城市燃气行业的发展转型和基于物联网的“城市大脑”核心竞争力。