天然气储气调峰大数据信息平台构建

2020-07-02韩群群

天然气工业 2020年6期

胡尧何沙韩群群钟虹王好

西南石油大学经济管理学院

0 引言

2017年国内冬季天然气供应紧张现象（“气荒”）直接影响了民生和国民经济的发展。“气荒”的直接原因是“蓝天保卫战”中“煤改气”的快速推进、我国天然气进口某主要来源国的不可控因素以及我国天然气消费量的阶梯式增长，但其深层次原因则在于：①我国缺乏有效的手段方法对天然气供需态势进行预判，应对能力相对滞后；②中游基础设施（输送管网、储气设施和LNG接收站）建设滞后[1-2]，天然气储气调峰资源未实现最优化利用；③政府以及油气企业相互间协调能力较低等。因此。我国急需寻求有效的方法以解决上述问题。从长期发展规划中不断增加供给比例，加大天然气开发力度与加快储气调峰设施的建设是第一选择，而中短期规划中如何整合利用现有储气调峰资源以应对天然气短缺现象则是当务之急。

2015年3月，李克强总理在政府工作报告中提出制定“互联网＋”行动计划，推动移动互联网、云计算、大数据等与现代制造业的结合[3]，大数据的应用正引领创新驱动推动我国高质量发展。天然气生产、进口、储存、运输与消费的过程中会不断产生体量巨大的数据，借助于同时日趋成熟的大数据技术，建立天然气储气调峰平台以应对天然气短缺现象，具有重要的现实意义。

1 相关概念界定

1.1 大数据技术

大数据又称超量数据，通常所涉及的数据规模巨大，利用新处理模式实现收集、储存、分析与应用的信息资产[4]。大数据技术是利用数据分布式集成模型，将大数据隐藏关联信息进行高效快速地提取、分析与应用[5]。当前各行各业的发展都与大数据技术密切相关，例如何伟等[6]将地灾监测与大数据技术进行融合，构建了大数据信息平台，提高了地震监测预警能力；马丽梅等[7]将大数据技术成功运用到铁路交通行业中，通过构建大数据关键技术平台，提升了货物的运输能力与安全管控水平。

大数据技术是大数据处理全过程的基础支撑，包括以下技术。

1.1.1 大数据采集技术

数据的采集指利用数据库将网络、传感器等方式形成的各种数据由系统外部输送到系统内部的接口[8]。天然气数据的来源十分广泛，包括以天然气开采与进口为主的生产数据、以储气调峰设施为主的储存数据、以管网与槽车为主的运输数据以及以工业用户与居民用户为主的消费数据等。这些数据的来源主要通过现场数据监测系统不间断传输进入油气企业数据库中，可采用Hive数据采集框架Flume进行数据的采集，Flume是建立数据库的基础构架，其提供了一系列的工具进行数据的有效采集。

1.1.2 大数据预处理技术

天然气有关数据为非结构化数据，包括所有格式的办公文档、文本、图片、标准通用标记语言下的子集XML、HTML、各类报表、图像和音频、视频等信息，体现了大数据种类与来源的多样性，数据参杂了噪音和干扰项，给数据的分析处理带来一定的难度，需经过数据预处理这一环节，一方面将非结构化数据转化为结构化数据，另一方面将数据进行“净化”，提高数据的可靠度[9]。可以采用Mediator/Wrapper技术，由包装器Wrapper与中间器mediator构成，利用中介模式特点，将数据源进行包装与封装，转化为能提供一致访问的中介数据形式[10]。

1.1.3 大数据分布式存储技术

超量的数据无法通过传统的集中式进行储存，需要利用分布式储存技术，考虑到天然气有关数据的繁杂性和多元化，可采用Hadoop分布式文件系统技术（HDFS），利用高容错性与高吞吐量的特点，采用可扩展的系统结构，通过储存服务器的分担能力与服务器定位存储能力将超量数据进行分类、分区储存[11]。

1.1.4 大数据挖掘分析技术

天然气储气调峰平台的核心是挖掘出天然气相关数据中隐藏的关联信息，为解决天然气短缺现象提供决策辅助方案，因此需要利用大数据挖掘分析技术，依托各类算法模型，对储存的各类数据进行分析，进而得到预估的结果[12]。可以采用由谷歌公司设计的MapReduce技术[13]，运用并列式数据处理模式，通过“Map”分解能力与“Reduce”合并处置能力为数据挖掘和分析提供技术支撑。

1.1.5 大数据解释技术

大数据分析结果由各类抽象数据组成，而天然气储气调峰平台的终端使用者为平台决策人员，如何有效地将抽象数据转换为文字图像的形式展示给决策人员，需要利用大数据解释技术提供平台技术支撑，本文主要采用可视化技术和GIS技术。可视化技术是指通过计算机图形学和图像处置技术，把数据调整为图形或者图像通过屏幕展示出来，并给予交互处置的理论和方式[14]。GIS技术又被称为地理信息系统技术，以地理空间为基础，通过地理分析模型，不但能够提供具备空间性质的天然气资源地理信息[15-16]，而且能够对不同阶段的天然气资源情况和生产运输消费变动给予动态监测与解析对比，为解决资源调度问题及保障可持续供应提供技术支持。

1.2 大数据背景下天然气储气调峰平台定义

笔者结合天然气储气调峰、相关平台与大数据技术的相关定义，提出了天然气储气调峰大数据信息平台定义，即以国家发布的法律、政策、规范等有关文件为依据，以天然气决策部门为指挥中心，利用互联网传输途径，以天然气生产、进口、储存、运输、调峰、消费过程为主线，基于大数据收集、预处理、储存、分析及应用5大技术，实现软件设计与硬件工具支撑的天然气储气调峰保障系统[17]。该平台能够提供数据汇聚、信息展示、预警通知、辅助恢复等功能，可为决策者提供全面的信息支持以应对天然气短缺现象。

2 天然气储气调峰平台框架设计

要构建天然气储气调峰大数据信息平台，实现对天然气短缺现象的监测、预警、处置等全过程动态管理和控制。依托大数据技术，通过主体体系构建与总体框架，从以下两个方面进行设计，建立三级天然气储气调峰平台。

2.1 平台主体体系构建

根据《加快储气设施建设和完善储气调峰辅助服务市场机制的意见》要求，明确政府与企业的责任和义务，因此平台主体对象包括国家、省级（包括省、自治区、直辖市，下同）政府以及企业三级层面，构建以国家总平台为第一层，省级平台为中间层，企业平台为基础层的三位一体化储气调峰平台体系（图1）。其中国家储气调峰总平台负责全国储气调峰工作，管理全国所有调峰资源；省级储气调峰平台负责省、自治区、直辖市的储气调峰工作，受国家级储气调峰总平台的统一指挥；企业调峰设施平台负责本企业储气调峰工作，受省级储气调峰平台的指挥，储气调峰设施由企业所属，包括储气库、管网、气田、LNG接气站与LNG储罐等。

图1 储气调峰平台体系结构图

三级平台整体运行的模式与工作流程是相同的，只是管理区域与职能权力不同。国家级总平台、省级平台与企业级平台之间实行纵向信息互联互通，企业调峰设施间实现平行信息共享，当发生天然气短缺现象时，平台间可及时获取相关信息，并充分利用各种调峰资源力量，进行处置及恢复。

2.2 天然气储气调峰平台总体框架

从储气调峰过程中信息流动的全过程出发，基于储气调峰平台体系结构，结合大数据技术特点，构建天然气储气调峰平台框架，框架主体由5个部分组成，即资源收集层、数据净化层、信息储存层、分析指导层与可视应用层[18]（图2）。

2.2.1 资源收集层

资源收集层作为整个储气调峰平台的第一层，提供天然气相关信息的收集。天然气相关信息包含基本数据、专题数据、历史数据、监测数据、实时数据与突发性数据6大数据源。所有的数据汇集于各企业的数据库中，因此可通过Hive数据采集框架Flume从企业数据库中获取[18]。

1）基本数据：指天然气储气调峰设施基本的信息情况，包括储气库、气田、LNG接气站等储气调峰设施区域分布，数量情况、储存状况等多方面的数据。

2）专题数据：主要指天然气短缺应急预案资料、应急处置情况、恢复演练信息以及天然气调峰专家资料等相关专题数据。

3）历史数据：指以往相同或者接近的国内乃至国际天然气储气调峰数据。

4）监测数据：针对包括地下储气库、管网、气田、LNG接气站以及LNG储罐等基础调峰设施，利用各种数据监测设备，收集天然气储存量、流量、压力、温度、湿度等数据。

图2 天然气储气调峰平台框架图

5）实时数据：指天然气收集、运输乃至储存过程中人为登记的有关数据，包含过程登记、作业日记、监测登记、会议记录等。

6）突发性数据：指天然气短缺现象发生前、发生时、发生后三维梯度下产生的突变信息数据。

2.2.2 数据净化层

数据净化层主要对数据进行净化处理，将通过上述6大数据源收集到的异构数据运用Mediator/Wrapper技术进行辨识处理，对数据反复筛选，去掉多余的、内容关联不大的数据，填补存在格式缺陷的数据，把构成的文字、声音、视频数据模型转变为计算机系统可辨识的通用模型，同时把相似的二维码数据源包装器给予封装处理，构成规范化数据块，传输到信息储存层[18]。

2.2.3 信息储存层

信息储存层是把净化后的数据在平台上进行分类储放保存，将分布式储存区域命名为“库”，利用Hadoop分布式文件系统技术（HDFS）将净化后的数据按照各自种类特征分层级分区域地放置于各自“库”中。该层包括5大储存信息库。

1）基础数据库：主要存放优化后的基本数据与专题数据，包括区域分布信息，数量状态情况、储存状况等一系列调峰设施基础信息、天然气短缺应急预案信息、天然气调峰相关专家资料、应急恢复配置状况、应急恢复演练信息等。

2）实时监测数据库：主要存放优化后的监测数据，包括天然气储存量、流量、压力、温度、湿度等数据。

3）历史数据库：主要存放过往同类型或全球天然气储气调峰产生的类似性数据。

4）应急决策支持库：主要提供天然气产供储销动态计算模式、天然气短缺风险等级评估模型等应急决策支持基础算法。

5）突发事件信息库：主要存放天然气短缺现象发生前、发生时、发生后三梯度下产生的信息数据，可为视频、文字、声音等内容。

2.2.4 分析指导层

分析指导层在天然气储气调峰平台中占据核心地位，一方面，其对信息存储层中体量巨大的信息资源进行提取分析，寻找信息与信息间的相互隐藏关系；另一方面，其是信息可视应用的基础和依据，主要作用在于能为解决天然气短缺现象提供指导意见。这是大数据技术独有的计算优势，将大量不同类型的信息进行提取、相互整合后提炼出关键信息，通过大数据技术分析提出天然气突发性短缺应急恢复参考意见。

采用大数据技术中具有较强处理能力的MapReduce技术，在5大信息库中设立处理节点，同步式进行数据分析和挖掘，提高数据资源的处理效率，提炼数据间的隐藏联系。数据的分析挖掘主要考虑以下两种情况：①未发生天然气短缺现象的日常情况。通过MapReduce技术预测估算出天然气短缺现象的发生概率、发生地区与导致的供气缺口量。②发生突发事件的特殊情况。通过MapReduce技术在短时间内进行分析识别，提供应急恢复参考意见，其中应急恢复参考意见包括供气缺口量的走势、相关专家人员名单、可采用的储气调峰设施、国家、省级政府与企业等相关负责部门机构的应急恢复基本情况[18]。

2.2.5 可视应用层

可视应用层是储气调峰平台中人机交流界面，分析指导层传递的价值信息通过大数据可视化技术形成图像、图形等可辨识形式与GIS地理技术精准定位能力在显示屏中进行直观显示。显示内容包括3个方面：预警通知、信息展示和辅助恢复。

1）预警通知：以天然气短缺量的情况和覆盖地区为参考，设置预警等级，确定报警阈值，利用报警系统自动通知与等级相匹配的天然气储气调峰平台，根据缺口等级大小，分别对应通知国家级储气调峰平台、省级储气调峰平台与企业间储气调峰平台。

2）信息展示：主要指将分析指导层传递的天然气缺口气量、可调度的储气调峰设施状况以及缺气地区生产与生活状况等信息通过大数据可视化技术的人机交互界面进行展示，为决策指挥人员应对天然气短缺事件提供决策依据；同时展示的图形图像等信息会根据现场状况不间断地更新变化，力求提供最真实的情况。

3）辅助恢复：通过GIS地理技术提供天然气短缺区域就近地下储气库、管网天然气、LNG接气站及储罐等应急资源位置关系，并提供天然气管网、槽车等运输工具的优化调度方案供决策人员参考，此外，对该地区天然气缺口气量给予及时监测，追踪现场状况，及时变更应急恢复最优调整方案意见。

3 天然气储气调峰平台情景构建

“情景构建”是一种结合事故案例、工程技术模拟，对事件发生进行全景式描述的方法。根据天然气大规模短缺现象形成的过程，选择2017年由天然气短缺现象演变为供气紧张（“气荒”）事件为此次情景构建的原型，利用“空白对照”理论进行情景构建。

空白原型描述：随着2016年“蓝天保卫战”政策实施，“气代煤”工作已经在我国北方地区逐步开展，2017年1月土库曼斯坦以“设备维修”为理由，减少了管道天然气的进口量，2017年9月国内天然气市场竞价情况火爆，2017年11月河北省率先拉响天然气供应橙色预警，开始限气、停气。同年12月上旬，供气紧张从华北蔓延到华东地区，到2017年12月底，进一步蔓延到西南地区，从而形成了2017年全国性“气荒”现象[19]（表1）。

表1 天然气短缺演变气荒事件情景信息表

根据“气荒”的演变过程，可以看出，整个过程经历初始、显现、蔓延与形成阶段，形成由点到面的多米诺效应，首先引发供需失衡的是企业，接着蔓延到各省份地区，最后扩散至全国。整个过程发展迅速，当前我国的调峰能力不足以应对天然气短缺演变的“气荒”事件，因此引入天然气储气调峰三级平台进行情景模拟（图3）。

天然气开采、进口、输送、储存与消费的过程中会产生大数据，通过Hive数据采集框架Flume进行数据的不间断收集，并利用Mediator/Wrapper大数据技术进行非结构化数据或半结构化数据的净化，将净化后的数据保存在国家级、省级及企业级储气调峰平台信息储存层中，采用大数据HDFS技术进行辨识并分类储存。

2016—2017年1月，天然气供需矛盾初显，随着“蓝天保卫战”政策的实施与“气代煤”工作的开展以及土库曼斯坦减少供应，企业调峰平台分析指导层中的MapReduce技术对上中游生产、供气企业供应量突然减少，下游燃气企业需求量逐步增加进行信息关联与判别分析，将分析结果传递到可视应用层，进行企业预警通知，并将天然气缺口气量、企业储气调峰设施状况以及可调度的调峰气量等终端信息通过大数据可视化技术的人机交互界面，以图像文字的形式出现在计算机显示屏，利用地理信息系统技术（GIS技术）提供企业内部调峰设施最佳调度方案，给企业决策者提供一定的指导与参考，并将具体情况反馈给省级平台，供省级有关部门对“蓝天保卫战”政策的实施与“气代煤”工作的下一步安排，在基础层面应对天然气短缺问题。

图3 情景模拟流程图

2017年2—10月，天然气供需矛盾进一步凸显，天然气市场竞价情况火爆，企业需要大量购入天然气才能满足工业生产与居民生活的需要，企业调峰平台已经无法通过自身能力解决天然气短缺现象，企业平台将当前天然气缺口气量等突发性信息上传至省级调峰平台，省级调峰平台开始运作，采用相同的大数据技术运行机理，将省内天然气缺口量、可调峰气量、调峰设施情况以及最优调度方案等相关信息传递给省级有关部门，供省级决策者参考使用，并将具体情况反馈给国家总平台，供国家有关部门指定下一步的工作安排，在中间层面应对天然气短缺问题。

2017年11—12月，天然气供需矛盾完全呈现，随着河北省率先拉响天然气供应橙色预警，河南省省级调峰平台无法利用省级调峰能力去解决天然气短缺现象，省级调峰平台将当前省内天然气缺口气量等突发性信息上传至国家级调峰总平台，国家级调峰总平台开始运作，向国家能源部门提供全国可余调峰气量、全国调峰设施资源状况，调峰资源最优调度路径、可参考应急预案等相关信息。国家能源部门有关决策者根据有关信息指挥各省级管理部门、储气调峰设施所属企业开展应对工作，同时将应对信息通过企业平台、省级平台上传至国家级总平台，国家级总平台根据反馈信息进行动态调整。通过一系列的循环式信息处理，最大化地降低天然气短缺造成的蔓延影响，防止各省份的缺口出现进一步蔓延，造成更严重的“气荒”现象。