大数据视域下新疆煤炭资源信息共享系统建设研究

2022-10-25霍世豪林海飞贾永勇李树刚闫振国

能源与环保 2022年9期

娄芳，霍世豪，林海飞，3，贾永勇，严敏，3，李树刚，3，闫振国，3，周捷

(1.新疆煤炭科学研究所，新疆乌鲁木齐 830091； 2.西安科技大学安全科学与工程学院，陕西西安 710054；3.西安科技大学西部矿井开采及灾害防治教育部重点实验室，陕西西安 710054)

大数据时代的快速发展，使得数据信息成为时代发展的支撑。开放性、可共享性以及时效性是数据信息资源所特有的性质，这种特质使得数据信息变得尤为重要[1-2]。为挖掘信息资源中的价值，世界各国都进行了不同程度的科学研究。美国地质调查局提出的核心科学体系战略，旨在构建一个新的地球科学体系，将生态系统、能源和矿产、环境健康等有机整合起来，构建了以大数据为基础的科学体系[3]，实现了煤炭资源数据的开放与共享。

国内资源信息共享平台建设、研究主要集中于农业、林业、地质、工业等领域。在资源信息共享平台研究方面，李福兴等[4]对煤炭开采大数据平台的关键技术进行了研究，并在平台建设的软件与硬件方面提出优化和建议；谭章禄等[5]提出煤炭大数据平台建设的关键技术及管理协同架构，为煤炭大数据平台的建设提供参考；汪璇等[6]提出了基于Web GIS县域农业资源信息共享系统研究方案；李华等[7]提出了国土资源一张图共享服务平台建设研究方案；宋春桥等[8]提出了基于ArcGIS Server的藏北草地资源信息共享平台实现方案。在资源信息共享平台建设方面，国家级共享平台搭建了国家农业科学数据共享平台、中国林业植物新品种保护网、中国植物新品种保护信息网和中国林业信息网等数据库以及国家地质大数据共享服务等平台，这些平台旨在通过数据资源整合和信息系统集成，全面提升资源数据采集、汇聚、处理、分析、共享与服务能力。

新疆地区的共享平台建设研究主要集中于国土资源信息、畜牧业等方面，张健峰等[9]集中研究了新疆地区国土空间基础信息平台建设方案；丁恺[10]对新疆维吾尔自治区政务基础地理信息公共服务与新疆测绘地理信息服务进行了系统研究。而在煤炭领域，新疆作为中国陆地面积第一的省级行政区，与国内其他省份相比，其地理位置与环境相对复杂，“三山夹二盆”的地形结构阻碍了信息的交流与沟通，且煤矿之间所采用不同的信息数据储存方式，使得无法对煤炭资源信息进行统一集中管理。为解决新疆煤炭“信息孤岛化”问题，响应国家自然资源信息化建设的号召，本文为新疆煤炭资源信息共享平台建设做出了相对应的方案研究，推动煤炭资源信息共享平台建设。

1 平台设计

1.1 平台整体设计

1.1.1 平台整体布局

煤炭资源信息共享平台是按照资源共享理念，以信息网络为基础，信息资源开发与利用为核心，通过使用先进的技术手段和完备的体制机制及标准体系保障，实现煤炭资源信息的整合与共享，解决了煤炭信息资源的无序开发、信息化基础设施重复建设和相关数据无法共享等问题。为实现新疆煤炭资源信息共享平台数据汇集与资源共享的目的，平台做了以下设计。

针对新疆煤炭资源信息共享平台数据集成功能，以县级、地级、自治区内的煤矿企业自下而上布置共享平台，这些企业将平台所需要的数据上传至平台数据清理服务器后，由平台服务器筛选、清理所获取的数据，然后发送至平台存储服务器中，用户可通过实体或移动终端来获取信息。形成以云基础架构资源层、基础服务数据中心层、运移管理业务引擎层、服务接入与门户系统层的资源共享平台，如图 1所示。

图1 新疆煤炭资源信息共享平台构架Fig.1 Schematic diagram of Xinjiang coal resources information sharing platform

煤炭资源信息共享平台为满足政府机构人员对新疆煤炭资源的管理与监管，科研机构的研究工作与社会大众的浏览需求，煤炭企业设备研发成果共享等需要，设计了成果转换、行业动态展示、煤炭科普、设备共享等模块，实现了不同用户之间的信息交流共享。

1.1.2 平台架构设计

通过对国内已建成的信息共享平台总体结构的分析，结合新疆地区复杂地理环境的特点，新疆煤炭资源信息共享平台采用分布式数据中心与一站式服务门户模式进行构建[11]。分布式数据中心的优势在于多个服务器在建设上可以循序渐进地展开，彼此保持一定距离及独立性，满足新疆地区信息分布广泛的特性，且分布式的搭建对服务器后期扩容升级有良好的兼容性。而一站式服务门户是各种功能的集成，可以使用户在一个平台上获取自己需要的所有信息。

在结构框架方面，新疆煤炭资源信息共享平台采用目前最主流的搭建方式，即以应用服务层(SaaS)、平台服务层(PaaS)以及基础设施服务层(IaaS)组成[12]，具体内容如下。

(1)SaaS层。主要由各种应用服务或软件服务组成，包括煤炭资源一张图模块、煤炭资源动态数据模块、煤炭价格、安全监测、产品、大型仪器设施共享、成果转化、咨询与培训和投资与合作模块。

(2)PaaS层。主要针对SaaS层的软件服务提供数据管理或软件管理，上层数据模块通过数据库管理子系统、信息交换共享子系统、煤炭资源信息一张图管理子系统、门户系统以及后台管理子系统进行分系统管理。这些子系统通过平台数据接入、共享服务与数据库沟通提取数据。

(3)IaaS层。为了便于各种类型数据的存储与检索，基础设施服务层借助虚拟化技术，能够对物理资源进行池化，从而真正发挥硬件的价值[13]。实现了资源的按需分配和快速部署，将各种类型数据从逻辑上对其重组，从而实现信息的逻辑抽象和统一表示，然后将上传的数据进行清洗，储存至不同的服务器中，供上层服务调用。新疆煤炭资源信息共享平台系统架构如图2所示。

图2 新疆煤炭资源信息共享平台系统架构Fig.2 System architecture of Xinjiang coal resources information sharing platform

1.1.3 平台数据服务设计

数据库建立以矿井(矿区)为单元开展相关数据录入工作，根据收集资料的类别建立相应的属性数据，如地质赋存条件、开采技术条件、开发现状、安全技术需求等，形成标准的数据交换文件、元数据文件。

文件数据主要分为基础数据、专题数据和管理数据3大类。基础数据是核心数据库中所有数据的基础，是其他各类数据的统一空间参考[14]；专题数据主要是反映区域煤炭矿产资源的具体状况和各类规划审批的背景情况，它是管理数据的本底；管理数据是对煤炭矿产资源数据管理过程及各种行为的记录，最终得到煤炭矿产资源的管理过程及结果信息。其中，基础数据主要包含新疆地区的地理坐标、地质结构、新疆各个矿区地理位置经纬度坐标以及地质结构或岩层结构等。专题数据包括矿区、煤田分布，矿产资源储量以及煤炭价格、新闻资讯、用户上传的科研成果、科研设备信息。管理数据则包含了管理人员通过平台进行资源管理所产生的数据。

在数据处理方面，新疆煤炭资源信息共享平台主要包含数据的汇集与分析和数据服务化，其主要内容有元数据服务、地图数据服务、业务数据服务。

(1)元数据服务。元数据服务是数据服务的基础，可以用于新疆煤炭资源信息共享平台的组织、检索、管理信息与资源信息，并且平台通过OGC(Open Geospatial Consortium)/CSW来规范元数据的管理。

(2)地图数据服务。平台利用OGC定义相关规范，规范包括Web 地图服务(WMS)、地图切片服务(WMTS)、Web要素服务(WFS)、Web 覆盖服务(WCS)、Web 处理服务(WPS)一系列服务，以实现地图查询、编辑等功能，为新疆煤炭资源信息一张图建设提供相应的技术服务。

(3)业务数据服务。业务数据具体包含矿区资料、矿区储量、煤炭价格、新疆GIS地理数据，为新疆煤炭资源信息共享平台一张图可视化系统提供支撑。新闻资讯、最新科研成果、科研仪器、行业动态等其他专题数据作为平台专题展示于平台页面中，为用户获取最新煤炭信息提供渠道。而对于用户数据、管理数据以及平台基础数据这些较为私密的数据，只有拥有特定权限的管理员或政府机构才可以访问与获取。

1.2 软件功能设计及实现

平台基于Windows 7及以上系统作为开发平台，Windows Server 2008 R2 系统为项目部署服务器，采用Spring Boot + Mybatis + BootStrap的进行开发。Windows操作系统采用图形用户界面(GUI)，具有操作界面友好，符合操作逻辑，操作动作易学等特点。并且Windows操作系统对硬件具有较好的兼容性[15]。

平台的主要功能是对平台中各类数据的集中管理维护，是集成了数据接入、清洗、分析、展示的窗口。平台设计了除导航栏目可配置、页面布局可配置以及消息推送这些软件功能外，还提供了针对煤矿纸质数据录入功能，以及数据分析展示功能。

(1)纸质数据识别。在矿井实际生产作业中，会产生大量的矿井地理信息和生产信息等纸质数据，为了实现数量大、种类多的纸质数据电子化存储，需要进行扫描、录入、校对等工作，消耗了大量的人力，且效率低下。此模块则用户提供数据填报模板，用户按照模板填写数据直接上传数据即可。数据文件运用Java POI、Java IO技术完成对Microsoft Office 格式、txt等类型数据文件的解析工作，并存储至对应的业务数据库中。再对Microsoft Office格式、txt等类型数据文件解析、存储，极大地提高了数据录入效率，也提高了平台数据库的更新频率。

(2)数据分析展示。平台提供数据分析导出模块，生成PDF数据报告文档，为用户提供文字性与可视化图表的分析报告。如2021年动力煤市场分析报告、2021年煤炭主消费区报告、2021年煤炭主产区报告等，报告中数据统计将以可视化图表展示。

而在软件安全防护方面，平台采用MD5加密用户密码、保存于COOKIES(储存在用户本地终端上的数据)中的数据采用了以MD5加密为基础，加入随机加密因子的改进型专用加密算法以及SQL注入防护的措施使软件的安全性得到了极大的提高。平台对数据安全采用数据备份、数据加密、raid磁盘阵列、操作失误回滚等措施。而对用户上传的平台数据，由用户上传数据的不确定性，可能会违反国家相关规定的数据或言论这一问题，平台通过人工审核数据这一保障性措施，确保数据安全问题。

1.3 硬件服务系统设计与实现

为满足不同群体用户的需求，平台设计IaaS层技术架构的云服务模式[16]。IaaS层技术架构的服务模式以储存、计算服务器为底层，以新疆煤炭资源数据为基础，为用户提供数据共享与可视化服务，形成“存储计算—数据交换—数据共享—应用服务”的应用系统体系。

平台设计分为煤炭资源一张图系统、数据库管理系统、门户系统、信息共享交换系统以及后台服务系统，这些系统主要为不同群体用户实现相应的功能，即多数据汇集、可视化展示、信息检索、数据分析、元数据管理等[17]。为新疆煤炭信息共享建立较为健全的数据产品和服务产品体系，形成新疆煤炭领域较为完备的信息共享服务平台，如图3所示。

图3 新疆煤炭资源信息共享平台应用系统设计Fig.3 Application system design of Xinjiang coal resources information sharing platform

1.3.1 数据库管理系统

平台采用MySQL关系型数据管理系统，此系统将数据保存在不同的表中，而不是将数据全部储存于大仓库内，MySQL采用标准的SQL数据语言形式，能有效提高数据查询速度及数据灵活性[18]。平台数据的获取主要包含关系数据、图片(JPG、PNG)、文档(TXT、Excel)以及音频(MP4)等渠道。其中关系数据称为附件数据，该数据储存于MySQL数据库中如图4所示，并采用Nginx + FTP的方式进行搭建。平台分别运用了Nginx的反向代理和负载均衡功能，通过反向代理分发请求，所有动态资源的请求交给应用服务器，而静态资源的请求(例如图片、视频、CSS、JavaScript文件等)则直接由Nginx返回到浏览器，这样能大大减轻应用服务器的压力。

图4 平台数据存储流程Fig.4 Platform data storage flowchart

1.3.2 信息共享交换系统

信息共享交换系统是整个新疆煤炭资源信息共享平台的核心内容之一，其主要功能是实现功能服务模块与所对应数据库数据的信息获取、修改等功能，属于整个平台的“脊柱”，连接平台的各个部分。

平台整合煤炭行业相关政策、技术、生产、贸易的数据以及外部接入的相关资源数据，结合业务数据需求，制定数据标准，进而建设基础库和专题库，同时对外提供统一的数据服务接口，支撑包括资源门户、统计分析、数据资源资源管理，一张图服务各类上层应用，并采用开源ETL工具Kettle 8.2编写数据处理业务流程(包括数据归类、过滤、计算、业务分析等)。从煤矿服务器采集得到的数据如瓦斯含量、矿井通风量、矿井地质等数据上传至数据清洗服务器，数据清洗服务器通过移动平滑法、时间序列平滑、小波滤噪算法清洗数据，再通过Windows系统计划任务/平台任务管理的方式进行配置，实现数据处理作业的定时自动执行。平台数据处理流程如图5所示。

图5 平台数据处理流程Fig.5 Platform data processing flowchart

经过清洗的数据保存至数据存储服务器中，同时服务器配置了网络防火墙，提高了数据的保密性与安全性。移动端用户在获得一定的权限后可通过HTTP网络协议访问服务器并管理相关的数据。

1.3.3 资源信息共享平台一张图可视化系统

为了使平台所汇集到的新疆煤炭资源数字信息直观生动地呈现给用户，平台构建了新疆煤炭资源信息共享平台一张图系统。一张图是新疆煤矿空间数据与属性数据的信息汇集展示平台，为用户提供可视化的新疆煤炭资源信息。基于统一的矿图标准规范体系及一张图数据库，采用面向服务的架构(SOA)，实现符合OGC 国际标准的地理空间数据和业务数据共享接口，为各种数据的接入与处理以及现有系统模块的集成提供支撑。

新疆煤炭资源信息共享平台一张图系统首页以新疆全局地图为背景，利用2DGIS或2D + 3DGIS技术，通过一张图的形式展示新疆各个地区的煤炭矿场和企业机构等信息[19]。展示的信息包括基础信息展示，如矿区位置，所属单位等；煤炭产量信息、煤炭分类、煤炭地区赋存、煤炭销售信息、煤炭最新成交价等信息的展示。在一张图内容中，用户可以通过各种Echarts或Sparkline图表获取其所需要的信息[20]。

不仅如此，平台会根据所登录用户类别的不同，而展示不同的数据。为政府机构展示新疆地区煤炭资源储量、销量、煤炭价格、事故发生情况、煤矿安全态势等级，使政府机构更好的履行稳定市场、煤炭安全生产监督的责任[21]。对于行业企业平台除了展示相关煤炭信息外，还加入了各个企业需求内容以及行业最新科技成果等。而针对科研机构，平台将会发布最新科技成果和科研机构大型仪器设施共享信息以及煤炭行业所亟待解决的问题。除了上述3个用户类型外，平台还为社会群体提供新闻资讯、煤炭科普、煤炭价格走势等社会群众所关心的信息。一张图可视化系统直观地展示了新疆地区煤炭信息，该系统是信息汇集与共享的核心内容[22]。

1.3.4 门户系统

平台是基于目前流行的B/S(浏览器/客户端模式，Browser/Server)模式的Web 应用系统，客户端采用Windows 操作，主要是为了服务企业、人才和机构等。本平台主要有平台数据展示及后台数据管理系统2部分组成。根据提供的服务内容不同，将平台数据展示分为8个模块来实现，如图6所示[23]。

为了满足PC端、移动端、超大屏幕等多种设备都能够进行平台访问与使用，Web技术采用Bootstrap开源框架，该框架提供了HTML和CSS规范，包含丰富的Web组件且兼容大部分jQuery插件，同时也提供了多端适用的响应式界面布局方案。

资源门户模块为本平台的核心模块之一，主要为各类用户提供动态数据展示、数据详情查看等服务。本模块可根据用户所选择的身份类别智能匹配与之相关度较高的动态数据项。

图6 平台门户系统示意Fig.6 Schematic diagram of platform portal system

1.3.5 后台数据管理系统

后台数据管理系统的主要功能是内容管理，平台的所有数据都需要通过后台内容管理模块进行发布，该模块是统一信息发布平台的核心部分[24]。通过此系统，可以将平台数据展示页面的数据进行统一管理、审核、查询、统计、报表导出，其主要分为用户数据的管理与维护、平台展示数据的管理与维护，平台访问权限的管理与维护，用户角色的管理与维护、平台访问日志的管理与维护等。

平台管理员进入平台后台管理系统后，可通过后台管理系统对平台信息进行添加、维护和查询等操作。在添加、维护平台信息时，管理员可以将所要添加、更新的信息输入到系统弹出的对话框内并点击上传，此时系统将会对所输入的信息进行格式检查。若不符合信息规范，系统会提示管理员重新输入；若符合规定信息格式，系统则会更新数据库。而对于平台信息查询这一功能，管理员可通过后台管理系统输入信息查询的条件，获取到对应的平台信息具体流程如图7所示。

图7 平台基础数据的管理与维护图流程Fig.7 Diagram and flowchart of platform basic data management and maintenance

2 关键技术

新疆地区幅员辽阔、矿产资源丰富，随之而来的问题就是信息交流较为困难，以下是解决这个问题的关键技术及实现方式。

(1)集群式部署。平台采用集群部署方式，tomcat集群部署的方案。集群部署方案具有高可用性、高性能、高性价比等的优点。在平台升级实施过程中可以对集群服务器中的程序代码进行逐一暂停并替换重启，而不需要停止整个项目，降低实施风险。

(2)分布式系统架构。平台采用分布式系统架构，各子系统相对独立，可分单位逐步进行部署[25]。单个服务器故障仅影响单一功能而不影响到整个系统，系统安全性大幅度提高。分布式系统便于减轻网络负担，降低对服务器等设备的要求，在提供大量用户同时上线方面具有明显的优势。

(3)多数据汇集。平台的核心为多数据汇聚，这些数据的来源有数据库对接数据、接口协议数据、动态采集数据、报表文件数据。平台通过建立对数据的清洗任务，将每一种格式的数据(如：TXT、MP4、CSS、HTML等)进行分类汇集，每一种类型数据形成结构化数据，而所有类型数据又组成非结构化数据。平台采用数据同步固件使各种结构化数据保持更新，在数据采集前端完成数据对标入库后，固件会将所更新的数据同步到各个服务器，实现数据的实时刷新，保证了数据的时效性。

(4)数据分析。平台每周会对新疆地区的矿井进行安全态势分析，并将安全态势分为“绿色”、“黄色”、“红色”3个安全等级，当检测指标参数超过一定的阈值将会发出报警[26]。平台对井下瓦斯监测器收集到的瓦斯历史数据运用时间序列分析算法进行瓦斯浓度预测，并对影响安全态势的因素进行分析，所得出的预测预警结果将会为新疆地区的安全管理提供建议与帮助。