煤炭行业大数据分析云平台设计研究

汪 杰，王春华，李晓华，3，余克莉莎

(1.贵州省矿山安全科学研究院，贵州 贵阳 550025；2.贵州省煤矿设计研究院有限公司，贵州 贵阳 550025；3.河南理工大学 安全学院，河南 焦作 454003)

煤炭是我国重要的战略资源，在我国一次能源消耗中占有重要地位，根据国家能源战略行动计划和相关研究，在相当长时期内煤炭作为我国的主导能源不可替代[1]。煤矿智能化是煤炭工业发展的新阶段，是煤炭工业高质量发展的核心技术支撑[2，3]。我国煤矿智能化发展处于初级阶段，为了加快煤矿智能化建设，近年来国家和省出台多项相关方案和政策，支持煤炭工业转型升级，加快煤矿智能化机械化升级改造，促进煤炭产业高质量发展[4-6]。随着煤炭行业信息化、智能化建设的深入推进，在整个煤炭行业中产生了大量的生产信息、业务管理信息、监测监控等各种类型的数据，这些数据为煤炭行业可持续发展提供了一定程度的数据支持。但目前这些海量数据的存储，一般数据库已无法满足需求，并且数据的利用多数仍停留在基本的统计汇总以及上报展示阶段，同时数据不互通，没有挖掘出各类型数据之间的关联关系，未能得到充分利用，难以为政府监管部门、煤炭企业、煤炭行业科研人员及煤炭消费者提供科学有效的辅助决策支持[7-11]。2017年以来贵州省大力推进煤矿“两化”建设，截至2019年12月底，已有326处煤矿按照验收标准进行辅助生产系统智能化建设升级改造，更是提出到2020年采煤机械化率达到96%、辅助系统智能化、信息化服务管理等达到100%的目标[12]。基于此，以贵州煤矿辅助生产系统智能化升级改造为基础，基于贵州省煤矿基本信息采集系统和煤矿智能化辅助生产系统[13-15]监测的实时数据及外部爬虫技术获取的煤炭行业相关数据，依托“云上贵州”云基础设施资源，采用B/S架构设计了煤炭行业大数据分析云平台，旨在为政府监管部门、煤炭企业、煤炭行业科研人员以及煤炭消费者提供有力的数据支撑，进而提升煤炭行业管理和辅助决策水平。

1 云平台总体架构设计

在对贵州煤炭行业相关监管部门、煤炭企业和煤矿专家等进行充分调研的基础上，基于B/S架构设计了煤炭大数据云平台。平台总体架构自下往上可分为：数据采集层、平台支撑层、应用层及访问层，如图1所示。

图1 煤炭行业大数据分析云平台总体架构

1)数据采集层。主要来自煤矿智能化升级改造后辅助生产系统监测的实时数据、煤矿基本信息采集系统采集的静态数据以及外部网络技术采集[16]的煤炭行业数据(如互联网爬虫技术、第三方数据服务访问等)。煤矿基本信息采集系统采集数据通过“政务外网+VPN模式”上传至云平台专有资源；煤矿智能化辅助系统监测的实时数据通过“公网+VPN模式”进行上传至云平台专有资源；外部网络技术获取的数据以公网方式上传至云平台专有资源。

2)平台支撑层。主要包括由云供应商提供的IaaS层及PaaS层，负责煤炭行业大数据的存储及分析、运算平台的建立、信息的转存与发布、GIS服务及应用服务。在IaaS层将各相关物理资源通过虚拟化软件构建为底层虚拟资源池，提供虚拟服务。所有计算数据资源均存储在该层的虚拟资源层。PaaS层在IaaS层的基础上，为用户提供软件开发服务，通过调用预先设置的数据处理方法，开发适合的软件，并通过虚拟化手段实现系统应用的算法调度与资源调度。

3)应用层。主要向用户提供所需要的应用服务，对应云架构SaaS云服务模式功能。该层主要是依托云平台强大数据存储和数据挖掘分析能力，以数据挖掘算法为基础，对实时和历史数据进行分析，为政府监管部门、煤炭企业生产运行、科研机构以及煤炭消费者等用户提供应用服务。

4)访问层。主要为用户提供接入云平台的服务，可以利用PC、平板电脑和笔记本等多媒体设备，通过浏览器访问，获取所需应用服务。

2 煤矿智能化数据上云方案设计

2.1 上云要求设计

煤炭行业大数据分析平台依托“云上贵州”公有云平台基础设施资源进行部署，其煤矿智能化数据上传，主要上传至“云上贵州”云平台，对云平台具体要求设计如下：

1)容量。根据目前煤矿智能化数据接入情况，预计每天煤矿上传大约300G容量的智能化数据，后续陆续会有煤矿接入，数据量会不断增长。由于煤矿智能化数据量大，平台基于“云上贵州”云资源，采用分布式数据库Elasticsearch集群进行海量数据存储，方便后期数据全文检索、HBase和HDFS进行非结构化数据的存储、Redis进行数据缓存及后期用户权限存储、MySQL进行实时数据存储。

2)算力。待煤矿辅助智能化升级改造后全部煤矿智能化数据上传完成，预计需要租用“云上贵州”6台云服务器(内存32G、存储2T，CPU16核，带宽30M)，同时平台并发量需达到每秒500人次，为了避免平台出现并发量过大而导致平台算力匮乏的现象，MySQL采用读写分离，减少数据库的承载能力，同时平台采用微服务分布式部署的方式，减少多用户同时接入访问带来的服务器崩溃现象。

3)安全防护。煤矿智能化数据上云基于MQTT协议，采用VPN加密单向传输模式来保证数据传输的安全性，在该模式下只能煤矿推送数据，不能从公有云互联网通过部署在煤矿网闸服务器进入煤矿私有云获取数据。为保证数据的安全性，MQTT推送数据需进行加密，“MQTT实时数据+煤矿加密字符串”通过DES加密算法进行加密(DES加密算法的加密模式为ECB，输出编码为Hex)，后期可根据需要调整；并支持断网续传功能，保证数据的完整性，采集推送程序与断网续传程序相互独立，互不干扰，保证采集推送程序的可靠性。针对云服务器的安全，主要基于“云上贵州”提供的安全防护，不用考虑数据丢失及病毒入侵等情况。

2.2 数据上云实现方式

煤矿辅助生产系统智能化实时数据上云，采用矿端采集网关和云端数据配置相结合模式来实现：①矿端采集网关和云端的数据应用统一结合，矿端MQTT推送数据只包含测点编码和测点数值；②矿端调用云端的测点描述API对各个测点进行准确描述，其它信息由编码可以获取，云端后台对矿端推送的数据进行解密入库；③云端建立流媒体视频流管理平台，实现矿端网关的视频流的推流拉流管理，保证一路通道上传即可在云端进行多客户端的复用，当矿端推送的媒体没有客户端观看时云端通知矿端不再推送，实现按需要推送减少带宽的占用。

数据上传MQTT协议规则：①主题名称编码：使用数字加“/”组成，不可使用其它字符；②主题定义：/集团编码/矿井编码/系统编码。注：集团编码、矿井编码由平台承建单位提供；③点编码(code)：使用全数字，不可使用其它字符；其中包括系统编码2位，地址编码2位，设备顺序编码2位，参数编码3位。例如：030101001表示“上山_1号胶带_就地模式”；④MQTT数据实时值上传Json格式：{"timestamp[时间戳]"：xxx，"values"：[{"code[点编码]"：xxx，"v[实时值]"：xxx}]}。注：为减少字符带来的数据容量影响上传时效，点描述和点单位矿方通过平台承建方构建的数据管控平台进行维护；⑤视频规范：为便于视频流的实时获取和无插件实时播放功能，需要矿端视频设备需支持Onvif、RTSP协议输出，需提供视频的访问的用户名和密码，并保证通过Onvif或RTSP协议能够取到视频流。具体流程如图2所示。

图2 煤矿辅助生产智能化系统实时数据上传流程

3 平台功能模块设计

平台功能主要包括煤炭分布、煤炭规划、调度统计、预测预警、远程监控、科技创新等六大功能模块，每个功能模块下面又细分为若干个子功能模块，具体如图3所示。

图3 平台功能架构设计

3.1 煤炭分布模块

集中展示煤炭的赋存、利用和开发规划情况。①煤炭资源分布：展示全省煤层分布及厚度，以及硫煤、灰煤及煤类的储量占比情况数据；②矿区分布：展示全省各矿区分布相关的数据，其中包括有国家规划矿区和省级规划矿区，以及每个矿区的煤矿总资源量信息；③煤矿分布：展示全省煤矿分布以及各煤矿建设规模、探矿权。

3.2 煤炭规划模块

集中展示对煤炭项目规划和完成情况。①当前能源总量指标：展示全省一次性能源生产总量、电力装机量、煤炭消费总量、全社会用电量；②能源结构调整进度；展示全省非化石能源装机比重、电煤占煤炭消费比重、煤炭消费比重、天然气消费比重、非化石能源消费比重、非化石能源发电比重，可选择不同年份进行查看；③产能变化：展示近5年每年全省平均煤矿总产能和总数量数据和走势；④项目概况显示：展示总项目数量、已完成数量、在建数量、未按计划完成数量；⑤规划建设煤矿：展示全年生产不同吨数的地方占比；⑥辅助规划：展示电站辅助选址、煤矿企业辅助选址、油气企业辅助选址、新能源企业辅助选址。其中点击煤矿可输入最大产能，系统基于输入值智能制定方案。

3.3 调度统计模块

实现统一调度，建立从企业到县(市)、省的信息交互渠道，掌握昨日煤炭产量、销量、电煤供应量和库存量等基本数据，同时动态反映煤矿的实际生产情况，及时掌握全省煤炭工业运行状况，为管理层提供可靠的决策支撑。①全国排名：展示全国各省煤炭的实际产煤量及所在的排名情况；②产量分布：展示全省各地区实时煤炭的实际产煤量及实际产量分布情况；③煤炭销售：展示每年每月煤炭的实际产煤量及实际产量分布情况；④煤炭价格：展示每年每月各种煤(动力煤、主焦煤、无烟煤、精煤、三八块、烟煤)的价格分布情况；⑤昨日煤量：展示昨日产煤量、昨日销量、昨日电煤供应量、昨日煤炭库存量及对应的煤量、销量、电煤供应量、煤炭库存量的升降和增减情况；⑥煤矿信息：展示全省各煤矿企业的生成状态、产能结构、实际产量以及产量的排名分布情况；⑦开采方式：展示全省各煤矿采用炮采、综采、高档普采的采矿方式的数量分布情况。

3.4 预测预警模块

依托大数据挖掘算法建立煤电利益联结新机制。

1)煤炭生产预测：展示当年全省每月煤炭产量预测值和实际值对比情况，并标示电煤需求量。

2)发电量预测：展示全省每月每日发电量预测数据。主要包括全省当年剩余月份在枯期和汛期的水电发电量预测情况，每月全省每日电力需求量预测数据。

3)油气预测：展示全省每年汽油、航油、柴油、天然气每月的预测量与需求量走势。

4)联动预警：实现联动预警煤电联动综合预警，水电、火电互济互补预警，可展示全省水电发电量、火电发电量、总发电量和总需电量的联动情况，以及自动平衡丰水期与枯水期火电与水电的发电占比等。

5)电厂存煤量预警：提供全省各电厂存煤总量和低于可靠天数的电厂数量占比。

6)异常告警：提供全省煤矿企业证件到期预警和煤矿产区极端天气预警。

3.5 远程监控模块

可实时查看煤矿辅助生产系统使用率和设备故障，并能够实现故障系统与煤矿企业及厂家进行图谱关联。

1)接入数量占比。展示智能化煤矿接入平台数量的占比情况。

2)设备故障。实时展示辅助生产系统设备故障率和数量，并通过点击图标实现设备故障位置的查看，从而达到事前预测设备运行状态，事中实现精准预防性维修，提高设备管理水平。

3)系统使用率。实时展示煤矿智能化系统使用率。

4)关联图谱。展示煤矿企业与设备厂家的关联图谱，为智能化系统远程诊断及后期运维服务提供便利。

5)视频监控。主要为政府监管部门和煤炭企业设置，可自由选择切入到某个矿端(示范接入20处已实施智能机械化煤矿的现场实时视频)通过视频查看设备运行等监控画面。

3.6 科技创新模块

主要围绕“两化”改造要求设计。①智能化概况：展示全省煤矿智能化改造总目标、完成数量、剩余数量等相关数据；②机械化概况：展示全省机械化改造总目标数量、完成数量、剩余数量等相关数据；③智能化覆盖量：展示近5年全省煤矿智能化完成情况的相关数据；④智能化减人增效：展示实施煤矿智能化全省平均减少人数和节约人工成本等相关数据；⑤验收进度：展示全省实施智能化改造升级矿井验收情况；⑥机械化实施率：展示全省历年机械化实施率走势；⑦全省综采矿井分布：展示全省各地区综合机械化矿井分布数量情况；⑧验收进度预览：展示全省实施机械化改造升级矿井验收情况。

4 平台实现及应用效果分析

煤炭行业大数据云平台的实现按照上述总体设计逻辑架构，运用Vue技术、Es6技术、E charts技术、HTML技术、CSS技术以及JS等技术进行前端研发，运用Spring Cloud技术、Spring Boot技术、Docker技术及Java语言等技术进行服务器后端研发。平台实现了对贵州省煤矿基本信息基础数据和煤矿智能化辅助生产系统监测数据的有效集成。平台部分应用效果如图4所示，这些成果为政府监管部门、煤炭企业管理、煤炭行业科研机构及煤炭消费企业等用户提供了提供有力的数据支撑，科学可靠的分析手段，经济和安全效益显著提高，有助于煤炭行业的可持续发展。主要体现在以下几个方面：

1)政府监管部门。可以依据平台摸清煤矿数据家底，形成煤炭行业数据资源统一目录，及时动态掌握各相关企业生产经营状况，进一步推动政府、企业及社会公众互联互通，提升煤炭行业管理及信息共享水平；动态监测煤炭实时产量、产能变化及市场供需等，科学评价煤炭行业发展，为煤炭规划、开发提供数据支持和参考，进而为煤炭行业管理部门进行整体规划和制定政策提供辅助支持。

2)煤炭企业。平台可助力煤炭行业创新实践，为煤炭企业提供综合服务。煤炭企业可通过对各相关企业煤矿辅助生产系统上传至云平台相关数据进行整合分析，为企业提供超前预测预警信息，指导企业安全高效生产。

3)煤炭企业消费者。由于煤炭供需关系受市场影响较大，使得煤炭消费企业无法实时的获取煤炭种类、价格等相关数据。煤炭大数据云平台分析处理结果能够满足煤炭消费企业的需求，有利于煤炭行业经济性的可持续发展。

4)煤炭行业科研机构。可以利用云平台数据资源，推动大数据与煤炭行业的深度融合，建设煤炭大数据应用技术创新平台，为大数据驱动的煤炭运行监测与服务、煤炭运行安全等煤炭行业大数据应用提供技术支撑。

图4 煤炭行业大数据云平台功能应用效果

5 结 语

煤炭行业大数据云平台依托贵州煤矿智能化升级改造产生的静态数据和动态数据，通过大数据处理分析与关联挖掘，实现了煤炭行业大数据可视化展示。通过平台的建设使得政府部门、煤炭企业、煤炭行业科研机构及煤炭企业消费者有机地结合起来，有效避免数据孤岛现象，提升了煤炭行业辅助决策和管理水平。由于平台研发工作量大，许多功能未能完善，后续可以融合综掘工作面系统相关数据的同时完善平台预警预测和远程监控模块的相关功能，更好的服务于政府监管部门、煤矿企业、科研机构以及社会群众。