MaPReduce大数据分析在煤矿的应用研究

摘要：MapReduce作为数据处理的概念框架对计算、存储、应用等分布式资源进行大规模可扩展的整合，结合互联网技术为煤矿企业用户提供计算和存储服务并建立安全生产大数据分析系统，这必将成为提升煤矿安全生产的信息手段之一。文中实例是基于HadoopMapReduce大数据系统对矿井瓦斯涌出量进行了预测仿真分析，能为矿井瓦斯治理和安全生产提供了可靠的依据。

关键词：Hadoop；MapReduce；云计算；煤矿；瓦斯涌出量

中图分类号：TP311 文献标识码：A DOI：10.3969/j.issn.1003 6970.2016.05.025

本文著录格式：刘玉海.MapReduce大数据分析在煤矿的应用研究[J].软件，2016，37（5）：101-104

0.引言

MapReduce作为一个通用且可扩展的并且封装了并行处理、容错和数据本地化等技术难点及细节为一体的模块，能有效的分析处理大数据。让使用者易于实现并行和分布式系统的开发和应用。MapReduce编程模型结合用户的自定义Map和Reduce函数，与大数据存储系统HDFS的结合构成了Hadoop的核心框架，在由大量计算机组成的集群中实现了对大数据的大规模并行化分布式高速运算和存储。煤矿企业生产安全事关重大，将煤矿相关的大数据整合在一起使用分布式高速运算和存储协同工作，为实现煤矿危险预测能起到至关重要的作用，也是煤矿的合理化生产的措施之一。

1.Hadoop的Map和Reduce

Hadoop分布式开源软件是一个在大型集群硬件设备上运行应用程序的软件框架，具有可靠、高效、可伸缩的数据处理特点，其基本原理就是把大的数据集合分发到Hadoop集群上的每一个数据结点上，每个数据结点会周期性的返回自己完成的工作状态报告，MapReduce高度优化了用多台计算机解决分布式问题，增加了数据的可靠性。

MapReduce技术框架包含三个层面的内容：①分布式文件系统②并行编程模型③并行执行引擎。这个处理大数据集的概念框架是由Map和Reduce两个函数构成的，Map函数专用于获取大数据输入并将其分成小片段，以一种独立的方式使这些片段得到并行处理，亦即传递到一组映射函数Map，然后交由其他进程进行操作。Reduce函数整理收集了各个Map回应并显示其输出结果，也就是将Map作为一组输入数据产生键值的集合交给一组还原函数Reduce执行映射表的集合并显示最终的输出。同一程序Hadoop可运行各种语言编写的MapReduce程序。