大数据技术在石油石化行业的应用

任友谊（中国石油宁夏石化公司， 宁夏 银川 750026）

大数据技术在石油石化行业的应用

任友谊（中国石油宁夏石化公司， 宁夏 银川 750026）

随着科学技术和石油石化行业的迅速发展，大数据技术已经是石油石化行业必不可少的发展重点，这项技术应用成果在我们的日常生活中已经随处可见。现在的当务之急是要合理有效的运用这项技术，在石油石化信息化建设的优化当中，建立企业自己的数据标准及资源池，随后才可根据业务的实际需求进行数据的抽取和展示，彻底杜绝信息孤岛的存在。本文主要根据笔者在石化公司信息部门的所见所闻及其工作的相关经验对这个问题进行探讨。

大数据；石油石化行业；应用

企业平常运作时产生的飞速增长的数据中，虽然有超过80%的数据是没有什么作用的，但是这些数据却非常的真实。如果能分类整理并加以合理利用，对企业的生产经营可以起到至关重要的支持作用。随着大数据时代的到来，各个行业都对其带来的成果十分重视。但是这个时代却给人类对于数据的操控能力发出了全新的挑战，当然也为人们的潜力发掘开拓了新的空间。

1 信息化的现状

随着我国经济实力的不断增强，石油石化行业也得到了迅速的发展，各企业也逐渐认识到信息化建设对企业持续发展的重要性，在过去近十年的信息化建设过程中主要以建设各业务的独立信息系统为主，即使有数据交互也是在各个独立的数据库之间进行，基本实现了业务信息的电子化，但是没有实现真正意义上的系统整合。对于企业在运作时产生的庞大数据，怎样将这些数据整合并合理的利用，成了各个企业信息化发展的瓶颈。

2 大数据技术的发展

从大数据技术出现以来，随着技术的不断成熟，部分企业也开始将这项技术应用到石油石化的生产中，以便让企业获得更多的经济收益。当然，大数据技术在石油石化行业的发展、主要体现在了管理数据上面，当前很多石油石化行业的数据已经转变成了超大规模的电脑管理模式，储存的空间提高了千TB。这项技术的挖掘也解决了在石油石化开采中出现的大规模数据结构非常复杂的问题，将这个技术运用到实践中，既能够描述生产的过程记录，又能在出现问题的时候及时发现，起到预测的功效，还可以时刻观察设备的磨损并进行及时的修理，可以减少失误率，降低不必要的维修成本。

3 大数据技术的应用

近年来，石化企业的信息化发展策略的重点是数据的采集，数据分析追求高质量和高效率，在建设智能化工厂时，需要合理的利用信息感知、“云计算”、大数据处理等技术。

①NoSQL数据库技术。NoSQL（Not only SQL）数据库，是指不同于传统关系型数据库的非关系型数据库。它的数据类型是非结构化的，数据库结构不需要事先定义就可以灵活改变。相较于传统关系型数据库以行模式进行数据存储，NoSQL数据库则是以列模式存储，数据只要保持结果的匹配，不需要保持严密的一致性即可。它可以在数台服务器上采用部分协作的方式来进行工作，支持多种非SQL语言，它处理数据的能力要比RDBMS大得多。对于那些广泛使用Oracle数据库的石化企业来说，Oracle NoSQL Database11g商用数据库使得在今后使用NoSQL数据库来处理工作中产生的大量非结构化数据的成本大大降低。像信息平台采集到的MES系统、ERP系统以及指纹门禁等各类与生产管理相关的数据都可以利用NoSQL数据库来处理。

②大数据中的MapReduce技术。MapReduce是一种编程模型，它主要用于大规模数据集的并行运算。它的主要思想是可以将需要执行的问题，如查询、分析任务等进行自动分割，并拆解成映射（map）和化简（reduce）的方式，然后再通过Map函数程序将数据映射成不同的区块，并将它们分配给机群中的不同处理节点来解决，从而达到分布式计算的目的，最后再通过Reduce函数程序将结果汇整之后得出最终结果。MapReduce技术可以通过大量廉价的服务器来实现大数据的并行处理，以提高运算速度。石化企业在以往传统的信息化建设中，拥有大量的廉价服务器，采用该技术后，可以大大降低进行数据处理的成本。

③大数据的ETL预处理技术。为了提高大数据的处理速度，要将采集到的数据进行填补、合并、规范化等预处理，而分散在各个应用系统里的不同数据库中的数据，也要进行提取、转换、加载等多维度预处理。ETL预处理技术，可以把多个数据库包含的结构化、非结构化的数据提取到临时中间层，然后进行清理、转换、集成，最终加载到目标数据库或者文件存储系统中，以便运用到日后的数据挖掘中去。

4 结语

大数据技术让数据的统一性和信息的利用率达到了一个更高的领域，伴随着这个新时代的到来，曾经的石油石化行业中的不同企业已经深深地明白了这个时代将带来非常大的机会和挑战，将来的石油石化行业马上就会进入一个全新的管理模式，所以，在以后的石油石化行业中，大数据技术是必不可少的，也是一个企业想要更好发展的唯一道路，笔者通过对于大数据技术引领时代的介绍，分析了目前的状况及相应的特点，全面的讲述了这项技术之后在石油石化行业中的运用，所以，在这个新的时代，我们这些石油石化行业的信息工作人员，一定要熟悉大数据的相关技术，并探索这项技术的运用对于以后的石油石化行业的发展走向，把最新、最先进的技术应用于现在的石油石化行业中去，使其产生更好的经济效益。

［1］厉彦柏.石油石化行业工业生产企业事故统计分析工作中的几个问题［J］.安全与健康（上半月版），2011，（9）:41-43.

［2］陆治荣.石化行业:迎接大数据时代［J］.自动化博览，2015，（2）:32-33.

［3］郭江波，许云凤，张冰，等.石化行业图纸明细栏的数据VC#.NET提取研究［J］.内蒙古石油化工，2013，39（16）:15-17.