基于大数据的计算机信息处理技术

袁钺

摘 要 信息技术的快速发展，使得现代社会信息化进程不断加快，与此同时，数据的爆炸式增长也给计算机信息处理技术的发展带来了一定的挑战。传统的计算机信息处理技术越来越难以满足人们的需求，因此，为了更加高效的处理海量数据信息，对计算机信息处理技术进行改革势在必行。本文从大数据和计算机处理技术的基本理论概述出发，对当前的计算机信息处理技术提出几点建议。

【关键词】大数据 存储技术 安全性

在信息化时代的大背景下，利用计算机进行数据的处理和传播已经愈加普遍，数据的爆炸式增长带来的大数据环境也对计算机数据的处理技术提出了更高的要求。在这样的环境要求下，计算机作为一种信息处理的平台，其所提供的信息产生、信息搜集、信息存储等信息处理方式也应为信息时代社会经济的快速发展而作出变革。

1 大数据的基本概述和特点

1.1 大数据基本概述

大数据，又称为巨量资料，“大数据”这个概念从其最早被麦肯锡公司提出以来，其含义已经随着信息化时代的不断发展而不断演化。如今大数据主要是指无法在一定时间内使用常规工具进行数据的存储、处理等操作的数据集合。

随着大数据的概念越来越多的被人们所提及，大数据的应用越来越广。在电子商务，物流配送等领域，大数据的应用不断深入，利用大数据进行协助发展的领域也在不断扩大。“大数据将会对人类未来社会的各领域产生巨大的影响”的观念正在不断深入人心，在可见的未来，大数据及其相关技术将帮助人类在信息时代革命的路上迈出坚实的一步。

1.2 大数据的基本特点

根据IBM提出的大数据的5V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。笔者将大数据的特点归纳为三点，

（1）数据体量巨大。随着人们生活水平的日益提升，生活中大量数据不断产生，以往这些数据因为信息传播载体的限制并没有被有效记录，现如今这些数据可以被不断记录下来，数据的量级也逐渐提高；

（2）数据类型繁多，人们的工作、学习、生活方式越来越信息化，数据从结构化和半结构化的原始数据的基础上又发展出了许多其他数据存储结构；

（3）数据产生速度快，以中国股票市场为例，股票市场中上千只股票每3秒更新一次股票价格相关数据，而在高频交易中股票的更新速度必须要低于计算机的计算速度来为交易进行决策；

1.3 计算机信息处理技术的基本情况

计算机信息处理技术的目的是为了将数据进行统一管理，主要是将数据的采集、存储、传输和处理等各种技术相结合，并运用计算机作为平台进行处理。

而在大数据时代下传统的计算机信息处理技术越发显得不合时宜，由于对计算机信息处理技术的要求越来越高，特别是对大数据处理这一方面的要求呈指数式的提升，计算机信息处理技术在向海量化、实时化方向上发展的需求也越来越迫切。

2 大数据时代下计算机信息处理技术的基本情况

2.1 数据采集

在大数据时代下，在进行信息数据处理前，必须保证数据采集的准确性、合理性才能进行有效的数据处理。通常，数据的采集一般采用系统日志采集法（如Hadoop的Chukwa，Facebook的Scribe）、网络数据采集法（编写网络爬虫等）来获取非结构化数据、调用专业数据接口以获得相应的专业数据。

2.2 数据存储与处理

由于处理大数据对数据处理的实时性要求很高加，因此在处理数据的过程中需要非常高的数据读写速度，对于一些实时性要求较高的数据或者中间结果一般存储于熟讀较快的内存或者硬盘中，对于海量数据的存储也催生除了许多新型的数据存储方案，如mangoDB这种NoSQL的数据库在大数据处理中就表现良好。在数据的处理方面，为了更快的处理海量数据，一般的大数据处理框架都采用Map/Reduce这种计算模型。

2.3 数据的安全性

数据的安全一方面是数据本身的安全性。即数据的加密，加密体系的选用，数据存储方式都将影响到数据本身的安全性。另一方面是数据传输过程中的安全性，在数据的传输过程中应有一套合理的传输方式。除此之外，在大数据时代的背景下，获得的数据本身就是需要我们注意的，因为处理的数据本身是一些个人的隐私信息或一些机密信息，对于这些信息的保密处理，也是需要仔细斟酌的。

3 大数据时代下计算机信息处理技术应当注意的问题

3.1 应当选用合理的框架与计算工具

与传统的计算机信息处理对象不同的是，大数据时代的信息有着体量巨大、种类繁多、处理速度要求高等特点，对于这种数据，使用个人PC机进行处理显然不再合适，甚至使用高性能服务器都难以承受处理所带来的巨大压力，在这种情况下，使用基于分布式架构进行设计的工具对大数据进行处理就成了主流方式。就当前计算机信息处理技术水平而言，在短时间内对巨和量信息进行处理的框架较为成熟的有Apache基金会所开发的分布式系统架构hadoop，UC Berkeley AMP lab （加州大学伯克利分校的AMP实验室）所开源的类Hadoop MapReduce的通用并行框架spark，这些基于Map、Reduce操作的框架都有不错的效果。

3.2 相关的网络硬件设备需要不断提高更新

软件框架的需求促进着硬件的水平的提升。计算机信息处理技术的发展离不开与之相匹配的硬件设备，网络运营商应当根据网络处理技术的发展不断革新硬件设施，提高硬件设备的性能，为更好的发挥计算机处理技术在大数据时代的应用奠定基础。

3.3 数据信息的安全性能需要提升

对于数据本身和数据传输过程中存在的加密问题应该给予足够的重视，在未来大数据的发展下，对数据保密的要求只会越来越高。

4 结语

综上所述，计算机信息处理技术只有不断完善提高，增强信息处理的安全性，完善信息处理的软件功能，才能更好的顺应大数据时代的要求。

参考文献

[1]赵春雷，乔治·纳汉.“大数据”时代的计算机信息处理技术[J].世界科学，2012（02）：30-31.

[2]冯潇婧.“大数据”时代背景下计算机信息处理技术的分析[J].计算机光盘软件与应用，2014（05）：105+107.

[3]吴恩生，王桂梅.大数据时代计算机信息处理技术分析[J].江苏科技信息，2015（12）：63-65.

作者单位

中南财经政法大学信息与安全工程学院 湖北省武汉市 430073