基于大数据的计算机信息处理技术研究

杨柳

(上海航天设备制造总厂有限公司,上海 200245)

1 大数据与计算机信息处理技术概述

1.1 大数据概述

大数据,也可称之为巨量数据集合,指的是无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合对于当今互联网的普及,信息就意味着数据,因此,大数据这一名词的出现是社会发展的必然,大数据时代也是人类社会发展的必经阶段。

信息容量大、获取速度快、种类多样化等是大数据的典型特征。目前大数据也存在着数据信息真实性不高、信息泄露等问题有待进一步解决。

1.2 计算机信息处理技术概述

当今社会也被誉为信息时代,对于繁杂多变的各种信息进行处理自然也是十分重要的,从发展历程来看,人类对信息的处理经过了三个主要的阶段,即人工处理技术阶段、机械处理技术阶段和目前主流的计算机处理技术阶段等。

计算机信息处理技术是在互联网普及和计算机大规模应用的当今社会最快捷、迅速、高效的信息处理技术。该技术利用计算机硬件、信息处理软件、各种传感器等设备搭载互联网的传输,从而实现多种数据信息的采集、传输、分析与处理。对复杂信息的快速、高效处理是计算机信息处理技术的核心。

2 大数据与计算机信息处理技术的关系

大数据的兴起不仅促进了科学技术的发展,也极大地推动了产业信息化和现代化的进程。

由于大数据的容量大、多样性等特点,使得传统的计算机硬件设备和信息处理软件已经无法满足对大数据的处理要求,需要对原有的信息处理技术重新进行审视和改进,既而激发了数据库匹配与传统信息检索的思维革命。大数据时代,掌握更优质、先进的计算机信息处理技术也就意味着牢牢地占据着市场的主导地位,同时也表明未来市场上关于计算机信息处理技术的竞争也将愈加激烈。

3 大数据下的计算机信息处理技术分析

大数据下的计算机信息处理技术主要有基于内容数据挖掘技术、分布式数据存储技术、数据检索技术、分类和聚类分析技术、神经网络与遗传算法技术等,下面将介绍其中的几种处理技术以供参考。

3.1 基于内容数据挖掘技术

数据挖掘技术是对数据库当中知识的发现,是数据处理的第一步,也是相当重要的一项工作内容。基于内容数据挖掘技术是最常用的数据挖掘技术之一,主要是网络信息搜索技术。网络信息搜索技术通常采用的算法是排序学习算法,该算法的提出主要根据当前社会媒体信息量,媒体关注数据特点作为短文本特性,而此项算法也就是基于该特性所提出的。

3.2 分布式数据存储技术

分布式数据存储技术最早由Google公司提出,之后在搜狐、IBM等企业中得到了进一步的发展和应用。计算机信息处理技术的分布式数据储存主要采用的是列存储技术。与行存储相对,列存储以列作为基本单位进行数据存储,这种数据存储方式具有更快的压缩数据和循环等优势,因而得以广泛采用。但是在具体的应用时中,还需要数据的布局及数据的分布存储做更进一步的优化,使得计算机具有更加强大的数据的存储和处理能力。

3.3 数据检索技术

数据检索是数据应用的主要方式之一,检索技术的好坏直接影响数据库的使用性能。目前世界上最主流的数据检索技术是Google公司研发出品的Big Table技术。现阶段对于数据检索技术的研究主要集中在两个方面,及聚簇索引和互补式聚簇索引。前者是同时根据索引顺序存储所有数据的结构,后者则是通过多副本为索引列创建互为补充的索引表。

4 大数据下的计算机信息处理技术发展展望

面对当前越来越多的数据处理需求,当前的信息处理技术仍有一定的发展进步空间,笔者认为计算机信息处理技术将来的发展可以朝如下2方向进行,即云计算发展方向、计算机及其网络的有机结合。

(1)云计算方向发展。云计算是基于互联网的相关服务的增加、使用和交付模式,能够快速、高效地处理超大规模的数据内容,是当前的主流技术。目前计算机网络的整体架构基本上以各类硬件为前提,仍然受到一定的限制,云计算则是一个可取的技术路线。

(2)计算机及其网络的有机结合。随着信息量的越来越大,未来的计算机信息处理不能只靠单一的硬件或软件系统来完成,需要通过网络来实现相互的连接和传输。依靠现在高度发达互联网技术,计算机信息处理技术才能够满足当前大数据下的信息处理需求。

5 结语

大数据时代不仅丰富了人们的生活,也极大地推动了产业信息化和现代化的进程,促进了科学技术的发展。但是面对大量繁杂的数据信息,以往传统的计算机信息处理技术受到硬件设备和信息处理软件等的限制,已经难以适应目前需要大批量和快速处理数据的需求,需要对原有的信息处理技术重新进行审视和改进。针对此问题,目前的主要处理技术有基于内容数据挖掘技术、分布式数据存储技术、数据检索技术、分类和聚类分析技术、神经网络与遗传算法技术等;未来在大数据背景下的计算机信息处理技术还需依托于云计算和计算机及其网络的有机结合等的技术的支持。

[1]杨竞华,基于大数据分析的计算机信息处理技术研究[J].电脑知识与技术,2017,(30).

[2]成静静,喻朝新.基于云计算的大数据统一分析平台研究与设计[J].广东通信技术,2011,10(8).

[3]张允壮,刘戟锋.大数据时代信息安全的机遇与挑战:以公开信息情报为例[J].国防科技,2013,02.

[4]赵春雷.“大数据”时代的计算机信息处理技术[J].世界科学,2012.

[5]冯潇婧.“大数据”时代背景下计算机信息处理技术的分析[J].计算机光盘软件与应用,2014,(5):105-105,107.

[6]严满华,基于大数据下的计算机信息处理技术研究[J].科学与信息化,2017(18):2.