大数据背景下计算机信息处理技术研究

郭 杰

（西安航空学院 计算机学院，陕西 西安 710077）

大数据背景下计算机信息处理技术研究

郭 杰

（西安航空学院 计算机学院，陕西 西安 710077）

文章分析了大数据的定义及特点、大数据时代下的信息处理技术及面临的挑战，最后分析了大数据背景下的计算机信息处理技术的发展前景。

大数据时代；计算机信息处理技术；问题；发展前景

自从计算机问世之后，传统的计算方法已经逐步被淘汰，数据库与数据存储技术已经成为研究的热点，并且技术的更新十分迅速，随着计算机网络用户数量的增长，每天都有上万亿GB数据产生，大数据时代已经到来。大数据时代是互联网发展的必然趋势，根据相关部门的预测，到2020年人类能产生或复制的数据将超过350亿TB，因此计算机信息处理技术尤其重要。

1 大数据的定义以及特点

物联网技术和云计算技术的发展推进了大数据时代的到来，这是计算机行业发展的一个重要的转折点。大数据时代的主要特点就是网络信息数据十分庞大，通常情况下，信息总量达到12 TB便可以被称作大数据。大数据的基本特点如下：（1）占用的存储空间较多；（2）数据量由TB转为ZB，数据量大；（3）实时性更强，增长速度十分迅速，能在短时间内完成大量的信息处理；（4）复查性，复查性主要是指数据量庞大，能够对不同种类的数据进行并发处理，如网页格局信息、视频信息、图片信息、文字信息等，对计算机信息处理技术的要求也更高。

2 大数据时代下的计算机信息处理技术

2.1 信息获取和加工技术

当前信息加工技术经过多年发展已经取得一定进步，只有有效地获取数据信息，才能方便工作人员对信息进行整理、存储和传播，采集到的数据信息一般存储在数据库中，并为需要的信息服务开展数据输入、信息加工工作。信息加工主要是指利用信息加工处理系统将获取到的信息进行重新规整和加工，为信息检索的实现奠定基础。当前信息加工技术主要包括数据高效索引技术、DEEP WEB数据感知与获取技术以及数据挖掘技术等等常见信息处理技术，对于数据信息的加工工具有深远影响。DEEP WEB数据感知与获取技术就是采用网络的深层空间技术分析、抽取网络中的相关信息，利用数据访问技术和信息数据的动态变化等整理网络数据，最终实现数据的高效整合。数据挖掘就是采用自动或半自动的建模算法从海量的数据中寻找隐藏在数据中的模式（Pattern）、趋势（Trend）及相关性（Relationship）等信息，数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识，具有先前未知、有效和实用3个特征。

2.2 信息存储技术

信息存储技术就是利用网络或者其他信息存储载体存储加工之后的信息，大量的信息处理之后存储在数据库中，方便用户对数据信息进行查找和使用。进入大数据时代之后，数据信息更新十分迅速，信息量也更加庞大，只有科学使用计算机信息处理存储技术，才能够实现信息数据的大量存储，极大程度上提升工作效率。当前大数据存储技术路线比较典型的有3种类型，具体的论述如下：（1）大数据一体机，这是专为大数据分析处理而研发出来的产品，主要包括数据库管理系统、操作系统、存储设备、服务器和预先安装的一些软件等，该技术的纵向扩展性和稳定性都良好。（2）基于Hadoop的技术扩展和封装，并且围绕Hadoop技术衍生出来一些相关的大数据技术，应对传统关系型数据库较难处理的数据和场景，比如充分利用Hadoop开源的优势对非结构化数据进行存储和计算，其中具有代表意义的是通过封装和扩展Hadoop实现对互联网大数据的存储和分析支撑。（3）采用MPP架构构建新型的数据库集群，重点是面向行业大数据，采用Shared Nothing架构和多项大数据处理技术（列存储、粗粒度索引等），再结合高效的MPP架构分布式计算模式，完成对分析类应用的支撑，具有高性能和高扩展性的特点，这类MPP产品可以有效支撑PB级别的结构化数据分析，这是传统的数据库技术不能比拟的，所以当前MPP数据库在企业的结构化数据分析和数据仓库中的应用也十分广泛。

2.3 ALE-IDoc接口技术

ALE-IDoc接口技术主要负责对各SAP系统间的中间件提供通信接口整合，将不同的分散系统联系在一起，确保建立不同系统之间的关联性。该接口技术中的ALE和IDoc各自具有不同的功能，ALE的主要作用是实现具有业务相关性的SAP间的数据同步服务，采用IDoc格式实现同步过程中的数据传输，IDoc格式有一个优点就是可以确保数据的完整性，提高不同SAP系统间数据的识别性和通用性。IDoc结构主要包含3部分，分别为控制头（描述同步的数据控制内容和收发双方）、数据段（同步数据的具体内容，生成标准的IDoc数据格式）、状态记录（IDoc数据的状态日志记录）等，采用ALE-IDoc技术进行数据发送和数据接收的过程也不相同，数据发送需要经历4个阶段：输出功能启动、IDoc数据生成、ALE服务层数据分发、接收端接收。数据接收需要经历3个阶段：外部系统IDoc数据传入与格式转换、ALE服务层IDoc生成与数据库写入、应用程序数据读取与展示。

2.4 Web Service接口技术

Web Service是一种独立化的、模块化的应用功能模块或者是服务，其支持API调用，以XML格式为标准，以其为基础的接口技术属于中间件技术的一类，利用该接口技术减少客户标准或要求对系统体系结构的约束，使系统服务的灵活性大大提高。使用该接口技术所开发的Web Service在一定程度上对用户是透明的，开发者只需要保证调用一致的界面即可。此外，采用XML格式对技术中使用的语言进行描述，可以不断提高信息的自适应性和自描述性，使数据和逻辑间的关联度不断降低，从而使系统结构的清晰性不断提高。此外，Web Service接口技术中的UDDI注册机制消除了SAP系统的位置限制，可以在保障SAP系统的控制性同时降低开发成本。

3 大数据背景下计算机处理技术面临的问题

当前社会已经进入了大数据时代，通过计算机信息处理技术对这些数据进行分析和处理，已经明显改变了人们的生活，如浏览淘宝页面时，后台会对你的浏览数据进行分析，自动推送一些浏览相关的或相似的产品，虽然大数据技术为人们的生活带来了便利，但是我们也要清晰地认识到，大数据技术在发展过程中同样面临着一些挑战，它也能给人们的生活带来困扰和麻烦，是一把双刃剑。比如，大数据时代使盗版问题更加猖獗、上网过程中计算机和服务器会受到一些病毒的恶意攻击，一些个人信息会被泄露、篡改或者是冒用他人的身份信息，个人隐私的泄露可能会给个人带来不可估量的损失，对社会产生不良影响。这些问题的出现削弱了互联网的服务品质，同时也为软件的研发者提出了更多的要求和挑战，对于大数据技术和信息处理技术的发展造成了冲击。为了解决上述问题，需要在大数据背景下加强计算机信息处理技术的研发，能够研究出一种新技术自动滤掉那些网络攻击和虚假信息，提高大数据时代的信息安全性。除安全问题外，大数据背景下的计算机处理技术还面临着别的难题，这就是计算机硬件的发展速度和互联网的发展速度不匹配，导致一些硬件根本不能满足数据存储、处理的需求，两者之间存在技术空缺。当前大部分计算机的性能都不能满足大量用户数据信息存储和处理的需求。一些软件可以满足大数据的存储和处理，但是需要消耗较多的时间和能源，给数据的处理和存储带来了很多麻烦。因此，需要提高计算机的硬件水准，加大研发力度，填补技术空缺。

4 大数据背景下信息处理技术发展前景

随着大数据时代的到来，信息提取、加工以及传输技术成为信息处理技术重点，信息的存储技术为海量数据提供存储保障，但是信息安全问题应该受到重视，同时还应该加强硬件设备的研究，提高其信息存储能力，具体论述如下。

4.1 加大信息安全技术研发

为了提高大数据时代的信息安全性，信息的安全管理应该主要从以下几方面着手：（1）构建一个完整的信息安全系统，加强对技术人员的培训，提高他们的安全知识水平，充分发挥出他们在信息安全管理中的作用；（2）加强技术研发，更新升级安全管理产品，使这些产品满足于当代数据环境下的安保管理；（3）提高数据的分类和检索效率。

4.2 信息处理技术的发展方向

为了促进大数据时代的发展，应该为信息处理技术创造一个良好的环境，加大硬件设备的研发。此外，不同的运营单位和研发机构之间应该相互合作，取长补短，通过高性能的硬件设备构建优质的网络环境，为信息处理技术的发展奠定基础。

5 结语

大数据时代的到来给人们带来了便利，也带来了问题和挑战。随着互联网技术的发展，数据量将会越来越多且结构也会变得十分复杂，计算机信息处理技术显得尤为重要，针对海量的数据进行处理十分必要，同时在大数据时代也要注重网络信息的安全问题，并加大硬件设备的研发，为大数据时代下计算机信息处理技术奠定基础。

[1]吕敬全.“大数据”时代背景下计算机信息处理技术分析[J].信息与电脑（理论版），2013（6）：126-127.

[2]耿冬旭.“大数据”时代背景下计算机信息处理技术分析[J].网络安全技术与应用，2014（1）：19-21.

[3]吴恩生，王桂梅.大数据时代计算机信息处理技术分析[J].江苏科技信息，2015（12）：63-65.

[4]姚永春.出版企业掘金大数据的两个层面[J].出版广角，2014（4）：58-59．

[5]姚琪.大数据在“智慧校园”中的价值研究[J].南京工业职业技术学院学报，2013（4）：32-33．

Study on computer information processing technology in the background of big data

Guo Jie
（Computer Academy of Xi’an Aeronautical University, Xi’an 710077, China）

This paper analyzes the de fi nition and characteristics of the big data, the information processing technology and the challenges in the big data age, and fi nally analyzes the development prospect of the computer information processing technology in the background of big data.

big data age; computer information processing technology; problem; development prospect

郭杰（1980— ），男，陕西富平人，硕士，软件工程师；研究方向：计算机硬件课程嵌入式与网络教学。