大数据背景下的计算机信息处理技术

闵天媛

摘 要：计算机信息处理技术是对数据进行采集、检测、加工、存储的一项技术。在大数据的背景下，该项技术面临着海量数据的处理需求，需要其具备功能强大的数据采集功能，可实现对页面资源的检测、分析，并提取出有价值的数据，以及强大的数据存储功能，将采集到的数据，经过计算机信息处理后，可以安全、完整的存储至服务器中，以为数据的利用提供方便。

关键词：大数据;计算机;信息处理;数据存储

社会在生产和运行过程中，会形成大量的数据信息，人们通过使用计算机信息处理技术，将这些信息集中存储，形成数量庞大的数据信息，然后分析这些数据之间的逻辑关系，挖掘数据中的价值，最后形成具有使用价值的一系列数据和信息，以实现数据的利用价值。

1.大数据背景下计算机信息处理技术的特点

1.1数据量大

就目前互联网和移动网络的发展形势来看，网络中的数据可以用海量来形容，人们将网络作为获取和传递信息的主要渠道，而且网络本身具有开放性和包容性的特点，数据信息一旦上传至网络，如果没有人为删除，则会一直留存在网络中，致使网络中的数据量呈现出爆炸式的增长，进而需要计算机信息处理技术的快速发展，以高效化的处理好这些数量庞大的数据，这也为大数据的利用提供了条件。

1.2多元化与共享化

网络中的数据来源非常广泛，数据信息种类繁杂，而且人们通过计算机使用网络，会上传各种类型的数据信息，进而形成了多元化的数据。此外，网络中数据的共享程度较高，人们通过数据信息的分享，获取了更多的有效信息，并可通过关联分析，获取数据之间的内在联系，进而促进了整个社会的信息化发展。

1.3数据处理效率高

目前，计算机信息处理技术发展程度较高，其可处理海量的数据，并可从其中挖掘出有价值的信息，该项技术在大数据处理中的应用，展现出数据高速处理的优越性，使得数据得到了进一步的分析，进而实现数据分析结果的预测性作用，计算机分析的数据量越大，分析结果的使用价值也就越高，使得大数据成为社会发展中的重要组成元素。

2.大数据背景下计算机信息处理技术的运用

2.1信息采集

信息采集是数据应用的前提，搜索引擎是该项技术应用的典型代表，我国搜索引擎主要有百度、搜狗、360等，这些搜索引擎的功能非常强大，用户只要输入关键词，就可进行网页、新闻、图像、视频等信息的搜索，关键词匹配度非常高，用户可在其提供的页面上找到自己需要的内容。但是网络数据量增速过快，搜索引擎在信息搜索上也呈现出了一定的不足，需要研发出性能更加优越的信息采集技术，对网络中的资源进行全面的覆盖，抓取到更具利用价值的数据信息。搜索引擎的信息采集功能，可以对采集的信息进行预处理，分辨真假，并过滤其中的无效信息，以确保信息采集的质量。

在大数据的背景下，其与信息采集技术的融合，可构建模块化的信息采集框架。第一，页面检测，其主要是对网页页面信息的检测，遵循相关协议的要求，检测页面上的各项信息，并分析这些信息的价值，对于有价值的信息进行预处理，最终完成页面信息的采集工作;第二，页面分析，会针对一个URL中的字段、列表、图片等进行分析，并解析检测对象中的超链接;第三，信息提取，经过检测和分析判断，确定页面信息具有采集价值后，对页面中的各项信息进行实时提取;第四，内容提取，在确定提取信息的URL地址后，数据库可实现URL页面内容的提取，并过滤掉无效数据，然后更新数据库中的内容;第五，链接解析，其主要是对页面中的关键词和摘要進行收集、分析、处理，从而将页面上的内容转化为文本信息;第六，内容过滤，不是所有的数据信息都有利用价值，需采用此项功能将无用信息过滤掉，以保证采集信息的质量。

2.2信息存储

计算机与网络技术的发展，使数据量持续的增长，对信息存储技术提出了更高的要求，传统的存储方式已经无法满足大数据时代的数据存储需求，虽然传统的DAS、NAS、SAN等技术，可为用户提供高质量的存储服务，但是这些存储技术的扩展性不好，维护难度较大，无论是存储容量还是性能都与大数时代需求不符，因此需要打造海量数据存储系统架构，以提升信息处理的质量。

第一，RAID5，其存储性能非常优越，也是运用较多的信息存储方案，拥有奇偶校验信息，并且是多个数据对应一个奇偶校验信息，磁盘利用率较高，降低了存储成本;第二，WAS，其被分为三个层次，一是Stream层，属于文件管理层;二是Front-End层，具有读取文件位置的功能，将多个服务器中存储的信息划分成表，由Front-End层通过划分表确定文件存储的位置;三是Partition层，其属于上面两个层的中间层，对Stream层数据进行解析，并进行缓存处理;第三，HDFS，其是分布式文件系统，有着高容错性的特点，可用于性能较低的硬件上，实际应用中数据的吞吐量较高，可进行较大的文件操作。

2.3信息安全

计算机处于互联网之中，其信息安全性受到网络不安全因素的威胁，需要在运用信息处理技术时，做好网络安全工作。第一，物理安全，用户在应用计算机时，需经过系统身份验证后，才可登陆操作系统，还需专门建立网络安全管理制度，以保证计算机中信息的安全性;第二，访问控制，针对访问用户，可采取用户口令、人脸识别、指纹识别、用户账户等多种访问控制方法，对访问用户进行限制，以避免信息遭到破坏。目前，信息安全技术种类较多，像防火墙、入侵检测技术、数字签名技术等，都可形成对计算机信息的保护作用。

结语：在大数据的背景下，需要与之相匹配的计算机信息处理技术，可从海量的数据中，采集到有价值的数据，并将这些数据过滤、加工之后，运用信息存储技术，将这些数据按照要求进行妥善的保管，以为数据的利用做好准备。当下，基于大数据的计算机信息处理技术发展逐步成熟，在各行各业得到了广泛的应用，为人们提供完善的信息处理技术服务。

参考文献：

[1]方鹏.大数据时代背景下计算机信息处理技术的探讨[J].信息系统工程，2020，320（8）：126-127.

[2]郭伟.大数据时代的计算机信息处理技术[J].电子元器件与信息技术，2020，33（3）：86-87.

[3]吕晋俐.大数据时代背景下计算机信息处理技术的分析[J].信息与电脑（理论版），2017，380（10）：179-180.

[4]张文娟，孙丹.大数据时代背景下计算机信息处理技术分析[J].科技资讯，2017，36（v.15;No.501）：208-209.

[5]牛爱民.大数据背景下计算机信息处理技术的缺陷及优化[J].数字技术与应用，2017（11）：242+244.

（黑龙江省北安市计划生育宣传指导站，黑龙江 北安 164000）