基于大数据背景下的计算机信息处理技术研究

蒋灏东

(苏州工业职业技术学院，江苏苏州，215104)

1 计算机信息处理技术

1.1 数据的采集与存储

数据的采集比如流行的Sqoop和ETL工具[ETL概念是将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端]，传统的关系型数据库MySQL和Oracle等，都是将数据从来远端采集并加载到目标端的工具，海量数据对数据采集也有极大的压力。数据采集可参考图1所示。

图1 数据采集

另外，大数据背景下，对数据的收录和存储也有了更高要求，通过计算机软硬件技术的提升来加强数据的存储，通常来说，数据都存储在企业的一个个“云”上，如阿里云、AWS（亚马逊）、AZURE（微软）、DINDINCLOUD（丁丁云）、KTC、GOOGLE CLOUD（谷歌云）等等，但需要看出，云的作用不仅仅在于存储，也在于对信息数据的处理。

1.2 计算与处理

上面提到，高端互联网企业已经逐步开发属于自己的云计算，对于大数据的采集、存储和计算都非常方便，大数据作为基础提供海量数据，云计算则将所有数据进行分布式处理、分布式数据库，解决目标任务并进行计算结果的合并，通过云计算，可以在短短数秒钟时间内，处理数以万计的数据，例如串口温度检测（如图2）.通过计算与处理的数据，才真正具有“可视化”的特点，为随后的智能运营提供基础。发展至今，云计算已经越来越复杂，如大树般开枝散叶，逐渐形成了分布式计算、效用计算、负载均衡、并行计算、网络存储、热备份冗杂和虚拟化等计算机的混合技术。

图2 基于串口温度检测流程

除了各家企业的云计算之外，Hadoop、Mapreduce、Tensorflow（深度学习框架）、Spark、Pentaho BI等开源框架或软件也符合对数据计算与处理的需求，要正确看待云计算和上述开源框架的区别，如果将云计算比作大型的、系统工程的蓝图，那么上述几个开源框架就是基础工具，比如修建一栋别墅，云计算就是方方面面的设计图，而上述开源框架可能只是水泥、锤子、钉子等工具，这样的比喻并不完全准确，需正确看待，如果数据量不大，企业可以选择上述开源框架，对大数据进行集中分布式处理，开发分布式程序，现在Hadoop已经被公认为大数据标准开源软件，也已被全球几大IT公司用作其云计算环境中的重要基础软件。

1.3 智能运营

通过上述两点，大数据才真正具有可视化的标准，让大数据以统计图表等形式反映出来，对所有数据进行了分割、加工、处理，之后就需要根据数据支持采取行动，也就是智能运营，分析师通过对所有可视化的数据进行分析，利用机器学习和人工智能构建数据模型，模拟出用户的行为习惯和喜好特点，深入挖掘其中的价值，并进行更清晰化、更有目的、更准确地判断，最终完成信息推送，推送的内容就会是用户喜欢或者需求的。

1.4 信息安全技术

在大数据时代下信息安全技术也是一项非常关键的内容。因为处在这样的时代下，数据之间的关联性是非常明显的，这相较于任何时代，都是一个比较显著的特点。在运行的过程中，如果某一部分的数据出现了安全问题，那么就会对整体运行产生极大的影响，会对于其他数据产生安全威胁，所以处在大数据这一时代下，在计算机信息处理的过程中不仅要关注具体的单个数据所涉及的安全问题，更需要有整体性思维，对于问题进行全面考虑。能正确认识大数据这一时代对于信息处理技术所带来的机遇还要明确存在的挑战，这样才能更好地应对。从当前的实际情况来看，处于大数据这一时代下，对于数据信息进行处理时，并不能脱离具体的硬件，因为这样会让信息安全方面受到极为严重的威胁，所以要对于线下的技术不断完善，这样才能更好地把握机遇，应对挑战。

2 机遇与挑战

在对大数据背景下的计算机信息处理技术进行研究时，一定要立足时代发展的背景，明确这项技术在当前面临的机遇与挑战，这样才能让其更好的发展。在当前这一时代下，计算机的网络部计划程度变得越来越高，大数据随即产生。这期的应用可以给企业的具体工作提供非常大的帮助助力企业实现精细化管理。在教育行业中，大数据也能发挥极为重要的作用，例如手机学生的喜好，这样能更好地做到因材施教，这是机遇。

不过，挑战也是存在的，首先这让存储技术以及存储空间等面临着更高的要求，此外，用户的隐私以及企业隐私等也面临着更高的要求，而且网络运营商在硬件方面要能跟上时代发展满足大数据技术的相关要求，从而能提升自己的信息处理能力，这些问题都需要在未来的发展过程中不断攻破。

3 大数据时代下计算机信息处理技术的发展策略

3.1 发展云计算

在计算机信息处理的过程中，必不可少的就是计算机的运行，因此也可以非常明确，计算机在不断高速运转的状态下，就需要依靠自身硬件等设备的性能，保障好这些方面，才能促使信息处理的速度以及效率更高。不过当前的计算机软硬件设备发展还略显不足，在大数据时代不断进步的前提下，这些技术越来越显得滞后。计算的概念就是为了解决这个难题而提出的解除这种技术能够对于网络上的信息进行加工，这一技术的辅助就不用完全依靠计算机的硬件，不过虽然云计算在这一问题的解决上发挥着重要作用，但是技术还不是很成熟，在实际应用时依然对于计算机的软硬件依赖性比较大。因此在未来需要重视云计算发展，这是一项艰巨的任务。

3.2 发展数据挖掘技术

大数据技术不断发展，数据量是非常大的，他们借助大数据技术聚合在一起，并且有着密不可分的关系，对于这些数据的分析，能够明确看出客户的实际需求，但是在这些海量的数据中，有一些是不需要的属于冗余数据。这次就需要在海量的数据信息中找到真正需要的数据，这是企业最关注的一个要点，因此就涉及数据挖掘技术。成像技术主要是对具体的数据进行加工以及整理并且实时细致地分析，这样能发现各个数据之间的联系，从而对其进行分类筛选，将有用的数据提取出来，无用的数据则剔除。

3.3 发展现代智能算法

这一算法主要是为了提升数据处理效率而出现的，这种智能算法在研发时是以自然界的各种自然现象为重要依据的，在这种智能算法的应用中，能够给各种信息数据的处理工作提供极大的帮助，从现代计算机智能算法的应用情况来看，发展是比较快的，比较常用的有遗传算法、粒子群算法等多种类型。当前我们比较多应用的是传统计算机算法，其虽然能够满足工作的实际需求，但是工作效率比较低。应用智能算法则很好地弥补其存在的不足，从而提高工作效率，让信息处理结果能够达到理想的程度。因此发展现代智能算法也是一个重要的促进计算机信息处理技术发展的策略。