大数据技术在计算机网络信息管理中的应用

2019-11-16罗新曼

电子技术与软件工程 2019年20期

文/罗新曼

如今，大数据技术在计算机信息系统中的应用日趋成熟，且逐步演化为主流发展趋势。应用大数据技术可以通过计算机信息系统分析事物的演变进程，进而不断提升知识层次。由此可知，全面探究大数据技术在计算机网络信息管理中的实践应用具有实际意义。

1 大数据时代的基本概念

大数据时代是指海量的数据信息逐步由单一化过渡到多元化的发展进程，数据信息更新速度持续加快，数据信息获取渠道逐渐增加，且数据信息的成本不断降低。大数据时代的基本特征就是数据信息的海量化与多样化。近年来，大数据技术逐步被拓展应用到各个行业领域，如企业管理、临床医疗、教育培训等。但随着大数据技术应用范围的扩大，计算机网络的信息安全问题也成为社会各界关注的焦点。近年来，关于网络犯罪的新闻报道屡见不鲜，这对社会治安构成了极大的威胁。由此，构建良好的网络环境，保证数据信息安全性，也成为各相关部门致力探究的新课题。

大数据技术的战略意义不在于掌握海量数据信息，而在于对数据信息的专业化处理。如果将大数据比作一类社会产业，只有不断提高数据信息的加工处理能力，才能充分挖掘数据信息的利用价值，提升增值空间，确保产业盈利。

2 大数据的核心技术

大数据的核心技术涵盖了数据收集、存取、基础框架构建、处理、统计分析、挖掘、模型预测与结果呈现这几方面。各类核心技术优势特征各异，均发挥着重要作用。

2.1 数据收集技术

在大数据的整个生命周期中，数据收集是首要环节。根据映射规约（MapReduce）对大规模数据集的并行运算可知，大数据的采集主要是通过管理系统、WEB信息系统、物理信息系统及科学实验系统这四部分实现的。

2.2 数据存取技术

根据大数据的类型，采用对应的技术路线，主要包括如下三类：第一类，大规模大结构化数据；第二类，半结构化和非结构化数据；第三类，结构化与非结构化混合数据。

2.3 基础架构

按照存储途径差异可划分为云存储和分布式文件存储等类别。

2.4 数据处理技术

针对不同数据集合的结构形式，如文件、XML树、关系表等，突出数据的异构性。对于各类异构的数据集而言，要实现集成处理与整合处理，将来自于不同数据集合的数据信息整合成一个新的数据集，为查询与分析提供便利条件。

2.5 统计分析技术

该技术包括假设检验、特征检验、关联分析、卡方分析、距离分析、逐级回归、曲线分析、因子分析、对照分析与独立技术等内容。

2.6 数据挖掘技术

当下，尽管现有的数据挖掘技术与机器学习技术已取得了良好的应用成效，但仍需进一步完善，还需全面开发数据网络挖掘、特异群组挖掘与图挖掘等新型数据挖掘技术。突破以用户为基准的数据连接模式，使大数据挖掘技术兼顾网络行为分析、用户兴趣分析与主观情感分析等内容。

2.7 模型预测技术

该技术包括构建预测模型，仿真模拟。

2.8 结果呈现

该环节内功能为形成标签云图与关系图。

3 大数据技术在计算机网络信息管理中的应用

3.1 云计算技术的实践应用

云计算技术在计算机信息系统中作用的发挥，需要通过网络计算模式及集中处理技术来实现，通过两者的有效配合，构建数据模型，对数据信息进行集中处理，并将其迁移到云端内，进而大幅度降低计算机信息系统的信息处理成本。基于云计算技术，技术服务软件可以利用无线局域网自动产生相应的移动数据网格，形成闭环式信息反馈处理模型。

在云计算技术应用过程中，需要绘制标准的数据流图G=(V,E)。并在此基础上，通过合理计算公式的应用，生成一系列的组合及远程传输数据的隐性通道。其中，模式中组的计算公式是：，隐性通道的公式是：。

此外，为输出对应数据，还需要设置不同的出口节点。在C/S的架构下，云计算数据流模型的传输控制范围公式为：

在C/S架构中的云计算数据流模型的传输控制范围内，大数据处理时所使用的数据流图，处理其关键部位时，也要采用向图模式及相关公式完成运算和控制。公式如下：

公式中，Vp代表云计算模式中最重要的交叉通道承载物理节点集合；Ep代表云计算模式中最重要的交叉通道链路集合。SCAp代表的是不同组件中物理节点的不同数据单元数据数量。

云计算对数据资源的动态配置管理，需要构建无向图模式。云计算整体架构的表达公式如下：

这种云计算的整体架构所涉及的云计算技术，可以整合多元化数据信息。根据模拟应用实验可知，将这种云计算方法应用到计算机系统的数据处理环节，可以进一步提升数据容载量，节省时间。由于这种云计算整体架构可以将数据上传至云端系统，因此，可以大幅度提升计算机信息处理系统的运行效率，达到资源共享目的。通过云计算模型的应用，一方面实现了多种信息数据的集中计算，另一方面也满足了不同用户的资源需求，增大了数据利用率。

3.2 数据备份技术的实践应用

在新时代背景下，商业环境越来越复杂，企业应以多方面为切入点，一是加大信息数据的保护力度，做好信息数据的备份工作，拓展系统的容错空间；二是构建完善的容灾系统，对数据信息实行择优筛选，并实现分类保护和存管，进而减少危险的发生，提升数据利用率。

当下，绝大多数企业都对数据备份缺乏重视。据相关社会调查结果显示，应用数据备份系统的企业不足20%，而同时应用数据备份系统容灾系统的企业不足5%。由此可知，企业对数据备份系统与容灾系统的应用缺乏客观认知。为此，要在全国范围内推广数据备份技术，加强企业的信息保护。与此同时，要想确保企业信息的绝对安全，还需在数据定期备份的基础上，全面掌控备份细节。一些企业认为只要将数据拷贝到优盘中就是进行数据备份，而这种错误的思想观念也在很大程度上增加了企业信息资源的安全隐患。

在数据备份中，应用最多的存储介质为移动硬盘、磁带和U盘这三种。企业要结合实际需求，选择对应的数据存储介质。同时，尽量做到异地存放，在存放地点配置完善的计算机装置与远程通讯装置，以便在发生突发状况时，快速启动数据备份系统，防止数据丢失。另外，还应将数据备份系统与企业管理系统予以有效连接，提升损坏数据的恢复效率，保证企业相关工作的有序进行。再者，在数据备份中，除了将数据信息移动到移动硬盘内外，还可通过远程技术的应用将数据信息实施压缩处理，制成光盘予以保存，且单独管理，加强企业信息的安全性。

企业在发展中会构建完善的信息数据库系统，其不仅起到信息存管的作用，也实现了信息数据的备份，不过在使用中，应对数据库内的信息实行及时的更新和完善，确保在突发状况发生时，工作人员可从数据库内及时调取已被损坏的信息数据，恢复企业的运营，降低损失的形成。数据备份也可实现对数据库的动态追踪及文件的全面监管，在备份机上动态更新监控日志，并自主更新备份磁盘。总而言之，企业可以结合实际发展情况，制定完整的数据备份方案，以加强整个系统的可执行性，充分发挥优势效能。

4 Hadoop系统的实践应用

Hadoop系统具有拓展性强，投资成本低等优势特征，故而被广泛应用到各个行业领域，并取得了良好的应用成效。对于Hadoop系统来说，无论是哪一类数据结构类型，都可以存储大量的数据信息，并且不会与数据仓库系统出现任何排斥现象。

如铁路货运中，因其具有数据类型冗杂、资源整合难度大、投资成本高等问题，在实际管理中，可应用Hadoop系统可以协调解决铁路运输信息传导方面的问题，满足实际需求。Hadoop系统和铁路运输数据仓库的有机整合，可以形成完整的货运大数据分析平台。且通过Hadoop系统的应用，可对信息数据实施分类存管和备份管理，简化数据信息的整合流程，降低管理难度，提高时效性与准确性。另外，Hadoop系统在信息数据的整合与集中管理中还具有特殊的透视功能，不仅能够提高零部件的协调运作效率，也可以充分发挥优势效能，满足数据资源处理与共享需求。纵观行业发展现状，Hadoop系统的开发已逐步进入完善阶段，各功能组件分工明确，并逐渐形成一整套功能完备的大数据信息分析平台应用系统。