网络学习环境在大数据时代的数据融合

何 峥

（中国人民解放军新疆军区南疆军区信息保障队，新疆 喀什 844000）

0 引言

云计算服务能由使用者本人选择内容和方式，以便更好地利用现有资源来学习，除了能为学习者带来便利外，还能降低教育管理的成本，使传统教育模式发生改变。 如何融合网络环境中的共享数据，提升网络学习的效率，强化信息资料之间的共享，成为当前需要讨论的问题。

1 数据融合的概念与分类

1.1 数据融合的概念

网络时代的到来虽然使人们能从网络上获得更多的信息，但是同时也让信息愈发碎片化，而数据融合能够有效解决该问题。 数据融合的目的在于对碎片化的信息，按照最终的目的与需求进行重新提取与融合，形成一个数据资源集合，以达到信息使用者所要达到的目的。 但在这一过程中，如果信息数据的标准传输模式出现差错，就容易产生信息孤岛问题。 网络学习环境是孤岛问题多发区， 因此作为跨学科领域，数据融合需要考虑多种复杂因素，并且有必要建立信息标准体系，以防止数据共享过程出现问题。

1.2 数据融合分类

大数据时代的数据融合是多方向的信息汇总，其中包括传统科学和新兴科学， 传统科学类目中主要包括数学、通信以及计算机网络，新兴科学则主要包括机器学习、人工智能和在线沟通等项目。 在数据融合中，主要的技术有假设检验、聚类分析和机器学习，用这些技术对数据库进行分析，属于决策级别融合。随着互联网的发展， 网络学习环境的数据构建主要用到同类与异类数据的融合。 同类与异类的融合能起到数据归纳的效果，进行有效信息的压缩和聚集，在计算机数据系统中通常使用决策树和神经网络法的方式来表示。

2 网络数据融合的步骤及策略

2.1 数据融合的步骤

（1）需求定义。 需求定义也就是学习者线上学习的方向，即用户需求，只有清楚定义要解决的问题，明确了方向才能提取出数据库中能够利用的数据，从而建立基于有效的数据模型。

（2）数据预处理。 在进行数据分析之前，数据预处理是数据融合的关键步骤，因为数据库中的数据类型是多种多样的，用户的需求确定以后，预处理就显得更加重要。 数据预处理主要包括描述数据、清理垃圾数据、集成有效数据和变换有效数据，只有通过预处理才能进行到下一步分析。

（3）深度理解。 深度理解的含义是深度挖掘数据需求，由于大数据时代的特性，以及用户需求的多样化，构造网络学习环境对数据融合分析有了更高的要求，不仅指浮于表面的数据内容，还要针对被挖掘数据和分析特征模型把握演变的规律。

（4）计算模型。 由于传统数据计算已经与现代互联网技术相适应，面对结构复杂和类型多样的信息数据，需要构建高效的数据计算模型，这也是进行数据产出的重要环节。 对用户需求进行汇总、分析之后的精准输出，是数据融合的关键。

2.2 数据融合的升级策略

（1）优化网络学习环境。 很多用户不信任互联网环境的一个重要原因，是网络学习环境不佳，除了信息种类比较复杂外，信息库的数据也有不确定性。 因此，要改善数据融合现状，避免信息孤岛现象，首先要优化网络学习环境。

（2）提高数据融合技术水平。 数据融合需要从技术层面上提高，首先要进行人才培养。 为了更好地整合数据， 必须培养有着互联网整合技术的专业人才，专项培养人才，渗透规章法则，对相关人员进行质量上的考核，严格把控人员技术水平，才能保障构建优质的学习网络环境，推动网络环境的良性发展。

（3）优化网络结构。 网络异构问题的产生，使优化网络结构提上纲程。 其主要内容有系统的优化、课程的优化2 项，归根究底是对课程资源的优化，并提高资源含金量，可以通过提高数据运维知识，辨别网络结构中不适用的、无效的信息，通过技术上的优化升级才能改善现有网络学习环境。

3 大数据时代网络学习环境的构建

3.1 网络学习环境构建的必要性

网络学习需要一个健康的、科学的环境，因此除了净化网络环境， 还有精准提炼信息资源这些要求。网络学习中的信息资源是通过计算机为载体表现出的学习方式，在现阶段主要在Web 平台实现，在网络学习环境中，环境构建的核心内容有控制学习资源和远程教学管理2 种，除此之外，还有学习网站和网络指导教师这种辅助方式。

3.2 网络学习环境构建的可行性

网络学习方式逐渐被教育领域中的众多学习者认可，彰显了构建科学学习环境的必要性。通过上文总结出的网络融合步骤， 综合考虑网络学习环境构建的地位，就能得出结论：通过数据融合的方式构建出的网络学习环境，将有利于教育和互联网技术的进步。 目前，高速发展的互联网环境使得传统数据难以满足用户需求，一些“僵尸数据”与“信息孤岛”的出现，造成了不必要的资源浪费。针对这些冗余的数据，需要结合云计算和人工智能技术，提高数据计算模型的价值。

4 数据融合实现

4.1 数据获取

数据获取的主要方式是平台自行沉淀、 网络抓取、合作共享、增值服务。 现如今，互联网是各种跨学科数据的庞大数据库， 这些数据经过清洗和筛选后，可以进行下一步，归纳到网络学习系统中，比方说书刊出版社的CRM 系统、Kindle 等阅读软件的App，从用户习惯来沉淀、抓取用户需求。 又或者可以在增值服务上下功夫， 在实体商品上附加网址和二维码，进行软推广，起到数据的捕捉和需求的获取。

4.2 数据预处理

第一时间获取的数据有时杂乱、 重复和模糊，有这种冗余问题的存在，在实际运用中，数据预处理有必要升级变换。 变换的首要步骤就是数据清洗，通过清洗重复数据和填补空缺数据， 提高数据的准确性。常见的数据预处理方法有EM 最大期望法、MI 算法，等等，在清洗和填补之后将数据集成，集成的数据主要是异构数据的合并与归纳，在合并与归纳期间还需要进行数据的变换，利用函数等方式，规避权重不平衡现象发生。 数据预处理在网络学习环境中，主要是利用网络爬虫形成数据模型来完成的，具体表现为浏览器、学习软件一类的平台展现出的推送图文。

4.3 数据转换

数据转换是经过数据处理和数据分析得来的，常见的处理模型有 MapReduce、Dryad、Storm， 这些都是可以在复杂的数据库环境中进行数据处理的模型，并且具有很高的准确性。 现如今，数据转换起到的作用不仅仅是将用户的需求内容呈现出来，还起到深度挖掘的作用，对流数据进行聚类，并且检测异常。 近年来，快速地转换数据越来越重要，所以，提高数据处理的实时性也势在必行，这样才能使处理模型有一个快速优质的应用效果。

5 结语

本文采用大数据时代为背景，列举和分析网络学习环境中数据融合的步骤，并且对目前数据融合的升级演变做了系统性总结。 研究重点在于网络学习中，因用户需求而进行的数据获取、预处理、数据分析、数据模型计算流程是如何运作的。 在未来，数据融合的效率必然会更加高效便捷，实践证明，只有通过升级每个细节步骤，准确的数据产出，才能惠及大众，避免学习行为与资源库发生孤岛效应，只有从技术上做出改进，才能让网络学习效率真正地得到提升。