智慧校园建设中大数据处理技术的应用研究

天津卓朗科技发展有限公司 张亚丽

0.前言

大数据是一种信息资产，无法在短时间内用常规软件工具进行捕捉、管理和处理，经过加工提炼后具有更强的决策、洞察力，是信息社会一种可靠的资源。就智慧校园建设而言，其基础是广泛分布的物联网节点，而自动化工作的各个系统则需要来自大数据的支持，大数据处理技术决定了智慧校园建设的成效。针对大数据处理技术在学生信息、学术研究等系统建设中的应用进行分析十分必要。

1.学生信息系统建设中的大数据处理技术

1.1 信息收集

学生系统系统建设中，大数据处理技术应用的基础是广泛、全面的信息收集，现代校园较传统校园已经明显不同，学生的数目更多，校园内的信息设施也更加完备，信息收集工作可以借助互联网直接进行。校方可以建设一个互联网登记平台，平台以物联网技术为支持，与学校管理总站实现连接，学生可以登录该平台，点击“信息注册”模块，进入该模块后，创建“doc”后缀文件或者下载学校预制的统一表格，填写各类必要信息。填写完成后，利用远程通信技术将表格发送给管理处。所有信息都以相同方式处理，确保当前和以后学生的信息能够得到广泛收集，生成大数据。

1.2 信息加工与存储

信息加工取参数处理法，采用 Hadoop技术、基于J2EE环境，在Eclipse集成环境中完善系统处理方法。如果校园内部学生数目较少，可以简单分类处理，如果学生数目较多，大数据处理技术就拥有了应用的空间。可以采用雅虎公司开源软件构架Hadoop的Map Re-duce技术进行数据加工和存储，所有的学生信息可以被分为若干大模块，如年级、民族等等，数据在Hadoop中处理的流程可以简化为：将所有非结构化和半结构化的学生信息输入到计算机群组中，通过Hadoop对其进行粗加工，Hadoop系统的核心单元是HDFS和Map Re-duce，这两个模块可以再粗加工的基础上进一步进行解析处理，所有的input split都以一个task调用Map计算，利用计算机群组的高超的计算能力（不低于100亿次/秒）对所有task实现逐一计算，在保证每一个input split都有一个单独的record，最后通过键值（key-value）的形式输出，通过Hadoop的默认处理系统，以键值（key-value）为标准实现整理输出、存储，保存在HDFS上。

1.3 信息更新

学生信息系统的更新应用默认计算机缓冲技术实现，在完成了信息加工和存储后，以年级为标准进行分类，所有学生信息分为若干部分。如大学分为大专部分、本科部分、博士部分、硕士部分，依照学年制原则，设定大数据处理的默认技术，由于大学不同层次的学习存在固定性，学生信息随着学年变化滚入到二年级、三年级……直到毕业，达到默认计算机缓冲技术设定的临界值，即自动进入缓冲平台。所有信息数据在缓冲平台暂存1个月，供管理人员进行必要的处理，如果没有异常情况，1个月后毕业生信息不再更新，从学生系统系统中消失，新生的信息则按照上述步骤重新收集，进入循环。

2.学术研究系统建设中的大数据处理技术

2.1 信息收集

学术研究系统建设中，大数据处理技术主要针对不同层次、方向的研究课题、成果，在信息收集环节，将所有存在研究需要的课题划分为若干组别，进行海量信息的初步收集。高校可以建立相似性搜索原则进行信息筛选，所谓相似性搜索，是指明确研究的重点内容，确立一个关键点，比如“高分子材料”，将其作为关键词，进入学术研究的各个平台中，搜索相关信息，集中纳入系统范围内。在收集环境，相关工作主要着眼于资料的广泛性，要求确保信息齐整、数目较大。

2.2 信息加工与存储

与学生信息系统不同，学术研究系统建设不能简单应用Hadoop技术，相关信息的加工和存储采取集中管理、分布存储的基本原则。完成海量信息收集后，首先根据相似性搜索过程中的“组别”进行分类，将所有信息数据纳入各自范围下。如果共建立了10个“组别”，要求至少建立10个对应的信息库，将初步分类后的数据各自存储到对应的信息库中，实现第一轮加工[1]。第二轮加工设定默认参数为资料的级别，如“博士论文”、“硕士论文”等，以不同的学术级别对资料进行二次加工，并根据级别数设置若干分信息库，完善分布式存储架构。在信息总库中，要求设计检索栏，保证资料调取、查看的效率。智慧校园建设离不开高端信息技术的支持，高效的数据传输是学术研究系统的主要追求之一，也是大数据处理技术得以实现的重点环节，校方可以采取无线通信和有线通信相结合的方式，使大量数据可以在短时间内快速实现传输。

2.3 信息更新

学术研究系统的信息更新主要依赖大数据处理技术中的“信息匹配”技术，信息匹配技术是指以当前信息库中的信息为基础，在资源收集中，与其高度类似、核心类似的信息都可以看做是有效信息，要求给予收集和存储。如“PDCA循环管理模式的应用”，其核心信息为“PDCA循环管理模式”，在中外各地高校的研究工作中，该模式被反复论证，生成的数据信息也越来越多，智慧校园建设中，学术研究能力也应确保持续进步，应用“信息匹配”技术，可以有效将当前研究的新成果纳入到信息库中，实现信息的高效更新[2]。

3.校园管理系统建设的大数据处理技术

3.1 信息收集

校园管理系统应该是一个半开放的系统，能够提供基本管理服务，也能够作为一个信息交流和扩散的平台，这对其信息收集能力有较高的要求。该理念下，首先要求各地学校明确工作的重点内容，将需要展示的核心信息通过拓扑学原理给予系统罗列，之后应用大数据处理技术给出高度结构化的信息。比如2017年度某地高中生升学率，当地共有高中学生15万名，逐一进行调查是不现实，应用大数据技术快速收集各学校公布的信息报告，提炼其核心信息，就可以获取结构化数据，工作快速、高效。

3.2 系统设计和工作

校园管理系统牵涉到的信息更多、更复杂，加工和存储也更需要来自大数据处理技术的支持，可以利用ITIL技术完善相关工作。在ITIL技术下，校园管理系统包括服务平台和信息平台两个大模块，服务平台又包括常规管理平台和紧急事务平台两个部分，设置网络设备发现、网络设备监控、管理服务申请、机房环境监控、应用系统监控、监控预警等等具体工作板块。所有的系统信息都分布在各个工作板块中。在大数据处理技术的支持下，所有问题类型、自动化指令都是默认的，可以根据异常报警，也可以根据需要直接提供服务。如管理平台对管理对象进行记录、分析、接收、处理、完成，并将全过程记录在信息系统中，生成结构化数据，为后续工作提供帮助[3]。

3.3 信息更新

校园管理系统是一个多项技术集成的信息化系统，该系统的最大特色是框架稳定、内容更新。该系统下需要更新的信息内容多种多样，也要求采取分布式存储方式，将每一个管理项目作为一个信息库，每个大信息库下设置若干小信息库，信息更新在小信息库下具体进行。为保证信息更新的有效性，采取大数据处理技术中的挖掘技术，将所有信息库细化到最小单位，作为更新工作的目标。如智慧图书馆管理系统，可以将所有图书分为若干类别，在每一个类别下，按年份进一步细分，一直划分到最小的类别单元（比如作者），学校大规模购入图书后，再对新图书进行数据挖掘处理，划分到最小的类别单元，将新书生成信息数据后，归入到所述的类别中（如果没有对应类别，可以建立新的信息条目），使信息更新工作细致、完善。

4.总结

通过分析智慧校园建设中大数据处理技术的应用，获取了相关理论成果。大数据处理技术的应用分为四个步骤，即信息的收集、加工、存储和更新。在智慧校园建设背景下，各个环节的工作以数据作为基础，通过互联网、物联网连接为一个整体，实现信息的快速传输，以固定参数和方式进行海量信息的提炼和分类存储，信息更新则周期进行，确保智慧校园建设的成果和信息数据的即时性。

[1]蒋达央,姚琪.基于大数据背景下智慧校园的可视化管理信息系统的研究[J].常州工学院学报,2016,29(01):73-76.

[2]汶向东.大数据时代“智慧校园”的应用研究[J].中北大学学报(社会科学版),2015,31(05):62-65.

[3]蒋东兴,付小龙,刘启新.大数据背景下的高校智慧校园建设探讨[J].华东师范大学学报(自然科学版),2015(S1):119-125+131.