基于云计算的大数据教学服务平台设计

高新成王 燕李春生王莉利卢 清

(1东北石油大学现代教育技术中心2.东北石油大学计算机与信息技术学院 黑龙江大庆 163318)

基于云计算的大数据教学服务平台设计

高新成1王 燕1李春生1王莉利2卢 清1

(1东北石油大学现代教育技术中心2.东北石油大学计算机与信息技术学院 黑龙江大庆 163318)

随着高校教育信息化的快速发展，累积了大量种类繁多的教学数据,包括来源各种信息系统的结构化数据和来源网页、课件、视频等的非结构化数据。云计算、大数据存储和移动互联网等技术的发展，为高校教学服务平台建设提供了新的思路。文章首先概述了云计算和大数据平台的基本术语及相互关系，然后提出了基于云计算的大数据教学平台的设计方案，主要包括平台构架模型、大数据处理流程以及平台部署及功能，为师生提供更多高效便捷的云服务。最后，探讨了平台应用前景及存在问题。

大数据；云计算；云平台;大数据平台；大数据处理

一、引言

大数据是继云计算、物联网和移动互联网之后迅速发展的新技术[1]，已成为高校教育教学改革的热点。利用大数据技术可以更好的表征异构数据和解析数据，能够分析出许多有价值的知识，构建集检索、计算和分析的学生行为知识库。通过数据挖掘与智能分析，及时掌握学生的学习动态，对学生的学习过程、学习效果和学习能力等进行综合评估。云计算的发展解决了信息存储及资源调度等一系列数据孤岛难题[2]，能够让各类零散的数据资源有效集成到统一平台，师生通过云服务平台随时随地的获得信息资源及更好的分享和互动。大数据技术的发展能更加有效的引导师生自主学习，基于大数据的云服务教学环境不仅可以对教师教学过程进行监控，还可以对学生的学习过程进行分析，并能预测每个学生的学习效果。让学生了解自我学习轨迹，为开展个性化学习和自主学习提供更好的环境。

利用大数据和云计算技术的优势，本文将大数据和云服务的先进理念引入到高效教学服务平台建设中。通过对国内外教学云服务平台应用的研究，运用系统构架分析法，提出基于大数据环境下高校教学云服务平台设计的总体方案，构建了基于大数据的教学云服务平台架构模型，梳理出云服务平台大数据处理流程，展示出大数据环境下高校教学云服务应用，并提出大数据环境下云服务平台的展望及存在的问题。

二、云计算与大数据平台

（一）云计算。云计算的概念是由Google提出的一种新型计算模式，是网格计算、分布式计算、并行计算和负载均衡等传统计算机技术和网络技术发展相融合的结果[3]。其核心思想是将大量网络连接的计算资源进行统一管理和调度，形成一个计算资源池向用户提供按需服务，能够完成大数据集的处理与分析，并向用户提供高效的云服务，在云计算环境中，用户可以在任何时间、任意地点使用终端设备，通过网络直接从云服务中获得所自己需要的资源。云计算具有超大处理能力、高可靠性、通用性和高可扩展性等诸多优点。云计算平台层次化基础架构如图1所示[4]。

图1 云平台层次化基础构架

（二）大数据平台与云计算关系。大数据（bigdata），是通过运用新的处理模式获得的海量、多样化的信息资产。数据主要包括关系数据库等结构化数据，文本图像等半结构化数据，以及网络的不同异构的数据[5]。大数据技术,简单来说,就是从这些异构数据中,快速分析出有价值的信息的技术。大数据技术，重点不在于拥有庞大的数据资源，而在于通过专业技术挖掘出海量数据资源中有价值的信息，大数据技术通过提高对海量数据的“加工能力”，实现海量数据的“增值服务”。IBM提出大数据的5V特点为：大量化（Volume）、快速化（Velocity）、多样化 （Variety）、价值化 （Value）、真实化（Veracity）[6]。大数据平台极大地提高了大数据的生产力，使得大数据的存储、分析变得更加容易和高效[7]。以下为大数据平台通用构架，如图2所示。通过应用这些平台，可以快速搭建出多样化大数据应用服务，移动互联网正是在此基础上不断高速发展，为我们的生活带来更多便捷。

图2 大数据平台通用构架

大数据与云计算之间关系密不可分，大数据与云计算关系，如图3所示。大数据通常采用分布式存储、分布式架构和分布式数据挖掘，它依托于云计算的云存储、分布式数据库、分布式计算和虚拟化技术等[8]。目前，云计算和大数据技术的结合，已经应用在了许多领域，例如生物学、气象学、地质学以及互联网产业等多重领域[9]。教育领域的应用虽然刚刚兴起，但是基于国家对教育信息化的大力支持，数据和平台的共享协作成为了教育信息化的热点。

图3 大数据与云计算关系

三、基于云计算的大数据教学服务平台设计

（一）平台架构模型设计。大数据教学服务平台将云计算三大服务模式：IaaS、PaaS和SaaS作为系统构架的基础，以服务器、存储、网络资源以及数据资源等构成的虚拟资源池为底层，以Hadoop、中间件等大数据云服务平台组件为核心，以为师生提供方便快捷的云服务为目标，最终构建大数据环境下高效、便捷、智能化的教育教学大数据平台[10]。基于

云计算的大数据教学服务平台构架模型，如图4所示。

图4 基于云计算的大数据教学服务平台构架模型

基于云计算的大数据教学服务平台构架模型包括数据源、数据存储与处理、数据管理与分析、应用服务、云终端五层架构[11]，具体功能如下：

数据源层：主要提供物理资源池及虚拟资源池。物理资源池主要包括服务器、存储设备和网络设备等；虚拟资源池主要包括服务器虚拟资源池、存储虚拟资源池、网络虚拟资源池和数据资源池等。数据源层对分散的软硬件资源进行有效整合，将软硬件资源通过虚拟化技术形成可供调度的虚拟化资源池，提供给上层服务，同时可形成独立的数据源服务供其他层单独使用。主要功能有资源监控、资源部署和负载均衡等。数据源层主要用户是系统管理员。

数据处理与存储层：主要进行数据的处理与数据存储。其中数据处理主要包括数据清理、数据索引、数据抽取和聚合关联等；数据存储服务包括Hadoop、关系型数据库、HBase、YARN等。通过对数据预处理，最终将不同类型的数据存储到分布数据库中。

数据管理与分析层：主要进行数据的管理和分析服务。其中数据管理功能主要包括资源调度、数据并行作业、生命期管理和资源分配等；数据分析服务包括数据统计、机器学习、实时分析和聚合关联等。通过数据管理更有效的对数据资源进行调度和分配，数据分析主要为上层数据挖掘提供有效的分析方法，针对不同的需求，调用不同的数据分析方式。

应用服务层：主要进行数据挖据服务和应用服务。数据挖掘服务主要包括教学评估分析、趋势发现、关联分析和专题侦测等。应用服务主要包括教学评估分析系统、学生管理系统、资源检索系统和教务管理系统等。应用服务层通过数据挖掘方式对教学中学生的学习效果、学习兴趣、生活情况等提供个性化的资源和信息，有效提高了教师的教学效能和教务管理的效率。

云终端层：主要将用户需要的云服务推送到不同的云终端。云终端主要包括PC机、移动终端、智能终端等。通过建立统一的教学一站式服务中心为师生提供方便快捷的云服务。面向师生的云服务主要包括信息门户服务、统一身份认证服务、教学视频资源、网络教学资源和电子阅览与远程教育等。云终端层在云端为终端用户提供各种个性化的云服务，学习者利用不同的云终端能便捷访问到需要的云服务。校区间和高校间根据不同的权限需求，建立私有云、混合云和公有云，有效保障云资源的安全访问权限。

（二）平台大数据处理流程。大数据处理流程通常为多数据整合(BDP)、数据处理、可视化分析和报告分析等。云服务教学平台的大数据的处理流程，如图5所示。主要分为数据来源收集、数据抽取与存储、数据分析和数据展示四个步骤，其功能是利用合适工具对大量异构的数据源进行抽取，将结果按一定的标准统一存储，根据不同类型的数据利用不同的数据分析方法，对存储的数据进行分析从中挖掘出有价值的知识，并利用可视化等不同表现方式将结果推送给终端用户。[12]

图5 平台大数据处理流程

数据来源：通过云服务教学平台将学生学习行为涉及到的学习成绩信息、电子阅读信息、参加竞赛及获奖信息、社团信息和生活信息等众多相关的信息进行收集和整理。

数据抽取与存储：根据不同的数据来源，采取不同的数据抽取方式，对于结构良好的信息系统的数据采用通常的工具将数据抽取到数据库中，对于网页、课件和视频等非结构化数据，通过数据抓取对数据进行索引后存储到数据库中，形成分布式数据库[13]。

数据分析：实现学生学习行为数据统计分析。在学习行为能力分析时，首先是协作筛选，通过分析知识库中已分类学生的成绩、参加的社团活动、关注的行业和性格特点等，计算学生之间的相似度，为相似的学生推荐适合的学习方案；其次是聚类，通过不同的维度将不同类别的学生进行分析，从中找出相似点，再比较相关属性，及时针对不同的学生给出科学合理建议，以便其在后续的学习和生活中加以改进。

数据展示：通过可视化技术等进行数据结果显示和推送，可以使用Tableau等软件将分析结果进行可视化展示，通过将数据与美观的图表结合起来，让教师和学生更直观便捷的了解数据分析结果。

（三）平台的功能与部署。大数据教学服务平台以“共享数据、分析数据、终端服务”为指导思想，为高校各学区间提供便捷、统一的终端云服务。通过平台提供学校各部门共享所需的基础数据和各应用服务所需的分析数据，以及提供各应用系统所需的开发数据。云计算大数据教学平台功能如图6所示。

图6 云计算大数据教学平台功能

基于云计算的大数据教学平台部署如下：

1.建立基于虚拟化的资源池，构建服务器、存储、网络等硬件资源的虚拟化集群系统，数据集群系统中搭建集群进行部署，建立基于云计算的大数据教学集群环境，各自运行在独立的JVM上，通过心跳信号进行信息交互。平台主要采用高密度刀片服务器，实现虚拟机的快速部署和调度。

2.在传统Oracle数据库基础上，应用大数据分布式存储组件HIVE、HDFS等，支持主流的分布式存储系统Gluster。

3.基于云计算的大数据平台提供云基础平台主要包括统一认证服务、平台云计算科研平台、云计算实验平台、云计算教学和评估平台、云计算资源平台、互动交流平台等。通过基础平台能够构建多样化、个性化的应用系统。云计算科研平台包括大数据并行计算系统、共享协同科研系统和科研管理系统等；在线预约实验系统包括实验预约系统、网络虚拟括在线答疑系统和在线交流社区等。

4.支持扩展的云终端桌面，可取代传统的PC电脑。既能满足计算机等传统公共基础课程的教学需求，又能完成专业

实验等课程的个性化单机实验课程。云终端为终端学习者提供各种多样化个性化的应用服务，学习者利用PC机浏览器以及移动终端就能直接访问到需要的应用服务。校区间和高校间不同的终端用户设置不同的权限按需申请服务。

四、结语

云计算、大数据和移动互联等技术的快速兴起给教育信息化发展带来了机遇和挑战，随着高校数字化教学的不断推进，采用大数据理念和云计算技术构建基于云计算的大数据教学服务平台，能够推动高校校区间和高校间教学资源共享、资源获取智能化、科研等应用共享协作、教学方式个性化多样化，为师生提供更多高效便捷的云服务，有着良好的应用前景。但是，仍很多工作需要完善，如在教学育人、人才培养和科学研究等多方面收集过程数据信息，建立持久运作的收集、存储、分析、统计和展示等体系。以及大数据在实际应用中还存在一些技术问题，主要包括数据集成困难、数据分析方法改良和数据安全等方面，这些将成为今后研究的主要方向。

[1]孟小峰,慈祥.大数据管理:概念、技术与挑战[J].计算机研究与发展,2013（1）:146-169.

[2]王莉利,高新成,周凯.云环境下高校教学资源建设与管理研究[J].长江大学学报(自科版)，2014（19）:40-42.

[3]苟燕,赵希武.大数据时代下基于云平台的“大学计算机基础”课程建设[J].内蒙古师范大学学报（教育科学版）,2015（1）:93-95.

[4]王莉利,高新成,李瑞芳.基于云计算的高校教学资源管理平台的设计 [J].陕西理工学院学报 (自然科学版).2014(4):37-40.

[5]何清.大数据与云计算[J].科学促进发展,2014（1）:35-40.

[6]郭敏杰.大数据和云计算平台应用研究[J].现代电信科技,2014（8）:7-12.

[7]王裕.基于云平台的大数据处理流程的关键技术研究[J].情报科学,2014（9）:143-146.

[8]高新成,王莉利.基于Hadoop的校园云存储系统的研究[J].陕西理工学院学报（自然科学版），2012（4）:30-34.

[9]谭忠理.基于云计算和大数据教学实训平台的设计研究[J].技术与应用,2014（8）:86-90.

[10]邢丘丹,焦晶,杜占河.基于云计算和大数据的在线教育交互应用研究[J].技术与应用,2014（4）:88-95.

[11]龙虎,张小梅,唐林海.大数据背景下智慧教育云平台的构建研究[J].电脑知识与技术,2015（11）:109-111.

[12]胡树煜,孙士宏,金丹.大数据时代档案信息资源共享平台建设研究[J].兰台世界,2015（35）:134-135.

[13]刘中宇,刘海良.大数据时代高校云资源应用[J].现代教育技术,2013（7）:59-62.

[责任编辑 郑丽娟]

“自然科学与工程技术”栏目征稿启示

为鼓励科技人员开展科学技术研究，及时刊登最新研究成果，促进学术交流，《绥化学院学报》“自然科学与工程技术”栏目特面向全国高校教师和社会科技人员征集该栏目各研究方向具有创新性或实用性的学术论文，欢迎大家投稿。

投稿信箱：shxyxblg@126.com 电话：0455-8301078

绥化学院学报编辑部

The Research of Cloud Service Platform for Higher Education Based on the Big Data

Gao Xincheng Wang Yan Li Chunsheng Wang Lili Lu Qing
(Northeast Petroleum University,Daqing,Heilongjiang 163318)

With the rapid development of higher education information,it is accumulated a lot of teaching resources,including structured data from all kinds of information system,and other unstructured data from web courseware,video.At the same time,with the development of cloud computing,big data storage and mobile Internet technology,new ideas for the construction of cloud service platform for Higher education is provided.In this paper,first,basic expressions and interrelation on cloud computing and big data platform are analyzed,and then the design scheme of big data platform based on the cloud computing mainly including platform architecture model,big data processing and platform deployment and function is put forward application process is promoted for Higher education in the technology of big data and cloud computing,in order to more convenient and efficient cloud service can be provided for teachers and students.Finally,the application prospect and existing problems of the platform are proposed.

big data;cloud computing;cloud platform;big data platform;big data processing

TP393

A

2095-0438（2017）08-0146-05

2017-02-02

高新成(1979-)，男，黑龙江木兰人，东北石油大学现代教育技术中心副教授，博士，研究方向：云计算、大数据及其教育平台管理。

黑龙江省教育科学规划课题——大数据环境下高校计算机专业实验教学模式研究（GJB1215013）；大数据时代基于MOOC教学模式的教学设计策略研究（GJB1215018）。黑龙江省高等教育学会教育科研课题——面向数字化校园的开放式网络学习模式研究（16G154）；大数据时代下高校计算机基础教学模式研究（16G160）；开放式MOOC+传统课堂模式融合的研究（16Q117）。