基于云平台的海量视频教学资源管理系统

张健 李储信 朱尧虎

摘  要： 资源量提升对教学视频资源管理系统提出更高要求，为更好管理教学视频资源，设计基于云平台的海量教学视频资源管理系统。系统采用HDFS分布式结构，功能层包含系统事务逻辑规则等处理功能，能够明确体现各相对独立目标的功能，主要划分为用户模块、系统管理模块和教学视频资源管理模块。其中，用户模块可实现教学视频上传、下载、评价等相关功能;教学视频资源管理模块根据受限玻尔兹曼机推荐理论，通过训练数据集训练过程升级权重与偏好参数，得到用户对教学视频资源的预测评价，根据评价结果进行教学视频资源推荐。应用测试结果显示所设计系统能够满足用户多方面的搜索需求，并发应用条件下系统资源占用率低。

关键词： 云平台; 海量教学视频; 资源管理; 分布式; 系统结构; 功能层; 视频推荐

中图分类号： TN99?34; TP393                   文献标识码： A                       文章编号： 1004?373X（2020）21?0151?05

Massive video teaching resource management system based on cloud platform

ZHANG Jian1， LI Chuxin2， ZHU Yaohu3

（1. Office of Teaching Guarantee， China People′s Police University， Langfang 065000， China;

2. School of Public Order Policing and Traffic Management， People′s Public Security University of China， Beijing 102623， China;

3. Office of Student Affairs， People′s Public Security University of China， Beijing 100038， China）

Abstract： The improvement of resource volume puts forward higher requirements for teaching video resource management system. In order to better manage the teaching video resources， a massive teaching video resource management system based on cloud platform is designed. The system adopts HDFS distributed structure， and the function layer contains system transaction logic rules and other processing functions， which can clearly reflect the functions of relatively independent objectives. The system is mainly divided into user module， system management module and teaching video resource management module， in which the user module can realize the upload， download， evaluation and other related functions of teaching video; the teaching video resource management module is based on the Boltzmann machine recommendation theory， the user′s prediction and evaluation of teaching video resources are obtained by upgrading the weight and preference parameters of the training process of the training data set， and the teaching video resources are recommended according to the evaluation results. The application test results show that the designed system can meet the user′s multi?faceted search requirements， and the system resource occupancy rate is low under the concurrent application conditions.

Keywords： cloud platform; massive teaching video; resource management; distributed; system structure; function layer; video recommendation

0  引  言

教学视频资源是以教学设计为基础[1]，利用计算机技术与摄影技术对教学内容、教师的反思与学生的评价实施综合整理，是教学领域中理论和实践全面融合的产物。教学视频资源量的提升对于教学视频资源管理系统提出更高的要求[2]，对从事教学视频资源管理服务研究具有十分重要的意义。

云平台的出现为海量教学视频资源管理提供更优质的方式[3]，并且降低用户的硬件投入。Hadoop开源云平台是基于Hadoop技术构建的云平台[4]，将其应用于教学视频资源管理中可实现教学视频资源存储的可扩展、高并发读写以及海量视频资源处理能力[5]。

设计基于云平台的海量教学视频资源管理系统，利用其为教学视频资源使用者与管理者提供更好的服务，实现辅助教学。

1  基于云平台的海量教学资源管理系统设计

1.1  系统整体结构框图

基于云平台的海量教学视频资源管理系统整体采用HDFS分布式系统结构[6?7]，分别是：处于集群服务器上的数据层、处于应用程序服务器与Web服务器上的功能层和表示层，如图1所示。

表示层可通过最直观的形式向用户展示系统界面，用户通过表示层可直接应用系统内各种程序[8]。通过这种架构形式不仅能够确保系统的负载均衡与数据安全，还可提升应用扩展性，在用户需求超过系统当前数据量的条件下，通过数据层中节点数量的提升可使系统的分布式存储与计算性能提升。

由图1可知，功能层是整个系统的核心[9]，其中包含系统事务逻辑规则等处理功能，能够明确体现各相对独立目标的功能。功能层中包含接口层、调度控制层和应用层三个部分[10]，其中应用层由集群节点管理子系统和计算机节点集群接口组成，包含实时查询、教学视频资源上传、教学视频资源下载、教学视频资源格式转换等应用。

该系统结构相对透明，可直观呈现完整的视频，这对海量教学视频资源管理产生极大便利。

1.2  系统功能设计

系统设计的主要目的为存储、管理海量教学视频资源，基于功能角度划分，主要包括四个模块，分别是管理员模块、用户管理模块、系统管理模块和教学视频资源管理模块[11]，如图2所示。

管理员模块具有普通用户权限管理、日志与用户管理等功能;用户管理模块中主要包括用户注册、登录、个人资料管理等功能;系统管理模块可实现预警、故障与服务器管理功能[12];教学视频资源管理模块的主要功能是对教学视频资源上传、下载、查询分类、推荐与格式转换等进行管理。

1.3  用户模块结构设计

系统中普通用户可实现教学视频上传、下载、评价等相关功能，该模块用例图如图3所示。

用户在账号注册成功后，利用账号即可成功登录系统获取所需教学视频，并且可上传本地教学视频与其他用户共享。系统设计的宗旨是以人为本[13]，系统中的教学视频资源不断更新，用户可通过关注列表关注所需教学视频资源，若关注视频资源更新，系统将自动发送消息提醒关注该视频资源的用户。

同时，用户下载教学视频后可评价该视频，系统根据用户对教学视频资源的评价，利用基于受限玻尔兹曼机推荐理论向其他用户推荐视频资源，使用户可更快、更好地获取所需的、最佳的教学视频资源。

1.4  教学视频资源推荐算法

教学视频资源管理模块根据受限玻尔兹曼机推荐理论进行教学视频资源推荐。用[Ae，y，r]表示训练数据集，其中，[e]，[y]和[r]分别表示用户、教学视频和用户对教学视频的评价。

在受限玻尔兹曼机模型隐含层给定的条件下，隐含层与显示层单元分别符合条件多项分布和伯努利分布[14]，其分布函数分别为：

[PVe，y=aG=expbya+k=1Kgekwykaa=1Aexpbay+k=1Kgekwyka]    （1）

[PGek=1W=εbk+y∈pewykve，y]    （2）

式中：[gek]和[wyka]分别描述[u]对应的第[k]个隐含因子和连接权重;[G?gek∈VG×K]，[W?wyka∈VY×K×A]，其中[E]，[Y]，[K]，[A]分别描述用户数目集合、教学视频数目集合、隐含层数目集合和用户评价集合;[bya]和[ε]分别描述[bk]的偏移和sigmoid函數;描述与显示层边际分布函数分别为：

[εx=11+u-x] （3）

[Pv=gexp-Uv，gv，gexp-Uv，g] （4）

式中：[Uv，g]描述激活能量，主要功能是确定不同单元状态，公式描述如下：

[Uv，g=-e=1Vk=1Ky=1Ywykve，ygkve，y-e=1Vk=1Kve，ybe，k-k=1Kge，kbk]  （5）

教学资源推荐算法中训练阶段的主要目的是升级权重与偏好参数[15]，利用对比散度描述：

[Δwykve，y=βve，ygkdata-ve，ygkZ]   （6）

式中：[β]，[ve，ygkdata]和[ve，ygkZ]分别表示描述学习因子和接受隐含层与显示层状态参数;[β]表示Gibbs抽样频率分布下的期望参数;[Z]为抽样次数。

训练初始阶段[Z]值取1，且其值随着训练的持续而提升，当[Z]值提升至一定值后，可将[ve，ygkdata]和[ve，ygkZ]间的差异降至最低。

教学视频资源推荐过程中，将权重参数与偏好参数相结合，通过式（7）～式（9）确定用户[e]对教学视频资源的预测评价：

[ve，y=g=1AA?Pve，ygk=Ape] （7）

[Pve，ygk=Ape=expbya+k=1Kpekwykaa=1Aexpbya+k=1Kpekwyka] （8）

[pe，y=PGek=1W=εbk+y∈pewykve，y] （9）

2  應用测试

为验证本文设计的基于云平台的海量教学视频资源管理系统的应用性能，以某高校教学视频资源管理系统中的海量教学视频资源集合为对象，如表1所示，构建本文系统，验证本文系统的教学视频资源管理性能。

2.1  本文系统搭建

在Apache官网中下载Hadoop安装包，将其解压至本地系统中。搭建集群环境是本文系统搭建的第一步，搭建的主要内容包括集群软硬件环境的架构设计、Hadoop集群配置与HBase，ZooKeeper安装配置等。

利用VMware Workstation 12 Pro构建Hadoop集群。该集群中包含3台服务器，3台服务器分为两类，1台服务器作为master，剩余2台服务器作为slave。服务器的主要功能是设置HDFS，MapReduce，HBase节点，master设置Name Node，Job Tracker和HMaster节点，slave设置Data Node，Task Tracker和HRegin Server节点。

3台服务器的具体信息如表2所示。

2.2  系统界面设计

在教学视频搜索界面的搜索栏中选取所需教学视频资源类型“高物”，输入关键词“热力学”系统进入教学视频资源管理界面，系统通过教学视频资源分类与推荐，呈现用户所需教学视频资源，结果如图4所示。由图4得到，在教学视频搜索界面中设置相应搜索条件后，教学视频资源管理界面会根据输入的搜索条件在系统内进行搜索，并向用户展示教学视频搜索结果。图4中的搜索条件包括教学视频类型、关键词、主讲教师、视频上传时间等，可满足用户多方面搜索需求。

2.3  资源占用率检测

为测试本文系统应用过程中的资源占用情况，以资源占用率为指标，分别从实时查询、教学视频资源上传、教学视频资源下载、教学视频资源格式转换等并发应用方面测试本文系统的CUP和内存占用率，结果如表3所示。

分析表3得到，本文系统并发应用过程中CPU占用率最高达到7.3%，而内存占用率最高达到4.0%，均未产生系统预警情况，由此说明本文系统的资源占用率满足应用设计标准。

2.4  疲劳强度检测

系统正常运行条件下受硬件设备影响，有一定概率产生数据库或带宽资源不足的缺陷，此类缺陷在系统正常工作时表现的并不明显，所以在测试系统性能的过程中需选取大量使用者进行长时间系统疲劳强度检测。作为本文系统性能测试的指标之一，疲劳强度检测可得到本文系统正常工作条件下因资源缺乏/竞争导致的系统错误。

本文系统疲劳强度测试选取20人在不同网络环境下分别进行教学视频资源并发上传与并发下载，测试本文系统的响应速度，结果如图5所示。

由图5中的测试结果可知，在不同网络环境下20人进行教学视频资源并发上传测试中，当教学视频上传人数由0人提升至15人时，本文系统的响应速度均控制在50 ms以下;但当视频上传人数提升至20人时，本文系统的响应速度提升至160 ms左右，这说明本文系统的数据传输性能产生拥堵问题。而在教学视频资源并发下载测试中，当教学视频下载人数达到15人时，同样出现类似问题。系统出现这种问题的原因大多因为系统运行过程中产生带宽不足的缺陷，或者系统构建过程中设定的并发用户数量不足，这些缺陷经由完善系统硬件与提升系统并发用户数量设定阈值能够改善，由此保障系统对海量教学视频资源的高效管理。

3  结  语

面对海量教学视频资源，需要采用一种高效的结构体系解决海量教学视频资源存储与管理问题，因此本文设计基于云平台的海量教学视频资源管理系统。系统应用测试结果显示，本文系统不仅能够满足用户教学视频管理应用需求，并且可以通过完善系统硬件与提升系统并发用户数量设定阈值的方式提升系统应用性能，保障海量教学视频资源应用管理效果。

参考文献

[1] 顾东晓，李童童，梁昌勇，等.基于云计算的管理信息系统迁移模式与策略研究[J].情报科学，2018，36（12）：71?76.

[2] 饶小康，马瑞，张力，等.基于人工智能的堤防工程大数据安全管理平台及其实现[J].长江科学院院报，2019，36（10）：104?110.

[3] CHANG Zheng， WANG Zhongyu， GUO Xijuan， et al. Energy?efficient resource allocation for wireless powered massive MIMO system with imperfect CSI [J]. IEEE transactions on green communications and networking， 2017， 1（2）： 121?130.

[4] 曹兰英.大数据时代下开放教育视频云资源共享系统的设计研究[J].电视技术，2018，42（12）：117?121.

[5] 殷玮川，何世伟，李玉斌，等.基于云计算的地铁大数据分析方法研究[J].铁道科学与工程学报，2018，15（11）：2995?3002.

[6] 申琢.基于云计算和大数据挖掘的矿山事故预警系统研究与设计[J].中国煤炭，2017，43（12）：109?114.

[7] 莫勇，张海燕.基于云计算的电力数据在线安全分析并行化[J].控制工程，2017，24（4）：823?828.

[8] 张静，王欢.基于ISM的在线教育平台学习者持续学习行为的影响因素研究[J].中国电化教育，2018（10）：123?130.

[9] ABDALLAH M， ZAHRAN M， WASSAL A. SACAT： streaming?aware conflict?avoiding thrashing?resistant GPGPU cache management scheme [J]. IEEE transactions on parallel & distributed systems， 2017， 28（6）： 1740?1753.

[10] 贾非，谢苗苗，杨涵舒.在线课程平台用户付费行为影响因素研究：基于腾讯课堂数据的实证分析[J].消费经济，2018，34（5）：72?77.

[11] GUO Zhen， SHI Honghua， ZHANG Peidong， et al. Material metabolism and lifecycle impact assessment towards sustainable resource management： A case study of the highway infrastructural system in Shandong Peninsula， China [J]. Journal of cleaner production， 2017， 153： 195?208.

[12] 李俊楠，李伟，李会君，等.基于大数据云平台的电力能源大数据采集与应用研究[J].电测与仪表，2019（12）：104?109.

[13] 梁涛，侯振国，邹继行，等.基于云计算平台的风电场SCADA系统的设计与应用[J].高技术通讯，2018，28（1）：8?14.

[14] 周鹏，李环，刘佩文，等.基于大数据的教育云服务绩效评价研究[J].中国电化教育，2018（6）：17?23.

[15] 李中显，蔡宗慧.基于Hadoop云平台的联合收割机远程监控系统研究[J].农机化研究，2017（12）：185?189.

作者简介：张  健（1975—），男，山东济宁人，硕士，讲师，研究方向为刑法、思政教育。

李储信（1988—），男，安徽安庆人，硕士，讲师，研究方向为法律、思政教育。

朱尧虎（1987—），男，江苏盐城人，硕士，研究方向为犯罪预防、思政教育。