面向MOOC平台的课程推荐研究综述

任鑫伟, 江先亮

面向MOOC平台的课程推荐研究综述

任鑫伟, 江先亮*

（宁波大学 信息科学与工程学院, 浙江 宁波 315211）

随着互联网技术和在线教育的飞速发展, 目前我国已出现大量线上教育平台, 但这些在线教育平台相互间信息不能共享, 导致课程信息冗余过载, 用户选择困难. 本文综述了近年来课程推荐方面的研究进展, 首先介绍了课程推荐中的相关概念并给出了系统框架; 然后围绕课程建模、用户建模、核心算法3个方面进行探讨, 重点综述了5类算法: 内容推荐、协同过滤、混合推荐、深度学习推荐和多模态融合推荐, 并分析了数据集、实验方法和评价指标; 最后对个性化课程推荐技术进行了总结和展望.

深度学习; 推荐系统; 课程推荐; 课程建模; 用户建模

互联网和云计算技术的发展, 推动了传统教育方式的变革, 学生能够通过线上网络平台选择感兴趣的课程. MOOC平台[1]不仅能够提供有质量的教学课程、完整的课程体系和配套习题作业, 同时具有课程免费、内容丰富以及选择灵活等优点. 但平台的增加导致“信息过载”, 给学习者选择合适课程带来困难. 因此, 如何能够在海量数据中快速找到用户感兴趣的课程, 从而促进知识的精准传播显得尤为重要.

本文系统介绍了面向MOOC平台课程推荐的有关概念和系统框架, 并围绕课程建模、用户建模和推荐核心算法进行综述, 列出常用数据集、实验方法和评估指标, 对个性化课程推荐技术进行了总结和展望.

1 有关概念与系统框架

随着教育模式需求的变化和在线教育平台的发展, 推荐系统在课程推荐领域也得到了充分应用. 课程的稳定性、流行性、目标性使得课程推荐有别于电影、音乐、新闻推荐. 因此, 首先对有关课程推荐概念进行界定.

课程特征: 课程推荐中的特征主要来自课程描述、人口统计学信息、评分矩阵. 其中课程描述主要包括课程介绍、视频、图片; 用户人口统计学信息主要包括年龄、喜好、性别、专业; 用户评分矩阵主要包括用户对课程的评分.

候选课程: 指近5年发布的且学习者没有观看的课程. 由于平台上存有年限久远课程, 这部分课程不考虑在候选课程中.

推荐课程: 用户使用PC端或APP端浏览推荐列表中的课程, 通过在候选推荐课程中提取前值或设置的评分阈值得到.

图1 系统框架

随着教育平台中上传的课程数和用户数日益增多, 平台出现的主要问题有: (1)海量数据展示在用户面前, 需要合适的推荐系统向用户推荐感兴趣的课程; (2)用户在平台使用初期, 由于没有可利用的有效信息容易产生冷启动问题[2]; (3)用户在使用课程时并不是每门课程都会进行评论, 容易产生稀疏的评分矩阵[3]. 因此, 课程推荐系统面临诸多挑战. 本文综述了个性化课程推荐系统框架(图1), 主要包括课程建模、用户建模以及推荐系统核心算法.

2 课程模块及关键技术

2.1 课程建模

课程推荐需要获取大量信息, 实际从平台中获取的信息是非结构化文本. 因此, 需要将非结构化文本转化为结构化文本.

2.1.1 模型表示

课程文本具有静态和动态特性. 静态特性主要包括课程类别、主题分布、课程标签等; 动态特性主要包括课程评分、观看量、持续性等[4]. 在基于内容推荐中, 文献[5]描述了一种自动个性化的推荐方法, 旨在为主动学习者提供在线自动推荐而不需要学习者明确反馈, 主要通过加载离线模块和在线模块进行课程表示. 文献[6]通过挖掘学生在单个会话中的习惯行为, 将学习过程建模为活动序列的分布, 并采用N-gram主题模式进行表示. 文献[7]使用多个属性表示学习者偏好, 以减少数据稀疏性和冷启动问题, 增加生态注释列表的多样性.

在基于协同过滤中, 文献[8]提出网络学习推荐系统框架, 通过同伴学习和社会学习鼓励学习者相互合作, 利用优秀学习者的学习材料进行表示. 文献[9]介绍了一种基于关联规则挖掘的协作式教育数据挖掘工具, 让具有相似课程的教师共享和发现预测课程.

在基于混合推荐方法中, 文献[10]在学生的显示反馈数据中利用最大似然预估学习者的能力, 并为课程材料确定适当的难度水平, 最后利用单参数特征函数对课程教材进行建模表示. 文献[11]通过2个模块进行课程表示, 第1个采用学习者偏好树(LPT)模块引入了课程偏好, 第2个采用最近邻协同过滤(NNCF)模块中遗传算法的染色体来自学习者的隐含属性权重, 并结合历史评分对权重优化. 文献[12]利用显式属性推荐器和隐式属性推荐器进行课程表示. 文献[13]将序列模式挖掘和多维属性协同过滤相结合进行表示. 针对数据稀疏和冷启动问题, 有学者采用混合推荐方法提出了Entreec[14]、程序设计[15]、序列模式挖掘[16]等更好模型来表示课程. 综上3种算法, 当前传统推荐算法在课程模型的表示中大多利用学习者的偏好和关联规则挖掘数据信息, 忽略了课程本身的文本信息和课程的视频信息. 在混合推荐中多采用协同过滤和基于内容推荐的模型融合, 但没有考虑课程的图片特征和用户的评论矩阵信息.

在基于深度学习的课程推荐方法中, 文献[17]提出利用递归神经网络(RNN)从教育系统存储的日志数据中预测学生期末成绩的方法. 文献[18]提出了一种新的全路径学习推荐模型, 该模型通过学习者的特征相似度度量, 利用长短时记忆模型(LSTM)预测学习者的学习路径. 文献[19]采用的模型则考虑用户和课程信息之间的相互作用关系. 文献[20]提出贝叶斯个性化排名网络的神经网络模型(BPRN), 通过该模型进行课程表示.

当前的深度学习应用在课程推荐领域中, 注重对模型的改进和提升, 但通常只考虑一种模态信息, 没有从课程本身的文本、图片和视频信息中挖掘数据特征作为课程推荐建模表示(表1).

表1 课程推荐建模表示

2.1.2 课程分类

用户对课程感兴趣程度多基于课程主题, 而课程主题又基于课程类别, 合理地对课程进行分类能够提高推荐效率. 文献[22]在现有分类基础上, 提出了一套区分、描述和分类学习活动的维度, 根据Blooms分类法进行分类. 文献[23]提出获取用户信息的多模态深度架构, 利用LSTM和多个深度神经网络相结合提取用户丰富的潜在表示, 有助于文本的分类任务. 文献[24]实现了用于评估和混淆分类器的深层神经网络, 通过分类生成一组针对学生问题的排序视频. 因此, 课程的有效分类有利于快速定位用户兴趣课程.

2.1.3 课程推荐列表

为了提高平台对用户课程推荐的精确性, 应从平台上筛选出候选推荐课程, 主要包括计算相似课程、热门课程和长尾课程.

对同一类别课程(关联度密切[2]、相似度高[25]), 通过选择前的方法选择个作为候选推荐课程, 而其他作为相关课程. 因为推荐模块的显示空间有限, 应该在保证推荐质量的前提下确保推荐的多样性.

2.2 用户建模

用户在与平台进行交互的同时会产生显性数据[2]和隐性数据[12].

2.2.1 反馈方式

用户对课程的反馈方式分为显性反馈和隐性反馈. (1)显性反馈主要包括学习者行为和学习者评分矩阵. MOOC平台在“一分钟获得个性化课程推荐模块”中通过获取学习者行为的显性信息, 向用户推荐感兴趣的课程类中的热门课程. 网易云课程则通过初始化页面获取学习者的显性反馈, 让其选择感兴趣的主题. 人口统计学信息[26]往往也是提供推荐的重要依据, 如用户的年龄、年级、所属学科类别等. 利用用户的评分矩阵能够更好地挖掘用户潜在偏好, 提升推荐的准确性. 在实践情况中导致评分矩阵的稀疏性很高, 对此提出了基于辅助信息、项目和用户信息的神经网络模型(IUNEU)[19]、异构信息网络(HIN)[27]、基于Wide & Deep和Elmo模型的在线学习资源推荐[28]等方法, 有效缓解了数据的稀疏问题. (2)隐性反馈在多数情况下, 平台并不能完全获取用户喜好, 一方面用户不愿意提供准确喜好, 另一方面用户也不愿花时间去维护个人喜好. 因此, 获取平台中用户隐性反馈数据尤为重要. 当前常用的隐性反馈属性有: 课程排名序列[20]、社交网络[29-30]等. 学者通常将学习者的隐性反馈转化为对课程的评分矩阵. 如Bobadilla等[2]、Ghauth等[8]、Salehi等[12]都将课程评分作为推荐模型建立的重要指标.

当前研究注重的是课程的单个隐性反馈数据, 缺乏对多种隐性反馈数据的汇总, 因此可以考虑用户观看过的课程视频时长、暂定次数、播放次数等数据(表2), 作为用户建模中显性反馈和隐性反馈的具体表示.

表2 显性反馈与隐性反馈的具体表示

2.2.2 用户模型

从用户角度出发, 用户的兴趣分为长期兴趣和短期兴趣. 长期兴趣能够反映用户的真实兴趣, 短期兴趣常与当前热门课程相关. 通过得到用户短期的课程兴趣模型, 能够快速反映用户兴趣的变化趋势. 常用的模型有N-gram模型[6]、深度置信网络DBN模型[21]以及协同过滤模型[31]等.

2.3 核心算法

推荐系统排序模型在推荐系统中占据绝对的核心地位. 传统推荐算法分为: 基于内容、协同过滤和混合推荐[32]. 目前热门的是结合深度学习和多模态技术实现的推荐系统(图2).

图2 推荐算法分类

2.3.1 基于内容推荐

基于内容推荐可以分为相似度计算和分类问题. 对于学习者相关信息, 如年龄、性别、偏好等; 对于课程内容相关信息, 如课程文本描述、点赞、收藏、点击次数、购买等. 文献[33]设计的系统考虑了学习者的知识背景、个人期望、学习心情、学习动机和学习风格等特征.

相似度计算: 文献[34]通过计算用户兴趣特征和候选课程向量之间的相似度进行推荐. 文献[35]提出了面向MOOC数据集的改进皮尔逊相关系数方法. 分类问题: 常用机器学习方法, 如-means、逻辑回归、径向基等训练模型. 如Li等[20]利用了贝叶斯分类器; Ange等[23]利用了混淆分类器.

目前基于内容的课程推荐方法的主要优点有: (1)不考虑数据稀疏; (2)推荐内容取决用户喜好[36]. 主要缺点有: (1)要求特征内容有良好的结构性; (2)只考虑用户本身的喜好, 忽视了其他用户的情况.

2.3.2 协同过滤推荐

协同过滤分为基于用户的协同过滤(UserCF)和基于物品的协同过滤(ItemCF)[37].

基于用户的协同过滤是根据用户相似度进行推荐, 使其具备更强的社交特性, 用户能够得知与自己兴趣相投用户的课程, 即使这个兴趣点以前不在自己的兴趣范围内. 文献[38]提出基于用户的协同过滤, 该系统首先通过收集用户行为日志并进行分析, 形成用户兴趣模型向量; 其次为系统中的每一个资源创建标签, 并在用户使用过程中收集该资源的用户得分; 最后根据用户兴趣模型和资源特性, 结合个性化推荐算法, 将满足用户需求的资源推荐给目标用户.

为了进一步提高基于UserCF的推荐性能, 有学者提出了DBN模型[21]、NNCF模型[11]、基于技能的用户模型[39]. 这些模型能够提高推荐新信息的能力, 时效性和可解释性强, 但是不能适用多用户的场景.

基于物品的协同过滤, 首先计算课程之间的相似矩阵, 然后找到用户的历史正反馈课程的相似课程进行进一步排序和推荐. 文献[31]提出了一种MOOC课程推荐的多层Bucketing的推荐模型(MLBR)方法, 该模型首先将学习者的向量转化成相同维度, 并将其分散到包含相似学习者的桶中, 这些桶中有更多共同的课程.

总之, 协同过滤与基于内容的推荐算法相比, 优势在于能够充分考虑相似学习者或课程属性, 不需要考虑课程本身的内容属性. 但仍存在一些问题, 主要有: (1)数据稀疏, 从实际情况可知, 当前用户对课程评价很少, 导致了数据稀疏问题; (2)冷启动问题, 平台初期没有用户使用数据, 且新课程上传后也会遇到此问题, 因为没有收集到任何一个用户对其浏览、点击或者收藏等行为, 也就无法对课程进行推荐; (3)可扩展性问题, 传统的协同过滤处理小数据集是有效的, 但当数据集的量增加时, 推荐系统的准确性会下降.

2.3.3 混合推荐

由于前2种算法都存在相应的缺点, 因此当前系统大多数采用混合推荐方法, 主要是结合不同算法和模型的优点. 如文献[14]将混合推荐组合策略分为: 加权、切换、分区、分层、瀑布式、特征混合和特征增强, 并介绍了基于知识和协同过滤的混合推荐系统. 文献[40]将混合推荐方式分为: 整体式、并行式和流水线式, 首先利用人工神经网络对学习者的类型进行分类, 用户可以根据学习者的意见获得课程推荐, 然后当相关的兴趣小组建立后, 利用数据挖掘技术引出最佳学习路径. 文献[41]则提出利用一个搜索引擎和混合推荐的数字教育资源模型.

目前, 混合推荐能够在一定程度上提高推荐性能, 其主要缺陷在于模型的计算量增大, 推荐性能依赖历史数据的质量和多取决于混合之前的模型性能. 因此, 在计算模型之前可以考虑进行算法思路的合并, 提前召回好的结果.

2.3.4 基于深度学习的推荐

随着深度学习推荐技术变得流行, 将其应用于学习资源推荐领域, 可以分为基于卷积神经网络的个性化学习推荐和基于递归神经网络的个性化学习推荐(图3).

图3 基于深度学习的课程推荐系统

(1)基于卷积神经网络的个性化学习推荐. 首先将学习者的学习行为和学习历史表示为特征向量; 然后利用注意力机制根据估计值与用户给神经网络的实际值之间的差异改进相关性估计; 最后通过训练模型向学习者推荐课程.

表3 课程推荐系统核心算法对比

(2)基于递归神经网络的个性化学习推荐. 文献[18]利用LSTM模型来预测学习路径和成绩. 由于RNN模型的特殊性, 适于处理时间序列数据, 其中LSTM模型是RNN模型的重要扩展之一, 并充分利用了聚类技术和LSTM神经网络, 能够有效处理长时间序列数据[42].

常用的课程推荐的深度学习模型有: LSTM模型[23]、IUNEU模型[19]. 文献[43]将深度学习模型用于提取学生隐藏情感和对教育的看法; 文献[44]设计了一个基于深度学习模型, 该框架能够提取多模式的课程特征, 如利用课程名称、课程音频、课程评论等不同类型的课程, 对在线学习平台进行适当的推荐.

目前, 传统推荐方法的缺点在于: 基于内容和协同过滤都采用浅层模型进行预测, 很难有效学习到深层次的用户和课程之间的交互信息. 但是利用深度学习模型能够挖掘数据中潜藏模型, 且学习模型结构灵活.

2.3.5 基于深度学习的多模态融合推荐

随着深度学习在图像识别、情感分析等领域的大量应用, 研究者为了使机器能够获取更全面的信息, 逐渐将多领域数据融合, 实现异质信息之间的互补. 如在跨模态嵌入中将图像、视频和文本3种信息进行融合[45]. 文献[46]提出眼动跟踪器和脑电测量的多模态反应同步测量系统, 通过眼睛跟踪器可以从学习者关注的地方获取信息, 脑信号可以提供估计学习中精神状态的线索. 文献[47]利用在线学习系统从心理、生理和行为3个维度收集多模态行为数据, 从而更全面地评价整体情况.

多模态融合能为模型决策提供更多信息, 从而提高了决策总体结果的准确率和精准率, 其难点在于处理异质信息、融合方法的选择以及模态对齐方式的调整, 详见表3.

3 常用数据集

3.1 HarvardX & MITx数据集

HarvardX & MITx数据集[47]由哈佛大学和麻省理工学院联合研究团队收集. 数据集收集了自2012年至2014年课程参与者的人口统计和历史轨迹信息, 主要包含290门课程, 24.5万张证书, 450万参与者和2800万学时. 文献[48]利用该数据集将学习者的活动日志分为主动学习者和被动学习者两类, 将课程的预测准确率提高至92%.

3.2 CourseTalk数据集

CourseTalk数据集[31](https://www.coursetalk.com/)是一个在线课程类的点评网站, 用户能对感兴趣的课程进行操作. 目前已收集了Udacity、Coursera和edx等平台的课程数据集. 文献[31]利用的数据主要包括: 4612名学习者、304门课程和10万名注册学员.

3.3 Moocposts数据集

Moocposts数据集[22](https://datastage.Stanford. edu/StanfordMoocPosts/)包含来自斯坦福大学11门公共在线课程的29604份匿名学习者论坛帖子, 该数据集的目的是作为测试处理论坛帖子的计算算法基础.

3.4 Futurelearn数据集

Futurelearn数据集[26](www.futurelearn.com)是提供免费学习的欧洲在线学习信息系统, 类似于美国Coursera平台, 现有超过800万名学习者. 通过Warwick大学提供的课程数据集涉及2013～2017年不同领域的课程.

3.5 其他数据集

由于课程推荐数据集并不是全部开源, 因此在实验中学者都是根据自身的情况进行爬取, 构建自身所需数据集. 文献[28]自主爬取了西南大学2016年12月至2018年6月数据, 包括488名学生和25226个文本特征, 详见表4.

表4 常用课程推荐的数据集

4 实验方法和评价指标

常用实验方法主要有用户调查以及离线和在线实验. 文献[5,32,48]采用离线和在线实验相结合完成; 文献[21,49]采用全部在线实验完成; 文献[50]采用用户反馈和在线实验相结合完成.

常用的推荐指标有: 准确率、召回率、非模型评价打分(F-score)、均方根绝对误差(RMSE)、归一化折损累积增益(NDCG)[51]. 文献[19]使用了命中率和NDCG; 文献[26]使用了准确率、召回率和F-score. 本文给出现阶段使用最多的RMSE、覆盖率、NDCG指标的具体计算公式. 文献[48]使用了曲线下面积(AUC)、精确率和召回率的调和平均值(F1)以及准确率.

(1)均方根绝对误差代表样本离散程度, 其计算公式为:

(2)覆盖率描述对课程长尾的发掘能力, 常用的是信息熵, 其计算公式为:

(3)归一化折损累积增益常用作排序结果评价, 其计算公式为:

5 结语

由于MOOC平台在我国起步较晚, 国内研究者将推荐系统引用于在线教育课程推荐领域滞后国外. 因此, 本文通过对推荐系统在课程推荐领域中课程建模、用户建模和推荐核心算法的综述, 提出了关于课程推荐领域需要进行的研究有: 改进课程的建模方式、提高用户的建模性能、与深度学习相结合以及与多模态信息结合. 目前课程推荐研究的不足主要集中在: (1)课程建模方式忽略了隐性反馈数据; (2)用户建模方式缺乏对用户的细粒度刻画; (3)传统推荐算法已不能满足当前大数据时代的课程推荐领域; (4)缺乏对课程多模态信息融合. 基于上述不足, 未来可以从以下4个方面展开研究:

(1)改进课程建模方式. 课程信息的静态特性容易获取, 但动态特性更能代表学习者对课程的喜好程度. 推荐系统在对课程进行推荐时容易出现推荐热门课程, 忽视长尾课程的现象, 但实际中学习者的需求正好是那些长尾课程. 因此, 在线教育平台提高发掘长尾课程的能力面临挑战.

(2)改进用户建模方式. 通常用户的显性信息容易获取, 但用户的隐性反馈数据更能构建丰富的用户画像. 例如将在线课程视频的时长、次数、快进和快退作为隐性反馈数据. 因此, 有效发掘学习者的隐性反馈数据, 将提高推荐系统的准确率.

(3)与深度学习相结合. 传统推荐算法已不能很好地适用当前大数据背景平台. 因此, 将深度学习引入课程推荐系统领域, 优化冷启动和数据稀疏问题值得研究. 传统的推荐模型通常简单、可解释性强, 但深度学习模型能挖掘深层次特征.

(4)与多模态信息结合. 将深度学习进一步发展, 不断推动多模态机器学习的进步[52]. 在MOOC平台中能够将课程的描述信息、图片信息、视频信息进行融合, 发掘融合信息的深度特征, 并将多模态技术融入课程推荐系统领域.

[1] 朱柳青. 基于深度学习的课程推荐与学习预测模型研究[D]. 杭州: 浙江工商大学, 2018.

[2] Bobadilla J, Ortega F, Hernando A, et al. A collaborative filtering approach to mitigate the new user cold start problem[J]. Knowledge-Based Systems, 2012, 26:225- 238.

[3] Patra B K, Launonen R, Ollikainen V, et al. A new similarity measure using Bhattacharyya coefficient for collaborative filtering in sparse data[J]. Knowledge- Based Systems, 2015, 82:163-177.

[4] 王绍卿, 李鑫鑫, 孙福振, 等. 个性化新闻推荐技术研究综述[J]. 计算机科学与探索, 2020, 14(1):18-29.

[5] Khribi M K, Jemni M, Nasraoui O. Automatic recommendations for E-learning personalization based on web usage mining techniques and information retrieval [C]//2008 Eighth IEEE International Conference on Advanced Learning Technologies, 2008:241-245.

[6] Wen M, Rosé C P. Identifying latent study habits by mining learner behavior patterns in massive open online courses[C]//Proceedings of the 23rd ACM International Conference on Information and Knowledge Management, 2014:1983-1986.

[7] Sengottuvelan P, Gopalakrishnan T, Lokesh Kumar R, et al. A recommendation system for personal learning environments based on learner clicks[J]. International Journal of Applied Engineering Research, 2015, 10: 15316-15321.

[8] Ghauth K I, Abdullah N A. Learning materials recommendation using good learners’ ratings and content- based filtering[J]. Educational Technology Research Development, 2010, 58(6):711-727.

[9] Aher S B, Lobo L. Mining association rule in classified data for course recommender system in e-learning[J]. International Journal of Computer Applications, 2012, 39(7):1-7.

[10] Chen C M, Lee H M, Chen Y H. Personalized e-learning system using item response theory[J]. Computers & Education, 2005, 44(3):237-255.

[11] Salehi M, Kamalabadi I N, Ghoushchi M B G. An effective recommendation framework for personal learning environments using a learner preference tree and a GA[J]. IEEE Transactions on Learning Technologies, 2013, 6(4):350-363.

[12] Salehi M, Pourzaferani M, Razavi S A. Hybrid attribute- based recommender system for learning material using genetic algorithm and a multidimensional information model[J]. Egyptian Informatics Journal, 2013, 14(1):67- 78.

[13] Salehi M, Kamalabadi I N, Ghoushchi M B G. Personalized recommendation of learning material using sequential pattern mining and attribute based collaborative filtering[J]. Education and Information Technologies, 2014, 19(4):713-735.

[14] Burke R. Hybrid recommender systems: Survey and experiments[J]. User Modeling and User-Adapted Inter- action, 2002, 12(4):331-370.

[15] Klašnja-Milićević A, Vesin B, Ivanović M, et al. E- learning personalization based on hybrid recommendation strategy and learning style identification[J]. Computers & Education, 2011, 56(3):885-899.

[16] Chen W, Niu Z, Zhao X, et al. A hybrid recommendation algorithm adapted in e-learning environments[J]. World Wide Web, 2014, 17(2):271-284.

[17] Okubo F, Yamashita T, Shimada A, et al. A neural network approach for students’ performance prediction [C]//Proceedings of the Seventh International Learning Analytics & Knowledge Conference, 2017:598-599.

[18] Zhou Y W, Huang C Q, Hu Q T, et al. Personalized learning full-path recommendation model based on LSTM neural networks[J]. Information Sciences, 2018, 444:135-152.

[19] 厉小军, 柳虹, 施寒潇, 等. 基于深度学习的课程推荐模型[J]. 浙江大学学报(工学版), 2019, 53(11):2139- 2145; 2162.

[20] Li X, Li X, Tang J T, et al. Improving deep item-based collaborative filtering with Bayesian personalized ranking for MOOC course recommendation[C]//Knowledge Science, Engineering and Management, 2020:247-258.

[21] Zhang H, Yang H, Huang T, et al. DBNCF: Personalized courses recommendation system based on DBN in MOOC environment[C]//2017 International Symposium on Educational Technology (ISET), 2017:106-108.

[22] Harrathi M, Touzani N, Braham R. Toward a personalized recommender system for learning activities in the context of MOOCs[C]//Intelligent Interactive Multimedia Systems and Services, 2017:575-583.

[23] Ange T, Roger N, Aude D, et al. Semi-supervised multimodal deep learning model for polarity detection in arguments[C]//2018 International Joint Conference on Neural Networks (IJCNN), 2018:1-8.

[24] Trirat P, Noree S, Yi M Y. IntelliMOOC: Intelligent online learning framework for MOOC platforms[C]// Proceedings of the 13th International Conference on Educational Data Mining (EDM 2020), 2020:682-685.

[25] Obeidat R, Duwairi R, Al-Aiad A. A collaborative recommendation system for online courses recommendations [C]//2019 International Conference on Deep Learning and Machine Learning in Emerging Applications (Deep-ML), 2019:49-54.

[26] Aljohani T, Cristea A I. Predicting learners’ demographics characteristics: Deep learning ensemble architecture for learners’ characteristics prediction in MOOCs[C]// Proceedings of the 2019 4th International Conference on Information and Education Innovations, 2019:23-27.

[27] Gong J B, Wang S, Wang J L, et al. Attentional graph convolutional networks for knowledge concept re- commendation in MOOCs in a heterogeneous view[C]// Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval, 2020:79-88.

[28] Liu J, Zhang H, Liu Z H. Research on online learning resource recommendation method based on wide & deep and elmo model[J]. Journal of Physics: Conference Series, 2020, 1437:012015.

[29] Dias A, Wives L K. Recommender system for learning objects based in the fusion of social signals, interests, and preferences of learner users in ubiquitous e-learning systems[J]. Personal and Ubiquitous Computing, 2019, 23(2):249-268.

[30] Labarthe H, Bouchet F, Bachelet R, et al. Does a peer recommender foster students’ engagement in MOOCs[J]. International Educational Data Mining Society, 2016, 13(1):418-423.

[31] Pang Y, Jin Y, Zhang Y, et al. Collaborative filtering recommendation for MOOC application[J]. Computer Applications in Engineering Education, 2017, 25(1):120- 128.

[32] 李杨. 机器学习排序模型在个性化推荐系统中的应用研究[D]. 北京: 北京邮电大学, 2018.

[33] Fu D, Liu Q T, Zhang S, et al. The undergraduate- oriented framework of MOOCs recommender system [C]//2015 International Symposium on Educational Technology (ISET), 2015:115-119.

[34] 闵建. 基于签到数据的餐厅推荐技术研究[D]. 杭州: 杭州电子科技大学, 2016.

[35] Qi L. A course recommender system of MOOC based on collaborative filtering algorithm with improved pearson correlation coefficient[D]. 武汉: 华中师范大学, 2019.

[36] 孟俊. 融合深度学习的课程推荐方法研究[D]. 南昌: 江西师范大学, 2019.

[37] 徐琳. 基于本体的旅游信息推荐[D]. 哈尔滨: 哈尔滨工程大学, 2016.

[38] Zhao X, Liu B Y. Application of personalized re- commendation technology in MOOC system[C]//2020 International Conference on Intelligent Transportation, Big Data & Smart City (ICITBS), 2020:720-723.

[39] Piao G Y, Breslin J G. Analyzing MOOC entries of professionals on LinkedIn for user modeling and personalized MOOC recommendations[C]//Proceedings of the 2016 Conference on User Modeling Adaptation and Personalization, 2016:291-292.

[40] Jannach D, Zanker M, Felfernig A, et al. Recommender Systems[M]. Cambridge: Cambridge University Press, 2009.

[41] Slimani H, Hamal O, El faddouli N E, et al. The hybrid recommendation of digital educational resources in a distance learning environment: The case of MOOC[C]// Proceedings of the 13th International Conference on Intelligent Systems: Theories and Applications, 2020:1-9.

[42] 童俊滔. 基于神经网络的歌词生成系统设计与实现[D]. 成都: 成都理工大学, 2018.

[43] Sultana J, Usha Rani M, Farquad M A H. Deep learning based recommender system using sentiment analysis to reform Indian education[C]//Advances in Computational and Bio-Engineering, 2020:143-150.

[44] Xu W, Zhou Y H. Course video recommendation with multimodal information in online learning platforms: A deep learning framework[J]. British Journal of Educational Technology, 2020, 51(5):1734-1747.

[45] Pan Y W, Mei T, Yao T, et al. Jointly modeling embedding and translation to bridge video and language [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016:4594-4602.

[46] Tamura K, Lu M, Konomi S, et al. Integrating multimodal learning analytics and inclusive learning support systems for people of all ages[C]//Cross-Cultural Design Culture and Society, 2019:469-481.

[47] Wang L Y, He Y F. Online Learning Engagement Assessment Based on Multimodal Behavioral Data[J]. Transactions on Edutainment, 2020, XVI:256-265.

[48] Jain H, Anika. Applying data mining techniques for generating MOOCs recommendations on the basis of learners online activity[C]//2018 IEEE 6th International Conference on MOOCs: Innovation and Technology in Education, 2018:6-13.

[49] Rabahallah K, Mahdaoui L, Azouaou F. MOOCs recommender system using ontology and memory-based collaborative filtering[C]//Proceedings of the 20th Inter- national Conference on Enterprise Information Systems, 2018:635-641.

[50] Zaiane O R. Building a recommender agent for e-learning systems[C]//International Conference on Computers in Education, 2002:55-59.

[51] 刘乔. 基于时间加权与评分预测的协同过滤推荐算法研究[D]. 贵阳: 贵州师范大学, 2016.

[52] 刘建伟, 丁熙浩, 罗雄麟. 多模态深度学习综述[J]. 计算机应用研究, 2020, 37(6):1601-1614.

Course recommendation for MOOC platform: A review

REN Xinwei, JIANG Xianliang*

( Faculty of Electrical Engineering and Computer Science, Ningbo University, Ningbo 315211, China )

With the rapid development of internet technology and online learning, a number of online education platforms have emerged across China. However, these online education platforms cannot share information with each other, which leads to redundancy and overload of curriculum information and difficulties for users to choose. This article reviews the research progress of course recommendation in recent years. First, the related concepts in course recommendation are introduced and the system framework is given. Then the three aspects of course modelling is discussed, including user modelling, and the core algorithm of the recommendation system, etc. Five types of algorithm are presented: the first three categories are content recommendation, collaborative filtering and hybrid recommendation; while the rest two are deep learning recommendation and multi-modal fusion recommendation, and the data set. In the end, the experimental methods and evaluation indicators are summarized, and the personalized course recommendation technology has also been projected.

deep learning; recommendation system; course recommendation; course modeling; user modeling

TP391.3; G423

A

1001-5132（2022）01-0048-09

2021−02−02.

宁波大学学报（理工版）网址: http://journallg.nbu.edu.cn/

浙江省高等教育教学改革研究项目（JG20180070）; 宁波大学教学研究项目（JYXMXZD2021024, JYXMXZD202019）.

任鑫伟（1993－）, 男, 陕西宝鸡人, 在读硕士研究生, 主要研究方向: 推荐系统. E-mail: akon_ren@163.com

江先亮（1986－）, 男, 安徽黄山人, 博士/讲师, 主要研究方向: 智能网络系统及智慧教育. E-mail: jiangxianliang@nbu.edu.cn

（责任编辑 史小丽）