一种学习路径规划的模型及方法

陈霞，罗晨希，张立波，阚成章，罗铁坚

1. 国家新闻出版广电总局信息中心，北京 100053

2. 中国科学院软件所，北京 100190

3. 中国科学院大学，北京 100049

引言

人类的学习过程，主要有两种比较典型学习途径：专家、教师的预设课程和以问题为导向的自主学习。预设课程依靠专家经验，难以对整个知识体系清晰掌握，也无法随时洞察最新的知识发展；大部分自主学习者由于经验有限，缺乏对整个知识体系的了解，因此在寻找知识资源的过程中，往往不能在短时间内找到循序渐进的学习路径。国内外学者普遍认为，建立知识网络和优化学习路径的任务可以通过对人类产生的大规模知识库进行语义分析和知识表示，利用具有优化学习路径功能的智能导学系统，从而提高人类学习效率和效果。人工智能技术不断发展，在海量数据中找到知识点之间的规律，并最优化地匹配给学习者，成为可能。

在现实生活中，根据当前位置来寻找去往目的地的路径，可以通过全球定位系统轻松实现。在物理空间中，GPS 技术能够帮助人类精确地进行位置感知和路径寻找，在信息空间和知识空间中，是否能够建立类似的技术，用以帮助学习者在知识的海洋中找到准确的航向呢？近些年中，人工智能的飞速发展带动了知识空间的研究，从词汇关系图和语义相关性到对知识本体、语义网以及信息分类的相关研究成为热点[1]。基于这些研究，能够解决学习者在知识空间中的学习路径规划问题。人类所进行的学习、工作和娱乐等活动，都可以视为在信息和知识空间的节点中的游走过程。人类知识总量不断增加，信息量迅速膨胀的，单单依靠个体无法对知识的某一个领域做到精确把握，传统教育中的决策问题大多由经验丰富的人类教育者决定，缺乏普适性和客观性。另一方面，由于学习者个人经验和学习能力的区别，一种学习模式无法做到因人而异。因此在构建知识网络的基础上，利用人工智能相关技术形成个性化的学习路径，对提高学习效率和制定学习策略意义重大。

传统知识的载体主要依靠各类纸质或电子书籍、材料，它们在学术性和权威性上得到了保证，但是由于知识更新周期缓慢，具有很大的局限性。互联网及其相关技术的发展加速了人类对知识传递、存储、处理和展示等一系列研究进程，例如知识图谱、语义网等。知识图谱和语义网在特定的知识领域取得了广泛的应用，为解决自然语言处理的各类问题提供了理论依据，例如在语义相关性、机器翻译、问答系统等方面有了很大突破。但是，现有的知识图谱和语义网都是依靠大量人类专家编撰形成，只在一些小的领域形成了系统数据库，目前无法迁移到所有知识领域。全人类智慧形成的知识库具有更新速度快、参与人数多、覆盖范围广等显著优点，为自动化地生成适应每位学习者的学习路径提供了可能。在本文的研究中，我们选择了具有代表性的知识库百科全书。百科全书是目前人类形成的最大的知识载体，其中，影响最大的是大英百科全书和维基百科全书，大英百科全书始于 1768 年，目前经历了 15 个版本，包含约 10 万词条，全部由专家梳理和编撰而成。相比大英百科，维基百科在保证了同等正确率的同时，具有涉及范围广、参与人数多和更新速度快的优势，从 2001 年发展至今，已经包含约 500 万词条。

在构建知识网络的基础上，我们主要通过解决 3个问题来完成学习路径的优化：(1) 建立知识中概念的网路拓扑结构。知识单元之间不是相互孤立的，不同概念之间存在着千丝万缕的联系，这些联系映射到网络中，就是两个概念之间存在的通路关系，如何准确度量和刻画它们的网络关系，是后续工作的重要基础；(2) 结合学习者的知识状态生成一个自适应的学习计划，即概念序列。回归到学习者的日常学习中，学习形式总是以知识点或概念的先后顺序进行排列的，因此能够很好地用一个概念序列进行抽象表示学习进程。自适应地生成学习序列，是考虑到每个学习者的知识状态和学习效率不同，无法找到一个普适的学习路径。只有在对学习者的初始知识状态和学习能力的准确评估基础上，才能因地制宜地为每个学习者制定出一套符合其自身需要和高效的学习计划。(3) 我们考虑到在学习时存在的间隔效应，这是指学习者在进行某个知识点的学习之后，如果不及时复习或没有与其相关的知识点的影响，对这个知识点理解和记忆会随着时间的增长衰减，最终完全遗忘。在本文设计的学习序列中，对每个概念的重要性和复习周期进行评估，并基于评估结果，在学习新知识的同时，穿插地重新复习一些概念。

1 相关工作

随着信息时代知识总量的不断增加，传统的课堂教育已经难以满足学习者的教育需求，自 2012 年以来，大规模在线课程 (MOOCs) 推出，反映了人们对教育方式变革的需求和动力。伴随而来的，是能够为学习者提供定制、有效和创新的学习工具。在这些工具中，为了获得学习实践的最佳效果，需要对学习者的初始状态和目标状态进行评估，并考虑如何使记忆更持久，即使得遗忘最小化。Novikoff 等人提出了一套人类知识学习模型，用于学习时间表的规划[2]，但是提出的方法认为知识一旦学习后就会产生终身记忆，不会被遗忘，并且在提出的方法中，将知识通过独立的单元来表示，然而在现实情况中必须考虑这些知识单元的相关性。在知识网络中使用网络模型进行分析处理可以追溯到 20 世纪 60 年代，Collins 等人提出一种连续记忆模型，通过概念图来表示学习的内容[3-4]。近些年，复杂的网络方法已经被广泛使用，例如，利用复杂网络对语义进行更深层次的理解和表达[5-6]，并且能够对网络的成长机制进行建模[7]。随后，人类认知过程的动力学模型在网络理论的框架内得到解决。通过复杂网络能够对词语在图形上的语义相似性关系进行提取[8]，并结合类似 PageRank 算法进行预测分析[9]。Baronchelli 等人对复杂网络的相关研究进行了一个全面的概述和总结，这对后续的知识网络和语言学的发展提供了很大帮助。

在本文的研究中，我们的首要任务是对学习者的初始知识状态进行评估，通过刻画初始状态和后续知识之间的关系网络，评估在复杂网络中，知识点之间的相互影响关系。我们认为在不同部分知识之间存在着强弱不同的链接关系，这些链接可以表示增强或阻碍信息的获取和保留，从而决定学习效率。我们设计了一种生成学习路径的算法，这里的路径被定义为对网络节点访问的有序集合，即能够为学习者提供概念在学习时先后顺序的有序序列。在整个过程中，我们充分考虑在引入的新概念和已掌握概念集合之间的相互影响，同时也考虑学习过程中，掌握的知识随着时间的衰减特性。我们的工作建立在认知科学的一些研究结果基础之上[2]，Ebbinghause 等人介绍了人类记忆中的间隔效应[10]，研究发现，随着时间推移，逐步进行知识单元学习要比短时间内集中学习更使人记忆持久，其中交叉学习单元之间的间隔可以是空的，也可以穿插其他的学习项。一些学者对学习心理机制进行了总结，并给出了有关间隔效应的相关实验证据[11-12]，另外研究已经证明，间隔一段时间对已经掌握的内容进行复习能够增强记忆，并且对于不同的学习内容，它们所需的复习间隔是不同的[13-14]。

在前人的工作基础上，我们提出的学习路径优化算法考虑了对不同的概念给出不同的复习间隔评估，并对概念之间的相互作用作了计算。研究发现，基础的知识网路拓扑结构能够为具体学习路径的制定提供重要的参考，并且概念节点之间的语义相关性对学习者的记忆能够产生强化作用。通过平衡新概念的引入和旧概念的复习，本文提出了一种基于维基百科知识网络的学习路径优化算法，通过对学习者的测试，验证了算法的有效性。

2 学习路径和知识网络建模

2.1 学习过程模型

人类的学习过程可以视为知识状态从初始概念集合 Kbegin向目标概念集合 Klearn不断扩充的结果，其中Kbegin、Klearn组成总的学习知识集合 K。知识中最小的组成单元是概念[15]，因此，我们可以将需要学习的知识视为概念组成的相互连接的节点，而学习路径是学习者对这些概念节点不断访问构成的序列，每一次将有一个新的概念或者已经掌握的概念进入序列。通过将初始概念集合 Kbegin和目标概念集合 Klearn映射到维基百科概念之间的链接构成的网络，能够得到概念之间的连接关系。概念之间的关系有很多种评估方法，例如页面的链入度、链出度、余弦相似度等，在这里，我们使用概念之间的跳转路径长度作为衡量标准。

在维基百科构成的知识网络中，两个概念之间(例如概念 A 和概念 B) 之间的路径，从 A 向 B 跳转的次数，和从 B 向 A 跳转的次数并不一致，因此我们根据正向距离LF和反向距离LB的平局值L来度量待研究的概念ci之间的关系。

基于之前的研究，我们得到两个重要结论：一是在维基百科概念构成的网络中，概念之间具有普遍连通性，即在维基百科中任意选择一个起点概念和终点概念，总能找到一条路径使它们连结；二是维基百科网络中存在最小世界现象，即每两个概念之间的跳转形成的通路不大于 7，进一步地，我们得到了一个平均路径长度为 3.84[16]。在此基础上，我们限定距离概念节点ci路径长度平局值L≤4 的节点形成邻居集合为Ni。学习过程的每一次迭代，都产生概念进入原有序列，如何选择加入序列的概念是优化学习路径的关键。

为了解决这个问题，我们引入知识强度Si(t)，通过知识强度来辅助概念的选择，它代表了在当前学习者已经掌握的概念集合状态下，序列中出现的下一个概念对学习者的障碍程度。在实际的学习过程中，学习者不断学习新的概念构成的知识，但这些知识中难免涉及到已经掌握的概念；另外，人类的大脑拥有遗忘机制，会随着时间的推移忘记和弱化已经掌握的概念。因此我们在生成概念学习序列时，主要考虑四个因素：(1) 序列中同一概念ci前后两次出现的时间间隔ti；(2) 在序列中两个全新概念的时间间隔tnew；(3) 概念节点重要程度 imp(c)；(4) 知识强度Si(t)。通过考虑这四个因素，我们提出了一种学习路径优化算法，来确定概念条目形成的学习序列。

首先，在将要学习的概念集合中，应当选择更重要和更基础的概念进行优先学习，我们通过重要程度imp(c) 来刻画，它是反映概念c重要程度的无量纲的参量。我们根据图论引入概念c的链出数 hout(c) 和链入数 hin (c) 两个参量，分别定义为有向概念拓扑图中c对应的顶点的出度和入度，其实际意义分别为指向概念c和从概念c指出的超链接数。一个概念节点页面在网络中具有更大的链接数，表明它与更多概念有着紧密联系，而链入数越大说明概念越广阔，链出数对概念重要性的贡献则次之。由于从知识网络上纳入待研究集合的都是有效的概念，故而排除了无意义词条的干扰。我们给出概念节点c重要程度的计算公式：

Si(t) 是概念条目ci关于时间t的知识强度函数，具体组成如下：

它由三个部分组成：

(1)kistart是起始知识强度，代表了插入概念时，学习者已掌握的概念集合与插入概念的相关程度，当引入概念ci时，它便获得起始知识值ki0，这个值取决于其邻域已知概念数量的多少，代表了已有知识背景对学习新词条的帮助程度。kistart的计算公式如下：

其中，int[]为取整函数，nni intro为Ni中已被学习的概念节点数目，snni为Ni中已被学习的概念节点的净增知识强度：

即我们认为两个概念之间的正向距离 LF 和反向距离 LB 的平均值更能够准确刻画它们之间的关系。

(2)ki(t) 是概念条目ci被学习以来的累积重复记忆次数，也即在每次概念条目ci不遗忘地被重复时，其知识强度加 1。

(3)kiinter(t) 是所学习新条目时对其相关条目的反馈增益分量，即当每次概念条目ci不遗忘地被重复时，其引入的邻居集合Ni中的节点将得到知识加强。我们首先定义词条ci的学习对其邻居集合Ni知识强度的整体增量参数α，其值应当小于词条ci自身的知识强度增量，即α＜1。在本文所有的模拟情况中α= 0.5。进一步，我们根据邻居集合Ni中各节点的权值wij来计算各节点ci的知识强度增量kj inter。在本文的算法中，我们令：

设定初始情况为：

初始概念集kbegin中每个节点Si(0) =1；

目标概念集klearn中每个节点Si(0) =0。

2.2 学习路径中的拓扑结构

在具体的学习序列生成过程中，我们首先将知识集合K中的概念映射维基百科知识网络中，如图 1 (a)所示，展示了维基网络中概念构成的网络结构，其中红色的点是知识集合 K 中的概念，即 A～H，而黑色的点代表不在 K 集合中的概念。从图中可以看出，维基网络中概念页面之间的超链接网络作为有向图，两点间双向路径是不同的，例如，从 A 到 C 需要 2步，而从 C 到 A 只需要 1 步。随后，去除不在 K 集合中的概念，并计算出 K 集合中概念之间边的权重关系，如图 1 (b) 所示为节点i邻域内学习中涉及的概念知识网络局部，图中各概念节点间已标明了由路径长度平均值计算出的边的权重。之后，依据我们的限定条件，即选择四步之内的点为根据本文算法选择出的 i 的邻居集合Ni局部拓扑图，如图 1 (c) 所示，即去除 G 点。在得到概念的拓扑结构之后，我们开始进行序列中的概念插入。假设学习者的初始知识状态kbegin={A, B, C, E, F, H}，目标学习知识klearn={D}，如图1 (d) 所示，红色表示在原有知识状态中新插入的概念 D，在它周围是学习者已经掌握的概念集合 A，B，C，E，F，H，其中蓝色表示与 D 关系紧密的概念即 A，B，C，E，灰色表示关系疏远的概念即 F，H。图中说明的是由于概念之间的相关性，在学习新的概念时，已经掌握的概念集合有一定的基础意义，会对新概念的学习产生促进作用，如图中红线所示；同时，掌握新概念之后，对其他已掌握概念会有巩固作用。

图1 概念网络拓扑图. (a) 维基百科中的概念网络. (b) 目标学习集合在维基百科网络中的映射. (c) 新插入概念与原有知识状态集合的作用. (d) 掌握新概念后对已掌握概念的作用Fig. 1 Topology for concepts network

2.3 学习遗忘刻画

在学习过程中，随着时间的增加，人会出现遗忘现象，因此，需要对遗忘机制进行刻画和建模，如图2 所示。我们将每个概念的学习都分为两个阶段：准备复习阶段和遗忘阶段。其中，准备复习阶段是概念学习之后，在被遗忘之前，能够随时进行巩固复习的阶段；遗忘阶段是概念已经被彻底被遗忘，只能重新进行学习的阶段。当某个概念出现在序列中进行学习后，就立即进入准备复习阶段，随着时间的增加，这个概念需要复习的概率逐渐趋近于 1，超过阈值将会产生遗忘。因此，在序列生成过程中，必须在概念到达遗忘阶段前，进行一次复习。

我们定义Kbegin(t) 为已学习节点的集合，Klearn(t)为待学习节点的集合，它们所包含的概念元素将随时间t的推移状态不断更新。在每个离散时间点t，对于在调度中已经引入概念中的概念节点ci，估计其距离其上次出现的时间间隔 Δit= (t-ti)，其中ti是概念ci最后一次被引入序列的时间。Δit越大，代表特定概念前后出现的时间间隔越大，则概念节点ci越可能被遗忘。根据认知心理学研究成果，记忆持续时间mSi(t)与知识强度有近似指数关系：

我们近似地将人类对知识点的记忆时间作为准备复习阶段和遗忘阶段的临界点，如果 Δit＞mSi，则认为学习者已经遗忘这个概念，需要将其重新放入待学习集合Klearn中，并且其知识强度Si被重置为零。如果Δit≤mSi，则该概念未被遗忘，继续处于待复习状态。

人类会产生遗忘，因此要对已经学过的内容进行复习，但是同时必须考虑是否所有的概念都需要进行复习。我们需要评估概念ci的复习价值，用V i rep(t) 表示 t 时刻概念节点ci复习价值的评分公式，这是样做有两点原因：(1) 人类的知识是不断发展和变化的，每一个概念的外延和内涵都会随着人类对世界更多的探索而产生变化，伴随着的是这个概念的重要性随着时间不断产生的变化。因此，时间一定时不同概念在知识网络中的重要性程度会有区别，并且同一概念在不同时间时重要性程度也会有不同。例如，有些已经过时和陈旧的知识没有反复复习的价值。(2) 在人类的学习过程中，有一些知识为了是为了对真正学习的内容进行铺垫和引入，这些内容往往过于简单，在复习中应当舍去。另外每个概念的记忆持续时间都是不同的，这就意味着每个概念都有不同的复习临界点。为了充分利用认知心理学记忆机制中的滞后效应，需要使复习尽量发生在接近临界点mSi(t)的时刻。我们定义ψSi(Δit) 为概念 i 的复习函数，它是 Δit的单调非递减函数，且与mSi(t)和Si(t) 相关，来度量在时间 t重复引入节点ci的紧迫性，紧迫性是指该概念容易遗忘，应该具有更短的复习周期和更高的复习优先级。对任意学习项ci，其定义式为：

图2 学习遗忘规律刻画Fig. 2 Illustrations for forgeting mechanism in learning

在这个定义中，我们引入LC作为唯一的自由参数，它与学习者自身的特点有关并修正函数斜率，即LC代表了学习者的学习方式和学习效率。在本文的讨论中，不失一般性地我们设LC= 23。

另外，在序列中插入的是新概念而不是重复引入概念的可能性，取决于距离上一次引入新概念经过的时间间隔。前文定义过，tnew是上一次引入一个全新学习项的时刻，引入一个新概念时，若是存储在遗忘队列中的最旧的概念被重新引入，则不更新tnew；如果遗忘队列为空，则将新的节点引入学习计划表，并且更新tnew。我们用ωnew(t) 来度量在序列中引入新概念的可能性：

在此基础上，从当前序列最后一个概念e的邻居集合中尚未引入的概念条目进行选择。此处考虑到在学习后期，前文定义四步之内的集合可能已被完全覆盖，故可将范围进一步扩充，直到出现e的第k级邻接点未被学习。此时定义e的学习邻居集Nek-th，其中有待学习的概念节点数为nek-th。

基于前文给出的概念节点重要程度 imp(c)，我们给出 i 的学习邻居集Nek-th中的归一化学习评价权重Pei，ci为Nek-th中的概念节点。

基于在以上讨论，我们给出归一化评分公式：

我们选择t时刻引入的概念ci，使得V ci(t) 最大，或逐步生成学习序列。

3 实验过程和效果评价

为了验证提出模型及方法的有效性，我们设计了三种实验对提出的学习路径优化方法进行评估，评估主要考虑三个方面：全面性、一致性和准确性。其中，全面性测试为了考察形成的学习路径能否对所需学习的知识内容进行较为全面的覆盖，尽量减少知识点的遗漏；一致性测试是通过优化后的学习路径与专家路径进行对比，观察是能够尽量贴合人类专家设计的学习方式；准确性测试是通过几种不同的学习方式，最后对学习效果进行评估，观察学习者的最终学习效果。

3.1 全面性测试

在全面性测试中使用的数据集是 ACM 课程指导大纲，ACM 与 IEEE 针对计算机相关课程，从 1968年开始发布课程指导大纲，至今已经发布了 13 个版本，共涵盖计算机科学、信息系统、计算机工程、信息技术和软件工程五个学科，如表 1 所示，我们选择每个学科的最新版本作为数据集。每个学科的指导大纲都由一些知识单元组成，在知识单元中，又包含了需要学习的核心概念数量，例如，计算机学科中包含了 84 个知识单元，其中核心概念为 1124 个。

通过模型方法对五个计算机学科的学习路径进行推荐，将生成的概念序列与原始知识单元和核心概念进行比对，结果显示优化后的学习路径能够覆盖100% 知识单元的内容，并且都能够获得 85% 以上的概念覆盖率，这表明提出的算法能够涵盖所需要学习的知识集合中大部分核心内容。

3.2 一致性测试

在一致性测试测试中，我们选择了在高校中被普遍被使用的 C 语言教科书《Programming C》作为数据集。我们从中选择了 3 个知识单元，即数组、指针和循环语句。对于每个知识单元，我们人工地抽取出较为核心的概念，例如我们在教科书关于数组一节中抽取出 31 个需要学习的核心概念，随后我们请计算机专家对所需学习的核心概念进行一个排序，我们称之为专家排序，专家排序代表了在这个知识单元中较为合理和准确的学习路径。

我们通过三种方式来生成学习路径的概念序列：(1) 随机学习，对所需学习的概念集合随机地生成一个学习序列；(2) 顺序学习，通过概念在原教科书中出现的先后顺序生成学习序列；(3) 通过本文算法，评估概念在知识网络中的基础程度和重要性程度，并结合已掌握知识状态和新引入概念的网络关系生成学习路径。对于三种不同方式生成的学习路径，我们使用三种评价指标，即 MAP (Mean Average Precision)[17]、NDCG (Normalized Discounted Cumulative Gain)[18]和MRR (Mean Reciprocal Rank)[19]进行评估，评估得分在 0～1 之间，越趋近于 1 表明与专家路径的误差越小。评估结果如表 2 所示，本文算法最高能够达到0.94，在与专家建议的学习路径符合程度上明显高于随机学习和顺序学习。

3.3 准确性测试

在准确性测试中，我们将 20 个未接触过 C 语言课程的本科生分为 4 组，每组 5 人，分别学习数组、指针和循环语句这 3 个知识单元的内容：第一组采用随机学习的方式，从所需学习的概念集合中随机地选择概念进行学习；第二组采用顺序学习的方式，按照教课书中概念出现的先后顺序进行学习；第三组采用本文提出的方法进行学习，不考虑概念的复习因素；第四组仍然使用本文提出的学习方法，并结合每个概念的重要性程度和复习周期进行复习。通过以上四种方式进行学习后，在整个学习周期结束后进行一次试题测试，试题涵盖这 3 个知识单元中所有概念内容。如表 3 所示为通过不同学习方式得到的最后测试的平均得分，从结果可以发现，本文算法相比按照教科书中概念出现的先后进行顺序学习，得到了更好的学习效果，另外，考虑复习策略能够得到更高的得分，这也验证了知识具有遗忘性，进行间隔性地复习能够巩固和提高学习效果。

表1 生成学习路径与目标学习集合的全面性测试Table 1 The comprehensive test with comparing generated learning path and expected outcomes

表2 生成学习路径与专家路径的一致性测试Table 2 Consistence test with generated learning path and human experts' suggestion

表3 通过四种不同方式学习的学习效果比较Table 3 Learning outcomes comparing by four different learning style

4 结论

本文利用维基网络中概念的链接关系，建立了知识网络中节点的相互作用，结合新概念与学习者当前状态集合的节点关系，提出了一种学习路径的优化模型及方法。提出的方法考虑了学习者随着时间产生的遗忘机制，并对每个概念重要性进行评估后给出不同的复习周期。在测试中，优化后的学习路径能够覆盖超过 85% 的知识点，生成的概念序列与专家序列的吻合度最高达到 96.3%，学习者通过优化后的学习路径进行学习，取得了良好的学习效果。

[1]张立波, 张飞, 罗铁坚. 计算机科学知识体系演化与评估方法[J]. 中国科学院大学学报, 2016, 33(6): 844-850.

[2]Novikoff T P, Kleinberg J M, Strogatz S H. Education of a model student[J]. Proceedings of the National Academy of Sciences of the United States of America, 2012, 109(6):1868.

[3]Collins A M, Quillian M R. Facilitating retrieval from semantic memory: The effect of repeating part of an inference [J]. Acta Psychologica, 1970, 33(368): 304-314.

[4]Collins A M, Loftus E F. A Spreading-Activation Theory of Semantic Processing[J]. Psychological Review, 1988,82(6): 126-136.

[5]PIETRO GRAVINO, VITO D. P. SERVEDIO, ALAIN BARRAT, et al. COMPLEX STRUCTURES AND SEMANTICS IN FREE WORD ASSOCIATION[J].Advances in Complex Systems, 2012, 15(03n04):1250054-1-1250054-22.

[6]Cancho R F I, Solé R V. The small world of human language[J]. Proceedings Biological Sciences, 2001,268(1482):2261.

[7]Swadesh M. The large-scale structure of semantic networks: statistical analyses and a model for semantic growth[J]. Cognitive Science, 2005, 29(1):41.

[8]Borge-Holthoefer J, Javier Borge@urv Cat.Navigating word association norms to extract semantic information[J]. Chinese Journal of Chemistry, 2009,28(2): 269-272.

[9]Griffiths T L, Steyvers M, Firl A. Google and the mind:Predicting fluency with PageRank[J]. Psychological Science, 2007, 18(12): 1069-1076.

[10]Ebbinghaus H. Memory: a contribution to experimental psychology[J]. Annals of neurosciences, 2013, 20(4): 155-156.

[11]Principles of learning and memory[M]. Birkhäuser, 2012.

[12]Hintzman D L. Theoretical implications of the spacing effect[J]. 1974.

[13]Bahrick H P, Hall L K. The importance of retrieval failures to long-term retention: A metacognitive explanation of the spacing effect[J]. Journal of Memory and Language, 2005,52(4): 566-577.

[14]Cepeda N J, Pashler H, Vul E, et al. Distributed practice in verbal recall tasks: A review and quantitative synthesis[J].Psychological bulletin, 2006, 132(3): 354.

[15]Luo T, Zhang L, Yang L, et al. TACE: A Toolkit for Analyzing Concept Evolution in Computing Curricula[C]//The, International Conference on Software Engineering and Knowledge Engineering, SEKE. 2016.

[16]张立波, 孙一涵, 罗铁坚. 一种基于大规模知识库的语义相似性计算方法 [J]. 计算机研究与发展, 2018.

[17]Liu L, Özsu M T. Mean Average Precision[M]. Springer US, 2009.

[18]Busa-Fekete R, Szarvas G, Éltetho T, et al. An appleto-apple comparison of Learning-to-rank algorithms in terms of Normalized Discounted Cumulative Gain[C]//ECAI-12 Workshop, Preference Learning: Problems and Applications in AI. 2012.

[19]Craswell N. Mean Reciprocal Rank[M]. Springer US,2009.

[20]杨林, 张立波, 罗铁坚, 万启阳, 武延军. 一种基于链接和语义关联的知识图示化方法 [J]. 计算机研究与发展,2017 Vol. 54 (8): 1655-1664.

[21]张立波. 知识网络学习路径图的优化, 中国科学院大学博士论文, 2017 年.