基于协同标注的个性化电子学习推荐系统

王 丹，田广强

(黄河交通学院 智能工程学院，河南 焦作 454950)

0 引 言

协同标注作为Web 2.0的一部分，是对动态内容[1]进行分类的重要工具。基于用户对在线学习体验的要求逐步提高的趋势，我们研究了协同标注技术在学习资源推荐系统中的应用。协同标注过程创建一组标注，通常称为大众分类法，用于描述资源[2]。为了定义相关性，大众分类法可以通过标注过程向资源添加语义，其特点是不需要单独的手动索引器或自动的关键字生成器[3]的支持。标注过程允许用户使用自己的重要词汇或概念。在网络学习环境中，标注已被证明是一种成功的元认知策略，它能使学生更有效地参与到学习过程中。标注通过强调课文中最重要的部分，使学生可以更好地记住它。此外，标注活动可以激发学生更深入地参与到学习过程中，并帮助他们理解学习内容[4]。

随着越来越多的用户开始使用标注来提高学习的效果，基于标注分析的方法也逐渐应用于对推荐系统的改进中[5]。本文以一个智能编程辅导系统(E-course)为基础，讨论了如何将推荐系统和协同标注相结合用于教学过程的问题。本文的研究重点是如何选择合适的协同标注技术，以激发学生的学习动机和增强对学习内容的理解。我们将基于标注的推荐方法应用到E-course系统中，用来给学生提供最合适的学习资料。实验结果表明，本系统的个性化推荐结果与学生的兴趣和先前获得的知识相一致，同时还能简化学生之间的协作和交互。

在我们的这个推荐系统中，开发、使用并评估了最适合的基于张量因子分解技术的推荐模型，为学生推荐最合适的学习资源，实现了基于学习风格模型的聚类技术，减小了用于推荐的标注空间。改进的协同标注技术缩短了推荐执行时间，减少内存需求，同时提高推荐质量。

我们使用提出的方法进行了几个实验，从而验证，可以通过系统生成的推荐意见，增强学生的学习动机和效果；同时，我们也从教师和学生的角度，对系统的性能进行了评估；此外，我们还研究了协同标注的过程，以及标注的位置与其表达的相关性；最后，我们对标注进行了语义分析，以便更好地理解它们的不同用法。

1 网络学习环境下的基于标注的推荐系统

根据传统，电子学习系统应当为学生提供具有个性化的学习指导，帮助学生找到合适的学习材料，并适应学生的需求、知识、才能和学习风格。目前电子学习系统的主要局限性是[6]：需要根据各自的领域开发特定的和不同类型的应用系统，系统不可能把每个学生在每门课程学习中的具体需要都涵盖其中。因此，研发为学习提供动态支持的应用系统，通过为学生推荐合适的学习活动，以实现学生的学习目标，是十分必要和可取的。此外，该系统还具有在互联网上发现适用的学习内容的能力，并能够将这些内容针对学生的学习特点进行调整、定制和个性化。

本文中我们将考查、整合基于标注的电子学习系统新的框架。新的电子学习框架主要体现在能够识别每个学生的学习特点，以及根据最合适的标注和学习项目为学生提供相应的个性化学习指导[7]。标注对学生的重要作用表现在以下几方面[8-10]：

(1)标注作为一种元认知策略，能够吸引学生参与到学习过程中来。

(2)对于教师来说，标注传递的信息对于了解学生的学习活动具有重要意义。

(3)标注有助于学生总结学习活动，同时通过查看其他学生的标注获得有效的帮助。

(4)通过协同标注，可以了解学生的学习进度。在个人层面，有助于分析学生对学习材料的理解；在群体层面，有助于确定课程的整体进度。

(5)电子学习系统目前缺乏对教材[8]进行注释的有效支持。然而，学生可以通过标注参与许多注释活动，如记笔记、突出显示文本或标注页面。标注允许学生添加评论、更正、链接或加入讨论。

本文中，我们提出了基于张量因数分解(RTF)的排名方法，以提供基于标注的推荐，并重点介绍了它们在电子学习环境中的应用。选择这个模型是因为它在本文第2节的比较研究中表现最好。本文中使用的其它方法的详细信息见文献[11-15]。

我们通过实验分析了RTF方法在电子学习环境中应用标注推荐的适用性，并比较了基于图和张量的标注推荐方法在电子学习环境中的适用性。正如将在第2节中介绍的那样，所选技术的优点是缩短了执行时间并减少了内存需求，同时保证了推荐质量。

1.1 E-course编程辅导系统的个性化推荐

本项目开发了一个名为E-course的编程辅导系统。E-course允许学生在相应的课程中学习个性化推荐的学习材料，并对学到的知识进行测试。系统包含的典型课程之一是《Java编程入门》。选择Java是因为它是面向对象程序设计语言的一个典型，非常适合于面向对象概念的教学。本课程是为没有面向对象编程经验的学生而设计的。E-course系统的架构如图1所示，包含了5个实用组件：学习模型、会话监控、领域模块、应用模块和适配模块。

图1 E-course系统架构

学习模型用来收集学生有用的信息。学习模型的数据根据共享的质量和特征[16]分为3类：

个人信息——学生在注册时提供的信息。如个人信息、学习偏好、以前的知识等。学生可以在系统注册时编辑这些信息。

活动信息——系统对学生的学习活动进行监控和记录的信息。如学生的学习风格、学习进度和当前知识水平、学生的疑惑和整体表现。

学习历史信息——学生学习的课程和测试结果、学生与系统的互动信息、对课程学习效果的评估信息等。这些信息可以自动从E-course系统中导出。

为了跟踪学生的学习活动和进度，会话监控模块在会话期间可以自动对学习模型进行更新。会话监控模块同时负责检测和纠正学生的错误，并对会话进行相应地重定向。

领域模块包含所学课程的概念和对象、教材和测试的结果等，所含内容的结构由相应的课程定义。E-course中的Java编程课程分为6个单元，每个单元包含几个讲座。每堂课(共18堂)包含几个学习对象(LoS)：教材、示例、理论部分和关键概念。为了检查学习的效果，系统提供了测试单元。

应用模块是E-course系统的重要组成部分，其设计目的是使学习内容适应学生的个性。它支持不同的推荐技术和策略，旨在通过学习模型，推荐学习资源或提供特定的导航模式。

适配模块基于推荐系统生成个性化的学习建议。它由3个组件组成，如图2所示。

图2 E-course系统的适配模块(推荐组件)

(1)学生和系统的交互模块。收集和准备学习活动的数据，如访问的页面、获得的分数、测试的结果等。

(2)离线模块。应用学习模型和数据分析策略来识别学生的学生目标和学习内容。该模块首先需要根据最初的问卷确定每个学生的学习风格。学习内容可以根据学习风格、课程现状和学生的所属关系进行筛选。

(3)推荐引擎。为学生群体创建一个推荐列表。即使对于学习兴趣相似的学生，他们的学习能力也会因其知识水平的不同而不同，因此有必要首先对学生进行聚类。我们提出了一种基于学生学习风格的数据聚类方法，然后根据以下步骤创建推荐列表：

收集学生的学习标注。

通过AprioriAll算法挖掘频繁序列，识别学习模式。我们使用E-course系统提供的协同过滤方法，根据频繁序列的评分生成学习资料的个性化推荐列表。

1.2 基于标注的个性化推荐

E-course系统的推荐组件可生成用于推荐的最佳标注列表。我们通过实验将生成的标注列表与系统以前版本的列表进行比较。通过对基于标注的推荐技术的比较，我们选用了下面的RTF(张量因数分解)技术来实现基于标注的个性化推荐。推荐过程包括3个阶段：初始张量的生成；张量分解的计算；生成推荐项目(学习内容)的列表。

1.2.1 初始张量的生成

我们使用学生、项目(学习内容)和标注三维数据来生成初始张量。初始张量是一个三阶张量A∈R|L|×|I|×|T|， 其中|L|、|I|、|T|分别是学生数据、项目数据和标注数据的维数。例如，值 (A)litk=alit表示学生l用标注t标注一个项目i的次数。该阶段包括下列步骤：

创建一个基于学习风格的学生的集合。

确定学生使用的一组标注。

解析由学生标注的项目集。

遍历学生、项目和标注。确定当前的项目是否被当前的学生和当前的标注所标注，并在张量中标注可获得的关联。

如果学生没有使用标注标注一个项目，则保持当前学生与该项目的空关系。

我们的方法可以看作是一个基于学习风格创建学习集的过程，而其它与之类似的方法在电子学习环境中还没有应用。也就是说，分类数据集的聚类的本质是基于学生的学习风格。很明显，不同的学生有不同的学习偏好、学习需求和学习方法，因此，通过学生喜欢的学习环境使学生适应系统并发现更高效的学习方法是非常重要的。学习风格可以定义为学生专注、加工、吸收和记忆新的知识的独特方式。它们是独特的个人学习模式，因人而异。根据学习风格类别形成聚类后，标注推荐可用于发现对学生有用的知识。

我们选择Felder-Silverman学习风格模型[17]应用于E-course。学习风格可通过学习风格指数(ILS)确定，ILS是一个研究学习风格[18]的数据收集工具，其中包含了44个问题，通过对这些问题进行多项的选择并加以评分可获取学习风格。ILS评估了个人学习偏好在4个维度上的特征：信息感知、信息接收、信息处理和信息理解。ILS问卷所收集的结果被用来进行适当的聚类，以确定具有相似学习风格偏好的学生群体。初始张量生成的算法如下所示。

算法1：产生初始张量

输入：三元组列表 <学生(S)，标注(T)，项目(I)>；

学生，标注，项目的维度|S|，|T|，|I|；

输出：初始张量A

算法过程：

确定一个学生的集合；

fors←0 to |S| do

获得学生s, 把它加到学生集中

end;

获得一个学生使用的标注集;

获得一个被学生标注的项目集;

iniTensor = new double[|S|][|T|][|I|];

intsIndex=0;

fors∈SandsIndex<|S| do

fortIndex←0 to |T| do

foriIndex←0 to |I| do

if 学生标注了一个当前的项目

then iniTensor[tIndex][sIndex][iIndex]++;

end

end

end;

if 当前学生=sthen

StoreEmptyRelations(iniTensor);

End

sIndex++;

End.

1.2.2 张量分解的计算

为了计算张量分解，首先定义初始张量，然后按照以下步骤：首先，初始张量被分成3个模式矩阵；其次，减少每个模式矩阵的维数以简化矩阵，然后根据简化的矩阵计算出一个核张量；最后，对矩阵进行变换和乘法运算，计算因式张量。

张量分解算法如下：

算法2：计算张量分解

输入：初始张量A

学生，标注和项目的维度：C1，C2，C3

输出：定义映像张量A

把初始张量矩阵A分成A(1)模式，A(2)模式和A(3)模式，为每个模式计算SVD；

计算一个核心张量：减少维数，执行矩阵乘法；

为每个模式(1≤i≤3)产生更新矩阵Ci=A(i)A(i)T

通过使Ci(1≤i≤3) 对角线化计算U(i)

生成特征向量：U(1)，U(2)，U(3)

估计核心张量的近似值：S=A×(U(1))T×U(2)T×(U(3))T

计算映像张量：A=S×(U(1))×U(2)×(U(3))

1.2.3 生成推荐项目列表

标注推荐的过程能够预测学生喜欢用什么标注来标注一个项目，这意味着标注推荐系统必须预测分解后的张量的数值，说明学生对某一特定标注的偏爱程度。该系统为学生提供了一个个性化的列表，其中包含一个特定项目的最佳N个标注。

教师利用E-course授权的工具，通过E-course系统的标注界面，生成专门的学习资源。在显示资源的同时，E-course的用户界面还提供了标注创建和查看每个资源的选项。

E-course中的标注菜单允许学生进行标注活动，如添加注释、链接、更正或加入共享讨论，如图3所示。学生通过选择学习对象并在适当的文本框中输入关键字来创建标注。E-course允许学生输入任意多的标注。标注可以用逗号或空格分隔，且不局限于单个词汇。

图3 标注菜单

与许多流行的标注系统(只允许单个词作为标注)不同，E-course允许使用多词标注。每当学生返回到特定的学习资源时，之前制作的标注列表就会重新出现，如图4所示。每点击一个单独的标注，学生就有两个选择：编辑或删除。

图4 我的标注列表

其它标注列表表示其他学生最常用的标注。学生可以从其它标注列表中选择标注，并将其添加到我的标注列表中。如图5所示。

图5 其它标注列表

基于标注的推荐算法的对比分析结果，系统可根据学生的需求，计算基于张量因子分解模型的排序，生成“推荐标注”列表，如图6所示。

图6 标注推荐列表

2 实验结果

实验的目的是分析RTF技术在电子学习中应用标注推荐的适用性，以及比较基于图和张量的标注推荐方法在电子学习环境中的适用性。

此外，我们还进行了一些实验，从教师和学生的角度来评估系统的性能。实验目标是：研究协同标注过程以及标注的位置与其表达能力的相关性；对标注进行语义分析，以更好地理解标注的不同用法；进行专家效度研究，系统验证学生的知识理解与其标注之间的关系。

实验是在一个包括200名大学生的教学数据集上进行的。该实验获得了河南省某普通大学信息技术专业的支持。实验在2019年11月进行了一个月。参与的学生是编程初学者，他们均成功地通过了相关的计算机基础知识课程。

2.1 学习风格聚类

实验前，学生首先填写Felder-Soloman ILS(学习风格指数)问卷，以便根据问卷结果将学生分组。问卷包含44个问题，分为4类，分别是感知与直觉、主动性与反思、视觉与语言、部分与整体，代表了不同的学习偏好和风格。问卷确定了120名学生的学习风格，并形成了8个分组，见表1。

表1 基于不同学习风格的聚类结果

为了增加各分组中的学生数量并获得更多相关的推荐信息，我们省略了一些不重要的类别。每个分组的数据特征见表2。表中给出了学生的数量、学习对象的数量及其标注数、学生标注的平均数量以及每个学习对象被标注的平均数量。

表2 每个分组的数据特征

2.2 评价指标

我们将数据集(即分组)中的一部分作为测试集，用于对构建的模型进行评估，将剩余的部分用于训练和构建模型。测试集和训练集各占数据集的20%和80%。选用精度(precision)和召回率(recall)作为模型性能的评价指标，如下所示

(1)

(2)

上式中T(u，i) 为用户u随机抽取的项目i的推荐标注集。

precision：表示推荐的相关标注数与N的关系，或前面的列表项数目与N的关系，N为实际的标注数，precision值越高，表明推荐越准确。

Recall：表示学生在数据集的估计部分中所设置的项目数或标注总数中的前N个列表项中推荐的相关标注与标注数N之间的关系，Recall值越高，表明正确的推荐被找的越全。

2.3 实验设置

在实验中，首先对待评估的算法进行设置，之后，我们将展示和分析所进行的实验和评估的结果。为了对所选算法(自适应页面排名Page-Rank[11]、Folk-Rank[12]、基于标注的协同过滤(CF)算法、高阶奇异值分解(HOSVD)算法、RTF排序)进行实验评估，首先确定每个算法的重要参数的灵敏度，然后确定并使用了这些参数的最优值。实验分析包括了8个分组中的前4个分组。

Page-Rank算法：参数设置如下：当两个连续的权向量之间的距离小于10-6时，计算停止。参数d为0.7。在p参数中，我们给用户和被选择页面中的项目赋予了更高的权重。每个用户标注和项目的偏好权值设为1，而来自该特定页面的用户和项目的偏好权值分别为1+|U|和1+|I|。

Folk-Rank算法：和自适应页面排名算法一样，我们选择相同的参数和偏好权值。

CF算法：其邻域基于user-tag矩阵进行计算。最佳邻居的数量k是需要在基于CF的算法[13]中进行调优的参数。根据邻域尺度k，我们研究了其对召回率的影响，邻域尺度k与标注偏好的生成密切相关。从10到90的邻域尺度变化对召回率的影响如图7所示。当邻域尺度从10增加到30时，推荐器的质量得以相应改善。然而，在尺度为30的邻域之后，k值的增加并没有在统计学上起到应有的质量增强作用，且最近邻居k(NNk)值达到一定程度后，每个用户的推荐质量就不会因为k的进一步增加而改变。根据这一特点，我们选择了30作为最优的邻域规模。

图7 基于标注的协同过滤算法随邻域尺度的召回率

HOSVD算法：由于没有直接的方法来找到C1、C2和C3最佳值，我们采用了文献[14]提出的方法：即原X(1)、X(2)和X(3) 矩阵的对角线的70%可以给出很好的近似。因此，C1、C2和C3被设置为奇异值的个数，每次运行时分别保留X(1)、X(2)和X(3) 原始对角线的70%。

RTF算法：根据文献[15]，我们在 (ku，ki，kt)∈{(8，8，8)} 参数下运行RTF。其它超参数设置为：学习率=0.5，正则化γ=γc=10-5， 迭代次数=500。模型的参数θ由服从正态分布N(0，0.1) 的随机值进行初始化。

2.4 实验结果

本节中，我们将分析基于标注的协同过滤(CF)、基于图的方法(自适应Page-Rank和Folk-Rank算法)以及基于张量的方法(HOSVD和RTF)的预测性能。

Folk-Rank算法是在Page-Rank算法的基础上发展起来的，能给出比CF更重要的标注推荐，主要原因是Folk-Rank算法能够通过底层超图的集成结构，将适合于特定用户的信息与其他用户的输入结合起来。在CF的预测性能方面，采用Page-Rank和Folk-Rank两种方法，如图8所示，可以看出Folk-Rank的预测质量最优。除了一般相关标注，与CF相反，Folk-Rank算法能够预测用户的最合适的标注，这是由于Folk-Rank算法通过超图结构考虑了特定用户的词汇，这是CF从定义上无法做到的。而且，Folk-Rank方法允许在不对算法进行任何修改的情况下改变模式。此外，Folk-Rank以及基于CF的算法，对于在线更新是鲁棒的，因为它不必在系统中出现新的用户、标注或项目时进行训练。另一方面，Folk-Rank算法更适合于不需要实时推荐的系统，因为它的计算开销比较大，而且可伸缩性也不是很好。张量因式分解法适用于大众经济学的三元关系，尽管张量重构的阶段代价高昂，但它可以离线实现。当计算较低维张量时，可以更快地生成推荐，这使得该算法适用于实时推荐。

图8 各种方法的预测性能比较

在实践中，RTF模型比HOSVD模型的预测速度要快得多，这主要是由于RTF模型比HOSVD模型需要更少的维数，而HOSVD对维度数量和用户、标注和项目维度之间的关系十分敏感，且选择相同数量的维度会带来糟糕的结果，而对于RTF方法，是可以为用户、标注和项目选择相同数量的维度的。

除了理论分析外，由图8可见，RTF的预测质量明显优于HOSVD。同样，从图8中可以看出，即使只有少量的8维，RTF也可以达到与HOSVD类似的效果。实验进一步验证，当RTF的维数增加到32时，它在预测质量上已经优于HOSVD。此外，每当RTF的维度增加时，就会得到更好的结果。关于Folk-Rank和RTF算法的预测性能，实验可以验证，16维的RTF可以获得比较好的结果，而32维的RTF在预测质量上优于Folk-Rank。

2.5 分析与讨论

2.5.1 标注的语义分析

对标注进行语义分析，可以更好地理解标注的不同用法。根据文献[19]，可以对标注进行如下分类，即：

事实标注。标注可以用来识别一个对象的主题，通常使用名词和专有名词(如操作符，循环，数组)或可分类对象的类型(如教程)；

主观标注。标注可以用来表示对象的性质和特征(例如有用、有趣、困难、容易、可理解、模糊)；

个性化标注。个人经常使用的标注子集，用来组织个人的学习过程。就像自引用标注一样，这些标注被个人用于学习任务组织(例如阅读、练习、打印)。

当我们分析这些标注在学生中是如何使用和重复使用的时候，我们发现绝大多数标注是个性化的(48%的标注)和主观类型的(38%的标注)。剩下的标注(14%)是事实标注。

2.5.2 专家效度分析

为了系统地验证知识理解与学习过程中的标注的关系，帮助教师评估学生对所学知识的掌握情况，我们用专家标注集设计了测试实验，并在实验中比较了从学生那里搜集的标注和本领域的4个专家给出的标注(专家标注集)，专家标注集由171个标注组成。在专家标注集中，我们详细研究了两个问题：

(1)使用完整的专家标注集进行模拟查询，可以找到哪些学习对象？它有哪些相关性(匹配标注的数量)？我们发现匹配的比例是平均44%的专家标注可由学生分配给一个学习对象。

(2)有多少专家指定的标注被应用到学习对象中？结果表明，与学生相比，专家更倾向于抽象和概念上的标注，而学生使用的标注大多都不在专家标注集中。研究结果表明，只有44%的专家标注出现在学生的标注中。

鉴于大多数的专家标注(大约占56%)都不在学生使用的标注中，向学生提供这些标注的作用是值得考虑的。如果专家标注为学生提供的价值有限，那么使用自动标注功能以最小代价创建标注数据集并减少学生的负担可能更合适。我们注意到，正如文献[20]所建议的那样，协同标注具有潜在的教学益处：标注本身代表了专家的专业知识，这表明，在一个协作的层次上，当课程由专家给出时，可以由专家提供一个协同标注集，以改进学生从在线材料中学习知识的能力。

据观察，电子学习系统由于失去对课堂的控制，教师普遍对这种新的教学方式的教学效果信心不足。通过让教师积极参与标注的创建过程，可以减少他们对电子学习方式的质疑。与开放的Web网络不同，教师在电子教学上不仅仅是一个同伴，他们的标注可能与考核更相关，这可能对学生更有用。因此，从这一点来说，标注在电子学习环境中的使用也是十分重要的。

2.5.3 讨论

实验结果表明，协同标注对于学生具有很大的帮助，学生可以观察专家提供的课程的标注集，以提高从在线材料中筛选主题和概念的能力。教师们对此普遍的看法是积极的，尤其喜欢使用学生的标注数据来改进电子学习系统。利用协同标注能够直接在系统中对课程进行修改，并且可以与其他教师一起工作和共享信息。

我们研究了系统中每个学生平均标注了多少个学习对象，发现70%以上的学生表现出了很高的积极性，标注的学习对象在60～80个之间。为了了解学生的标注行为，我们对学生的标注特征进行了研究。研究结果表明：如果学生的数量足够多，并且学习对象接收到的标注也足够多，那么某一标注被选择的频率就趋于稳定。这种稳定性可以在共享知识以及当学生使用其他学生的标注选择时发挥作用。

我们分析了基于图的方法(自适应Page-Rank和Folk-Rank)和基于张量的方法(HOSVD和RTF)在我们的电子教育环境中的预测性能。Folk-Rank算法是在Page-Rank的基础上构建的，它被验证是比CF更好的标注推荐技术，因为Folk-Rank可以利用适合于特定学生的信息来分析其他学生通过底层超图输入的信息。Folk-Rank算法也允许在不对算法进行任何改进的情况下进行模式转换。Folk-Rank在在线更新方面是鲁棒的，因为它不需要每次向系统引入新的学生、项目或标注时都重新应用。然而，Folk-Rank在计算上代价较高，并且不具有可伸缩性，这使得它更适合那些不需要实时推荐的系统。与Folk-Rank相似，张量分解的方法也直接作用于大众分类法的三元关系。尽管张量重构阶段可能代价较高，但它可以离线执行。在计算了较低维张量之后，推荐可以快速完成，使得该算法适合于实时推荐。

我们检验了张量分解方法的潜在缺点，即模态变化的性质只能通过最小化相同的误差函数来完成。例如，HOSVD算法利用重构的张量进行多模态推荐，模式改变简单。然而，尽管问题可能得到了错误的解决：HOSVD减少了最小二乘误差函数，而社会标注与排名的关系更大。我们只选择了所考虑的技术的最佳代表，并得出结论：最好的结果是RTF，其次是Folk-Rank，然后是HOSVD。

3 结束语

近年来，推荐技术取得了显著的进步。许多方法，如协同过滤、混合和基于内容的方法，以及一些“工业级”的系统得到了应用。尽管有这些进步，现代的推荐系统仍然需要不断地改进，以便在更大范围内推广应用。本文提出的协同标注系统，有助于电子学习中的推荐系统的完善和应用。标注有助于学生组织自己的私有集合。此外，标注可以被看作是学生的个人意见，同时隐含了对学习对象的隐式评价或评级。因此，标注信息是有助于推荐意见的生成的。

协同标注是对动态学习内容进行分类、共享和搜索的重要手段。本文研究了协同标注系统的发展前景，详细分析了具有个性化和主观性的学习偏好，对学习内容进行了分类，并将协同标注技术应用到Java教学系统中。学生采用协同标注技术，不仅可以更好地理解学习的内容，还有助于提高学习的兴趣。我们下一步的研究，将侧重于提取学生使用互联网的经验，以及学生个人的兴趣对标注创建的影响。此外，我们也需要研究是否还有其它因素影响标注的选择，如学生的情绪或压力的因素。