特征工程：学习分析中识别行为模式的重要方法*

欧阳嘉煜 范逸洲 罗淑芳 纪九梅 汪 琼



特征工程：学习分析中识别行为模式的重要方法*

欧阳嘉煜 范逸洲[通讯作者]罗淑芳 纪九梅 汪 琼

（北京大学 教育学院，北京 100871）

学习分析作为学习科学的子领域，其关注的核心问题就是对学习过程的理解与优化，而这离不开对学习者学习行为数据的收集和对行为模式的分析。特征工程作为一种基于底层数据设计特征集的系统方法，为行为模式的分析提供了新的技术支持与研究路径。文章通过介绍特征工程实施的四个步骤，系统梳理了目前使用特征工程方法识别出的典型行为模式，如投机取巧、挫折、疑惑等，可为行为模式的相关研究提供参考。同时，文章基于对有效的技术支持和实践意义两个话题的讨论，指出了未来的研究取径与研究重点。

学习分析；特征工程；行为模式；学习科学

一问题引入

学习分析作为学习科学的子领域，正受到越来越多研究者的关注与重视[1]。学习分析起源于智能导师系统（Intelligent Tutoring Systems，ITS）的相关研究。一般而言，学习分析被定义为：为了理解、优化学习过程和学习环境，对学习者及其所在情境的数据进行的测量、收集、分析和汇总工作[2]。这一定义明确了学习分析关注的主要问题之一是理解和优化学习过程，而这离不开对学习过程数据的收集和对行为模式的分析。通过揭示行为模式产生的深层次原因，进而为学生提供优质的支持服务，这是学习分析在教育领域应用的核心价值所在[3]。

早期对于学习过程和行为模式的研究大多采用实地课堂观察、访谈法、问卷调查法等，这些方法关注的数据类型相对有限，并且以主观数据为主。过于关注主观数据而忽视学习者学习过程中产生的客观数据，教学研究就易受到研究者自身价值判断或研究工具信效度的影响，导致研究结论的客观性和可推广性较低。20世纪90年代之后，随着数据收集和分析技术的发展，以及人们对教学的理解更为深入，研究者开始收集学习者在学习过程中产生的细节数据，并进一步从客观数据中挖掘出学习者的行为模式。

近年来，对于学习者行为模式的研究希望建立精确的预测分类算法或模型，虽然大多数算法在预测能力方面均能取得令人满意的效果，但致力于优化算法准确度的研究并没有取得实质性的突破。这样一种困境引发了研究者对预测算法特征之有效性的思考：如果基于底层数据提取的行为模式特征不够理想，那么建立在行为特征数据之上的预测算法或模型自然就难以进行较大优化，因此，如何选取能够有效反映学习者行为模式的特征是一个值得探讨的话题。特征工程作为一种基于底层数据设计特征集的系统方法，正是解决这一困境的良方。正如Asker等[4]所说，在一个学习系统中，想要创造出一个高的分类准确度，好的特征工程通常比一个特别的分类算法更为重要。

综上可知，如何基于客观行为数据来运用特征工程识别行为模式是一个值得研究的问题。因此，本研究尝试回答以下两个问题：特征工程的一般步骤是什么？目前学习分析领域中使用特征工程方法所识别出的典型行为模式有哪些？本研究期待通过讨论特征工程的技术意义和教学意义两个话题，来指出未来学习分析领域使用特征工程技术可能开展的研究方向和研究问题。

二什么是特征工程？

特征工程（Feature Engineering）也称为变量消除（Variable Elimination），是机器学习领域的一个重要概念[5]。Arroba等[6]将特征工程定义为一种非常有用的技术，用于选择最优的特征集，这些特征最能描述并优化问题。而Turner等[7]认为特征工程就是选择适当的特征，避免包含不相关参数的过程。一般来说，可以认为特征工程是为机器学习应用而设计特征集的相关工作[8]，重点关注如何设计出符合数据本身特点和所处情境的数据特征。特征工程可分为四个阶段[9][10]：

①特征构建（Feature Construction）阶段，也称为头脑风暴阶段，是根据研究问题初步构思数据特征集的过程。如当我们探讨和描述学习者不认真学习的行为模式时，可能会构思出一些特征：回答问题总是错误、作业完成不认真、测验完成不认真等。此过程主要可运用三种方法：方法一是研究者自己思考得出一些特征；方法二是向他人询问，补充一些自身没有想到的想法，可以采用向专家询问或者阅读相关文献等手段；方法三则是扩展到“群体”，让更多的人群加入到思维发散构建特征的过程，也称为众所提议的特性[11]。

②特征提取（Feature Exaction）阶段，是将前一阶段初步构思的特征与数据本身相结合，尝试提取出与抽象特征对应的原始数据，是一个提取相关特征形成特征向量的过程[12]。如上文针对学习不认真行为模式构思出了一些特征，而如何将这些抽象特征与数据本身建立联系并进行表征，往往是特征提取阶段的重点。特征提取阶段遵循“物尽其用”的原则，尽可能多地囊括与特征相关的数据，但这并不代表所有数据都是重要的且相互关联的相关且重要的。

③特征选择（Feature Selection）阶段，需要排除一些无关或者影响甚微的因子，常用的方法有筛选法（Filter Methods）和包装法。这个阶段的重点是有效地描述输入数据，同时减少噪声和无关变量的影响，尽可能地保证纳入到特征集的特征数据都是较为高效的。

④特征评估（Feature Evaluation）阶段，主要利用经上述步骤选择后的特征进行建模，并使用一些真实数据评估模型精度，从而不断修正、循环迭代，以期得到最适合该数据的特征集。

在大多数情况下，数据集是庞大而混乱的，想要建立一个规范的特征集往往不能一蹴而就，通常需要经历上述四个阶段螺旋迭代进行。因此人们常说，特性工程是一个高度迭代的、反复的、试错的过程。

三典型的行为模式

目前，在智能导师系统和MOOC相关研究中使用特征工程探测出的行为模式，主要包括投机取巧、挫折与疑惑、注意力集中与粗心、心不在焉与不假思索等行为。但对于这样一些抽象的行为模式，研究者是如何从真实数据中探测出学习者产生了上述行为模式呢？这是一个基础而又关键的问题。下面将根据上述提到的特征工程四阶段，详细介绍如何利用特征工程的方法识别“投机取巧”这一行为模式，并简略介绍其它行为模式。

1 投机取巧（Gaming the System）

“投机取巧”行为最初发现于认知型导师系统（Cognitive Tutors）的教学应用中，由Baker等[13]提出，指的是在交互式学习环境中，学习者通过系统性试错或滥用帮助，获得学习成功的行为模式。Baker等为了开发一个能够探测投机取巧行为模式的算法，在一个使用了认知导师系统、有70名学生参加的数理统计课程中进行了实验，具体如下：

①在特征建构阶段，Baker收集了来自认知导师系统的日志文件，每个学生在使用认知导师系统的过程中产生了71～478次的行为数据。根据系统记录的日志文件，针对记录下的每一次行为，研究者初次建立了一个包含24个特征的特征集，由行为动作细节（如学生选择下列菜单、输入字符串等行为）、知识点评价（如学习前已经掌握的技能、在学习过程中没有掌握的技能）、时间（如每个行为所花费的时间、持续的5～8个行为所花费的时间）、先前的互动（如学生完成某一具体问题步骤时错误的总次数、在持续的8个行为中学生寻求帮助的次数）等四个维度组成。

②在特征提取阶段，Baker等借助一组潜在响应模型（Latent Response Models），将所有行为表征为参数αi×Xi（Xi2或XiYi）的形式，其中Xi、Xi2和XiYi是根据上面讨论的24个特征、24个特征的二次效应（特征平方）和23×24的特征间的交互效应（特征A×特征B）设置而成，统称Xn。然后，使用Pm作为预测某一行为是否为投机取巧这一行为模式的变量，Pm=α0X0+α1X1+α2X2+α3X3+…+αnXn，每一个预测值Pm通过阶跃函数（Step Function）来设置阈值，假设阈值＝0.5，如果Pm≤0.5，那么P'm=0，反之P'm=1。再将所有行为与学生相对应，得到每个学生产生投机取巧这一行为模式与该学生总行为次数的占比，标记为G'0…G'69。同时，Baker等收集了观察人员在真实课堂中的观察数据，可提供学生在课程中产生投机取巧行为与总行为的时间占比信息，标记为G0…G69，并与G'0…G'69进行对比。

③在特征选择阶段，Baker等采用基于相关性的快速过滤法（Fast Correlation-Based Filtering）中的迭代梯度下降法（Iterative Gradient Descent），寻找每个参数（αi）的最佳值，并进行参数剔除，再使用向前选择法（Forward Selection）逐个验证参数，以确保现有参数会影响平均值的绝对偏差。

④在特征评估阶段，Baker等采用LOOCV（Leave One Out Cross Validation）交叉验证法验证上述建构的模型是否有效，第一次剔除70名学生中的1名，将剩余69名学生作为测试数据集进行测试并修正模型，之后每次再剔除1名，如此循环进行70次。

表1 筛选后的4个主要特征

经上述四个阶段后，Baker等最终筛选出4个主要特征用于探测投机取巧这一行为模式，如表1所示。正如上文所说，评估阶段的结束并不意味着特征工程的结束，Baker等[14]为了验证特征及算法的扩展性，重新收集了同样使用了认知导师系统的另外三个班级的数据，依照上述步骤，再次进行验证。Baker等[15]发现，当探测出学习者频繁出现投机取巧的行为模式时，很可能是因为当前学习任务难度过高或者学习者对当前的学习系统产生了厌恶情绪，使学习者难以利用自身掌握的知识点解决问题，退而选择利用系统的相关属性完成学习任务。因此，教师和课程设计开发人员应该考虑重新设计学习任务，吸引学习者再次参与到学习任务中，或提供相应的学习支持[16]。

2 挫折与困惑（Frustration and Confusion）

挫折是一种认知的不平衡状态，是对于接下来要做什么的一种不确定性，常表现为猛击键盘或鼠标、拉头发、长叹、说一些类似“发生了什么？”的话语等行为[17]。困惑则常表现为挠头、重复看着机器界面上的元素、向老师或同学请教、看看其他同学的情况来决定接下来如何做等类似的行为[18]。从概念角度来说挫折与困惑是相似的，但两者也存在显著区别：挫折包含消极的影响，常常与不满或愤怒的表达相关；而困惑的消极体验程度相对弱一些。但是，如果学习者的学习问题没有得到解决，困惑可能会导致挫折或者无聊的行为产生，学习者可能会选择从学习任务中脱离，从而导致低效学习。

3 注意力集中与粗心（Engaged Concentration and Careless）

注意力集中指的是学习者集中注意力，高度参与学习活动，是一种积极的行为模式[19]。在运用智能导师系统的教学中，教师可以通过合理安排、设计任务难度来提高学生的参与度与集中度。只有任务难度和学生自身能力之间达到了一定的匹配，才能发挥出最大的激励作用，才能让学生专注集中于学习，如此沉浸学习才有可能会发生，才有可能获得最佳的学习体验。因此，识别这类行为模式，对于设计在线学习课程内容与任务难度都具有一定的参考价值。

粗心指的是学习者知道正确答案也掌握了解题技巧，却依然回答错误[20]，其与高度集中的行为模式存在一定的相关性。往往是那些在线上学习中表现出参与度很高、注意力非常集中的学生更容易因粗心而犯错，而那些注意力不集中、参与度不高的学生则较少因粗心而犯错，因为他们本身就没有掌握知识点，不能将做错的原因归结为粗心。研究发现，目标明确、掌握能力强的学生往往比缺乏明确目标的学生更加粗心，但随着学习时间的推移，学习者的错误率会逐渐下降[21]。

4 心不在焉与不假思索（Off-Task and Without Thinking Fastidiously）

“心不在焉”指的是学习者的学习行为不以从材料中学习为首要目标，而从事一些与学习任务无关的事情，其与学习者的动机和付出的努力关系密切[22]，常表现为产生格外快或格外慢的行为、寻求帮助的次数过多、在已经掌握的知识点犯错等行为特征。以往研究发现，学生对教师和所用系统的消极态度会导致心不在焉行为出现的可能性增大，学习者难以将注意力集中在学习任务上，从而导致低效学习[23]。“不假思索”这一行为模式与分心都属于不积极参与型的行为模式，但不假思索侧重于学习者表面上虽然与学习环境进行互动，实质上并不带有任何学习目的，因此也易造成低效学习的产生[24]。

当然，通过特征工程所识别的行为模式并不仅限于上述七类，还有帮助寻求和帮助避免、探索行为、厌烦和兴奋等行为模式，本研究在此不展开论述。

四讨论与展望

1 引入学习分析领域的主流技术之一：特征工程

“数据驱动决策，分析变革教育”的大数据时代推动了技术与教育的深度融合[25]。传统基于自我报告式问卷调查法所收集的数据难以客观地反映学习者的学习过程，大数据时代下，学习分析领域中为学习行为的分析提供了新的研究路径，基于客观数据对学习过程进行评量成为了未来的研究趋势之一。从本研究综述的文献来看，特征工程所需的数据源大多来自学习系统或平台中的日志文件，其数据较为客观，且学习管理系统和MOOC等研究情境都能提供类似的数据支持。

学习分析领域不乏有大量计算机科学家的研究成果，但他们关注的研究重点大多是对算法或者模型的优化，对学习过程本质的理解程度在某种层面上会启发或制约算法的优化。特征工程强调数据本身所处的情境特性，不仅仅把数据看作是“不会说话的符号”，其需要研究人员具有较为丰富的领域知识与智慧，能够敏锐地发现数据背后可能蕴含的学习本质。综上所述，本研究认为，在大数据时代，作为基于底层数据进行分析、适用于不同研究情境的分析方法——特征工程，有可能成为学习分析领域今后的主流技术之一。

2 聚焦新的研究重点：教学支持与学情预警

既然使用特征工程方法能够有效探测学习者在学习过程中表现出的行为模式，那么，今后的研究重点应该是什么？本研究认为，应将研究重点由优化各类行为模式探测器转向学情预警和有效的教学支持，以能为学习者提供更好的教学服务。

从教师和课程开发人员的角度看，学习者产生不同类型的行为模式是教学支持的影响结果。以往研究提供了一些教学支持方式，如使用动画代理呈现负面情绪，给予学习者警示；提供即时信息反馈，鼓励学习者努力尝试或寻求帮助；给予持续的可视化反馈，客观表征学习者目前的学习情况，帮助教师和学习者了解学习进度等——这些方式都显示能够降低投机取巧、分心等行为模式出现的频率[26][27]。因此，特征工程技术应从教学支持的角度出发，提取出有助于改进教学支持服务的有效特征，从而改进教学支持服务。

基于特征工程技术总结出有效特征集，研究者可以进一步建构相应的算法或模型，从而辨识学习者在学习过程中产生的各类行为，并提供学情预警，以帮助教师和学习者更好地掌握目前的学习情况，这也是人工智能在教育中应用的基础研究。因此，如何根据探测出的行为模式提供相应的学情预警与教学支持，并促进有效学习，是后续研究的重点之一。与此同时，后续研究还需考虑探索相应的教学原理、完善教学的设计环节等内容。

[1]魏顺平.学习分析技术:挖掘大数据时代下教育数据的价值[J].现代教育技术,2013,(2):5-11.

[2]Siemens G, Long P. Penetrating the fog: Analytics in learning and education[J]. Educause Review, 2011,(5):31-40.

[3]赵慧琼,姜强,赵蔚,等.基于大数据学习分析的在线学习绩效预警因素及干预对策的实证研究[J].电化教育研究,2017,(1):62-69.

[4]Asker L, Maclin R. Feature engineering and classifier selection: A case study in venusian volcano detection[A]. Fourteenth international conference on machine Learning[C]. Morgan Kaufmann Publishers Inc. 1997:3-11.

[5]Chandrashekar G, Sahin F. A survey on feature selection methods[J]. Computers & Electrical Engineering, 2014,(1):16-28.

[6]Arroba P, Zapater M. Enhancing regression models for complex systems using evolutionary techniques for feature engineering[J]. Journal of Grid Computing, 2015,(3):409-423.

[7]Turner C R, Fuggetta A, Lavazza L, et al. A conceptual basis for feature engineering[J]. Journal of Systems & Software, 1999,(1):3-15.

[8]李林,吴跃,叶茂.基于概率图模型的图像整体场景理解特征工程综述[J].计算机应用研究,2015,(12):3542-3550.

[9]Liu D, Hua G, Viola P, et al. Integrated feature selection and higher-order spatial feature extraction for object categorization[A]. Computer vision and pattern recognition[C]. IEEE, 2008:1-8.

[10]Anderson M, Antenucci D, Bittorf V, et al. Brainwash: A data system for feature engineering[OL].

[11]Veeramachaneni K, O’Reilly U M, Taylor C. Towards feature engineering at scale for data from massive open online courses[OL].

[12]Sharma O P, Ghose M K, Shah K B, et al. Recent trends and tools for feature extraction in OCR technology[J]. International Journal of Soft Computing & Engineering, 2013,(6):220-223.

[13]Baker R S J D, Corbett A T, Koedinger K R, et al. Detecting student misuse of intelligent tutoring systems[A]. Lester J C, Vicari R M, Paraguacu et al, International conference on intelligent tutoring systems[C]. Springer-Verlag Berlin, 2004:531-540.

[14]Baker R S J D, Corbett A T, Roll I, et al. Developing a generalizable detector of when students game the system[J]. User Modeling and User-Adapted Interaction, 2008,(3):287-314.

[15]Baker R S J D, Roll I, Corbett A T, et al. Do performance goals lead students to game the system?[A]. Looi C K, McCalla G, Bredeweg et al. Artificial intelligence in education-supporting learning through intelligent and socially informed technology[C]. IOS Press, 2005:57-64.

[16]Baker R S J D, Corbett A T, Koedinger K R, et al. Adapting to when students game an intelligent tutoring system[J]. 2006,4053:392-401.

[17]Sidney K D, Craig S D, Gholson B, et al. Integrating affect sensors in an intelligent tutoring system[OL].

[18]Baker R S J D, D’Mello S K, Rodrigo M M T, et al. Better to be frustrated than bored: The incidence, persistence, and impact of learners’ cognitive-affective states during interactions with three different computer-based learning environments[J]. International Journal of Human-Computer Studies, 2010,(4):223-241.

[19]Pedro M O C Z S, Rodrigo M M T, Baker R S J D. The relationship between carelessness and affect in a cognitive tutor[A].DMello S, Graesser A, Schuller B, et al. International conference on affective computing and intelligent interaction[C]. Springer-Verlag, 2011:306-315.

[20]Clements M A. Careless errors made by sixth-grade children on written mathematical tasks[J]. Journal for Research in Mathematics Education, 1982,(2):136-144.

[21]Hershkovitz A, Baker R S J D, Gobert J, et al. Discovery with models: A case study on carelessness in computer-based science inquiry[J]. American Behavioral Scientist, 2013,(10):1480-1499.

[22]Baker R S J D. Modeling and understanding students’ off-task behavior in intelligent tutoring systems[A]. ACM. Conference on human factors in computing systems[C]. Assoc Computing Machinery, 2007:1059-1068.

[23]Arroyo I, Murray T, Woolf B P, et al. Inferring unobservable learning variables from students’ help seeking behavior[A].Lester J C, Vicari R M, Paraguacu F. Intelligent tutoring systems, proceedings[C]. Springer Berlin Heidelberg, 2004:782-784.

[24]Wixon M, Baker, Ryan S. J. D, et al. WTF? Detecting students who are conducting inquiry without thinking fastidiously[J]. Lecture Notes in Computer Science, 2012, 7379:286-296.

[25]曹帅,王以宁,徐鹏.学习分析技术的研究现状与未来趋势——基于2011-2015年LAK会议论文的分析[J].中国电化教育,2016,(5):78-84.

[26]Arroyo I, Ferguson K, Johns J, et al. Repairing disengagement with non-invasive interventions[A]. Luckin R, Koedinger K R. Artificial intelligence in education: Building technology rich learning contexts that work[C]. IOS Press, 2007:195-202.

[27]Roll I, Aleven V, Mclaren B M, et al. Can help seeking be tutored? Searching for the secret sauce of metacognitive tutoring[A]. Luckin R, Koedinger K R, Greer J. Artificial intelligence in education: Building technology rich learning contexts that work[C]. IOS Press, 2007:203-210.

编辑：小西

Feature Engineering: The Method of Detecting Learner Behavior Patterns in Learning Analytics Field

OUYANG Jia-yu FAN Yi-zhou[Corresponding Author]LUO Shu-fang JI Jiu-mei WANG Qiong

As a subfield of Learning Science, the key issue of learning analysis is to understand and optimize learning and the environment, which is significantly associated with data collection of learning behaviors and analysis of behavior patterns. As a method designing the feature set based on the underlying data, the feature engineering system provides new technical support and research path for the analysis of behavior patterns. This paper introduces the fundamental steps of feature engineering, and further systemically reviews some typical types of behavior patterns distinguished by feature engineering, such as gaming the system, frustration and confusion. Finally, this paper hopes to provide references for future studies of behavior patterns. Meanwhile, it points out the possible research direction and research focuses by discussing the effective technical support and practical significance.

learning analytics; feature engineering; behavior patterns; learning science

G40-057

A

1009—8097（2018）04—0013—07

10.3969/j.issn.1009-8097.2018.04.002

本文受教育部在线教育研究中心2O16年度在线教育研究基金(全通教育)重点项目“基于学习分析的MOOC教学设计原则研究”（项目编号：2016ZD101）、国家自然科学基金项目“大规模在线课程中用户流失问题的研究”（项目编号：61472006）、国家自然科学基金项目“MOOC数据模型及其对课程与学习评价的效用研究”（项目编号：61472013）资助。

欧阳嘉煜，在读硕士，研究方向为教学设计，邮箱为jiayu5177@163.com。

2018年1月19日