基于多模态技术的学习风格分析：演进、困境及图景

邵明铭 赵 丽

（南京师范大学 教育科学学院, 江苏南京 210097）

自国务院印发《新一代人工智能发展规划》以来，人工智能便在教育领域掀起狂澜，推动了教育改革与发展。随着教育新基建进程的不断推进，依托人工智能技术实现高质量教育、个性化发展的目标逐步变得可能。学习者学习风格研究是实现个性化学习的重要前提。学习风格是学习者在社会环境中学习的方式（Hamidah et al., 2009），是影响一个人如何感知的独特的个人技能和偏好的集合（Akbulut & Cardak, 2012），包括认知、情感和心理三个方面。认知风格涉及信息加工，情感风格涉及动机反应，心理风格与性别、健康和环境等因素有关（Keefe, 1989）。

然而，缘于人们对“学习”测量的困难，学习风格的评判和分析一度陷于困境。无论是量表测量法还是技术分析法，都存在不同程度的缺陷。基于新技术的发展和学习风格对个性化学习的重要性，开展多方法、多维度、一体化的多模态学习风格分析已经迫在眉睫。本研究综合已有研究，提出了融合多主体数据采集与新算法的“数据层-信息层-应 用 层 ” （Digital level, Information level, and Application level，DIA）分析框架，旨在推动多模态学习风格分析理论发展，为多模态学习风格分析提供技术应用新思路。

一、研究演进：从量表测量到多模态技术分析

自伊莎贝尔·迈尔斯·布里格斯和凯瑟琳·布里格斯提出学习风格以来（Bloom et al., 1956），学习风格研究至今已有五十多年历史，学习风格分析研究历经从静态模型到动态模型，从显性测量到隐性测量的螺旋式向上发展的进路。

（一）理论演进

多年来，学习风格分析理论研究涌现出多种模型。迈尔斯和布里格斯根据布鲁姆分类法建立了迈尔斯-布里格斯指标（Bloom et al., 1956），涉及四个维度，每个维度分两个方向：外向/内向、感觉/直觉、思考/情感、判断/知觉，组成八种风格。此后，费尔德-西尔弗曼（Felder, 1988）的学习风格模型开始流行起来，该模型根据学生对给定内容的感知、接收、处理和理解方式，将学习风格分为四个维度，每个维度通过两种风格对比加以区分，分别是感觉/直觉、视觉/语言、活跃/深思、序列/综合。科尔布以横轴（活动与反思）和纵轴（抽象与具体）两两组合构建了四象限学习风格循环模型，包括发散型、吸收型、集中型、调节型四种学习风格（严加平等，2006），并阐释了与每类学生相适应的学习内容、学习方式和理想职业。格拉沙-赖克曼（Riechmann &Grasha, 1974）学习风格模型分三个维度，每个维度包括两个子类型：独立的/依赖的、协作的/经济的、参与的/回避的。独立学习风格的学生倾向于独自学习，喜欢以学习者为中心的教学方法；依赖性学习风格的学生缺乏好奇心，更适应教师主导的教学方法；合作学习风格的学生喜欢与同伴一起学习，倾向于小团体学习；竞争学习风格的学生认为竞争是理所当然的，渴望取得比同伴更好的成绩，并努力获得教师的关注；参与式学习风格的学生往往喜欢上课；回避式学习风格的学生往往不喜欢发言（Chae, 2012）。出于简单和直观的考量，教育领域最常用的是弗莱明（Fleming & Mills, 1992）学习风格模型，由视觉型、听觉型、读写型和动觉型四种感知模式组成。

现有学习风格分析模型衍生出两种不同形态：一是大部分研究所采用的静态学习者模型，常用学习风格量表、成就测试和访谈测量。静态模型操作简单，但从可靠性和稳定性角度说，以系统内学习者行为和相互作用为基础建立的广义动态模型，更能准确地模拟动态变化的学习者偏好（Aslan et al., 2014），为学习风格分析开辟了一条新路。例如，有动态模型通过记录特定环境中学习者的行为和互动，然后建立相应的适应性函数，大幅度提高了学习风格分析的准确度，并能根据用户的学习风格提供个性化服务。

总体而言，已有的学习风格理论模型数量繁多，应用场景复杂。简单直观的静态模型和可靠准确的动态模型，各有优劣势，研究者可根据研究的性质和目的选择适合的学习风格分析模型。

（二）方法演进

根据不同学习风格分析模型，学者们设计了不同学习风格分析方法：一种是显性的量表测量法，另一种是隐性的技术分析法。前者关注测量的直观性和易操作性，后者关注如何准确地测量学生在真实学习场景中表现出来的学习风格。

显性的量表测量法包括固定的自陈量表和灵活的测试量表。邓恩（Dunn et al., 1985）的学习风格量表（Learning Styles Inventory，LSI）包含 104道题，每题四个选项，为感觉（具体经验）、查看（反思观察）、思考（抽象概念化）和实践（主动实验），被试需根据对自己的了解选择面对这104种情况时可能的做法，完成自测后形成报告。西蒂等（Siti &Nor，2009）研发的学习风格量表第三版（Learning Styles Inventory - Version III）由 65 道题组成，用于测量个人对班级9项活动的倾向，涉及演习、同伴、教学、讨论、游戏、学习、自学、讲座和模拟。弗莱明学习风格模型将学习风格分为四组：视觉、听觉、读写、动觉，采用问卷的方式确定学生属于哪种学习风格（Fatt & James, 2000）。费尔德-西尔弗曼（Felder, 1988）学习风格模型（Felder-Silverman Learning Style Model or Index of Learning Styles）旨在根据学习风格的四个维度对被试进行分类，由44道题组成，每道题有a和b两个选项，使用学习风格指数调查捕捉学生的学习风格。该工具被研究者参考最多，信度和效度已得到验证。此后，费尔德和西尔弗曼以此为基础，研发出专门针对工程专业学生的学习风格量表（Felder, 2005；Fleming & Mills,1992）。格拉沙·赖克曼学习风格检测工具由47道题组成，采用4分尺度，根据分数高低判别学生处于哪个维度（Chae, 2012）。

电子化学习风格量表（electronic learning style，e-Les）作为心理测试工具，可用于识别被试的多元智能与社会交往学习风格（Ariffin et al., 2010）。与固定的自我陈述量表不同，电子化学习风格量表根据被试的能力制定测试问卷和测试题的难度（Rasimah et al., 2008），应用测量参数项目反应理论或潜在特质理论，并利用拉施（Rasch）模型进行统计分析，以确保信度和效度。

目前，大多数显性的学习风格识别工具采用强迫选择的自我报告问卷分析学生学习风格。许多研究人员认为该方法存在可靠性低、效度差、对教学影响小等缺点（Coffield et al., 2004）。显性量表测量易受学习者本身和环境的影响，主观性强。学习者在被问及各种学习情况的偏好时，陈述和行为之间存在异质性（Crogman & Maryam, 2016）。这种异质性很可能导致题目之间的内部一致性差，降低工具的可靠性。

除了自我报告量表，技术分析法也得到一定应用。张冰雪等（2021）研发出融合多尺度脑电特征的学习风格识别模型，它通过刺激并回收被试的脑电信号，对其进行模型训练与学习风格识别。王扶东等（2020）通过分析垂直学习社区的文本信息和行为信息，提出新的学习风格识别算法。葛子刚等（2018）通过自适应学习系统自行收集和判断学习者的学习痕迹，动态调整确定学习者最终学习风格。李超等（2018）以复合神经网络为基础对动态学习风格识别模型进行模拟，根据费尔德-西尔弗曼的学习风格模型的相关阈值推测学习者学习风格。这些隐性技术分析方法大多基于费尔德-西尔弗曼的学习风格理论模型，或对其加以扩充和改编。现有的学习风格技术分析方法基本是单模态的数据采集，学习者学习偏好具有动态性，偏好的形成是不断发展的，单模态数据分析缺乏准确性，很难确定识别出的学习风格是否适用于所有学习情况（Aslaksen et al., 2020）。因此，基于多模态技术的学习风格分析成为当前学习风格分析的研究重点，可弥补单模态的不足，推动学习风格分析研究与应用发展。

二、应用困境：技术支持不足与伦理隐私危机

模态是双方传递和获取交换信息的通道类型（Mitri et al., 2018），如文字、声音、图像等，亦是人类通过感觉器官与外部环境相互作用的方式，如视觉、听觉、触觉等（Lahat et al., 2015）。多模态学习风格分析通过捕获、集成和分析不同模态的学习痕迹，确定学习者学习偏好。5G网络的普及与教育新基建进程的加快，使得多模态学习风格分析从理论变为现实，但其应用仍面临挑战，最突出的是技术层面的支持不足与伦理层面的隐私危机。

（一）技术支持不足

多模态技术应用于学习风格分析的时间短，在收集、处理学习者数据和分析学习风格过程中仍存在许多问题：一是针对学习者收集的模态信息不足。现阶段多模态学习风格分析技术主要通过非接触式设备，如摄像头、录音笔等获取学习者数据信息，如文字、语音、图片。人的复杂性使得学习风格的测定不能仅通过简单的外在观察而获得。依据具身认知理论，学习者的感官、身体运动、心电图、血压、激素分泌等生物传感数据也可用于分析和描绘学习的主动状态和参与程度（马云飞等，2022），而现有的多模态学习风格分析只关注学习者的外在学习行为，难以对内在心理和心智加以考察。因此，接触式生理信号的采集必不可少（王一岩等，2022），将是未来研究的重要方向。

二是学习者数据的异质性给数据分析带来了困难。多模态学习风格分析需收集大量不同性质的数据，如文本、语音、图片和视频、生理数据等。庞大且复杂的数据产生了大量冗余信息，不仅给分析系统带来巨大压力，而且相关数据的异质性给后续的融合、分析和解读造成极大困难。一些学者尝试解决数据的融合问题，但融合技术发展时间短，多模态学习风格分析需要的数据维度多，目前已有的研究成果仍不能完全解决学习风格分析异质性数据的融合和解读，静态数据和动态数据之间存在分裂（王开心等，2022）。

三是高时间成本给学习风格持续动态观测造成困难。基于事件的学习过程观认为，学习是随时间的推移而展开的，是不断累积变化的动态过程（Reimann, 2009）。因此，稳定的学习风格测量不仅需要采集多维度数据，而且需要以大量数据为基础进行长时间动态观测，但现有分析模型对大量数据处理的时效性和准确性还不足以支撑多模态学习风格分析的要求，有待拓展与优化。

（二）伦理隐私危机

伦理隐私危机同样困扰着多模态学习风格分析的应用和发展：一是数据泄露与安全危机。学习风格分析旨在让学习者、教学者、课程开发者、学校等能够根据不同学习偏好提供个性化教学，多模态技术致力于使学习分析结果更客观、全面和准确。为了达到系统共同合作的目标，这些与学习者息息相关的信息将被传递给多方利益相关者。学生的学习行为、生理数据乃至心理表现都会成为公开的信息（罗江华等，2022），严重威胁教育主体的隐私安全。

二是监测设备对学习者行为表现造成的影响。大量监测设备出现在教室，通常会对学习过程造成干扰，学习者往往伴随着“恐惧”，产生抗拒的心理（冯锐等，2020），这不利于学习风格的测评。因此，如何在日常课堂中进行常态化应用也是多模态学习分析技术需要考虑的问题。一般来说，人在面对被记录时总是倾向于表现自己优秀的一面。场所中遍布着各种接触式和非接触式记录设备，学习者常常会改变自己的行为表现。比如，面对可能“被批评”的风险时，弱者倾向于伪装自己（张银普等，2016）。出于对自己隐私的保护，学习者的行为和真实情况之间常常会有偏差，数据的真实性和学习风格测定的准确性便值得怀疑。

三是过于理性的学习风格分析结果会造成教育感性价值的缺失。爱是教育之源（田友谊等，2020），精确的数据分析一方面会削弱教师的作用和地位（赵磊磊等，2022），使教师从充满爱的“领路人”变成依附技术分析结果的“边缘人”，学生希望得到的是充满爱的个性化教学，而不是依赖学习风格分析结果的固定处理模式。另一方面过于精确的数据会给学习者贴上标签，使其固化自我认知。学生是不断发展的，是可塑造的，学习风格也不断变化。一旦学习者将自身的不足归结于教学资源或教学方法与自己的学习风格不匹配等客观因素，可能会使学习者失去努力的动力，自我放弃。感性与理性的价值冲突由此导致伦理风险，破坏教育的持续发展。

三、发展图景：多主体数据采集与新算法融合

多模态学习风格分析的技术问题和伦理危机，使得开辟立体化学习风格测量、分析和应用的新道路迫在眉睫。本研究从数据的采集、分析和应用三方面探索解决困境的策略，探讨学习分析研究未来的发展图景。

（一）多主体视角下的多模态学习风格分析

学习风格是带有一定个性特征的持续一贯的学习行为（谭顶良，1995）。这不仅体现了学习风格的稳定性，还体现出一定的复杂性。因此，学习风格判定应当从多主体、不同渠道收集数据，最大限度地保证结论的客观性和准确性。针对模态信息不足的现状，研究者可以通过接触式探测设备收集学习者的生理数据，如开设特定的检测教室，定期收集学习者的生理信息。这样不仅可以促进其常态化，而且可以减少监测设备对学习过程的干扰以及对学习者造成的心理压力。

为解决现有多模态学习风格分析的高时间成本问题，研究者可先采纳自陈量表测量结果，向学习者提出若干客观问题，由学习者根据实际报告自己是否具有某些典型的行为表现，然后根据量表得分评估学习风格。同时，研究者可收集学习者的感官系统与学习环境交互等多重数据，进行长期的动态观测（陆吉健等，2021），并将自陈量表的测量结果与多模态动态学习风格分析结果比对，从而作出客观可信的学习风格诊断。

针对过于理性的数据会造成教育爱的缺失和教师角色的弱化问题，研究者可以增加教师视角的观察记录报告。感性与理性结合，可以增加学习风格分析依据的全面性，还可以从人的角度探查对学习风格的理解，推动理论的发展与完善。多主体视角下的多模态学习风格分析倡导将多维度设备监测、自我报告量表测量和人的观察记录报告相结合，构建精准、完整的学习风格诊断体系。

（二）新算法视角下的多模态学习风格分析

由于数据的复杂性和异质性，多模态学习风格分析对算法模型提出了更高要求。一些学者提出了改进多模态数据融合和分析的新技术。在多模态信息识别方面，谢勒（Scherer，2016）提出多模态序列分类器，利用多维数据通道从数据中提取相关行为特征，以提高数据分类和识别的准确性。在多模态信息融合方面，斯特里姆斯系统将多模态信息按时间或时序信息对齐，以解决数据粒度差异大和时间跨度大等问题（马志强等，2022）。王旭阳等（2022）利用时域卷积网络和软注意力机制构建复合层次融合的多模态分析模型，致力于解决三维模态的融合问题。扎德（Zadeh et al., 2017）提出张量融合网络模型，以解决多维张量的融合问题.

多模态学习者数据分析的新技术也层出不穷。吴永和等（2021）提出多模态学习融合分析模型，采用“多对一”的映射关系促进理论框架和模态信息的特征融合。记忆融合模型主要处理随时间变化模态内部信息间的交互作用（Zadeh et al., 2018）。波西亚（Poria et al., 2015）开发了新的多模态信息抽取代理方法，促进用户信息推理和聚合。

此外，新算法还注重保护数据安全，这包括对读取数据的账户设置最大限度的安全验证，如身份信息验证、手机设备绑定、常用设备监测、流动验证码获取等；对需要提取数据的账户设置独立密码，加大数据安全管控，并在提取的数据文件中设置追踪程序，尽可能地保护数据安全，保证学习者相关隐私不被泄露。多模态学习风格分析的新算法，既要保证可用性和易用性，又要兼顾有效性、准确性和安全性，软硬件配合共同促进多模态学习风格分析技术的发展。因此，如何在多模态学习风格分析中规避上述问题，提高多模态学习风格分析的科学性、高效性、安全性，是本研究关注的重点。

四、分析路径：个性化教学DIA框架

融合多主体数据采集和新算法，本研究提出基于多模态技术的学习风格分析“数据层—信息层—应用层”（DIA）框架（见图1）。数据层的处理是重点，分三个阶段：数据收集、数据处理和数据分析。数据收集方式包括设备采集、观察记录和量表检测。设备采集不仅要使用非接触式设备，如摄像、录音装置，获取学生外在的表情和对话信息；还要使用接触式检测设备，如脑电波检测仪、心率监测仪等，获取学生内在的生理和心理信息。观察记录包括观察学生的学习行为、学习偏好和学习表现，以教师为主体记录学生的外在行为等。量表检测包含两种方式：学习者自陈量表测试和心理试卷测试，即以主客观相结合的方式获取量表检测数据。此外，从学习平台挖掘数据，了解学生登录时间、使用时长、画面呈现方式等学习习惯，也是重要的信息采集途径。数据处理包括数据框洗、筛选、删除，将生理数据、行为表现记录和心理数据按照模态归类和泛华，并将不同模态的文本、图像、视频等异质性数据进行时间维度和空间维度的融合。数据分析可根据现有的权威模型，包括费尔德-西尔弗曼学习风格模型、弗莱明学习风格模型、格拉沙-赖克曼学习风格模型等，对张量融合模型、记忆融合模型等算法模型进行阈值设定和特征映射，促进理论和数据的归一化，再得出学习风格分析结果。DIA框架的多维数据收集，使得学习风格分析结果的多方互证成为可能，大幅提高了结论的客观性和准确性，能有效弥补传统多模态学习风格分析的不足。

图1 基于多模态技术的DIA学习风格分析框架

第二层是信息层，即将第一层的数据评估结果形成可视化分析报告，并传递到学习系统各个要素，帮助监控和管理教学过程，促进教学资源的合理分配，为各方利益相关者提供个性化教学建议和教学服务。这包括促使第三方利益相关者，如学校、机构和平台提供有效的学习材料和科学的学习计划；为教师提供学习活动、教学方法和媒体的选择等设计方案，使教师能利用智能技术为不同学习风格学生提供教学（Donnelly & Mcsweeney，2008），有效地规划和设计学习材料；为不同风格学习者提供内容和方法的指导和推荐，使学习者能够选择可以识别的学习材料类型，循序渐进地学习（Holmes &Gardner，2006）。在此层级中，学习系统各要素之间的信息是互通的，可以根据变化或需求随时调整，服务于整个教学过程，促进个性化学习。

最后是应用层，多方利益相关者根据学习风格分析结果提供个性化教学服务，完成个性化教学的应用与实施。DIA分析框架的数据和结论也可反馈给研究者，加强学习风格分析的理论建设，开拓新的研究道路，推动领域研究的完善与发展。从教育者角度来说，学校要教育今天的学生，就必须适应学生的学习方式、兴趣和生活经历。学习风格分析结果可以为教师提供更多的学生个性化特征，将直接影响教学设计和教学内容（Felder, 2005）。当教师教学风格与学生学习风格相匹配时，学生学习效果会更好（Schmid et al., 2009）。教师可以减少教学挫折，帮助学生取得更好的成绩（Ariffin et al.,2010）。从受教育者角度来说，学生意识到自己的学习风格，就会选择更适合的学习对象，使得学习更容易、学习进度加快（Phung et al., 2018）。学术成功取决于学生的学习风格和信息呈现方式（Rothwell, 2008），了解学生学习风格对于确定合适的教学方法、提供匹配的教学内容、把握适当的教学进度和以动态方式将学生分成不同小组都是至关重要的（Fatt & James, 2000）。

教师和研究者大多对基于学习风格开展个性化学习持积极态度。调查表明，相当比例的中小学教师和高校教师赞同教学应与学生特定学习风格相一致（Marta et al., 2016）。2013 年到 2015 年发表的近90%研究文献，支持教师教学要考虑学习风格。许多报告称，学习风格理论作为教材原则，应成为教师教育课程的一部分（Newton & Mahallad，2017）。尽管教学与学习风格匹配的概念仍在传播，但也存在争议。教师面对时间和资源的双重挑战，难以利用课堂时间识别学习风格，灵活调整教学过程。学习风格的确定也可能会对学习者动机产生负面影响，学习者可能将学业失败归咎于不匹配的教学资源和教学方法（Weiner, 1972）。多模态技术的出现为学习风格的分析和应用提供了机遇，分析学习者学习风格既要注重定量数据的采集，也要注重定性数据的分析，既要注重考量过程性数据的考量，也要注重结果性数据的判断，多主体、多方法、多维度地判断、分析和应用学习风格。综上所述，本研究从学习风格分析的研究演进出发，剖析基于多模态技术的学习风格分析的困境，提出分析路径和发展图景，完善学习风格分析的理论研究，为学习风格各异的学习者与教师提供个性化教学与支持服务。