基于生理计算的认知负荷测评：动因、关键问题与特征

摘 要：学习场域中的认知负荷测评存在缺乏过程性数据、测评维度单一、测评精确性不足等问题。多模态数据融合与分析技术从多维时空角度揭示认知负荷的表征机制，将认知负荷测量问题置于数据驱动范式中重新审视，有助于形成理解学习认知和相关规律的更为有效的方法。基于此，文章从认知负荷测评研究的现状出发，梳理分析了融合生理数据驱动认知负荷测评的动因。深入分析了相关研究开展所涉及的认知负荷可计算、认知负荷表征模型的可解释、认知负荷要素权重的计算等关键问题，明晰了融合生理数据驱动认知负荷测评的多维性、过程性、精确性特征，并在此基础上基于“理论模型—数据采集—模型构建—计算分析与模式识别”思路构建了教育生理计算框架。

关键词：认知负荷；生理数据；数据融合；测评；多模态

中图分类号：G4 文献标志码：A 文章编号：2096-0069（2024）06-0023-06

引言

随着数字及互联网技术的发展，数字化学习的灵活性和便捷性得到了前所未有的提高[1]，数字化学习的泛在性、开放性、生成性特征容易造成学习者认知负荷超载现象。在学习和教学的认知理论中，认知负荷被看作是成功和有效学习的重要因素。因此，关注数字化学习环境中的认知负荷并开展研究是保证数字化学习效果的重要途径。

约翰·斯韦勒（John Sweller）[2]在人类认知架构理论及相关学习理论研究的基础上，将认知科学中的心理负荷和系统工程学中的脑力负荷概念引入学习科学领域，提出了用以解释人在学习过程中认知资源消耗的认知负荷理论，即当人们所需要处理的信息数量超过工作记忆容量的时候，就会产生认知负荷效应。认知负荷所描述的是无法直接观察的内隐认知现象，对认知负荷的认识与干预建立在对认知负荷准确测量的基础上，尤其是认知负荷发生过程中准确、客观、有效的测评，更有助于我们认识认知负荷的发展与变化规律。

一、融合生理数据驱动认知负荷测评的动因

认知负荷的测量是认知科学、教育科学研究领域持续关注的研究话题，众多研究者基于认知科学的研究范式开展了大量研究，形成了常用的主观测量法。任务绩效测量法、行为测量法及生理测量法。这些方法往往在实现学习者认知负荷精确性、过程性测量等方面比较乏力，或因具有较高的侵入性，而对学习结果造成负面影响。

（一）现有的认知负荷测量依然以主观测量法为主

主观测量法以其简单、易用、非侵入性等因素受到研究者的青睐，但是，主观测量法具有几乎不可克服的缺陷——测量的主观性和滞后性。主观测量一般使用自陈式的量表进行学习者认知负荷的测量与计算，在此过程中，测量的准确度极易受到测量对象主观状态的影响，学习者真实的认知负荷水平的差异可能是任务难度、测量环境、注意过程等要素引起的，因此，主观测量法在有效识别认知负荷的影响因素方面显得比较乏力，测量能力受到质疑。此外，由于主观测量法需要在认知活动暂停或结束后进行测量，使得其进行认知负荷测量具有滞后性特征，因此，主观测量法几乎无法对学习过程中的认知负荷状态进行测量，而学习过程中产生的认知负荷是我们开发教学资源和优化教学设计的重要依据。生理测量在认知负荷测量过程中具有直观性、客观性和实时性特征，这些特征使其能够在一定程度上克服主观测量的主观性、滞后性，因此，具有客观性和可信度的生理测量法逐渐成为相关领域研究的热点内容[3]。

（二）生理测量法往往以单一模态数据作为结论支撑

当前生理测量法的应用往往以眼动数据、脑电数据、心电数据等单一模态数作为衡量认知负荷状态的标准。单一模态数据最大的问题在于其精确性，当前单一模态技术对认知负荷识别率最高的是EEG数据，但其有效识别率也仅仅能够达到56%，精确性远远不足[4]。为了解决这一问题，不少研究者使用简单的数据叠加，以更加有效地表征学习者的认知负荷状态。例如，同时使用“量表数据+眼动数据”或“量表数据+脑电数据”，认知负荷的有效识别率能够达到60%。但是，用单一生理指标或将不同生理测量结果进行简单叠加来表征学习者的认知负荷状态，忽略了生理信号背后的数据意义和不同测量技术之间的多模态交互及融合问题，从而造成认知负荷表征模型的解释力不足。将深度学习技术应用于多模态生理数据的融合与计算，能够将认知负荷识别与分类的准确率提升至80%[5]。因此，具有更高准确度及解释力的多模态生理数据融合与分析方法的应用成为认知负荷研究中亟待探索的课题。

通过多维生理数据融合与分析技术测量学习者的认知负荷，能够在一定程度上创新认知负荷测量方法，填充认知负荷研究的理论框架。多维数据融合与分析技术从多维时空角度揭示认知负荷的表征机制，将认知负荷测量问题置于数据驱动范式中重新审视，有助于超越传统量化方法，形成理解学习认知和相关规律的更为有效的方法。

二、融合生理数据驱动认知负荷测评的关键问题与特征

（一）融合生理数据驱动认知负荷测评的关键问题

融合生理数据实现认知负荷的精确测评面临3个关键问题，分别是认知负荷的可计算问题、认知负荷表征模型的可解释性问题、认知负荷要素权重的计算问题。

1.认知负荷的可计算问题

学习者认知负荷测评旨在以学习者的认知负荷多模态生理信号提取为基础，进行生理信号的融合与计算，实现对认知负荷的精确描述。然而，教育学及心理学研究领域更注重单模态认知负荷数据描述，较少涉及跨模态数据融合及计算问题，并且认知负荷作为学习者的心理量具有内隐性、抽象性特征，不易量化及计算。因此，学习者认知负荷的可计算问题是本研究需要解决的关键问题。认知负荷的计算实质上是社会系统中的实际情景—概念情景—结构化情景的发展过程，主体、行为、关联、规则及特征的提取可以实现从实际情景到概念情景的过渡，符号、规则、公式可以通过对概念情景的分解与细化实现从概念情景到结构情景的过渡，结构化情景则是计算机可识别的情景[6]。基于此，需要在信息科学、认知科学等理论指导下，使用计算机语言和数学逻辑构建和描述学习者的认知负荷状态，重新阐述认知负荷生理特征的数据意义，构建多维生理数据驱动的认知负荷表征模型，使用深度学习技术探索多模态生理数据融合计算方法，实现对学习者认知负荷的精确分类与描述。

2.认知负荷表征模型的可解释性问题

在学习领域，知识产品直接作用于学习者的认知。知识产品影响学习者学习机制的透明度、可行性和可解释性，是确保知识和学习者之间建立联系的纽带[7]。同样，融合生理数据驱动学习者认知负荷测评的关键是建立数据信号和学习者认知状态之间的关联性。基于深度学习的机器学习算法所构建的各种表征模型是人工智能为教育提供的核心服务，然而，人工智能所构建的模型过度追求模型的精确性和最优化，其中模型构建的过程实质上是一种“黑箱”模式。我们虽然能够实现数据的输入并获得高效的决策方案，却无法理解和解释所构建模型的原理。模型构建过程的模糊性很可能使无关的数据结论与学习规律产生联系，导致这些模型难以被信任。因此，建立认知负荷表征模型和数据信号之间的关联纽带，提升认知负荷表征模型的可解释性是相关研究需要解决的关键问题。研究发现，模型可解释性不足在很大程度上是因为模型的构建缺乏理论支撑[8]。使用“理论+数据”的双驱动形式进行数据降维，结合专家经验和数据计算的双重优势，可以实现模型的可解释[9]。

3.认知负荷要素权重系数的计算问题

使用认知负荷诱发实验诱发学习者不同层次的认知负荷，使用生理信号采集设备提取学习者认知负荷的时域及频域特征，可以构建学习者认知负荷测评的指标体系，而指标体系运行的关键是各项指标的权重系数问题。基于生理数据的指标体系要素众多，难以通过传统的方法确定不同要素的权重系数。因此，如何设定不同要素指标的权重系数是本研究需要解决的关键问题。深度学习中的神经网络算法（卷积神经网络、循环神经网络、注意力机制）在权重系数自适应调整上具有较佳的性能，在信息科学和计算机科学理论指导下，构建基于多维算法的认知负荷数据训练集，使用深度学习技术对算法进行训练，使用完成训练的多维算法进行不同要素权重系数的计算，能够提升学习者不同层次认知负荷识别的精确度。

（二）融合生理数据驱动认知负荷测评的特征

融合生理数据驱动的认知负荷测评在本质上是多模态生理数据的计算与分类，在认知负荷状态评估中具有显著的多维性、过程性和精确性特征。

1.认知负荷表征机制的多维性

融合生理数据驱动的认知负荷测评是对学习者多维生理数据的收集与融合分析，多维性特征体现为信号域的多维性和数据域的多维性。信号域的多维性是指测评信息源的多样性。不同于主观测量或单一方法的生理测量，融合生理数据进行学习者认知负荷测量的信号类型包括脑电信号（EEG和ERP）、心电信号、眼电信号、皮电信号和脑成像信号（功能性磁共振成像和核成像技术）等多种类型，综合多种信号源的计算能够实现认知负荷计算与识别的高精准性。当前，相关领域的研究主力队伍集中于认知科学和教育科学领域，由于缺乏信息与计算科学背景，科研人员往往只能采集到仪器直接提供的信息数据，缺乏多域信号和数据的转换与计算能力，因此将信息科学的研究范式及思路引入该领域，实现多域信号和数据的计算，是开发数据价值、实现认知负荷精准测评的关键。

2.认知负荷测量的过程性

认知负荷是个人进行负载信息处理过程中产生并维持的一种认知状态。该状态受到环境、任务类型、资源、认知基础等多要素的影响，并且这种状态会随着影响因素的改变而发生变化，很难被有效观察和获取。传统认知负荷测量方法的一大缺陷就是滞后性，无法对学习者学习过程中的认知负荷进行测量，而实现学习过程中认知负荷的全域测量是我们分析学习成果、进行学习者认知精准诊断的基础。融合生理数据的认知负荷测量起始于学习任务的开始，终结于学习任务的结束，测量过程与学习任务的完成过程保持时间序列的一致性，只有有效感知多维时域、频域的生理数据，才能实现对学习者认知负荷的精准表征。学习者的认知负荷状态极易受到外部因素的干扰，单一测量技术的容错率较低，融合多源生理数据的认知负荷全域测量能够依托信号域、数据域的多元性，以及深度学习技术的自我学习进化特征，实现认知负荷测评的兼容性、抗干扰性和稳定性。

3.认知负荷评估的精确性

融合生理数据驱动认知负荷测评的目标是实现学习者认知负荷状态的精准评估。这种精准体现在两方面：精准区分认知负荷的类型，精准衡量认知负荷的层级。按照类别，认知负荷可以分为三大类：内在认知负荷、外在认知负荷和关联认知负荷。这三种认知负荷相加就是认知负荷的总量[10]。当前，认知负荷研究的关注点之一就是如何有效区分3种不同类型的认知负荷，而现有的测量方法在这方面显得比较乏力。使用深度学习算法将不同维度的数据进行融合计算，能够有效地进行认知负荷类型的区分。例如，克劳斯-罗伯特·穆勒（Klaus-Robert Müller）[11]使用深度学习技术将fMRI血流信号和EEG信号进行了融合计算，有效地区分了学习者工作记忆信号的类型。使用深度学习技术可以实现多维数据、多域数据的融合与计算，按照所设计的认知负荷诱发实验的层次和等级进行学习者认知负荷的精准评估。例如，王驰翔（Chixiang Wang）等[12]通过N-back实验诱发认知负荷，通过对心率和脉搏数据的获取、预处理、特征提取、特征选择，使得测试对象在高、中、低3个层次的认知负荷评估精准度达到97.2%。因此，精准性是融合生理数据驱动认知负荷测评的重要特征。

三、面向认知状态评估的教育生理计算框架

生理数据不同于行为、图像等多模态数据形态，具有小样本、高复杂、干扰强、无标注的数据特征，数据获取途径与计算方法都有所区别。生理计算一般指使用人类的实时生理数据来控制系统或进行内容反馈，以增强其完成特定任务的能力。生理计算的基础是检测用户的中枢神经系统（CNS）、躯体神经系统（SNS）和自主神经系统（ANS）的不同类型信号，根据其性质和架构设计对这些信号进行多类别处理。这些系统通过将生理数据转换为控制信号或控制信号的输入来操作，而不需要用户作出任何明显的响应。生理计算捕捉了用户自发和潜意识的状态内容，为人们提供了一种监控、量化和反馈的方法，通过实时监测、分析和响应用户的内在心理活动来实现系统交互[13]。教育中的生理计算往往是运用信息科学、数学、认知科学的范式与方法，结合多维生理信号对教育场景下学习者的学习状态及心理状态进行量化评估。

教育生理计算采取“假设+数据”驱动的方法，通过多维数据融合、多维特征关联、时空数据信息对学习者认知状态与生理电信号之间的对应关系进行融合与重构，将诸多要素的多维映射关系转换为直观的一对一的映射关系。教育生理计算不是单纯的数学运算或模型设计，而是具有系统性、完整性的理论范式与方法，具体内容涵盖了理论模型建构、实验设计、生理数据测量与采集、计算建模、状态预测估计等多个维度。

（一）融合生理计算的认知状态评估理论模型构建

生理表征模型的可解释是构建模型的首要原则，也是开展相关研究需要解决的关键问题。造成深度学习技术所构建的表征模型不可解释的原因是缺乏预先的理论构建，使得所构建的模型脱离了理论结构的束缚。因此，开展理论模型研究应侧重于多重生理数据维度的构建，以实现多维认知状态表征的学理汇集，实现认知状态表征模型的可解释。

关于理论模型的研究从以下两方面开展：第一，以文献分析的形式在大范围内梳理数字化学习环境中认知状态的研究概况，分析认知状态不同评估方法及模型指标的差异，初步确定基于多维生理数据的认知状态测评框架，明晰基于多模态生理数据的认知状态评估的维度及参考指标。第二，以认知科学领域的研究专家为访谈对象，征询专家对初步构建指标及内容的意见，并进行适当增删。同时，征询信息科学领域研究专家的意见，明晰多维生理数据对齐、融合与识别的方法。理论模型的研究是研究开展的起始点，更是保证研究结论可解释、可理解的关键。

（二）实验设计与生理数据采集

实现认知状态精确测评的关键是实现学习者不同类别、不同层次认知状态的诱发，在此基础上收集学习者的生理信号，进行数据融合与计算，达到认知状态精确分类、分层的目的。此处涉及两项关键技术：认知状态诱发技术和多维生理数据采集技术。

以认知负荷诱发试验为例，实验范式任务包括主任务分析和次任务分析。两种任务类型都可以通过改变知识结构、资源呈现方式、策略与资源工具达到控制不同认知负荷类型诱发的目的。

多模态数据的融合与计算为模型决策提供了更多的可用信息，进而实现数据识别的高准确率。数据融合与计算的基础是信息的采集与量化，需要使用多种类型的生理采集设备进行生理信号的采集，在生理信号转化为数据基础上进行认知状态评估，因此，眼动、脑电、皮电及心电的多维生理数据采集技术是开展研究的关键技术。

（三）认知状态表征模型构建

认知数据的可计算是实现认知状态精确评估的基础，不同类型、不同维度的信号具有显著的差异性，实现认知数据可计算的关键是实现不同数据的归一化，而数据归一化的前提条件是实现生理信号向数据的转换。融合生理数据驱动的认知状态表征模型构建的基础是多维生理信号的时域、频域及时-频域特征提取，在此过程中会涉及生理信号的时-频域转换问题，以及数据降维问题。

时-频域数据提供了多维时域及频域数据的联合分布信息，并明晰地反映了信号频率与时间变动的关联性，其所蕴含的数据信息分辨率更高、内容更加丰富。由于所面向的信号往往都是非平稳信号，因此，常用的时-频域数据转换方法包括短时傅里叶转换、小波算法转换、希尔伯特－黄转换[14]。

多种类型生理信号提取涉及的频域及时域特征维数往往较高，在这些特征中往往包含众多无关特征、冗余特征，从而会降低模型识别的精准度和运行效率。这就需要进行数据降维，以提升模型分类的精确度。数据降维常用的方法有低方差滤波、随机森林、反向特征消除、主成分分析（PCA）、独立分量分析（ICA）等。由于不同的数据降维方法具有不同特点，并且数据降维往往不能一蹴而就，因此，研究者往往联合使用其中的几种方法进行数据降维。

（四）计算分析与模式识别

融合多维生理数据的认知状态表征模型涉及多类型、多维度的数据信号，有效分配各数据之间的权重系数是实现认知状态精确识别的关键。传统的数据计算与分类技术几乎无法为多维数据权重的判断提供参考，基于深度学习技术的人工智能算法能够实现多维数据特征的精确识别与分类。

在数据模式识别中，常用的算法包括支持向量机、随机森林、神经网络、贝叶斯网络等方法。在众多方法中，支持向量机算法在小样本数据量、噪声干扰、数据维度较多的数据模式识别中具有较高的识别精准度；神经网络算法具有自我学习与进化能力，并且具有较强的抗干扰性、鲁棒性强等特点，在生理数据分类识别中使用广泛；随机森林算法具有极佳的稳定性及较强的抗过拟合能力，同样受到研究者的重视。因此，需要同时使用上述算法对所构建的模型进行训练，以达到最优识别率。

四、结束语

本研究基于多维生理数据融合与计算的基本思路，探索了融合生理数据驱动认知负荷测量的动因，深入分析了融合生理数据驱动认知负荷测评的关键问题和特征。在此基础上，依据生理数据小样本、高复杂、干扰强、无标注的数据特征，从理论上构建了融合生理数据驱动认知状态评估的基本框架，为后续的认知负荷和其他认知状态评估提供了借鉴与参考。

参考文献

[1]王国华，薛瑞鑫，张立国.在线学习社区中的信任及其对知识共享的影响研究[J].数字教育，2022，8（6）：38-46.

[2]SWELLER J. Cognitive load during problem solving： effects on learning[J]. Cognitive Science， 1988， 12（2）： 257-285.

[3]王国华，聂胜欣，薛瑞鑫.多媒体学习中的认知负荷：测量方法与技术纵览[J].电化教育研究，2022，43（4）：19-25.

[4]SPÜLER M， WALTER C， ROSENSTIEL W， et al. EEG-based prediction of cognitive workload induced by arithmetic： a step towards online adaptation in numerical learning[J]. ZDM， 2016， 48（3）： 267-278.

[5]郑玲，乔旭强，倪涛，等.基于多维信息特征分析的驾驶人认知负荷研究[J].中国公路学报，2021，34（4）：240-250.

[6]梁茹，陈永泰，徐峰，等.社会系统多元情景可计算模式研究[J].管理科学学报，2017，20（1）：53-63.

[7]王萍，田小勇，孙侨羽.可解释教育人工智能研究：系统框架、应用价值与案例分析[J].远程教育杂志，2021，39（6）：20-29.

[8]刘桐，顾小清.走向可解释性：打开教育中人工智能的“黑盒”[J].中国电化教育，2022（5）：82-90.

[9]尚佩瑶，汪存友.智适应学习系统的学习效果及其影响因素研究：基于2000—2020年60项实验与准实验研究的元分析[J].数字教育，2021，7（1）：45-50.

[10]王国华，田梁浩，聂胜欣，等.多媒体学习中表征认知负荷的眼动指标研究[J].电化教育研究，2023，44（10）：54-62.

[11]MÜLLER K R， TANGERMANN M， DORNHEGE G， et al. Machine learning for real-time single-trial EEG-analysis： from brain-computer interfacing to mental state monitoring[J]. Journal of Neuroscience Methods， 2007， 167（1）： 82-90.

[12]WANG C X， GUO J Q. A data-driven framework for learners’ cognitive load detection using ECG-PPG physiological feature fusion and XGBoost classification[J]. Procedia Computer Science， 2019（147）：338-348.

[13]胡斌，周颖慧，陶小梅.情感智能与心理生理计算[J].广东工业大学学报，2021，38（4）：1-8.

[14]张迪，万柏坤，明东.基于生理信号的情绪识别研究进展[J].生物医学工程学杂志，2015，32（1）：229-234.

（责任编辑 孙兴丽）

Physiological Computing-Based Cognitive Load Assessment： Motivations， Key Issues and Features—A Physiological Computing Framework for Cognitive Status Assessment

Wang Guohua1， Tian Lianghao1， Yu Shuyu2

（1. Faculty of Education， Henan Normal University， Xinxiang， Henan， China 453000;

2. School of Educational Technology， Northwest Normal University， Lanzhou， Gansu， China 730000）

Abstract：" Cognitive load assessment in the learning field suffers from the problems of lack of process data， single dimension of assessment， and insufficient accuracy of assessment. Multimodal data fusion and analysis technology reveals the representation mechanism of cognitive load from multidimensional spatial and temporal scales， and re-examines the cognitive load measurement problem in a data-driven paradigm， which can help to form a more effective method to understand the learning cognition and related laws. Based on this， the article analyzes the motivations for integrating physiological data to drive cognitive load measurement from the overview of the current state of cognitive load measurement research. It also analyzes the key issues involved in the development of related research， such as the computability of cognitive load， the interpretability of cognitive load representation model， and the computation of cognitive load element weights， and clarifies the multidimensional， process， and accuracy characteristics of the fusion of physiological data-driven cognitive load assessment. Finally， the article analyses and explains the educational physiological computational framework based on the idea of “theoretical model—data collection—model construction — computational analysis and pattern recognition”.

Key words： Cognitive load; Physiological data; Data fusion; Assessment; Multimodality

基金项目：国家社会科学基金教育学一般课题“‘互联网+’推动西部农村小规模学校创新发展的路径与策略研究”（BCA200085）

作者简介：王国华（1988— ），男，河南濮阳人，博士，副教授、硕士生导师，研究方向为在线学习、认知状态评估；田梁浩（2000— ），男，山西晋城人，硕士研究生，研究方向为认知状态评估、多媒体学习；俞树煜（1975— ），男，甘肃皋兰人，教授、博士生导师，研究方向为现代远程教育、教育技术基本理论。