混合场景下阅读投入的多模态表征与预警研究

吴娟 陈蕊 吴磊 陈鹏鹤

[摘   要] 阅读投入是衡量中小学生在多种阅读情境中的参与水平与努力程度的有效指标，基于多模态数据对其进行精准表征与适时预警是促进良好阅读习惯养成、提升阅读素养的重要途径。鉴于此，研究明确了阅读投入的内涵与情感、认知、行为、社交四个构成维度，构建出混合场景下的阅读投入模型，并基于阅读过程中生成的文本、日志、图像、语音、生理、心理六种模态数据，形成了多模态数据表征阅读投入的框架与指标。以此为基础，阐述了不良阅读投入状态的预警路径，包括阅读投入的指标融合计算、状态识别分析、预警策略匹配和预警信息反馈。由此，可对中小学生阅读投入情况加以检视，及时发现学生的不良阅读状态并提供预警反馈，未来可通过阅读投入进一步揭示阅读理解能力的发展机制，并提供个性化干预策略。

[关键词] 阅读投入； 多模态数据； 混合场景； 阅读投入预警

[中图分类号] G434            [文献标志码] A

[作者简介] 吴娟（1975—），女，上海人。 副教授，博士，主要从事技术增强语言学习研究。E-mail：wuj@bnu.edu.cn。

一、引   言

阅读是个体获取信息、提升自我和认识世界的窗口，也是提高国民素质、促进民族发展与国家进步的重要方式。当前，阅读进入智能化、数据化阶段，呈现出多维、立体的全景式阅读场景[1]。阅读投入被描述为学生在阅读过程中与阅读文本和阅读环境中的其他要素进行交互的状态，是影响学生阅读能力和阅读素养[2-3]的重要因素，在一定程度上与学生阅读理解水平呈现出正相关关系[4]。随着网络技术的飞速发展与智能终端的日益普及，中小学生的阅读介质呈现出纸质阅读与数字阅读相结合的趋势[5-6]；随着全民阅读的日益深入，阅读活动表现出课堂中的师生共读、课外学生自主阅读、家庭中的亲子共读等多种形式并存的样态。阅读介质和阅读活动的发展和变化，加剧了阅读理解过程的复杂特征，而阅读理解水平的提升，既要看即时评估的“表”，更要察内生历程的“里”。但因阅读过程缺少有效记录和持续跟踪，对中小学生阅读理解能力发展过程尚未能个性化地予以揭示，故而当学生阅读过程与理解能力出现问题时，很难通过结果状态回溯原因，无法及早发现并展开干预。因此，如何对阅读投入状态不良的学生进行及时诊断与预警，对学生的阅读能力发展具有重要作用，也成为研究者、实践者乃至家长广泛关注的问题。

混合场景下的阅读具有方式多样、互动多元的特点，生成的多种模态数据，也为阅读投入的有效表征提供了支撑[7]，数据驱动的研究范式则为阅读投入预警问题的解决提供了思路，为学生提供了个性化的阅读支持服务，阅读投入的测评方式需随之发生改变。基于此，本研究在理论层面上，通过文献调研与逻辑推演的方法，构建混合场景下的阅读投入模型并明确其各维度内涵；在此基礎上，建立阅读投入的多模态表征框架，从实践层面分析阅读投入的预警路径，以期为未来研究的开展提供借鉴。

二、相关研究现状

（一）从学习投入到阅读投入

学习投入是学生在学习过程中所付出的精力和努力程度[8-9]，目前学界普遍将其界定为一个多元化、多情境性概念，通过观测学习者的情感、认知、行为等指标来描述学习投入。其中情感投入是学生对教师、同伴和课堂活动的积极情绪，以及对学校或学科的兴趣或认同的心理状态；认知投入是学生的自我调节、坚持不懈、努力理解复杂概念或掌握困难技能等[10]；行为投入是学生参与学业和活动的表现，如注意力、参与度、作业完成情况等。随着协作学习与在线学习的发展，有学者将社交投入融入到学习投入的概念框架中[11]，是对学生或教师的互动质量及课堂上社会行为的描述，受师生关系、生生关系、学习活动以及学习环境等内外部因素影响[12]。

阅读投入是学生在阅读过程中为实现文本理解或问题解决所表现出的个体与群体性投入，具体体现为情感、认知、行为和社会交互状态及其形成的个体特征[13]。本研究将阅读投入界定为：阅读过程中学生付出努力的意愿、程度和深度，包括阅读情感投入、阅读认知投入、阅读行为投入和阅读社交投入四个维度。阅读情感投入是学生心理资源投入的重要表征，如阅读兴趣、自我效能感和毅力等，指向学生的阅读情绪和阅读动机，可采用唤醒程度衡量其投入水平。阅读认知投入是学生阅读中使用元认知和认知策略的频率，以及阅读成果反映的阅读深度，认知策略的特征划分依据主要是认知加工深度，元认知阅读策略包括计划、监控、调节、评价策略[14]，四个过程循环往复，形成自我调节。阅读行为投入是学生阅读中的外显特征，有研究者按照阅读的频次、广度和深度进行了划分，使用各项行为的时间、数量及质量作为行为投入的评判标准[15]，在混合阅读场景下，学生生成性阅读加工行为与日志数据也是衡量学生行为投入的重要指标。上述三维度阅读投入主要体现为学习者与阅读文本间交互，而社交投入则主要将阅读文本作为中介，表现为读者共同体间的社会交互，是混合学习场景中阅读投入的重要组成要素，有研究者根据交互程度与方式将其归纳为阅读分享、阅读讨论、阅读合作和阅读评价四维指标[16]。

（二）混合场景中的多模态阅读数据应用

近年来，随着泛在学习的普及，混合场景下学习投入数据分析更为多样，有研究者将其划分为在线学习场景和课堂学习场景[17]。面向混合场景的智能学习环境不仅使数据获取方式更加多元，也让学习诊断更为个性化和全过程性[18]，多模态数据成为支持学习过程评估的有效依据。多模态数据是指将单一个体多种模态下数据融合，形成立体可发展的评估成果，实施过程包括构建数据化表征模型、形成可操作的测评指标体系、采集多模态数据、分析被试特征水平等[19-20]。

混合阅读场景可依据阅读环境、阅读形式和阅读时机划分，包括线上、线下多种阅读环境混合，亲子阅读、师生共读、自主阅读多种阅读形式混合，校内外、课堂内外多种阅读时机混合。其中不同场景下多模态数据的采集方式也有所不同，在课堂师生共读场景下可采用课堂视频、在线学习平台、生理传感器等进行记录，在自主阅读过程中可包括人机交互屏幕记录、自陈评估量表、眼动追踪等方式采集。这种多模态数据驱动的测评方式不仅可以在阅读过程中对影响阅读投入的多维复杂数据予以评估，弥补传统试题测评中评价对象发展性评估的不足，同时增强了评价结果的可解释性，追本溯源，为下一步策略干预提供新思路。

（三）基于多模态数据的学习预警研究

学习预警是基于一定的标准和算法综合分析学习过程，预测学业绩效，进而根据预测结果向学生和教师反馈提示信号，并提供有效的干预建议[21]。早期的学习预警主要基于主观评定、阶段性成绩等，数据单一且有滞后性[22]。随着人工智能技术的快速发展，多模态数据挖掘为学习预警提供了新的方向，这里的“多”体现在多通道过程性数据、多样态呈现形式、多维度分析技术等[23]。多模态数据技术可以应用于阅读描述、诊断、预测[24]和干预，不仅用以表征当前学习主体特征[25]和任务特征[26]，还可以描述未来发展趋势[27]。不同于自然灾害类预警，学业预警是能够对未来发展结果产生直接影响的预警，因而已有研究愈加重视从过程性指标入手，分析学习过程中的影响因素并开展预警。有研究者基于学习分析构建了大学生网络学习拖延诊断与干预模型，研究表明预警后的学习者拖延次数与时间得到了改善[28]；也有研究者构建了基于数据驱动的学习倦怠预警模型，并通过实证研究验证使用该预警系统优于传统平台学习效果[29]。

中小学生在阅读中同样存在拖延、倦怠等投入不足的表现，对于这些表现需尽早发现并及早预警，通过改善阅读投入以提升学生的阅读理解水平。因此，在混合阅读场景中，可通过采集学生自主阅读、师生共读和亲子阅读等多个线上线下场景中的阅读过程数据，并与算法诊断系统和策略匹配系统配合，形成有效的阅读投入预警[30]。预警路径由确定预警目标、采集过程数据、分析阅读数据、分析个体特征、诊断预警等级、匹配预警策略和实施预警功能等环节组成[31]，为有效表征混合场景下阅读投入并开展预警，需构建阅读投入模型，基于多模态数据搭建表征框架，使预警指标更具全面性和可行性，并结合个体特征对学生进行聚类，面向不同类别学生提供个性化预警路径。

三、混合场景下阅读投入模型构建

（一）阅读投入模型的构成

本研究基于成就目标理论和社会建构主义理论[32]，整合内隐性情感动机投入与外显行为会话，综合认知投入的结果属性与行为投入的过程属性，融合阅读认知建构的深度与社交范围的广度，构建出阅读投入模型（如图1所示）。该模型立足阅读中的个体参与和群体参与，其中个体参与包括情感投入、认知投入和行为投入，群体参与则融入社交投入指标，并与其他三个维度形成交互影响。

1. 阅读情感投入

情感投入可测评指标包括阅读兴趣、阅读效能感与阅读动机。在学生情绪唤醒的前提下，经历发生、发展、反馈和调节四个阶段，积极情绪与消极交互碰撞融合，得以改善和稳定[33]，形成相对稳定的兴趣，继而引发阅读的自主动机和控制动机。其中自主动机是学习者对自我成长的驱动，如知识积累、人际关系维系、身心健康等；控制动机是外界对于个体的强制要求，如活动规则、外部赏罚等。当学生以自主为导向时，他们会根据利益和坚持的价值观来规范行为，所产生的阅读投入更为持久。

2. 阅读认知投入

认知投入包括激活系统、加工系统与反应系统，并依据认知信息加工的金字塔模型[34]可将其分为三大内容：知识、策略和元认知，其中知识包括对自我的认识与对任务的感知，策略是个人在决策中运用信息进行判断与建构的技能，元认知是在执行过程中指导加工的认知。元认知又包括计划、监控、调节、评价四个部分，计划包括设定阅读目标、决定阅读内容和时长、确定阅读策略等；监控包括检查是否遵循了阅读计划、是否达成了阅读目标；调节则包括调整情绪和注意力、调整阅读进度、调整阅读策略等，伴随着监控进行；评价策略是对阅读整体的自我反思。

3. 阅读行为投入

行为投入是学生的外显的行为表现特征，基于班杜拉提出的三元交互决定论[35]，其涉及个体、行动和环境三个影响因素，三者之间互为决定因素，形成连续不断的交互作用。个体在情感唤醒与认知激活的情况下，引发个体行动的意识，并在环境影响下形成的控制动机驱动，形成内在信息加工与外在行动过程。在阅读场景中，具体表征为学生阅读参与的数量、时长与多样性，如搜索、勾画、摘抄和批注等行为发生的频率和中断阅读的次数等。

4. 阅读社交投入

社交投入是在个体形成理解基础上的群体性知识汇聚，包括以情感交流为目的和以知识习得为目的两类。在情感交流中，其社交属性可以唤醒学生情绪，引发情感层面的情绪表达、行为层面的情绪回应和认知层面的情绪评价。与此同时，社交投入也将调节学生阅读中的认知投入与行为投入，表现出认知构建与协作行为。如，在师生共读的课堂情境中，群体研读可以通过教师引导完成协作活动，激发情感共鸣和思维火花[36]；在亲子阅读的家庭情境中，父母与孩子进行观点交流，加深对彼此的了解；在自主阅读的情境中，同伴之间可以通过观点的相互碰撞，形成更具深度的思考。因而，社交投入在形式的广度和内容的深度上，都将引发读者共同成长。

（二）混合场景下阅读投入模型

混合場景下，由于阅读环境、形式和时机的差异，阅读投入模型也需满足不同场景下的投入表征，所形成的模型如图2所示。整体阅读环境可分为线上、线下两种，由于阅读媒介的不同，学生普遍的阅读投入水平以及阅读投入最佳值可能存在差异。依据阅读时机可分为校内和校外，校内包括正式课堂阅读和非正式阅读活动，正式阅读中学生以学习新知为目标，非正式阅读活动中学生多以社交为目标。阅读形式则更为多样，如师生共读、自主阅读、亲子阅读等，每一种形式下人与文本、人与人交互样态不同，学生个体在阅读中的投入指标也存在差异。

四、混合场景下阅读投入的多模态表征框架

（一）阅读投入的多模态数据采集通道

在混合阅读场景中，个体与外界会产生多元交互形式，包括人与人的互动，如，师生互动、生生互动、亲子互动；也包括人与文本的互动，如，勾画批注、讨论点评。这些互动在真实阅读中并非单一存在，为确保阅读投入的表征过程具有良好生态效度，还原真实阅读过程，研究中可采用低侵入性的多模态数据采集方式，包含文本、日志、图像、语音、生理、心理六种模态数据支持的阅读投入表征，见表1。

文本数据是指读者在阅读过程中与文本交互和与他人交互产生的过程性数据，与文本交互的数据包括勾画、摘抄、批注的文本内容，与他人交互的数据包括平台中交流评论的内容，也包括通过转录阅读中音、视频所形成的文本数据。文本数据特征可以反映学生的认知行为投入、表达与协作的深度。

日志数据是指通过数字化阅读平台中的时间戳，记录学生的阅读时长、阅读时段、阅读频次、阅读进度、书籍数量、书籍类别等，以及群体交流情况。考虑到并非所有指标都可以通过外显行为获得，还需结合平台中的文本数据，分析学生阅读投入和情感变化。

图像数据是指通过录播设备采集学生在课堂环境下的阅读讨论过程，以及阅读活动中生成的图示化数据。通过对每个时间节点学生的面部表情与肢体动作进行分析，得到其当下的情感唤醒水平，还原学生的阅读情感与意愿。图示化的组织结构与模型复杂度则可用以衡量学生个体认知投入或群体社交投入。

语音数据是指通过在线阅读平台记录的学生朗读音频，或课堂录播设备记录的对话过程。可以通过语音中基音频率的变化分析学生的情感变化，结合对朗读中的重音断句是否恰当、字词语音和句群语调是否准确进行判断，得到学生阅读知识与阅读策略的掌握情况。

生理数据是指通过低侵入性设备记录学生阅读过程中的生理指标，如通过生理腕带对心率、皮肤电、皮肤温度的记录，通过眼动仪记录阅读中的热点区域、眼动轨迹与时间指标等。生理数据可以反映学生即时性的唤醒状态与调节水平，结合学生的外显行为，可以表征阅读投入中情感投入与调节水平。

心理数据是学习者通过自我报告的形式，回忆反思过程中的元认知策略与动机等个人特征。这些数据既可以作为多模态数据表征阅读投入的验证指标，也可以成为强化学生进行监控和评价的一种有效策略，表征学生在阅读中的自我认知与自我调节。

（二）阅读投入的多模态表征框架与指标

为有效表征学生阅读投入状态，本研究构建了阅读投入的多模态表征框架，具体指标见表2。在情感投入维度，当学习者在阅读中产生困惑或共鸣时，会引发阅读兴趣，激活其与文本交互的状态。这一过程会反映在学生的生理信号变化中，如平均心率、皮肤电导率、瞳孔直径等，其变化趋势可以反映一段时间内的持续性心流体验。在协作状态下，还可以通过学生交流的基音频率数据变化反映学生阶段性情绪唤醒水平。综合自然语言处理技术，采用潜在语义分析、支持向量机等统计方法，从词汇、句子和篇章分析文本的情感，提取有效信息，进行积极与消极情感分类。

认知投入维度，融合成果数据和过程性数据，了解学生知识的掌握、策略的运用和元认知能力情况。成果数据包括学生阅读后形成的习作、讨论或图式内容，分析其复杂度和深度，评估当前学生阅读质量。过程性数据可借助眼动仪、语音分析工具等，通过语音数据的流畅性和重音停顿表征学生在朗读中的认知水平和心理特征，以多种眼动指标表征学生在默读或自读中的认知加工过程；也可借助自我反思量表，补充阐释阅读过程中的表现。

行为投入维度，主要体现为阅读时长、数量、多样性等。其中阅读时长是学生在不同场景中阅读总时长与参与任务时长，通过线上平台的阅读日志数据和课堂视频记录等累计其总时长，单次阅读时长越长阅读投入所付出的心智努力则更高。阅读数量不限于阅读登录登出次数，还包括书籍阅读量、参与读写活动的频次与数量、对文本加以批注、与同伴交流频次等，频次越高代表学生行为投入越高。多样性体现为学生与文本交互的多样性，和与他人交互中形成社会网络的丰富度，通过日志数据记录表征投入的广度。

社交投入维度，以情感交流为目标的社交投入表现为表达、评价和回应，通过日志数据和文本数据综合表征同伴间交互的广度与频度。以知识习得为目标的社交投入体现为知识建构、团队协作和状态调节，是基于学生个体已有的认知水平，形成新的知识体系，表征为学生阅读后自主和群体表达内容的数量与质量，通过群组范围内表达内容质量和观点整合程度展现学生的协作过程。

五、基于多模态数据的阅读投入预警路径

为精准识别学生不良的阅读投入状态并提供早期预警，本研究提出了基于多模态数据的阅读投入预警路径（如图3所示）。基于上述混合场景下的阅读投入模型和表征框架，可以通过特征指标融合计算当前学习者的阅读投入状态，但在个体发展中不仅要看到数据变化之“形”，更要观发展积蓄之“势”。因此，还需基于阅读投入数据进行状态识别分析，关注学生个体差异，进一步提供个性化的预警策略匹配和预警信息反馈。

图 3   基于多模态数据的阅读投入预警路径

（一）基于多模态特征融合的阅读投入指标融合计算

多模态特征融合是教育大数据分析中常用的一种多模態数据融合方法，其流程是先对数据进行特征提取，再进行关联融合[37]。通过多模态特征融合，实现对混合阅读场景下采集的文本、日志、图像、语音、生理和心理六种多模态数据的关键特征提取与融合。对于文本数据，利用统计分析方法提取阅读字数、识记标记数量等统计特征，利用语义分析工具提取文本类型多样性、批注内容深度等语义特征[38]；对于日志数据，可利用统计分析方法提取时长特征与频次特征，利用社会网络分析方法提取质量特征[39]；对于图像数据，利用数字图像处理技术实现表情识别、姿势分析等，提取强度特征和能量特征[12]；对于语音数据，通过傅里叶变换等时频转换技术提取基频特征和能量特征[19]；对于生理数据，利用统计分析方法和时频分析法提取时域特征和空间特征；对于心理数据，利用主成分分析、因子分析等降维方法提取元认知和动机等心理特征。完成特征提取后，对其进行标准化处理，将其输入到训练后的阅读投入量化模型中，从而表征学习者情感投入、认知投入、行为投入和社交投入的量化数值。

（二）基于大数据机器学习的阅读投入状态识别分析

第二步对学生阅读投入状态进行识别，具体分析内容包括阅读投入程度判别、阅读绩效预测和阅读投入类型分类。其中阅读投入程度的划分，先将阅读投入量化数据中情感、认知、行为和社交四维数值加权，得到总阅读投入特征值，再用标准参照或常模参照的方式将其划分为“高”“中”“低”三种程度。标准参照是由教师或研究者人工确定每个预警程度对应的总阅读投入临界值，系统将学生数据与其进行比较；常模参照是用学生阅读投入状态在当前群体中的相对位置来划分。阅读绩效预测是结合阅读平台中已有的数据记录或采取人工标注的方式添加阅读绩效标签，进行机器学习算法模型的训练，生成具有良好拟合度和泛化能力的阅读绩效预测模型，然后将实时采集和计算得到的阅读投入量化数据输入到前期训练生成的模型中，输出其阅读绩效预测值，将其依据标准参照模型划分“高”“中”“低”。

阅读绩效预测值和阅读投入程度是评判预警程度的重要依据，综合二者回答“是否要作出预警”和“要作出何种程度预警”。若当前绩效預测值为“高”，或阅读投入程度为“高”，均为正常状态，无需预警；若当前绩效预测值为“中”，阅读投入程度为“中”则为低度警戒，阅读投入程度为“低”则为中度警戒；若当前绩效预测值为“低”，阅读投入程度为“中”则为中度警戒，阅读投入程度为“低”则为高度警戒。

阅读投入类型是学生阅读投入个性化特征的体现，指向“以何种方式预警”和“预警什么内容”的问题。将阅读投入量化训练集输入到聚类算法中，聚类得到以下四类典型的阅读投入类型：消极型、浅表型、惰性型、独立型[40]，其中消极型是学生情感投入较为低落，其阅读动机或当前阅读兴趣不足；浅表型是学生选择认知策略偏于查找与识记，未能形成深度的理解与应用；惰性型是行为层的怠惰，虽有较为积极的情绪和较高的认知水平，但外在行为表现不足；独立型是倾向于个体思考，与他人社交链接较弱。基于学生阅读投入量化数据，通过聚类算法输出学生阅读投入类型，以便匹配预警策略。

（三）基于人机协同机制的阅读投入预警策略匹配

阅读投入预警策略匹配是根据阅读投入状态的识别与分析结果，在人机协同机制的支持下，为学生匹配科学的预警策略。根据阅读投入状态识别分析结果，由阅读绩效预测值和阅读投入程度，可以将预警程度划分为高度警戒、中度警戒、低度警戒和正常状态，其中正常状态无需预警；由聚类得到的阅读投入类型可以提炼学生认知、情感、行为和社交投入的特点，这两者组成了预警策略匹配的重要依据。

对于消极型读者，可采用激励策略，通过外部激励直接增强其控制动机、促进其行为投入，并在此过程中反作用于其自身情感投入，激发情绪唤醒并转化为长效的自主动机，形成稳定的兴趣和自我效能感。对于浅表型读者，可采用比较和建议策略，比较学生在知识、策略和元认知水平与标准水平差异，提出存在的问题，并向学生提供针对性的改进建议。对于惰性型读者，中度、高度警戒状态可主要采用警示策略，通过较为强烈的介入方式引发学生的行动意识，加强其阅读行为投入；低度警戒状态可采用激励和建议策略，通过情绪唤醒和认知激活等多种方式引发学生的行为投入。对于独立型读者，高度警戒状态可通过对比和警示策略，与他人形成社会比较，引导其取长补短；中、低度警戒状态可采用激励和建议策略，加强同伴间的交流与协作。

（四）基于可视化技术的阅读投入预警信息反馈

预警信息反馈是阅读投入预警路径中的最后一步，旨在通过数字阅读平台自动反馈和混合场景下人工反馈，辅助学生及时调整阅读状态。数字阅读平台的自动反馈方式包括给学生颁发数字徽章[41]实现激励策略、通过可视化仪表盘实现阅读投入状态和社会比较结果的反馈、给学生提供各个投入维度上的行动改进建议、通过弹窗对学生阅读行为进行警示。自动反馈依托可视化技术进行实时呈现[42]，其内容来源于预警资源库。预警资源库包括反馈话语库、反馈语音库和图示模板库，其中反馈话语库是预警信息的核心内容来源，根据不同的阅读投入特点、预警程度和匹配的预警策略，能够从该库中调取不同的反馈话语文本，用于行动建议和弹窗警示的内容生成等；反馈语音库是与反馈话语相对应的音频与音效，能够对反馈话语的文本内容形成补充，起到更为丰富的反馈效果；图示模板库是数字徽章和数字仪表盘等反馈页面的基础，能够提供所需图示的通用模板图片，通过可视化的方式实现预警反馈。除此之外，人工反馈也是混合场景下阅读投入预警信息反馈的一类重要方式，教师、家长和同伴能在师生共读和亲子阅读等多种场景中发挥激励、比较、建议与警示作用，为改善学生的阅读投入状态提供支持。两类反馈综合引导学生调整阅读策略，改善阅读投入，其阅读过程中产生的新数据将进入下一轮预警，由此四个步骤构成的预警路径形成循环回路。

六、结   语

阅读是一个复杂适应系统，为明确影响阅读理解过程中的因素，本研究构建了混合场景下的阅读投入模型，遵循数据驱动的循证研究范式，基于文本、日志、图像、语音、生理、心理多模态数据，构建了阅读投入的表征框架及具体指标。面向学生不良的阅读投入状态，本研究形成了阅读投入预警的有效路径，包括基于多模态特征融合的阅读投入指标融合计算、基于大数据机器学习的阅读投入状态识别分析、基于人机协同机制的阅读投入预警策略匹配和基于可视化技术的阅读投入预警信息反馈。混合场景下阅读投入的表征框架与预警路径，为阅读和预警研究提供了新思路。

多场景下的多模态阅读投入数据，可在个体能力发展和群体特征规律探寻方面发挥作用。学生的阅读理解水平会受到诸多因素影响，也会随时间和任务发生变化，如何通过追踪数据对个体阅读投入及阅读理解水平进行增值性评价，进而服务于日常教育教学，是未来研究的重点方向。此外，个性化阅读支持服务离不开对阅读理解机制的深层次挖掘，基于混合场景下的多模态数据可以发掘阅读理解水平较高和不良的学生分别具有怎样的特征，进而从阅读投入状态入手，提升学生的阅读理解能力，使学生具备良好的阅读习惯和终身学习力。

如若学生个体阅读投入预警状态长期处于临界值，可进一步针对不同阅读投入特点，对学生开展个性化干预。当学生情感投入较低时，可采用智能语音助手，以沟通唤醒学生积极情绪；当学生认知投入较低时，可提供适当的阅读脚手架，如思维导图、自我调节引导等，调动学生的认知参与；当学生行为投入较低时，可直接通过资源推荐、活动推荐等形式，引发可见的行为投入。通过干预学生的阅读投入过程，进而实现学生的阅读理解能力提升，达成新时代人才培养的核心素养要求。

[参考文献]

[1] 许哲，徐和祥.全景式阅读场景下数据驱动的学生阅读素养评价的内涵、方法及实现路径[J].电化教育研究，2022，43（10）：79-85.

[2] 钱荃，刘洁玲，郑国民.四年级学生语文阅读能力影响因素研究——基于阅读投入与阅读教学行为视角[J].基础教育，2020，17（4）：72-81.

[3] 张文静，辛涛.阅读投入对阅读素养影响的跨文化比较研究——以PISA 2009為例[J].心理发展与教育，2012，28（2）：175-183.

[4] LIN J， LI Q， SUN H， et al. Chinese secondary school students' reading engagement profiles： associations with reading comprehension[J]. Reading and writing，2021，34（9）：2257-2287.

[5] 王佑镁，李宁宇，尹以晴，等.从再现到预测：基于BP神经网络的中小学生数字阅读素养评测体系研究[J].电化教育研究，2022，43（8）：68-76.

[6] 陈纯槿.PISA 2018中国四省市学生阅读素养研究新发现[J].华东师范大学学报（教育科学版），2020，38（5）：22-62.

[7] 张利钊，杜旭，李浩，等.基于多模态数据的学习投入评估方法分析[J].电化教育研究，2022，43（10）：72-78.

[8] FREDRICKS J A， BLUMENFELD P C， PARIS A H. School engagement： potential of the concept， state of the evidence[J].Review of educational research，2004， 74（1）： 59-109.

[9] BOND M. Facilitating student engagement through the flipped learning approach in K-12： a systematic review[J]. Computers & education， 2020（151）：1-36.

[10] HUANG B， HEW K F， LO C K. Investigating the effects of gamification-enhanced flipped learning on undergraduate students' behavioral and cognitive engagement[J]. Interactive learning environments， 2019， 27（8）： 1106-1126.

[11] FREDRICKS J A， FILSECKER M， LAWSON M A. Student engagement， context， and adjustment： addressing definitional， measurement， and methodological issues[J]. Learning and instruction， 2016（43）： 1-4.

[12] 李新，李艳燕，包昊罡，程露.学习投入测评新发展：从单维分析到多模态融合[J].电化教育研究，2021，42（10）：100-107.

[13] NAUMANN J. A model of online reading engagement： linking engagement， navigation， and performance in digital reading[J]. Computers in human behavior， 2015（53）： 263-277.

[14] FLAVELL J H. Metacognition and cognitive monitoring： a new area of cognitive-developmental inquiry[J]. American psychologist， 1979， 34（10）： 906-911.

[15] 张琪，武法提.学习行为投入评测框架构建与实证研究[J].中国电化教育，2018（9）：102-108.

[16] 张泸月，许统，熊芳.用户多维度阅读交互对阅读满意度的影响效应研究[J].图书情报知识，2017（3）：29-37.

[17] 张永和，潘萌，钟国成，曹晓明.基于混合场景人脸数据集的学习投入度识别[J].现代教育技术，2021，31（10）：84-92.

[18] 杨彦军，徐刚，童慧.智能学习环境中基于多模态数据的深度学习监测研究[J].电化教育研究，2022，43（6）：68-76..

[19] 田浩，武法提.混合场景下协作认知投入的多模态表征与分析路径研究[J].远程教育杂志，2022，40（4）：35-44.

[20] 张琪，王红梅.学习投入的多模态数据表征：支撑理论、研究框架与关键技术[J].电化教育研究，2019，40（12）：21-28.

[21] MACFADEN L P， DAWSON S. Mining LMS data to develop an "early warning system" for educators： a proof of concept[J]. Computers & education， 2010， 54（2）： 588-599.

[22] 肖巍，倪傳斌，李锐.国外基于数据挖掘的学习预警研究：回顾与展望[J].中国远程教育，2018（2）：70-78.

[23] 武法提，黄石华，殷宝媛.基于场景感知的学习者建模研究[J].电化教育研究，2019，40（3）：68-74.

[24] OLSEN J K， SHARMA K， RUMMEL N， et al. Temporal analysis of multimodal data to predict collaborative learning outcomes[J]. British journal of educational technology，2020，51（5）：1527-1547.

[25] 王一岩，郑永和.基于情境感知的学习者建模：内涵、特征模型与实践框架[J].远程教育杂志，2022，40（2）：66-74.

[26] 王希哲，涂雅欣，张琳捷，黄琼浩.认知负荷视角下在线协作学习的增效机制研究[J].电化教育研究，2022，43（9）：45-52，72.

[27] 艾兴，张玉.从数字画像到数字孪生体：数智融合驱动下数字孪生学习者构建新探[J].远程教育杂志，2021，39（1）：41-50.

[28] 杨雪，姜强，赵蔚，李勇帆，李松.大数据时代基于学习分析的在线学习拖延诊断与干预研究[J].电化教育研究，2017，38（7）：51-57.

[29] 黄昌勤，涂雅欣，俞建慧，蒋凡，李明喜.数据驱动的在线学习倦怠预警模型研究与实现[J].电化教育研究，2021，42（2）：47-54.

[30] 孙皓，宋平平.大数据环境下在线学习绩效的监测预警模型构建与应用——基于非线性门限回归模型[J].现代远距离教育，2022，203（5）：20-29.

[31] 赵慧琼，姜强，赵蔚，等.基于大数据学习分析的在线学习绩效预警因素及干预对策的实证研究[J].电化教育研究，2017，38（1）：62-69.

[32] 钟志贤.基于社会建构主义的网络学习策略设计[J].现代远程教育研究，2005（4）：11-14，71.

[33] HUANG C Q， HAN Z M， LI M X， et al. Investigating students' interaction patterns and dynamic learning sentiments in online discussions[J]. Computers & education，2019，140（10）：1-18.

[34] 王本贤.试析认知信息加工理论[J].教育探索，2009（5）：7-8.

[35] 殷融.论班杜拉三元交互决定论中蕴含的先锋思想[J].心理研究，2022，15（2）：115-120.

[36] 吴娟，刘旭，王金荣.基于学习元平台的师生共读模型的构建与实践[J].中国电化教育，2014（7）：119-125.

[37] 武法提，黄石华.基于多源数据融合的共享教育数据模型研究[J].电化教育研究，2020，41（5）：59-65，103.

[38] 吴林静，高喻，涂凤娇，王瑾洁，刘清堂.基于语义的在线协作会话学习投入自动分析模型及应用研究[J].电化教育研究，2022，43（3）：77-84.

[39] 钟伟，吴娟，陈露.基于学习元平台的师生共读活动之社会网络分析和内容分析[J].现代远距离教育，2015（1）：52-59.

[40] 钟卓，钟绍春，唐烨伟.人工智能支持下的智慧学习模型构建研究[J].电化教育研究，2021，42（12）：71-78，85.

[41] 吴娟，翟芸，王智颖，杨东芳.活动理论视角下数字阅读徽章体系构建与应用[J].电化教育研究，2022，43（4）：92-98，115.

[42] 郝建江，郭炯.智能技术赋能精准教学的实现逻辑[J].电化教育研究，2022，43（6）：122-128.

Multimodal Characterization and Early Warning of Reading Engagement in

Blended Scenario

WU Juan1，  CHEN Rui2，  WU Lei2，   CHEN Penghe1

（1.Advanced Innovation Center for Future Education， Beijing Normal University， Beijing 102206;

2.School of Educational Technology， Beijing Normal University， Beijing 100875）

[Abstract] Reading engagement is an effective indicator of primary and secondary school students' participation and exertion in various reading contexts. Accurate characterization and timely warning of reading engagement based on multimodal data are important ways to foster good reading habits and enhance reading literacy. In view of this， this study explicates the connotation of reading engagement and four components of emotional， cognitive， behavioral and social dimensions， and constructs a model of reading engagement in blended scenario. Then， a multimodal characterization framework and indexes are established based on the data generated in the reading process： the text， log， image， phonological， physiological and psychological data. Based on the multimodal characterization framework， an early warning path of low reading engagement status is elaborated， including the calculation of index fusion， status identification and analysis， early warning strategy matching， and early warning information feedback. As a result， the reading engagement of primary and secondary school students can be reviewed， and the poor reading status of students can be detected and early warning feedback can be provided in a timely manner. In the future， the development mechanism of reading comprehension can be further revealed through reading engagement， and personalized intervention strategies can be provided.

[Keywords] Reading Engagement; Multimodal Data; Blended Scenario; Early Warning of Reading Engagement