面向混合学习的多模态交互分析机制及优化策略

田阳 陈鹏 黄荣怀 曾海军

[摘   要] “互联网+教育”促进了混合学习的实践应用。混合学习融合了物理空间、社交空间、资源空间等，这使得学习交互的内在机理成为学术界重点关注的议题之一，研究团队尝试从混合学习的多模态分析视角揭示混合学习交互内在机理。通过对混合学习的多模态交互特征分析，归纳出其特征为跨空间交互、同步与异步交互并存、多情境转换、具身情感性、可表征等。结合混合学习运行规律，发现混合学习的多模态交互过程中可表征多模态和抽取多模态信息，并总结出多模态交互分析的主要流程为数据采集、加工与筛选、数据分析、数据表征可视化、反馈调节等。多模态交互信息经过可视化表征，将分析得到的结果经过仪表盘反馈给教师、学生，帮助教师和学生及时調整教与学的方法，并促进混合学习多模态交互策略的优化。

[关键词] 多模态; 混合学习; 多模态交互分析; 学习分析; 优化策略

[中图分类号] G434            [文献标志码] A

[作者简介] 田阳（1988—），男，黑龙江勃利人。博士研究生，主要从事互联网教育应用、学习与社会交互等方面的研究。E-mail：tianyang001@yeah.net。

一、引   言

互联网技术的教育应用所引发的课堂变革，促进了慕课（MOOC）、翻转课堂、SPOC等教学形态的涌现，使得教与学的物理空间、资源空间、社交空间逐渐走向融合，尤其是教育大数据、云计算、人工智能、区块链等新兴技术在教育领域的运用，以及数据挖掘和学习分析等技术的应用，多模态融合协同成为可能。同时，在教学方式和方法层面，混合学习是一种能促进教与学过程中的物理空间、资源空间、社交空间协同的有效教学方法，实现线上、线下教与学的融合。但是面对复杂的物理空间、资源空间、社交空间的交互，混合学习的学习交互成为促进有效学习的关键问题，有待我们深入研究，尤其是混合学习的学习交互模式与方法尚未得到有效验证，这对实现混合学习在教育领域的经济和社会价值有着制约作用。本文通过分析线上线下混合学习的多模态交互模式，以期构建混合学习的多模态交互方法，从而形成富有成效的学习。

二、多模态交互

（一）多模态

模态本身是一种客观存在的、可表征的符号系统，例如人的语音、表情、眼神、手势、身体动作等经过转码后都可以称为一种模态[1]。模态的价值在于其可以通过一些技术手段进行观察和分析，然后基于多种模态综合判断，可用来衡量事物发展的情况，进而作出相关判断或预测。克瑞斯（Kress）等人早先定义了多模态的概念，多模态是指“在符号产品或者事件中几种符号模态的使用，促进人类感官与外界环境发生交互的符号系统”[2]。多模态的出发点是把语言及其意义的社会阐释扩展到所有的呈现和交际模态——诸如图像、文字、手势、凝视、言语、姿态等[3]。多模态信息类似于语义网络，但是它又并非单纯地表达语义，语义网络仅是模态的一种形式。多模态的概念十分复杂，原因就在于它涉及了多种模式的符号表征系统，包含视、听、触、味、嗅等[4]，往往这些符号表征系统不是单一使用，而是多个组合使用[5]。基于这种表征系统，将不可观察或者很难观察的符号特征编码量化后变得可以分析，并基于相关的设备不断采集和分析判定[6]。

多模态信息主要是用于人与人的交互、人机交互、机器与机器交互等方面。尤其是随着第五代移动互联技术（5G）的发展，将促进人与万物互联的同时，需要进行多模态交互[7]，多模态信息就显得尤为重要，因为人与人的交互、人与机器、人与空间（物理空间、信息空间、人类社会）的交互需要多模态信息识别。近年来，大数据分析、人脸识别、语音识别、云计算、表情识别、体态识别技术的成熟和应用，强化了多模态信息的可用性。未来的教与学场景[8]中将会更多地聚合物联网技术、人工智能技术、云计算技术、大数据分析技术、学习分析技术等，针对多模态的分析将成为一种常态。多模态的应用更多地体现在交互方面，通过模态感知、模态测量、模态分析、有源模态追溯、模态衍生等技术手段促进人与人的有效交互和深层次的理解，以及人与机器的交互等。对于多模态分析，以往仅仅凭借个体的感官采集信息，经过人的大脑加工判断交互对象表征符号的含义，进而作出相关的回应性行动;如今随着科学技术的使用，尤其是智能技术的应用[9]，更容易关注到多模态表征的细节内容，通过增加模态信息的颗粒度和种类，使得多模态分析的精度和准度大大提高。

（二）多模态交互

“交互”一词在《汉语词典》里的含义是互相、彼此;交替地。随着时代的变化，交互一词在计算机应用方面，它的含义变为参与活动的对象，可以相互交流，双方面互动[10]。在教育领域，交互更多地强调师—生互动、生—生互动、生—机互动、师—机互动等，这种交互强调双方的可沟通性、互惠性和目的性[11]。在交互的过程中，多种模态信息通过渠道传递给识别器（对于人来说，识别器是大脑;对于计算机来说，识别器可能是程序模式或人工智能模块），经过识别后作出相关反应的过程。早期的多模态交互研究多应用于话语分析，话语分析从简单的语言分析走向了对语音、表情、眼神、姿态等多种模态综合分析的态势，形成了基于多模态的话语分析研究[12]。

多模态交互是指参与交互的对象发出的语音、表情、眼神、体态、体温等连续可表征的符号信息统称，这些连续的表征符号信息是交往互动过程中参与者用于判断、甄别、反应的基础。多模态交互研究是从多模态的价值被挖掘伊始就进行的，多模态本身含有大量的信息和被表征的符号，通过对多模态信息的分析[13]，可以判断多模态源的状态和心理活动等。多模态交互不仅局限于话语分析，随着情报分析技术的进步，通过采集面部表情、语音音色变化、眼睛视点、体态等多模态信息进行综合分析[14]，结合心理学相关方面的研究，实现了对多模态交互的诊断[15]和掌控。

多模态交互将过去教与学过程中的交互途径细化，它能关切到交互过程中两个对象或者多个对象的情感变化、真实意图、注意力程度、理解偏差等，通过更加丰富的信息颗粒度综合判断交互过程中的情境变化，促进交互者之间的深度理解，实现有效交互[16]。这在传统的交互过程中是不可能体现出来的，传统教与学的交互更多地强调师生之间、学生之间等的宏观性质交互，例如通过语言、视听等模式进行交互，课堂上的交互无外乎教师提问、学生回答;或者学生主动提问后教师进行回答的模式。远程教育领域的互动更多的是进行在线提问，一般可以实现同步回答或异步回答，但往往体现于文本内容上[17]。这种交互容易忽略主动交互者的情感、重点关注内容、情境等，交互过程容易出现偏差或者误解。

多模态交互分析属于交叉学科概念，多模态交互分析是基于数据采集技术，将多种模态信息采集编码，并结合大数据分析、学习分析、情感识别、情境感知等技术，聚合判断交互情境中对象的生理、心理、认知、行为等方面的变化[18]，为教与学或社会互动提供深层次的理解，并为促进有效的教与学提供数据支持，以及进行决策判断使用。它跨越了社会学、教育学、心理学等学科，自哈贝马斯的交往行动理论[19]到交互学习理论[20]，再到心理学领域的交互分析理论[21]和班杜拉的社会学习理论[22]等，以及近年来备受关注的社会资本中提到的交往互动过程中的动机调用和互惠。远程教育领域更为关注交互理论的发展，穆尔的交互自治理论、贝茨的双向交流理论、基更的教学再整合理论、安德森的等效交互原理等得到了广泛的研究和应用，近年来远程教育学方面也更加关注联通主义学习理论的交互作用，认为连接即是学习[23]。这些涉及交互与学习方面的研究，奠定了基于信息化技术手段进行多模态交互学习分析的理论基础和实践方向。

三、混合学习的多模态交互分析

（一）混合学习的多模态交互特征

混合学习的价值在于，它是一种行之有效的教学方式，通过学习形式的转换，促进学习资源、交互方式、教学方法、学习方式等聚合使用，让学习者能深刻理解学习内容，并将学习内容转化为个人知识储备[24]。混合学习在交互过程中有教师与学生之间的交互;其次是教师与教学设备的交互，这些教学设备主要是教室中的电教设备，涉及投影、音响、网络、计算机等;再者，学生与学习设备的交互也是重要的交互环节，学生使用网络、投票答题器、交互白板等参与课堂互动与线上学习等;最后是学生与学生之间的交互，学生与学生之间的交互体现在分组活动、协作学习、问题讨论、社会交往等方面，尤其是学生进行在线学习时的同伴陪同机制将有利于调动学生学习的积极性[25]。混合学习的多模态交互恰好发生于这四类交互当中[26]，模态形式主要有文本、语音、视频、图片、图像、语言、表情、眼神、体态、手势、触碰等（见表1），交互过程中的模态形式往往是多种模态组合出现，表现出多模态的特征。

混合学习的多模态交互也有其固有特征。线上线下相融合的混合学习本身具有跨越物理学习空间和网络学习空间的特征[27]，多模态交互伴随着混合学习的进行也同时发生于跨空间交互当中，这是混合学习多模态交互的主要特征之一。此外，线上线下相融合的混合学习使得多模态交互具有同步与异步交互的特征;混合学习的多模态交互发生于不同的学习场景当中，依赖于學习情境的变化而变化，多情境转化也是混合学习多模态交互的特征之一[28]。混合学习多模态交互过程中参与的个体本身是有情感交流的，多模态信息中的表情、眼神、音色等都赋予了一定的情感特色，具身情感性也是混合学习多模态交互特征之一。混合学习多模态交互往往发生在特定的空间或场景中，本身可以被观察和测量，大量的多模态信息被编码成表征信息进行分析和判断，多模态信息可表征也是其特征之一。

跨空间交互。混合学习多模态交互主要在线上的网络学习空间和线下的物理学习空间进行，学生之间、教师与学生之间进行的交互行为也存在于社会生活空间中，尤其是社交行为，这充分体现了混合学习的多模态交互跨空间特征。

同步与异步交互并存。线上、线下相融合的混合学习过程中，普遍存在线上与线下的异步和同步学习现象，多模态交互便随着这种同步与异步交互而发生。这种同步与异步交互具有一定的时效性和差异性，同步交互可以同时判断多模态交互中个体的状态和情绪、情感变化，异步交互如果不进行多模态交互分析，很难判断交互者的情感状态等的变化，这对交互是不利的，因此，在这种交互过程中，分析多模态交互信息将促进异步交互的良性发展。

多情境转换。混合学习多模态交互依托于学习过程的多种学习情境中，多种学习情境的转换使得多模态中的主要模态形式发生相关的变化，例如在教师讲课模式中，多模态的主要形式是教师讲课语音和相关课件等模态信息，到了分组讨论的时候，多模态信息主要是学生交流的语言、表情、眼神变化等。

具身情感性。混合学习多模态交互过程更多的是人与人的交互，人的交互过程中临场感与感情的涌现较为重要，尤其是学习情境中的临场感能让参与者涌现出丰富的情感表现，而这些情感表现可以通过分析体态、表情、眼神、声音变化等多模态信息，掌握参与者的情感状态、注意力集中程度等。

多模态信息可表征。混合学习过程中多模态信息具有可表征的特性，表情符号可以表征喜怒哀乐的个体情感状态，声音符号可以表征学习者的紧张与放松等状态，体态符号可以表征学习者的生理舒适程度等信息。基于可被表征的多模态信息，可以综合分析学习者的学习状态。

（二）混合学习的多模态交互价值及应用

混合学习的多模态交互数据有着重要的应用价值，混合学习过程中会发生大量的交互信息，通过数据采集技术对多模态信息采集编码和表征，分析教与学各个交互环节，促进富有成效的教与学。混合学习的多模态交互分析主要围绕其特征展开各环节的数据采集和抓取，通过分析在线学习过程中的多模态交互数据和线下课堂教与学活动中的多模态交互数据，为整个教与学的过程提供数据支持和评价参考。这些数据采集主要是围绕多模态交互过程中的表情、视点、语音、手势、姿态等个体线下交互数据，以及个体在线上产生的多模态交互数据，这些数据有文本、语音、视点、触点等数据。综合分析这些多模态数据，将有利于实现教与学过程的可视化、知识建构路径可选择、用户画像分析、个性化学习、学习分析等[29]。当前多模态交互的数据采集和分析技术已经具备，主要通过摄像机和传感器采集混合学习的过程数据。一方面是教师的教学数据、行为数据、交互数据等，另一方面是采集分析学生的行为数据、学习数据、社会交往数据、生理数据等。应用相关的大数据分析和学习分析技术，并加载相关的人工智能模块，实现表情识别、情绪识别、注意力集中程度判断等功能[30]。目前混合学习的多模态交互分析主要应用方面有用户画像分析、情境感知、个性化学习支持、语义感知网、学习诊断等。

学习者画像分析。学习者画像分析的主要功能是用来判断学习者的学习习惯和评价学习者的知识储备情况，并根据实际情况作出相关的学习方式或路径设计，指导学习者进行有效的学习。混合学习多模态交互数据采集和分析，将更全面地、精准地分析学习者的学习行为、习惯、特征、知识储备等，而过去通常采用单一模态数据与心理测评，以及试卷测试等的结果对学习者进行画像分析。

情境感知。基于多模态交互的情境感知分析，将为课堂教学提供实时的学习情况和学习者的学习情绪，判断学习者是否注意力集中等，帮助教师合理动态调整相关的教学计划和教学方式。教师通过关注教学过程中的实时情境感知数据，及时调整相关教学内容和方法。

个性化学习支持。当前混合教学课堂人数众多，教师很难关注某一个体的学习情况，但通过大数据、人工智能、学习分析等技术实现多模态交互分析，判断个体的学习情况和进展，及时提供相关数据给予支持，并将学习路径优化，支持每个个体的学习历程可视化等，对学习者的学习进行学习诊断，实现学习者的个性化学习。

语义感知网。当前语音识别技术的应用，助力于混合学习的多模态交互分析，通过实时的语音识别技术转译教师和学生的语音，展示相关关键词的知识图谱，为学习者提供知识点概貌和导航等信息，同时，提供与语义有关的图片、视频、文本内容等资料，进一步帮助学习者发散思维、拓展思路。

四、混合学习的多模态交互分析机制

（一）混合学习的多模态交互运行机理

混合学习的多模态交互分析主要关注教师和学生在教与学过程中产生的多模态信息，这些模态信息主要有表情、眼动、体温、手势、语音、体态、文本等。线下多模态交互更多的是教师、学生之间的面对面交流，而参与这些交互的多模态主要是以人的感官为主，多模态主要有表情、语音、体温、手势、体态、眼动。线上多模态交互过程主要体现为“人—机”交互，多模态主要有语音、文本、视频、眼动、触点（含鼠标）、计算机日志等。

混合学习是一个复杂的学习方式，跨越线上、线下两大系统来组织教与学。交互是混合学习在这种复杂环境中有效运行的核心要素之一，混合学习在跨越两大系统的同时，又涉及空间、时间、知识建构等基本要求，通过交互，使得混合学习各项要素和流程有效运行，并增强了混合学习的黏性。

混合学习的多模态交互促进教师与学生、学生之间有效交互和交流，促进知识的学习。混合学习的多模态交互的运行是在混合学习教学设计支持框架下进行的（如图1所示），当前混合学习的最大特点是依托于线上、线下两个学习空间融合促进学习。在混合学习运行过程中，学生通过线上学习获取学习资源，并与教师和学伴等进行沟通交流，而这一过程中教师也为学生提供了线上学习指导和学习范畴的界定，发挥着教师主导的作用，这时候学生更多的不是直接研读线上学习资源，而是要尽快理解教师的意图和目的以及布置的任务，才能最好地发挥网络学习空间的功效。通过对教师线上活动多模态信息的抽取，表征给学生，让学生理解教师的意图，进而调动学生的学习能动性。线下的教与学是混合学习的核心环节，这样的過程中教师需要了解学生的学习情况和理解程度，尤其是学生作为学习主体，教师必须要全面了解学生的基本情况。在线下交互过程中抽取学生的多模态信息，表征给教师，帮助教师掌握学生的学习状态和基本情况，便于教师及时调整相关教学策略。整体看，混合学习的多模态交互过程需要不断调节，而这种调节依赖于多模态信息的获取和分析，通过调节交互帮助教师和学生充分理解各方的意图，达到“教师主导—学生主体”[31]、以学生为中心的混合学习目标。这些正是基于混合学习交互过程中的多模态数据的获取与分析，并赋能于混合学习的反馈调节，实现了混合学习的多模态交互的妥善运行。

（二）混合学习的多模态交互分析机制

多模态交互的价值在于，分析其数据可以进行学习者画像分析、情境感知、个性化学习支持、语义感知等。多模态交互依赖于互联网技术支持的大数据分析、学习分析、模式识别、人脸识别、语音识别等在人工智能技术聚合下发挥出其应有的价值和作用。混合学习的多模态分析是一个复杂的系统，它是一个观测和分析多模态数据用于支持教与学的工具性系统。多模态分析系统主要由多模态采集系统、数据存储和转码系统、多模态分析处理系统、数据可视化表征系统、环境感知和调节等系统构成。多模态采集系统主要由多模态数据采集设备和存储器构成，涉及传感器、摄像机、红外成像仪、环境温度计等设备，并由采集存储设备等共同构成了多模态采集系统;多模态存储和转码系统主要功能是负责将采集的多模态数据进行转码和存储，由于多种模态信息数据信源不同，必须将不同模态的信息经过数字化技术处理形成特定的编码，实现数据标准的统一;多模态分析处理系统主要是依托于大数据、心理学、人工智能、教育学等学科交叉促进实施表情识别、微表情、情境感知、语音识别、学习分析等;数据可视化表征系统的主要职责是将多模态分析后的结果通过可视化技术表达出来，以通俗易懂的图标和语言将这些分析结果和指导教与学的方法提供给教师和学生，让他们尽快调整状态和方法，改进教与学的方式或方法，进而提升教与学的成效;环境感知和调节系统的主要任务是负责将多模态分析的结果和提供的改进方法等转达给教师和学生，通过智慧学习环境中控系统调节教学环境的舒适度、空间物理设备等。多模态交互分析的主要流程为数据采集、加工与筛选、数据分析、数据表征可视化、反馈调节。

综合分析了混合学习多模态交互的运行模式和各系统的主要任务和职能以及工作流程后，不难看出混合学习的多模态交互分析机制（如图2所示）。混合学习的多模态交互主要是关注学习者、教师、环境三者之间的交互过程产生的多模态交互数据，这些多模态数据主要有表情、语音、体温、手势、体态、文本、视频、眼动、日志等模态。然后通过多种信息技术设备将各类模态数据采集起来，例如通过压敏传感器采集力度数据;通过温度感知传感器采集参与者的体温变化数据;通过红外成像设备感知参与者面部的精细变化;通过摄像机采集图像数据等，也有研究建议通过便携脑电设备采集脑波模态数据。采集后的数据经过特殊的编码技术处理，转化为可用于分析的数字化数据，然后通过大数据分析、学习分析等技术，并结合人工智能的应用，例如表情识别、语音识别、情境感知等技术，聚合进行多模态交互分析。最后通过可视化表征技术，将分析得到的结果经过仪表盘反馈给教师、学生和可控的智慧学习环境等，帮助教师和学生及时调整教与学的方法。

五、混合学习交互的优化策略

（一）混合学习的多模态交互分析难点

混合学习的多模态交互分析的运行系统是一个规则系统，有其运行流程，整个流程操作起来会发现各个环节均有可能出现影响分析结果的问题。混合学习的多模态交互分析要经过数据采集、数据清洗、数据分析、数据表征和可视化、反馈调节等流程。数据采集主要是采集学习者、教师、设备等的多模态数据，采集数据又分为线上、线下两类，每个类别中分别有不同模态的数据，这对多模态分析的技术要求较高，在没有互联网、大数据分析、人工智能、云计算等技术的支持下，是很难进行此类分析的;在多模态交互数据分析的过程中，又要使用多种新兴技术，并且这些新兴技术要聚合与协同使用，技术一旦出现偏差或故障，将造成整个系统的误差，引发“蝴蝶效应”的出现。具体难点如下：

（1）技术壁垒。多种技术聚合使用，通用路由和标准有待界定，技术合理性一般需要因地制宜，尤其是混合学习的多模态交互分析过程中，采集数据、分析数据、数据清洗、数据存储、数据表征等环节对技术要求较高。从采集数据开始，数据采集的颗粒度、精准程度决定后面分析工作的进展和效果;再到数据分析技术的使用，大数据和学习分析技术的应用，这对数据挖掘要求较高，尤其是能从多种模态的数据中挖掘出有深度、有价值的信息是当前大数据分析和学习分析的技术难点，复杂程度较高;最后在数据表征方面，数据表征的目的就是让普通人理解相关数值和多模态参数的含义，需要降维处理，减少认知负荷等。

（2）教师信息化教学设计能力不足和对新技术应用理解不够。当前很多学校都采用了高端的教育信息化设备，但是必须要确保教师能准确和有效地使用这些设备。此外，教师在教与学的过程中，有待打破传统的教学设计思维，教学设计和课程管理已经发生了变化，教学设计各个环节理应考虑教育信息化的应用和作用，同时，课程管理过程中有多模态分析作为支撑，教与学过程中理应及时调整相关状态和方法;最后，教育信息化过程中，很多新兴技术融入了学校教育，产生了大量的新名词、新参数、新教法等，这对教师采用教育信息化技术组织教与学的活动带来了挑战，恐怕教师对新技术名词、新参数、新教法等理解不够到位，造成教与学过程中教育信息化技术设备不能发挥出其应有的功效，甚至适得其反。

（3）学生运用信息技术学习的素养不足。当前很多学生都属于“数字土著”一代，他们运用信息技术进行各项活动的能力较强;即使不是“数字土著”一代，经过多年的信息技术使用和熏陶，他们也具备了使用信息技术进行生活和社会交往的能力。但是，学生运用信息技术学习的素养却不见得足够。互联网时代的学习方式和方法均发生了深刻的变化，尤其是网校、教育APP等依托于互联网出现的教育载体，在逐渐迎合学生学习和生活习惯的同时，也在改变他们的认知方式，倒逼学习者发生互联网学习认知现象。互联网学习认知要求学习者具有一定的运用信息化手段学习的素养，培养一个人学会和养成一种持续学习的素养要经历几年甚至十几年。

（4）师生情感表达差异。师生之间的年龄差异较大，这种年龄差异造成的情感表达差异也会明显存在，混合学习的多模态交互分析有待衡量年龄差异造成的情感分析困难，尤其是人生经历丰富和善于情感隐晦的教师，往往在表情识别方面给多模态分析带来一定的不确定性;另外，师生之间的代沟问题容易造成交流沟通上的鸿沟，这对多模态分析带来了挑战。

（二）优化策略

造成这些困难的原因主要来自内部和外部。内部调整主要是围绕混合学习的多模态交互分析系统的技术路线改造进行，尽量减少噪音干扰和技术复杂程度;在外部层面，强化教师和学生对信息化技术应用培训，增强他们对教育信息化的适应能力，以及强化他们的信息化学习素养;同时，改造教与学的环境，使得教与学的环境便于学习交互等。

（1）减少混合学习的多模态分析链路，强化新兴技术的聚合使用。混合学习的多模态分析是一个复杂过程，涉及的流程较长，尤其是多个流程都涉及转换和分析，环环相扣，对于这种具有节点性质转换的数据分析，容易造成误差，而误差又具有传导性质，类似于“蝴蝶效应”，一旦开始出现了误差，分析结果的误差将可能被无限放大，最终结果就是造成全局失误。因此，尽量减少混合学习的多模态分析节点，应用多种新兴技术促进分析方式的聚合与协同。尤其是近年来人工智能引领的智能技术应用，混合学习的多模态数据采集阶段直接可以进行表情识别、情感分析、情绪诊断、注意力分析等，将多模态分析中的采集与分析聚合在源头。

（2）将物联网技术融入混合学习环境当中，拓展获取多模态信息的途径。多模态分析的优势就在于能通过获取多种模态信息分析混合学习过程中教与学存在的问题和学习程度等，为了提高分析的准确性和精准程度，一方面加大采集多模态信息的颗粒度，另一方面扩展多模态信息的信源。采用物联网传感技术，采集以往采集不到的生理模态数据、行为模态数据、微表情等微观模态数据等，增加可供分析的信源，进而提高可分析数据的准确性。

（3）强化对教师和学生的信息化学习能力培养，增强他们的信息化领导力和学习力。强化对教师和學生的信息化学习能力培养，一方面加强对教师使用教育信息化设备培训的力度，另一方面给学生开设相关课程，教学生如何利用信息化资源进行相关的学习，以及参与教学活动等。同时，信息化领导力是教师组织教学和学生参与学习的一种良好能力，加强对教师和学生的信息化领导力培养，主要通过开设相关课程、组织实践活动、进行校内外经验分享等方式进行。

（4）创建混合学习专用教学环境或教室，强化教与学过程中的交互友好性。混合学习的教与学模式已经得到了广泛认可，因为这种教与学的模式能有效促进教学氛围融洽并形成良好的师生关系。当前，大多数采用混合学习的课程均在传统教室内进行，这种教室配置对于采集多模态数据带来了一定的挑战和困难，今后有条件的地区可以构建适用于混合学习的智慧学习教室，用于组织混合学习。混合学习专用教室的最大特点是便于师生进行实时沟通交流，能减少学生的紧张感和压迫感，促进学生尽快进入相关的学习角色。

六、总结与展望

混合学习的多模态交互分析依赖于新兴技术的支持，实现实时的表情识别、情境感知、情感计算、注意力集中程度分析、情绪诊断、学习力分析、认知差异分析等，这为实现大规模个性化学习提供了支撑和保障，也是在教学过程中解放教师，为教师更好地设计和组织教与学活动提供了便利。教师和学生可以根据混合学习的多模态分析所提供的教与学实时数据，对当前学习情况进行诊断和评价，及时调整相关的学习策略和方法，改进学习方式，实现有效的教与学。随着人工智能技术的进步和发展，会有更多便捷的多模态分析技术诞生，也期待更多研究者关注多模态分析的教育应用，从而促进我国教育信息化良性发展。

[参考文献]

[1] LAHAT D，ADALI T， JUTTEN C. Multimodal data fusion：an overview of methods，challenges，and prospects[J].Proceedings of the IEEE，2015（9）：1449-1477.

[2] KRESS，VAN LEEUWEN T.Multimodal discourse： the modes and media of contemporary communication[M]. London： Arnold Press，2001：20-22.

[3] JEWITT C.The routledge handbook of multimodal analysis[M].London and New York： Routledge，2009：14-24.

[4] 张琪，武法提.学习分析中的生物数据表征——眼动与多模态技术应用前瞻[J].电化教育研究，2016（9）：76-81，109.

[5] COHN N.A multimodal parallel architecture： a cognitive framework for multimodal interactions[J].Cognition，2016（146）：304-323.

[6] FENG D W. Metonymy and visual representation： towards a social semiotic framework of visual metonymy[J]. Visual communication， 2017， 16（4）：441-466.

[7] 祝智庭，俞建慧，韩中美，等.以指数思维引领智慧教育创新发展[J].电化教育研究，2019（1）：5-16，32.

[8] JEWITT C. Multimodality and literacy in school classrooms[J].Review of research in education，2008（32）：241-267.

[9] 黄荣怀.人工智能在教育有多少潜能可挖[N].中国教育报，2018-01-13（03）.

[10] 百度百科.交互[EB/OL].[2019-01-01].https：//baike.baidu.com/item/交互/6964417？fr=Aladdin.

[11] 田阳，冯锐.社会资本理论视域下MOOC课堂互动策略分析[J].中国电化教育，2014（9）：59-66.

[12] O'MALLEY J M， CHAMOT A U. Language learning strategies in second language acquisition[M]. Cambridge： Cambridge University Press，1990.

[13] LEE E， LIU X， ZHANG X. Xdigit： an arithmetic kinect game to enhance math learning experiences[J]. Retrieved February， 2012（14）： 2013.

[14] 宋爱国，田磊，倪得晶，等.多模态力触觉交互技术及应用[J].中国科学：信息科学，2017， 47（9）：1183-1197.

[15] 龙宇飞，赵璞.大学英语听力教学中元认知策略与多模态交互研究[J].外语电化教学， 2009（4）：58-62，74.

[16] GU Y.Learner emotion in classroom： a multimodal corpus linguistics approach[R]. Plenary speech at the magic of innovation： new techniques and technologies in language teaching. Russia： MGIMO University，2015.

[17] 桑新民.學习科学与技术[M].北京：高等教育出版社，2003.

[18] ANDRADE A. Understanding student learning trajectories using multimodal learning analytics within an embodied-interaction learning environment[C]// Proceedings of the Seventh International Learning Analytics & Knowledge Conference. Vancouver，British Columbia，Canada：ACM，2017：70-79.

[19] 王曉升.现代性视角下的社会整合问题——哈贝马斯交往行动理论的启示[J].武汉大学学报（哲学社会科学版），2018（6）：71-78.

[20] 陈丽.远程学习中的信息交互活动与学生信息交互网络[J].中国远程教育，2004（5）：15-19，78.

[21] 孙颖，段琪.交互分析理论对改善人际交往困惑的应用[J].心理与行为研究，2011（2）：147-153.

[22] REED M， EYELY A C， CUDILL G. What is social learning[J]. Ecology and society， 2010，15（4）：299-305.

[23] 王志军，陈丽.联通主义学习的教学交互理论模型建构研究[J].开放教育研究，2015（5）：25-34.

[24] 田阳，杜静，黄荣怀.面向混合学习的学习与社交协同策略探究[J].中国电化教育，2018（5）：8-14.

[25] PORTER W W，GRAHAM C R，SPRING K A，et al. Blended learning in higher education：institutional adoption and implementation[J]. Computers & education，2014（3）：185-195.

[26] DELIALIOGLO O.Student engagement in blended learning environments with lecture-based and problem-based instructional approaches[J].Journal of educational technology & society，2016（3）：310-322.

[27] 穆肃，温慧群.适应学生的学习——不同复杂度的混合学习设计与实施[J].开放教育研究，2018（6）：60-69.

[28] 牟智佳，李雨婷，严大虎.混合学习环境下基于学习行为数据的学习预警系统设计与实现[J].远程教育杂志，2018（3）：55-63.

[29] 余胜泉.人工智能教师的未来角色[J].开放教育研究，2018（1）：16-28.

[30] 黄荣怀，刘德建，刘晓琳，等.互联网促进教育变革的基本格局[J].中国电化教育，2017（1）：7-16.

[31] 何克抗.从Blending Learning看教育技术理论的新发展（上）[J].电化教育研究，2004（3）：1-6.

[Abstract] "Internet + education" promotes the practical application of blended learning. Blended learning integrates physical space， social space， resource space， etc.， which makes the internal mechanism of learning interaction become one of the main topics in academia. This research team tries to reveal the intrinsic mechanism of blended learning interaction from the perspective of multimodal analysis. Through the analysis of the multimodal interaction features of blended learning， the features are summarized as cross-space interaction， synchronous and asynchronous interaction， multi-situational transformation， physical emotion， characterization and so on. Combined with the rules of blended learning， it is found that in the multimodal interaction of blended learning， the multimodal information can be represented and extracted. Moreover， the main processes of multimodal interaction analysis are data acquisition， processing and screening， data analysis， data characterization visualization， feedback adjustment， etc. After the multimodal interaction information is visualized， the results are fed back to teachers and students through the dashboard to help them adjust teaching and learning methods in time and promote the optimization strategy of multimodal interaction in blended learning.

[Keywords] Multimodal; Blended Learning; Multimodal Interaction Analysis; Learning Analytics; Optimization Strategy