虚拟现实沉浸式学习中的人机交互技术研究

沈阳 纪海林 叶心怡 孟启帆 骆岩林

[摘   要] 传统物理实验教学存在实验器材受限、教学内容枯燥、学生参与度不足等困境。基于虚拟现实技术（以下简称VR）的沉浸式学习以学生为主体，提供沉浸式、交互性及可复用性的学习体验，可以很好地突破当前传统实验教学的瓶颈。针对当前虚拟学习环境中较为普遍的临场感缺乏和交互体验受限等问题，研究重点关注沉浸式学习中人机交互技术应用和学习者的力/触觉体验对实验学习效果的影响。将VR交互技术中的力反馈引入K12物理实验教学场景设计中，通过准实验评估力反馈在沉浸式学习中的应用效果。结果显示，在VR沉浸式学习中，使用力反馈技术可以显著提高学习者的真实感和交互效率，但对知识增益没有产生显著性影响。通过研究，为深入探索沉浸式学习中的人机交互设计、力反馈在科学教育等教学场景的应用及发展适宜性策略等提供借鉴。

[关键词] 虚拟现实； 沉浸式学习； 人机交互； 力反馈技术； 物理实验教学

[中图分类号] G434            [文献标志码] A

[作者简介] 沈阳（1985—），女，安徽宿州人。助理研究员，博士，主要从事虚拟现实教育应用、智慧学习环境设计与评测、教育心理与行为大数据等研究。E-mail：shenyang@bnu.edu.cn。

基金项目：全国教育科学规划2022年度教育部重点课题“基于多模态数据的学习者沉浸体验评估模型构建与实证研究”（课题编号：DCA220451）

一、研究背景

众所周知，物理概念、原理和规律等知识具有抽象、过程复杂、内容深奥等特点，学生掌握起来比较困难。物理学中的概念或规律的发现、探究和确立大多依赖实验[1]。物理实验是物理学科的基础，物理实验教学对提升学生物理核心素养具有重要意义[2]。由于条件制约，一些实验无法在课堂上进行，只能借助课本上的图示和课堂讲授，这可能导致学生认知迷航。在学校教室开展的实验存在很多不容忽视的问题，如实验器材设备短缺、实验时间受限以及对实验安全和费用的顾虑等，影响学生进行真实实验的效果[3]。利用信息技术手段辅助实验教学能够更新实验教学理念、改变实验教学手段、优化实验教学方法、突破常规实验仪器局限、提高实验教学效率[4]。

随着计算机模拟技术的不断发展，新型学习和实验方案已被开发。虚拟现实技术（Virtual Reality，VR）因其提供沉浸式体验和交互式操作，被认为是教与学的重要技术之一[5]。近年来，VR技术在我国基础教育领域中广泛应用，对教学效果产生积极影响[6]。VR技术与物理实验教学融合发展，在物理实验教学中具有独特优势[7]。基于VR技术的虚拟实验室可提供沉浸交互的实验教学，针对资源不足、危险性高或现实无法开展的实验进行设计，实现以学生为主体的教学过程，从而改善学习体验[8]。当前物理学习中，基于VR的学习环境大多只通过VR设备提供视觉和听觉体验，而对虚拟物体的力/触觉感知关注较少。作为VR人机交互技术中的重要分支——力反馈技术，可以将虚拟物体的动态变化以力的形式传递给学生，从而产生触碰真实物体的感受，增加互动性和沉浸感。目前，VR和力反馈技术的结合正在成为教育研究和实践探索的重要领域，在远程学习、互动教学和计算机模拟领域发挥着重要作用[9-10]；适用于如医学、物理学和生物学等教学中需要学生亲身实践以获得经验、构建知识和掌握技能的学科。支持力反馈的沉浸式虚拟现实在物理实验和学习中具有巨大潜力。

二、研究現状与相关基础

（一）沉浸式VR与具身认知理论

VR技术对学习效果的影响已经被广泛探讨，但不同类型的VR在学习内容方面的影响机制还有待进一步研究[11]。通常，VR可以通过各种显示设备，如台式机、头戴式显示器或移动设备，以及匹配的交互设备，如键盘、手柄或触控笔来访问。沉浸程度根据采用设备的不同而不同。Mandal等人将VR分为三大类：非沉浸式桌面VR、半沉浸式VR和沉浸式VR，其中，沉浸式VR通过基于技术的多种感官刺激增强用户的沉浸体验[12]。

沉浸式VR应用在教育中有益于革新学习方式，构建多样化的学习场景，为学生提供与虚拟对象多感官互动的机会，而在现实物理世界中很难接触到这些对象[13-14]。基于VR技术搭建的虚拟实验平台，可以完成传统教学实验中难以完成的一些危险性实验或成本较高的实验，解决了实验设备及仪器不足等问题[15]。传统物理教学大多局限在一维的物理空间，而VR技术则可以拓展为物理实验空间和虚拟空间相融合的二维空间，在此环境中，教师无须移动实验设备且能够灵活组织教学，从而提高教学效率[16]。技术和教学的结合促进沉浸式VR在K12科学教育中的应用[17]。学生可以通过在三维虚拟环境中与虚拟化身互动，进一步加深对知识概念的理解[18-19]。利用沉浸式VR开发的虚拟实验室可以帮助学生进行物理、化学、地理和生物等方面的实验，提高实践能力[20-21]。

具身认知理论是心智、身体和环境的一体论，认为学习受到学生心智和身体与环境互动方式的影响[22]，VR技术能够推动这一有机体的融合发展[23]。具身认知理论应用于物理学习，多感官输入（包括视觉、听觉和力觉）的教育模拟交互可以作为K12学习者的认知基础[24]。因此，在真实或虚拟的物理操作对象中添加模拟交互是提升学习者认知效果的一种方式。根据具身认知理论，支持力反馈的VR物理实验教学环境使学生能够通过交互设备控制虚拟物体的运动，并感受与物理环境相似的力反馈，从而获得实践经验，加深对物理概念和规律的理解[25]。

（二）力反馈技术及其教育应用

力反馈技术是一种新型人机交互技术，允许用户使用设备获得类似于真实世界的力感。力反馈设备跟踪用户的运动、进行检测碰撞、计算反馈力并对用户施加力[26-27]。根据多媒体学习认知理论中的双通道原则，图像和声音可以从多感官来交互刺激学习者的记忆，若对视觉通道和听觉通道一次呈现太多的加工元素，将会超出学习者的认知负荷而阻碍学习[28]。研究表明，力/触觉要素可以增强学生在虚拟环境中的存在感，也可以平衡视觉工作记忆的压力[29-30]。相对于无力反馈的VR环境，力反馈的加入不仅能够给予学习者实时的动态反馈，还能够为学习者提供视、听、触觉一体化的信息体验通道，为学习者创设生动且逼真的学习情境，有效促进技能习得和实践能力[31]；同时，力反馈可以帮助创造虚拟或想象的空间，刺激学习者对未发生的事物进行想象和思考，促进有意义学习的发生[32]。

力反馈技术已经被应用于部分虚拟学习环境中的物理实验和教学，丰富和改善学生的体验[24-25， 33-36]。实验证明，三维VR物理实验教学环境能够给学生提供更优质的学习过程体验，调动学习主动性，提高学习兴趣；同时，力反馈功能可以显著改善学生在三维交互过程中的沉浸感，有助于提升学习专注度，进而加深对知识的理解[37]。已有研究探索了虚拟学习环境中关于力反馈对学生物理学习表现和态度的影响，Civelek等人对215名K12学生进行“太阳系中的重力”评估实验，结果表明，与传统课堂教学相比，使用力反馈对学生表现和学习质量有明显的积极影响[33]；Neri等人的研究表明，如果没有适当的设计，一些物理力学概念在触觉场景中是不适用的[34]；张文娟等人在一项心理运动能力测试中则发现，受试者在有力反馈的沉浸式学习环境中效率偏低[38]。

综上所述，VR物理实验教学中力反馈是否能增强学生的虚拟存在感、提高学生的交互效率，并对他们的学习结果产生显著的知识增益，尚无定论，仍需进一步探讨。

三、基于K12物理实验教学的VR场景

设计与开发

（一）K12物理实验教学案例的选取

在K12物理教学中，“牛顿运动定律”与“滑动摩擦力”十分重要。由于力的抽象性，无论在传统物理教学中，还是大多数VR学习环境中，学生都难以确切感知力的效果与规律。本研究将力反馈技术应用于沉浸式学习环境中，以“牛顿运动定律”和“动摩擦系数”作为典型教学案例，以期加强学生对物理知识的理解和运用。

牛顿运动定律案例中涉及的概念知识包括牛顿第二定律和牛顿第三定律。牛顿第二定律给出加速度和力之间的关系，即一定质量的物体的加速度与外力成比例。牛顿第三定律说明作用力和反作用力之间的关系，即它们大小相等、方向相反，作用在同一物体上。动摩擦系数案例中涉及的知识包括：斜面上物体同时受到重力、弹力和摩擦力的合力影响；弹力方向与物体的变形方向相反；滑动摩擦力方向与相对运动或趋势的方向相反，其大小与动摩擦系数和正压力成正比，其中，动摩擦系数只与接触表面的材料和粗糙度有关。

（二）支持力反馈的VR虚拟实验场景设计

本研究设计开发了一套支持力反馈的VR沉浸式物理学习系统，具體设计思路见表1。

依据教学案例，设计开发牛顿运动定律和动摩擦系数两个虚拟实验场景。学生可通过Geomagic Touch设备的操纵杆感受三种力的存在，包括重力、弹力和摩擦力。

1. 牛顿运动定律虚拟实验场景

首先，学习者通过操纵杆将红色小球提起，顺着轨道放入大炮内。其次，通过操纵杆拉动左下方绿色的弹簧拉力器，根据拉动力的大小，大炮会对小球施加对应大小的力，使其飞出炮口作抛物线运动；同时，大炮也会因受到反作用力后退，推动悬挂指针旋转。大炮对小球施加力有多大，受到的反作用力就多大。小球受到力越大，则加速度越大，获得初速度就越大，因此，飞出炮口速度和距离就越远。借助力反馈，可以加深学习者对牛顿第二、第三定律的理解。

2. 动摩擦系数虚拟实验场景

学习者通过操纵杆按压斜面感受弹力和摩擦力的存在，同时，通过操纵杆移动长方体块使其从斜面上滑下。三个斜面的大小、倾角相同，但滑动摩擦系数不同。学习者通过力反馈设备操纵杆移动长方体块，并通过观察其下滑的速度和距离来感受不同摩擦系数带来的影响。

3. 力反馈设计

学习者通过移动小球、滑块以及拉动弹簧拉杆等操作，真实模拟实际操作过程。系统使用力反馈设备Geomagic Touch，基于其提供的OpenHaptics工具包，通过操纵杆与学习者进行交互，将反馈力作用于学习者，使其产生感受力觉，并随时改变操作策略。基于预先设定的重力和摩擦系数，系统将实时计算的反馈力通过力反馈设备传递作用到学习者。

四、准实验设计与实施

（一）问题提出与研究假设

假设1：VR物理实验教学中合适的力反馈设计可以增强学生在虚拟环境中的存在感。

假设2：VR物理实验教学中合适的力反馈设计可以提高学生的交互效率。

假设3：VR物理实验教学中合适的力反馈设计能让学习者产生显著的知识增益。

（二）研究对象与实验设备

招募38名大学本科生（24名女性和14名男性，平均年龄为19.9岁），并随机分配到实验（力觉）组和对照（无力觉）组，每组学生分别有19人。两组都使用操纵杆交互，但实验组与模型互动时启用力反馈，而对照组则不会启用力反馈。所有学生都自愿参加本研究，并且具备相似的教育背景。

实验设备包括：电脑（CPU Intel CoreTM i7-10875H，16GB内存，NVIDIA GeForce RTXTM 2080显卡和1TB SSD硬盘）、VR设备（HTC Vive）、力反馈设备（Geomagic Touch）。为了评估该系统的有效性，进行了基于用户的评价实验。

（三）实验流程

首先，收集学生的人口统计学信息，以及先前使用VR设备和力反馈设备的经验。随后，进行相关物理概念知识的前测。在正式实验之前，让每个学生练习如何使用这些设备，并观看介绍整个交互任务的演示视频。实验组和对照组与模型进行互动，完成同样任务。共有两个任务：（1）在牛顿运动定律案例中，首先，沿着轨道拾取小红球并投入炮口；然后，拉动弹簧拉力器，使小球射出大炮。该过程是一次完整交互，要求每个学生成功完成两次。（2）在动摩擦系数案例中，首先，要求用操纵杆触摸三种不同材料的斜面，感受弹力和摩擦力（木头>石英>玻璃）；其次，控制滑块从三个斜坡上滑下，感受不同动摩擦系数下的滑行速度差异。

以录屏方式记录参与者在交互任务期间与模型的交互行为，并分析其交互准确率及任务完成时间等任务绩效。在完成正式实验的学习任务之后，次日对学生进行知识后测，以避免即时记忆。所有调查问卷通过问卷星发放，学生通过扫描二维码填写调查问卷。交互数据在软件帮助下收集。

（四）测量指标

为了评估力反馈学习效果的有效性，采用概念知识前后测以及存在感问卷进行评估。

1. 知识前后测

在中学物理教师的指导下，知识前测和后测问卷题项均选自真实和经典的初中物理试题，二者均包含5个涉及牛顿第三定律知识点的题项，2个涉及牛顿第二定律知识点的题项，3个涉及摩擦力知识点的题项。每个题项所考察的知识点与力反馈学习任务紧密相关，以衡量参与者的知识掌握情况。前测和后测问卷题项所考察的知识点完全相同，但其文字叙述方式不一致，后测题项还考虑到知识点的迁移，与现实生活中的现象联系更加紧密，同时尽可能与前测题项的难度保持一致。

2. 存在感问卷

Witmer和Singer首次使用问卷确定虚拟环境中的存在感，将其描述为控制、感觉、分心和现实主义四个因素，其问卷被广泛用于评估各类虚拟系统中的存在感，有效性得到多方验证[39]。后来Hite等人改编Witmer和Singer的问卷，将其用于评估使用3D、触觉交互的VR教学系统[40]。本研究采用Hite等的问卷，从原本包含62个6点Likert量表题项的问卷中，保留关于“力觉感知”相关题项，删减其他题项后形成“存在感”问卷——包含33个6点李克特量表题项（1～6对应强烈不赞同到强烈赞同，部分题项进行反向设计），旨在记录参与者对控制、感觉、分心和现实主义四个方面的感知，见表2，以评估实验组和对照组在完成任务期间的存在感。

（五）数据分析

计算知识前后测得分和、调查问卷的平均分和标准差。为了比较力反馈对学生物理概念知识增益的有效性，进行配对t检验，以评估平均结果差异的统计意义。此外，进行Mann-Whitney's U檢验（双尾，α=0.05）以确定各组在存在感调查问卷和交互数据上的显著性差异，并对问卷的每个子项进行可靠性验证（Cronbach's alpha）。

共有38名学生完成实验并填写调查问卷表，使用SPSS 25对问卷调查数据进行分析。18名学生（47.4%）表示他们之前从未使用过VR设备，19名学生（50.0%）偶尔使用过VR设备，1名学生（2.6%）表示之前有丰富的VR使用经验。同时，只有3名学生（7.9%）表示之前有一些使用力反馈设备的经验，其余35名学生（92.1%）之前从未使用过力反馈设备。

对知识前后测得分进行配对t检验（见表3）。用后测的平均分减去前测的平均分作为两组的知识增益。结果显示，实验组和对照组的知识增益分别为0.26和0.89。配对t检验表明，两组学生的知识增益没有统计学上的显著差异。

用Mann-Whitney's U检验（双尾，α=0.05）比较实验组和对照组的存在感得分。为了确保数据的一致性，对8个条目进行反向评分。计算每组Cronbach's alpha以检查其内部一致性。实验组Cronbach's alpha在四个因素上分别为0.855、0.771、0.838和0.805，整体为0.918。对照组在四个因素上分别为0.832、0.901、0.879和0.777，整体为0.937。当值大于0.9时，其信度为优秀。图1显示实验组和对照组存在感四个因素的平均等级。结果表明，实验组在每个因素上都得到更高的分数。

表4为实验组和对照组存在感四个因素的得分差异。两组之间的差异并不显著。但“现实主义”因素的p值（p=0.020）表明，实验组的“现实主义”因素得分明显高于对照组。

表5为实验组和对照组每个案例的交互时间和准确率。在两个案例中，与对照组相比，实验组的交互时间更短，准确率更高。交互时间越短，系统的可用性就越好，而准确率越高，系统就越有效。

表6为实验组和对照组在交互时间和准确率方面的差异。实验组和对照组在牛顿运动定律案例的交互时间和准确率上有显著差异。然而，在动摩擦系数案例的交互时间和准确率方面，两组之间没有显著差异。但两组之间的总交互时间和准确率有显著差异。

五、结果讨论与启示

本研究设计和开发了一个支持力反馈的VR物理实验教学系统，并探讨了力反馈技术对学生学习效果、存在感和交互效率等的影响，为力反馈在VR教学中的应用提供了一定参考。研究结果表明，使用力反馈技术，学生的真实感和互动效率都得到了提高。

（一）结果讨论

1. 力反馈技术应用在两个案例中对“知识增益”并没有产生显著的积极作用

经访谈和分析得出可能的原因如下：一是疫情防控期间，由于很难在中学招募到被试，准实验只能选取大学本科生作为被试。大部分学生对案例涉及的物理概念知识的先前掌握水平较高，这可能是影响学习效果的关键因素。所有学生在中学期间都曾学习过相关的物理基础概念知识，虽然在实验开始前存在不同程度的遗忘，但整体的先前知识水平仍然较高。二是系统存在抖动、操作范围有限和硬件本身在操作过程中造成的定位器卡顿等问题，这可能会给学生带来干扰。三是VR沉浸式学习系统本身的视觉沉浸感强，学生也可以通过观察虚拟环境中发生的现象来获得相关物理概念知识。

2. 动摩擦系数虚拟实验中交互行为数据结果表明，交互时间和准确性在两组之间没有明显差异

牛顿运动定律虚拟实验中，在力反馈激活的情况下，学生完成任务的准确性明显更高，可以表明系统的有效性。Sch？觟nborn等人的研究表明，激活力反馈后，最终模型之间的对接位置更加准确[29]。与没有力反馈技术应用的虚拟环境相比，力觉模拟提供一个视觉之外的触觉“空间”，它更多地被限制在模型的可达位置，从而节省控制模型移动的时间，减少错误移动的次数。但是动摩擦系数虚拟实验中交互时间和准确性在两组之间没有明显差异。Vélaz等人认为，力反馈组的学生实际完成任务的时间与视频组的学生没有明显区别[41]。究其原因，在牛顿运动定律虚拟实验中，力觉“空间”约束更加精确，而动摩擦系数虚拟实验中则没有提供太多的力觉“空间”约束。因此，在用力反馈技术设计学习任务时，应同时提供视觉以外的信息，辅助提升学习者的交互效率。

（二）对VR沉浸式学习研究与教学设计的启示

1. 注重借助力反馈技术促进VR沉浸式学习体验提升

根据存在感调查问卷结果，力反馈技术在增强现实主义感方面具有优势。由于使用相同的硬件界面进行交互，力反馈并不影响学生对虚拟环境的控制、感觉和分心三个因素上的感知。而现实主义因素指虚拟环境与真实世界的相似性和模拟的一致性[39]。力反馈模拟现实的物理场景，允许用户使用触觉设备获得类似于真实世界的力觉感知，让系统与真实世界更接近。研究表明，在虚拟环境中提供更好感官反馈会使学生对虚拟环境的感知更加真实[42]。实验结果与Jones等人的研究结果一致，即力觉感知可提高学生对虚拟学习环境的真实感[43]。因此，对于目前一些沉浸体验不佳的非触觉虚拟现实教学系统，可以适当考虑借助力反馈技术，及时、丰富的感官反馈将有利于提升学生的学习体验。

2. 注重利用力反馈技术提高学习任务的合理性

Webb等人研究表明，关闭力反馈后，学生能够通过视觉提示弥补力反馈的不足[44]。然而，Lontschar等人认为，简单任务（如投掷重物）的力触觉反馈给学生带来更大压力，需要合理设计任务和改进技术[45]。研究表明，互动不直观可能会增加学生的认知负荷，降低其对任务的注意力，从而影响学习效果[45]。因此，在实际的物理实验教学应用中，VR沉浸式学习系统的设计也同样遵循“教无定法”的规律，应充分考量不同的学习受众、学科背景下教学目标、受众学情的差异化，从而在学习任务设计中更好地利用力反馈设备，兼顾学习者在学习效果、感知体验、交互效率和认知负荷之间的平衡。

3. 注重提升VR沉浸式学习系统的智能性，提供学習脚手架

通过研究人员在实验期间的观察发现，在没有额外提示和强调的情况下，大多数学生只专注于完成交互任务而不是学习知识本身。系统带来视觉和力觉上的刺激，让学生的感官沉浸其中，如果缺少适切的“认知导航”协助充当学习脚手架的角色，学习者很容易忽略交互任务与概念知识之间的关系建构。系统可以通过增加一些提示线索和辅助手段来促进和强化知识建构，以更好地说明力和概念知识之间的关系[34]。同时应当注重提升VR沉浸式学习系统的智能性，例如：未来加入基于眼动数据的行为预测和知识地图导航，可能对学习者的学习效果更有裨益。

六、结   语

本研究开发了支持力反馈的VR沉浸式学习系统，通过准实验探讨力反馈技术在VR物理实验教学中对学生的学习效果、存在感和交互效率的影响。准实验结果表明，激活力反馈有助于增强学生在虚拟环境中的真实感，有助于学生定位可达的运动位置，从而更有效地完成移动模型的任务。但对大学生学习案例所涉及的物理知识增益没有明显的影响。通过数据分析与比对、访谈剖析等，探究了实验假设中的关键因素和可能因素，并基于此进一步提出了对VR沉浸式学习研究与教学设计的几点启示。

未来，将持续在VR沉浸式学习与人机交互式学习方向开展实证研究，并在被试选择及样本量、学习时间、场景设计、技术精度等方面进一步优化，同时，充分参照建构主义、具身认知、认知负荷和最近发展区等理论，设计个性化的学习任务集和合理的视听觉线索提示、空间约束等辅助手段，帮助学生在高质量的沉浸式学习体验中实现高效率协同知识建构。

[参考文献]

[1] 罗秋芳. 高中物理实验教学的思考与探索[J]. 物理教师，2015，36（8）：32-35.

[2] 黄晓，项于晴，汪晓东. 聚焦新课标与新教材把握高中物理实验教学方向[J]. 物理实验，2023，43（3）：50-56.

[3] YANG K Y， HEH J S. The impact of internet virtual physics laboratory instruction on the achievement in physics， science process skills and computer attitudes of 10th-grade students [J]. Journal of science education and technology， 2007， 16 （5）：451-461.

[4] 李春密，俞晓明，郑少山. 中学物理实验教学研究[M]. 北京： 北京师范大学出版社，2018.

[5] 赵一鸣，郝建江，王海燕，等. 虚拟现实技术教育应用研究演进的可视化分析[J]. 电化教育研究，2016，37（12）：26-33.

[6] 罗恒，冯秦娜，李格格，等. 虚拟现实技术应用于基础教育的研究综述（2000—2019年）[J]. 电化教育研究，2021，42（5）：77-85.

[7] 孙春艳. 基于VR技术物理实验教学策略分析[J]. 科技视界，2022（12）：11-13.

[8] 沈阳，逯行，曾海军. 虚拟现实：教育技术发展的新篇章——访中国工程院院士赵沁平教授[J]. 电化教育研究，2020，41（1）：5-9.

[9] THEMELIS C， SIME J A. From video-conferencing to holoportation and haptics： how emerging technologies can enhance presence in online education？ [M]// YU S， ALLY M，  TSINAKOS A. Emerging technologies and pedagogies in the curriculum. Singapore： Springer， 2020：261-276.

[10] 韩奇.基于VR的初中物理虚拟实验室设计[J].中国教育技术装备，2020（9）：29-31.

[11] PARONG J， MAYER R E. Learning science in immersive virtual reality[J]. Journal of educational psychology， 2018，110（6）：785-797.

[12] MANDAL S. Brief introduction of virtual reality & its challenges[J]. International journal of scientific & engineering research， 2013， 4（4）：304-309.

[13] FREINA L， OTT M. A literature review on immersive virtual reality in education： state of the art and perspectives[C]// The 11th International Scientifc Conference Elearning and Software for Education（eLSE）. Bucharest， Romania：ADL Romania， 2015：133-141.

[14] 何聚厚，梁瑞娜，肖鑫，等. 基于沉浸式虛拟现实系统的学习评价指标体系设计[J]. 电化教育研究，2018，39（3）：75-81.

[15] 郑珂，李新晖. 基于VR的初中物理仿真实验案例设计与研究[J]. 中国教育技术装备，2020（15）：111-114.

[16] 李伟，蔡燃，宋伟. 虚拟仿真实验在中学物理教学的应用实例：以《欧姆定律》课程为例[J]. 中国教育信息化，2021（24）：35-39.

[17] GEORGIOU Y， TSIVITANIDOU O， IOANNOU A. Learning experience design with immersive virtual reality in physics education[J]. Educational technology research and development， 2021， 69（6）：3051-3080.

[18] 周世杰，吉家成，王华. 虚拟仿真实验教学中心建设与实践[J]. 计算机教育，2015（9）：5-11.

[19] HEW K F， CHEUNG W S. Use of three-dimensional （3-D） immersive virtual worlds in K-12 and higher education settings： a review of the research[J]. British journal of educational technology， 2010， 41（1）：33-55.

[20] SANFILIPPO F， BLAZAUSKAS T， SALVIETTI G， et al. A perspective review on integrating VR/AR with haptics into stem education for multi-sensory learning[J]. Robotics， 2022，11（2）：41-61.

[21] 沈夏林，杨叶婷.空间图式：沉浸式虚拟现实促进地理空间认知[J].电化教育研究，2020，41（5）：96-103.

[22] WILSON M. Six views of embodied cognition[J]. Psychonomic bulletin & review， 2002，9（4）：625-636.

[23] 阿岩松，高志军. VR在初中物理实验的设计与应用研究——以初中物理凹透镜成像原理为例[J].信息技术与信息化，2018（8）：126-129.

[24] HAN I， BLACK J B. Incorporating haptic feedback in simulation for learning physics[J]. Computers & education， 2011，57（4）：2281-2290.

[25] MINAKER G， SCHNEIDER O， DAVIS R， et al. HandsOn： enabling embodied， creative STEM e-learning with programming-free force feedback[C]//Haptics： perception， devices， control， and applications. London， UK：Springer，2016：427-437.

[26] MASSIE T H， SALISBURY J K. The phantom haptic interface： a device for probing virtual objects[C]//Dynamic systems and control division. New York， USA：IEEE， 1994：295-300.

[27] 王党校，焦健，张玉茹，等.计算机触觉：虚拟现实环境的力触觉建模和生成[J].计算机辅助设计与图形学学报，2016，28（6）：881-895.

[28] RUDOLPH M. Cognitive theory of multimedia learning[J]. Journal of online higher education， 2017，1（2）：1-10.

[29] SCH？魻NBORN K J，BIVALL P，TIBELL L A E. Exploring relationships between students' interaction and learning with a haptic virtual biomolecular model[J]. Computers & education， 2011，57（3）：2095-2105.

[30] HITE R L. Perceptions of virtual presence in 3-D， haptic-enabled， virtual reality science instruction[D]. North Carolina， USA：North Carolina State University， 2016.

[31] 沈陽，王兆雪，潘俊君，等. 虚拟现实学习环境下力反馈交互促进技能习得的实验研究[J]. 电化教育研究，2021，42（9）：76-83.

[32] 翟雪松，孙玉琏，沈阳，等. “虚拟现实+触觉反馈”对学习效率的促进机制研究——基于2010—2021年的元分析[J]. 远程教育杂志，2021，39（5）：24-33.

[33] CIVELEK T， UCAR E， USTUNEL H， et al. Effects of a haptic augmented simulation on K-12 students' achievement and their attitudes towards physics[J]. Eurasia journal of mathematics， science and technology education， 2014，10（6）：565-574.

[34] NERI L， NOGUEZ J， ROBLEDO-RELLA V， et al. Teaching classical mechanics concepts using visuo-haptic simulators[J]. Journal of educational technology & society， 2018，21（2）：85-97.

[35] MAGANA A J， SERRANO M I， REBELLO N S. A sequenced multimodal learning approach to support students' development of conceptual learning[J]. Journal of computer assisted learning， 2019，35（4）：516-528.

[36] YUKSEL T， WALSH Y， MAGANA A J， et al. Visuohaptic experiments： exploring the effects of visual and haptic feedback on students' learning of friction concepts[J]. Computer applications in engineering education， 2019，27（6）：1376-1401.

[37] 郑明钰，李家和，张晗，等. 持力反馈的VR物理实验教学环境的构建[J].图学学报，2021，42（1）：79-86.

[38] ZHANG W， MA W， BRANDAO M， et al. Biometric validation of a virtual reality-based psychomotor test for motor skill training[J]. Assistive technology， 2016，28（4）：233-241.

[39] WITMER B G， SINGER M J. Measuring presence in virtual environments： a presence questionnaire[J]. Presence， 1998，7（3）：225-240.

[40] HITE R L， JONES M G， CHILDERS G M， et al. Investigating potential relationships between adolescents' cognitive development and perceptions of presence in 3-D， haptic-enabled， virtual reality science instruction[J]. Journal of science education and technology， 2019，28（3）：265-284.

[41] V？魪LAZ Y， ARCE J R， GUTI？魪RREZ T， et al. The influence of interaction technology on the learning of assembly tasks using virtual reality[J]. Journal of computing and information science in engineering， 2014，14（4）：41007-41016.

[42] STEUER J. Defining virtual reality： dimensions determining telepresence[J]. Journal of communication， 1992，42（4）：73-93.

[43] JONES M G， HITE R， CHILDERS G， et al. of presence in 3-D， haptic-enabled， virtual reality instruction[J]. International journal of education and information technologies，2016，10（1）：73-81.

[44] WEBB M， TRACEY M， HARWIN W， et al. Haptic-enabled collaborative learning in virtual reality for schools[J]. Education and information technologies， 2022，27（1）：937-960.

[45] LONTSCHAR S， DEEGAN D， HUMER I， et al. Analysis of haptic feedback and its influences in virtual reality learning environments[C]//2020 6th International Conference of the Immersive Learning Research Network （iLRN）. California， USA： IEEE， 2020：171-177.

Research on Human-Computer Interaction Technology in

Virtual Reality Immersive Learning

—A Case of K12 Physics Experiment Teaching

SHEN Yang1，  JI Hailin2，  YE Xinyi2，  MENG Qifan2，  LUO Yanlin2

（1.Collaborative Innovation Center of Assessment for Basic Education Quality， Beijing Normal University， Beijing 100875; 2.School of Artificial Intelligence， Beijing Normal University， Beijing 100875）

[Abstract] Traditional physics experiment teaching suffers from dilemmas such as limited experimental equipment， boring teaching content and insufficient participation of students. Immersive learning based on virtual reality technology （hereinafter referred to as VR） takes students as the main body， provides immersive， interactive and reusable learning experience， and can well break through the bottleneck of the current traditional experiment teaching. Aiming at the common problems such as lack of presence and limited interactive experience in current virtual learning environments， this study focuses on the application of human-computer interaction technology in immersive learning and the impact of the learners' force/tactile experience on experimental learning results. The force feedback in VR interactive technology is introduced into the design of K12 physics experiment teaching scenarios， and the application effect of force feedback in immersive learning is evaluated through quasi-experiment. The results show that in VR immersive learning， the use of force feedback technology can significantly improve the learners' sense of reality and interaction efficiency， but has no significant effect on knowledge gain. Based on the discussion， this study provides references for in-depth exploration of human-computer interaction design in immersive learning， the application of force feedback in teaching scenarios such as science education， and the development of appropriate strategies.

[Keywords] Virtual Reality; Immersive Learning; Human-Computer Interaction; Force Feedback Technology; Physics Experiment Teaching