虚拟现实学习环境下力反馈交互促进技能习得的实验研究

沈阳 王兆雪 潘俊君 禹鹏 钟宁

[摘   要] 虚拟现实技术变革传统教育，已经纵深至医学、建筑学等学科领域。文章围绕“知能发展”这一创新人才培养目标，以技能习得为研究主题，通过分析传统医学教育中手术技能习得难以实现的诸多困境，提出虚拟现实技术构建的学习场景能够促进学习绩效提升，并以此开展了实证研究。准实验基于我国自主研发的虚拟手术系统，面向北京航天总医院手术技能培训实验中心的医学临床高年级学生进行。在GOALS评价框架下，探究VR学习环境中，力反馈交互对手术技能习得在深度感知、组织处理能力、双手协调性和手术效率方面的影响。研究表明：加入力反馈交互学习可正向影响手术技能习得。结合数据分析、专家和被试访谈，提出研究启示，为VR智能医教的应用发展提供借鉴。

[关键词] 虚拟现实; 虚拟手术; 技能习得; 力反馈交互; 智能医教

[中图分类号] G434            [文献标志码] A

[作者简介] 沈阳（1983—），女，安徽宿州人。助理研究员，博士，主要从事智慧学习环境设计与评测、虚拟现实教育应用及教育信息化战略的研究。E-mail：shenyang@bnu.edu.cn。潘俊君为通讯作者，E-mail：panjunjun@buaa.edu.cn。

一、研究背景及问题

近年来，我国学者对VR技术在K-12阶段、高等教育、职业教育等不同学段构筑3D情境、交互场景的应用研究成果已较为丰富。然而，囿于人体器官的复杂性、技术发展的瓶颈等，我国在VR智能医教系统与医学教育的深度融合与常态应用、医学教育的公平高效、个性化教学与个性化诊疗等方面还有较大的空间。《教育现代化2035》中也指出要加大应用型、复合型、技术技能型人才培养比重。可以说，随着现代医学与新兴科技的迅猛发展，以及人们对美好生活的向往不断提高，精准医疗和医学人才的需求随之剧增，传统的临床技能教学模式亟待改革。通过文献梳理和调研，我国当前的医学教育，特别是临床教育领域所面临的现实困境主要集中在以下3个方面：理论与实践的脱节;医学实验教学资源昂贵、不可重复;精准医疗、个性化诊疗与医学人才规模化培养之间的矛盾难以破解。此外，医疗手术的精准化、微创化和个性化发展，对临床医生的手术技能提出了新要求，更加需要客观、定量的手术技能训练支撑。虚拟手术操作训练的低成本、安全可靠、可重复性、个性化病例数据动态接入、智能化综合评价等优势，将使其成为破解医学教育困境的一个新突破口。2008年起，北京航空航天大学虚拟现实系统与技术国家重点实验室团队展开虚拟手术技术攻关，目前已成功研发了我国自主知识产权的VR智能虚拟手术系统[1]。

力反馈交互是VR系统中的关键技术之一，其作用是在虚拟漫游的3D空间内，实现人机交互的力触觉，拓展人类感知。目前国内外的学者关于VR在教育中应用的研究主要围绕“情境化教育”“沉浸式学习”“学习环境特征分析”等，在宏观层面展开了相关理论探讨[2-4]。针对VR情境中力反馈交互对学习影响的研究较少。本研究基于北京航空航天大学研发的VR智能医教技术装备，以肠切除手术技能习得为教学案例，在北京航天总医院开展准实验研究，深入探究力反馈交互在手术技能习得方面的影响，以期为VR智能医教突破医学教育困境、促进医学教育的公平高效、个性化教学与个性化诊疗等方面提供借鉴。

二、研究现状及理论基础

（一）技能习得理论

技能是在练习基础上形成的按某种规则或操作程序顺利完成某种智力任务或身体协调任务的能力[5]。随着科技的进步和学习方式的改变，研究者逐渐发现VR作为一种吸引和激励学生、缩短技能习得的时间、减少材料使用的方法，对于提升技能习得是有效的。近年来，随着沉浸式虚拟现实技术的发展和虚拟现实技术与医学的融合，使其促进医学技能的提升成为可能[6]。VR技术允许学生在课程学习中反复回到相同的程序或任务[7]，并不断重复手术流程，从而增强训练，减少昂贵的动物训练模型的需求。VR力反馈技术与学习将结合提供一种创新方法来促进学生的学习和记忆，并对技能习得有所促进。 Jung等人开发的虚拟现实力反馈技能模拟器[8]，帮助医学学生完成静脉注射的技能习得，研究表明基于虚拟现实和触觉技能的模拟过程可以有效地改善教育环境，提供真实的注射体验，并减少因消耗准备材料而产生的成本。因此，力反馈技术被引入到教育和学习活动中，用户不仅可以通过图形窗口观察学习环境，还可以通过触觉设备感受学习环境中与对象交互时产生的触觉信息。力反馈的应用不仅提供了更真实、身临其境的学习情境，学习与实践的结合也有助于提高技能的掌握效率。

（二）交互式学习理论

陈丽提出的交互层次塔模型[9]阐述了远程学习中三个层面教学交互的关系、抽象性，以及三层面教学交互发生的环境。层次塔以媒体为平台，塔底层是操作交互;中间层是信息交互;最上层是概念交互，各层面的教学交互对学习意义不同。借鉴到VR学习环境下的交互式学习中来，学生借助力反馈技术赋予的力触觉通道与3D构筑的教学情境产生交互，实现和真实操作对象一样或近似的操作感，属于交互层次塔理论中的最底层：操作交互，是其他更高层次交互的基础所在，其对概念认知和技能习得的作用机制，存在重要的研究价值。Minogue[10]通过学生与其设计的动物细胞的VR力反馈虚拟力反馈模型的交互，发现该体验提高了学生导航和解释细胞环境的能力。实验结果表明，力反馈系统的应用不仅提供了更真实、身临其境的学习情境，也有助于提高学习与实践的结合。

（三）触觉反馈技术研究进展

尽管发展心理学和认知心理学领域关于触觉知觉和认知的基本原理和过程有大量且相对可靠的文献基础，但关于触觉反馈技术对教育的影响，人们知之甚少。在医学教育领域，机器人辅助手术在手术室的引入，使手术取得了显著的进步。因此，在过去的十年里，美国外科医师学院住院医師评审委员会就规定，所有项目都要建立一个技能实验室课程。其中腹腔镜箱训练器和虚拟现实模拟器是最低可接受的设备[11]。Botden将传统的有触觉反馈的箱式模拟器与无触觉反馈的虚拟现实腹腔镜模拟器进行了比较[12]。研究发现，参与者在模拟实际复杂的腹腔镜任务时明显更喜欢触觉反馈。在复杂的模式切割任务中，表现出了更快地完成和更少错误。研究得出结论，触觉反馈在高级的手术任务中具有更高的精确度。触觉反馈在这些模拟器中的重要性一直是人们感兴趣的话题。

综上，现有的研究成果，主要聚焦VR学习环境下的力反馈交互在促进概念认知与理解、增强学习动机、提升技能习得效率等方面的作用，在技能习得的具体影响因素方面缺少深入探究。本研究将从深度感知、双手协调性、手术效率、组织处理方面研究力反馈交互对手术技能习得的影响。据我们所知，本文是国内首次开展基于力反馈交互的医学教育准实验研究，具有重要的学术意义。

三、研究设计及实施

（一）问题的提出与研究假设

本实验研究依托我国自主研制的第一个贯通自研多维度力觉测量和反馈装置，个性化人体器官几何、物理、生理建模，复杂手术操作过程实时交互仿真和手术训练效果量化评估的虚拟手术支撑平台（UniVRLap）。该系统首次提出基于力觉测量的力反馈模拟逼真度评价技术，与实际手术交互操作过程的真实力觉测量数据相比，在国际上首次公开了力反馈误差5%的精度值。因此提出本实验的假设：有力反馈交互学习比没有力反馈交互学习更能促进手术技能习得。

（二）研究对象

本次实验从北京航天总医院招募了43名五年级医学生，他们均未接触过或者操作过VR手术模拟器。我们将被试随机分为两组进行实验，有效收取了37人的实验数据，两组学习者均可拥有3D教学情境的可视化体验，以及手术操作中的组织形变、病灶灼烧、血流等视觉、听觉通道体验。实验组在使用VR虚拟手术系统进行结肠切除手术学习和技能训练过程中，力反馈交互是开启状态，学习者可以实时地体验到来自虚拟的组织和器官对手术器械操作的力触觉。对照组力反馈交互装置是关闭状态。

（三）研究工具

1. VR智能医教系统

本文中使用的是六自由度（三维空间的平移和旋转）的力反馈设备3D System Touch，如图1所示，该力反馈设备被广泛应用于全世界各种虚拟手术仿真模拟器的力觉渲染当中。用户可以通过操作力反馈设备手柄来控制虚拟环境中手术器械。虚拟环境中物体的运动符合物理世界的物理规律。当用户操作力反馈设备控制虚拟手术工具运动并和虚拟环境中其他虚拟物体（比如人体组织、骨骼）发生碰撞时，根据物理规律可以计算出虚拟手术工具的受力，该受力可以通过力反馈设备的电机作用于力反馈设备手柄的运动，以使得操作者感受到来自虚拟场景中碰撞产生的力。在本实验室中，每个力反馈设备的手柄分别和两个手术器械绑定（左手：电凝器L-hook，右手：手术抓钳）。

图1   学习者基于VR智能医教系统进行手术技能学习和训练

图2   左侧是力反馈设备，右侧是Simbionix公式利用

力反馈设备进行穿刺实验

在本实验中，实验组中的力反馈是由交互力产生的，在对照组中力反馈产生的力为零，但程序中的手术器械和组织的碰撞检测是同样的，也就是说，人机交互的视觉效果依然存在，只是没有力感。我们要求两组参与者在训练过程中，尽可能平滑和快速地进行操作，如图2所示。

2. 腹腔镜手术训练箱

在此次实验中，我们的前测和后测都在腹腔镜手术训练箱中进行，这是目前最普遍使用的腹腔镜手术训练装置。我们使用的腹腔镜手术训练箱大小为38×27×27厘米，如图3所示。根据实验需要，对训练箱进行了简单改造，在训练箱中放置了一个塑料盒来盛放肠组织。腹腔镜训练手术箱和真实腹腔镜手术操作台一样，有左右两个孔供放置手术器械，左手是手术抓钳，右手是手术剪刀（因为实验条件的限制，我们使用手术剪刀替代电凝器）。腹腔镜训练手术箱内部上方固定有一个高清摄像头，与显示屏连接。被试可以通过观看显示屏上的实时3D可视化，引导结肠切除手术操作。本次实验中涉及所有的人体肠均来自医学院捐赠。

图3   腹腔镜手术训练箱和医学生进行肠切除术

3. GOALS标准

GOALS标准是一个有效的评估工具，一套国际通用的具有结构效度的手术技能评估方法。本实验中用以评估医学生结肠切除腹腔镜手术技能习得的学习绩效。GOALS标准的每个维度都使用1～5分李克特量表进行打分。表1给出了GOALS评分标准及对应的分数释义。五位外科手术专家根据视频录像进行打分，取均值。（本表僅给出1分及5分的评价标准，2分、3分、4分分别根据该维度的绩效表现，对应尚可、中等、接近完美）

4. 准实验设计和实施

本实验包含三个主要步骤，流程如图4所示。

图4   实验流程图

四、数据分析与讨论

（一）数据分析

表2         前后测t-检验（双样本等方差假设）

本文使用SPSS19软件包对实验数据进行统计分析。我们将每个参与者在GOALS标准的四个维度成绩相加得出总成绩然后进行处理，对实验组和对照组学生进行结肠切除手术前测成绩与后测成绩进行双样本等方差假设的t-检测，结果见表2。

为了检验基于VR的腹腔镜模拟器是否可以提高医学生的手术技能习得，我们利用所有参与者的前后测成绩进行配对样本T检测。我们发现经过VR腹腔镜模拟器的训练两组参与者的GOALS得分都有了显著的提高，结果见表3。

表3              t-检验（配对双样本均值分析）

但上面的结果并没有给出力反馈对医学生手术技能哪些具体的方面更加有提升效果。因此，为了探究力反馈交互对手术技能习得具体维度的影响，我们使用混合协方差分析（Mixed ANCOVA）方法对数据进行了处理。前测和后测的成绩分别设置为协变量和因变量，组号作为自变量。统计结果见表4。

评估了医生对三维空间的定位感知能力。精确的深度感知能力可以帮助医生区分腹腔镜手术空间中组织的相对位置，从而可以快速精准地定位病灶。从表4中可知，实验组（有力反馈交互）的分数显著高于对照组（无力反馈）（F=5.266，p<0.05，η2=1.314）。

从效率的角度来看两组的统计数据，我们发现对照组和实验组并没有显著的区别（F=2.605，p>0.1，η2=0.071）。

对照组参与者的双手灵活性比实验组参与者的双手灵活性分数较高（F=3.641，p<0.1，η2=0.097）。

由表5可以看出对照组参与者能够比实验组参与者更熟练地处理结肠组织（F=4.895，p<0.05，η2=0.126）。

（二）数据讨论

因为四个维度的总成绩可以综合地表现一个人的手术技能，具体结果见表4。从表中可知两组在不同维度的前测技能习得成绩上没有显著差异（p>0.1）。这表明对照组和实验组作为研究对象较为合理。

同时，两组在部分维度的后测数据存在显著性统计差异（p<0.01），以力反馈为自变量进行基于VR的腹腔镜模拟器训练对两组参与者的手术技能产生了不同的影响。而且，使用了力反馈的实验组比没有使用力反馈的对照组成绩更高，这也表明力反馈确实可以提高医学生手术技能的获取。

1. 深度感知

在真实的腹腔镜手术当中，医生需要通过将微型摄像头放置到病灶位置，然后医生通过二维的显示屏幕来进行手术操作。但二维的图像相对三维空间缺少一个维度：深度，这样会导致人们将物体的大小和深度混淆，所以感知深度是人们日常生活中最具挑战性的感知任务之一。Ho等人也通过实验表明，触觉训练可以用来修正视觉上错误的感知[13]。表4中数据表明，实验组所增加的“手术操作的”交互手感，可以通过力反馈交互和3D视觉变化来更精确地感知手术空间的定位深度，可以显著提高医学生手术技能中的深度感知能力。

2. 手术效率

通过在结肠切割手术过程中的观察，我们发现人体结肠的解剖结构存在具有巨大的个体差异：不同人的肠体之间在半径、长度、厚度及脂肪等附着物等方面都有很大的差别。在实际的切割操作过程中，不同的参与者也可能会选择结肠不同的位置进行切割。这就导致不同的参与者测试过程中所进行的工作量存在较大差异。鉴于人体器官个性化差异较大，而VR智能医教系统中的虚拟人体器官是统一化的数字模型，加上影响手术效率的主观因素也较为多元，导致两组在训练前后的手术效率差异并不显著。

3. 双手协调性

双手协调，就像我们的其他认知技能一样，可以被训练和提高。Pernalete等人在脑卒中后患者的病后恢复中发现触觉可以用来提高病人的双手协调性[14]。由表4数据可知，此次实验中两组分数之间没有显著的区别。原因可能在于：实际的腹腔镜手术中和虚拟手术训练过程中，手术器械可视化的移动方向和参与者手部的移动方向均相反。对于新手医生来说，短时间内（本次实验为4周）很难熟练掌握手术器械的操作技巧。为了提高参与者操作手术器械的熟练程度，可能需要更长的训练时间。

4. 组织处理

表4表明带有力反馈交互能够显著提高参与者在实际腹腔镜手术当中处理人体组织的能力。医学生通过力触觉通道（操作杆、手术钳子等）控制虚拟空间中的手术器械与虚拟人体器官所构筑的手术场景产生交互，实现和实际手术操作一样的推、捏、切、割、烧、缝等复杂手术操作手感。而这种“手感”往往将成为外科医生经历多年实操手术之后，获得的一种宝贵的经验性的“知能”。Hagelsteen[15]和我们得出了同样的结论：具有力反馈的VR腹腔镜模拟器比没有力反馈的VR腹腔镜模拟器更能提高被试的组织处理能力。医生组织处理能力的提高可以减少病人的手术风险，比如减少医生对重要部位的误操作导致手术失败等。

（三）访谈分析

研究者采用“无结构型访谈”和“半结构型访谈”对临床手术医生、手术技能培训中心教师、医学生三类人群（39位）进行访谈。在确定编码类目时，使用“共识性质性研究方法”（Consensual Qualitative Research）。统计编码类目被讨论的频次高于被访谈人数50%以上的类目，记录最终的认可度百分比结果，见表5。总体上，初学者和有经验的学习者对VR智能医教的不同方面，认可度评价有所侧重。

一方面，对于缺乏真实手术经验的初学者，VR场景构建和流程演练在增进自我效能感、降低认知负荷方面、提高心流体验方面，认可度较高。医学生在基于VR的腹腔镜模拟器上进行训练不仅可以促进手术技能的习得，而且可以提高医学生程序性知识学习的心流体验。学习者可以在这样的环境中从多个渠道获取多元的信息，从而保持学习的愉悦感、专注度、控制感、沉浸感等[16]。此外，初学者希望得到更多有经验医生或教师的线上、线下指导。

另一方面，有经验的学习者（临床医生、技能培训中心教师），对教学场景模拟、力反馈精准度、教学内容设置方面给予了高度肯定，同时，在个性化教学资源开发、教学策略、学习活动进阶设计和教学评价方面的不足，提出了宝贵的建议和意见，旨在通过技术与教学过程的深度融合，促进知识迁移、技能习得等。

五、對VR智能医教系统应用发展的启示

第一，带有力反馈的手术模拟器可以通过力觉交互和3D视觉变化来更精确地感知手术空间的定位深度，从而提升医学生的深度感知能力。医学生通过力触觉通道（操作杆、手术钳子等）控制虚拟空间中的手术器械与虚拟人体器官所构筑的手术场景产生交互，感受和实际手术操作一样的推、捏、切、割、烧、缝等复杂手术操作的手感，从而提升医生的组织处理能力以减少病人的手术风险。因此，本实验基于VR腹腔镜模拟器的实验，通过实验组和对照组使用力反馈训练器的对比得出力反馈交互可以显著提高医学生手术技能中深度感知、手术效率和组织处理方面的技能。

第二，鉴于本实验在维度2手术效率方面的数据分析，建议加强个性化人体器官场景开发，可按照病人的体重、年龄、性别等划分，供学习者选择面向不同人群的手术训练模块，提升教学资源的适切性。鉴于本实验维度3双手协调性方面的数据分析，可通过游戏化学习，支持小组协作与竞技，通过社群化学习，增强学习者对教学系统的粘性，从而在较好的学习体验中，增强训练时长，促进双手协调性。游戏化学习对学生学习效果具有较大程度且积极的影响，不受知识类型、学段等条件变量的影响[17]。游戏竞技也是小组协作学习、社群化学习的一种有效形式。鉴于本实验维度4组织处理方面的数据分析，可通过构建不同的虚拟操作交互场景以增强学习者手术操作手感和熟练度、应对突发状况的宝贵经验。同时也可以通过增加触觉通道如多种操作杆、手术钳子等，以增强学习者的体验感，提升其学习动机与学习兴趣。

第三，基于访谈和文献，力反馈交互营造了高度拟真的效果，使得学习者获得一定的心流体验。本研究所采用的VR智能医教系统相比于传统教学方式具有自动反馈的功能，包括力反馈、运动数据反馈、执行效果反馈等，但这些反馈仅以抽象的数字形式表达，尚不能提供人性化的操作建议。目前我国自主开发的VR智能医教系统主要解决的是个体知识建构和技能习得。随着个性化教学资源的不断丰富，在VR医教系统设计中，可置入知识和技能在同伴之间共同创造和分享，通过在教学脚本设置中增设角色扮演、提升力反馈精度增强交互、关注多通道和多模态认知载荷等，以增强学习者的“情感”（心流）、并建立人机协同的反馈机制，将抽象的数字表达转换为形象的智能化反馈，推进知识与技能进入集体建构阶段，形成在学习者社群中的贡献和传递的“环流”，从而促进协同知识建构和群体技能习得等。

[参考文献]

[1] PAN J， ZHANG L， YU P， et al. Real-time VR simulation of laparoscopic cholecystectomy based on Parallel Position-based dynamics in GPU[C]// 2020 IEEE Conference on Virtual Reality and 3D User Interfaces （VR）.  Atlanta，Mar. 22-26， 2020.

[2] 刘德建，刘晓琳，张琰，陆奥帆，黄荣怀.虚拟现实技术教育应用的潜力、进展与挑战[J].开放教育研究，2016，22（4）：25-31.

[3] 黄奕宇. 虚拟现实（VR）教育应用研究综述[J]. 中国教育信息化，2018（1）：11-16.

[4] 蔡苏， 王沛文， 杨阳，等. 增强现实（AR）技术的教育应用综述[J]. 远程教育杂志， 2016， 34（5）：27-40.

[5] 曹蕻， 石运章. 国外技能习得理论研究述评[J]. 北京城市学院学报， 2010（6）：62-67.

[6] LOHRE R，  BOIS A J，  ATHWAL G S， et al. Improved complex skill acquisition by immersive virtual reality training： a randomized controlled trial[J]. The journal of bone and joint surgery， 2020， 102（6）：1.

[7] OTA D，  LOFTIN B，  SAITO T， et al. Virtual reality in surgical education[J]. Computers in biology & medicine，1995，25（2）：127-137.

[8] JUNG E Y，  DONG K P，  LEE Y H， et al. Evaluation of practical exercises using an intravenous simulator incorporating virtual reality and haptics device technologies[J]. Nurse educ today， 2011， 32（4）：458-463.

[9] 陳丽. 远程学习的教学交互模型和教学交互层次塔[J]. 中国远程教育， 2004（3）：24-28.

[10] MINOGUE J， JONES M G， BROADWELL B. The impact of haptic augmentation on middle school students' conceptions of the animal cell[J]. Virtual reality， 2006， 10（3）： 293-305.

[11] PANAIT L，  AKKARY E，  BELL R L， et al. The role of haptic feedback in laparoscopic simulation training[J]. Journal of surgical research， 2009， 156（2）：312-316.

[12] BOTDEN S，  TORAB F，  BUZINK S N， et al. The importance of haptic feedback in laparoscopic suturing training and the additive value of virtual reality simulation[J]. Surgical endoscopy， 2007， 22（5）：1214-1222.

[13]  YUN-XIAN H，  SASCHA S，  JULIA T， et al. The role of visuohaptic experience in visually perceived depth[J]. Journal of neurophysiology， 2009， 101（6）：2789-2801.

[14] PERNALETE N，  RAHEJA A，  KNAACK A. Eye-hand coordination assessment method using a haptic virtual environment with a complex valued neural networks training algorithm.[J]. ACM， 2015：1-4.

[15] HAGELSTEEN K， JOHANSSON R， EKELUND M. Performance and perception of haptic feedback in a laparoscopic 3D virtual reality simulator[J]. Minimally invasive therapy & allied technologies， 2019， 28（5）： 309-316.

[16] 李欣，沈夏林，黄晓，王勋. 沉浸式VR可视化空间线索促进程序性知识学习的实证研究[J]. 电化教育研究，2019，40（12）：64-71.

[17] 李玉斌，宋金玉，姚巧红.游戏化学习方式对学生学习效果的影响研究——基于35项实验和准实验研究的元分析[J].电化教育研究，2019，40（11）：56-62.