APP下载

面向心理学的虚拟现实实验开发工具

2024-11-07韩明蒯曙光

心理科学进展 2024年11期

摘 要 在使用虚拟现实技术进行心理学研究时, 建立一个高质量的虚拟实验环境至关重要。然而, 对于部分缺乏计算机编程经验的心理学研究者来说, 这一任务常常充满挑战。为应对这一难题, 领域内的研究者开发了多种专门用于虚拟现实实验的工具, 借助游戏引擎等技术, 大大降低了研究者对专业技术知识的依赖。这些工具各具特色, 一部分提供实验框架, 帮助研究者从整体上更轻松地搭建实验环境, 而另一部分则专注于解决特定的技术难题, 在特定环节或范式上为研究者提供必要的技术支持和开发范例。未来, 实验工具还可能会采用“元框架”的理念, 为开发者提供更高效、灵活的开发模式。

关键词 虚拟现实, 3D实验刺激, 实验开发工具, 元框架, 可重复性, 开放科学

分类号 B841

1 引言

在心理学的发展中, 研究工具的进步一直扮演着重要角色。虚拟现实技术(Virtual Reality, VR)在当今心理学的诸多领域都表现出了巨大的潜力(Berdejo-Espinola et al., 2024; Hakim & Hammad, 2022; Stangl et al., 2023; Zilcha-Mano & Krasovsky, 2024)。通过VR技术, 研究者可以创建高度仿真的虚拟环境, 从而在具有生态效度但又受控制的条件中探索人类的行为和认知机制, 进行心理治疗或干预控制(Draschkow et al., 2022; Emmelkamp & Meyerbröker, 2021; Freeman et al., 2022; Geraets et al., 2021)。

虚拟现实研究的快速进步离不开近年来消费级虚拟现实设备技术的发展(Skibba, 2018)。现今的消费级虚拟现实设备集成了图形计算、呈现和空间定位等多种功能, 价格较低且易于使用, 成为实验研究理想的工具。然而, 开展虚拟现实研究的技术要求却依旧复杂(Draschkow et al., 2023)。心理学研究者在开发VR实验时需要掌握3D渲染、图形用户界面(GUI)以及物理引擎等复杂的专业知识。同时, 为了确保实验的可靠性和有效性, 研究者还需要具备足够的编程技巧, 能够正确运用C++、C#或JavaScript等语言构建所需的实验内容。此外, 从零开始制作虚拟现实场景往往会耗费大量的时间和预算。因此, 开发简化实验流程的工具在虚拟现实研究中显得尤为重要。首先, 它能够推动虚拟现实技术在心理学领域的进步, 使研究者能够专注于实验设计, 避免在开发阶段“重复造轮子”, 为虚拟现实与更多研究领域的结合提供可能。同时, 一些研究者指出, 当前心理学虚拟现实开发处于一种“无序状态” (Vasser & Aru, 2020), 不同的开发方法之间存在较大的差异(Weisberg et al., 2022; Wiener et al., 2020)。开发这样的工具也能增强心理学虚拟现实实验开发流程的标准化, 从而提高了实验的可重复性(胡传鹏 等, 2016)。

心理学领域在基于平面视觉的非沉浸式实验方面已经建立了完善的工具体系, 如Psychophysics Toolbox、E-Prime和PsychoPy等工具为研究者提供了便利的操作界面和功能函数(Brainard, 1997; Peirce, 2007; van Steenbergen et al., 2019), 使他们能够更轻松地进行实验设计、刺激呈现和数据收集, 为心理学研究提供了重要支持。然而, 虚拟现实开发的复杂性使得研究者无法直接套用传统软件模式。近年来, 越来越多的研究开始探索适用于心理学的虚拟现实开发方法。这些研究针对虚拟环境开发中的各种问题提出了解决方案, 为相关领域的发展提供了支持, 目标是使研究者更有效地利用虚拟现实技术设计心理学的实验。

本文首先系统性地回顾了自2016年以来公开发表的关于心理学虚拟现实实验工具的论文, 分类介绍了这些工具的适用范围和技术特点, 为相关研究者提供了参考。同时, 我们对这些研究的开发方法进行了全面的总结和梳理, 分析了工具体系所面临的整体问题及未来的发展方向。基于新一代实验工具的更高需求, 我们提出了一种“研究者−开发者−参与者”相互独立的元框架开发模式, 为未来理想的虚拟现实实验工具开发提供了新的视角。

2 面向通用实验功能的开发方法

面向通用实验功能的工具专注于在虚拟现实环境中生成心理学测试流程, 也被称为实验框架。其主要目标是提供类或函数作为起始模板, 以简化研究设置流程, 并生成易于分析的数据。这些工具旨在协助研究者快速建立实验环境, 减少重复性工作, 提高实验的准确性。

2.1 基于游戏引擎方法的虚拟现实实验框架

游戏引擎是一种用于创建包括电子游戏在内各种实时交互式数字内容的软件工具(Nicoll & Keogh, 2019)。通过用户友好的工作界面, 游戏引擎提供图形渲染、物理模拟、碰撞检测、音频管理和动画等功能, 从而简化游戏开发过程。这使得开发者能够专注于创造游戏内容, 而无需处理复杂的底层系统。在心理学研究领域, 使用游戏引擎是目前最流行的实验构建方法。然而, 通用的游戏引擎并非专为实验研究而开发。因此, 许多研究为了高效利用游戏引擎开发虚拟现实实验, 选择在免费游戏引擎(如Unity、Unreal 4、Godot等)中, 以模板或第三方插件的形式制作工具。根据我们的统计, 自2016年以来正式发表或公布的心理学虚拟现实实验相关开发工具中, 有84.9%的工具采用了游戏引擎作为解决方案, 其中69.7%使用了Unity引擎, 15.2%使用Unreal 引擎。这些基于游戏引擎方法的实验开发工具一般将底层渲染交给引擎处理, 自身负责在游戏引擎中生成心理学实验流程并进行数据收集。

从工程开发的视角出发, Grübel等人较早地提出了用于心理学实验开发的EVE (Experiments in Virtual Environments)框架(Grübel et al., 2017)。这是一个Unity项目文件, 提供了一套基于C#语言的实验功能方法函数, 帮助研究者从设置、运行到评估三个方面开展实验。在设置阶段, 实验者可以上传和操作他们的虚拟环境, 加载基于XML格式的问卷, 并设置传感器。在实验运行阶段, EVE用于启动实验和利用结构化查询语言(MySQL)来读取和写入实验数据。在评估阶段, EVE能够通过集成的R包执行不同类型的分析和可视化。与此类似的还有Wölfel等人提出VRSTK (Virtual Reality Scientific Toolkit)框架, 该框架专注于如何从工程角度实现各种实验数据的获取与记录(Wolfel et al., 2021)。在数据处理方面, 与EVE类似, VRSTK也提供了通过R包实现数据对接的方法。

为了使实验流程设计更加模块化, Brookes等人提出了以实验阶段(session)−区块(block)−试次(trial)层次模式构建实验的UXF (The Unity Experiment Framework)框架, 以Unity第三方插件的形式呈现(Brookes et al., 2020)。它提供实验状态监控和数据收集功能, 支持数据以不同格式保存或导出, 并解决了远程数据收集的问题。使用类似层次模式的工具还有USE (Unified Suite for Experiments), 一个在Unity中通过对接外部硬件实现精确时间控制和眼动数据分析的开发工具(Watson et al., 2019)。

Bebko提出了一种更加直观的因素设计模式的实验框架(Bebko & Troje, 2020)。bmlTUX (The BiomotionLab Toolkit for Unity Experiments)框架通过在图形用户界面添加不同类型的自变量和因变量, 能够自动化处理实验设计流程, 创建组合设计、平衡对照、随机化、混合设计和组块设计等实验流程, 并在图形用户界面中可视化地展示实验结构, 方便研究者调整和修改实验设计。同样使用因子设计的还有StudyFramework, 专为虚幻4引擎中进行实验开发而设计的实验框架(Ehret et al., 2024)。该框架提供了一套基于C++的心理学实验功能方法函数, 并且具备崩溃恢复功能, 使得实验即使在意外中断后也能够从中断点继续进行。

除了整体实验流程的工具外, 还有一些工具专注于解决特定的通用环节问题。例如, Toggle Toolkit是一个专注于虚拟交互过程分析与记录的Unity的C#脚本合集(Ugwitz et al., 2021)。它允许用户为目标虚拟现实对象添加“触发器(trigger)”与“状态切换(toggle)”功能。这里的触发器是指为虚拟物体定义一组启动事件(如与其他虚拟对象碰撞、按键操作、凝视等)。当触发器被执行时, 会激活与其关联的切换功能, 从而改变链接对象的属性或行为(例如打开或关闭)。Toolkit的结构允许通过挂载脚本的方式, 将触发器和状态切换功能添加到实验环境中的任意虚拟对象上。在实验过程中, 所有的互动行为都会被记录, 并生成相应的数据。还有一些工具致力于解决其他常见问题。例如, 虚拟问卷工具在解决沉浸感中断和主观感受偏差问题方面发挥着重要作用。Feick提出的VRQuestionnaireToolkit是一个专门用于虚拟环境中填写问卷的工具, 它允许参与者通过与用户界面进行交互来填写和记录主观信息, 而无需摘下头盔产生中断(Feick et al., 2020)。此外, 该工具还提供了多种问卷格式和预设问卷, 为研究者提供了更多的便利性。Bovo等人开发的MR- RIEW (MR-Remote Immersive Experiment Workflow)框架进一步拓展了虚拟问卷远程施测与记录的可能性(Bovo et al., 2022)。除了普通的虚拟问卷功能外, 这种基于远程服务器的方法提供了更大的实验灵活性和可操作性, 使研究者能够更方便地进行远程实验和众包(Crowdsourced) 实验。

2.2 基于Python、R以及其他平台的虚拟现实实验开发方法

除了将底层虚拟环境渲染交给游戏引擎外, 仍有一些工作致力于使用心理学研究者更加熟悉的语言来实现虚拟环境渲染功能。Vizard软件平台是基于C/C++语言开发的, 利用OpenGL技术生成虚拟环境的渲染工具, 同时提供了Python编程接口。这样的设计使得用户可以使用Python编写脚本来控制虚拟现实场景中的各种元素。为了解决Vizard平台缺乏与心理学实验开发相关功能的问题, Schuetz等人开发了名为Vexptoolbox的Python工具箱, 专门用于在Vizard平台上进行心理学实验(Schuetz et al., 2022)。Vexptoolbox提供了基础功能, 包括随机化、基于试次的实验设计方法, 以及对行为、眼动和身体运动实验数据的处理等功能。ExpyVR则提供了另一种实现Python虚拟环境渲染的方法, 它修改了开源软件Psychopy的源代码, 添加了基于OpenGL渲染的3D显示流程。这个工具保留了Psychopy的原有特性, 使得设计和执行虚拟现实实验变得更加简单。用户可以通过类似Psychopy的图形用户界面轻松设计实验时间线, 并将2D、3D显示、音频等模块添加到实验中。然而, 目前它仅支持简单的渲染功能, 尚不完整。Vercelloni等人开发的R2VR是一个用于在R语言环境中执行虚拟现实行为研究的包, 通过A-Frame和WebXR框架渲染场景, 并提供了与MySQL通信和收集实验结果数据的功能(Vercelloni et al., 2021)。这种方法的优势在于研究人员可以直接通过R指令处理、可视化数据并进行统计分析。但目前R2VR也只能提供简单的渲染功能, 尚未完全成熟。

还有一些研究者尝试利用现有的成熟VR软件进行实验构建。例如, Liu和Chen选择了《上古卷轴V:天际VR》(SkyrimVR)进行实验, 开发了SkyBXF (SkyrimVR based Behavioral Experimental Framework)框架(Liu & Chen, 2022)。该框架利用这款游戏的高自由度和丰富资源的特点, 通过使用自定义游戏模组(MOD)进行修改, 从而实现实验研究设计与数据收集。此外, Saffo等人(2020)探索了利用大规模多人在线VR社交平台VRChat进行远程在线实验的方法, 并认为这是一种可行的实验手段(Saffo et al., 2020)。

3 面向特定实验目的开发方法

面向通用实验功能的开发工具旨在为通用的实验功能提供开发便利, 但通常不包含特定实验刺激或试次的生成, 并需要用户具有一定的开发经验和编程能力。相比之下, 以VREX为代表的面向特定实验目的的开发方法, 只针对一类特定实验范式和需求, 大多提供完整的“开箱即用”实验工具, 并包含相关的实验刺激。这类工具通常也依赖游戏引擎, 提供友好且直观的界面和功能, 使研究者能够快速创建和运行特定类型的实验, 而无需过多关注底层技术细节。

3.1 虚拟环境中的知觉、注意与记忆研究工具

VREX (Virtual Reality Experiments)是一个专为虚拟现实室内环境下的注意力和记忆相关研究而设计的实验工具(Vasser et al., 2017)。VREX旨在将与目标范式相关的所有工具和资源整合到一个独立的、由Unity引擎导出的应用程序中, 使研究者能够通过易学易用的菜单系统进行实验设计, 而无需深入了解Unity引擎。VREX提供了两种预设任务:变化盲视任务和虚假记忆任务, 并配备了一整套3D虚拟物体资源作为实验刺激, 同时支持用户导入自定义的3D模型。除了独立应用版本之外, Vasser等人还提供了原始的Unity项目文件, 研究人员可以根据自己的需求和实验设计对VREX进行定制和扩展。

Castet等人提出了一种使用Python进行视知觉虚拟现实实验编程开发的方法。他们开发了名为PTVR的工具, 允许研究者通过简洁的Python脚本创建基于Unity的视觉实验, 无需掌握Unity的相关知识(Castet et al., 2024)。该工具提供了一些视觉实验模板, 同时也提供了一些基础实验资源。

另一个例子是Landeck等人提出的Metachron, 它是一个允许在虚拟现实中对时间知觉相关事件进行系统性操控的实验工具组, 基于Unreal 4引擎开发(Landeck et al., 2020)。Metachron提供了18种时间控制系统, 可以修改时间相关的对象, 如钟表、太阳运动、牛顿摆等, 从而产生时间流逝变化的错觉。它还可以模拟社会环境中人群或观众的数量对时间流逝感知的影响。该工具提供了基于这些时间控制系统的实验模板, 支持记录眼动数据和问卷信息。Landeck等人认为, 这个工具不仅适用于一般的时间感知研究, 还可以用于探索抑郁症、精神分裂症和自闭症等疾病导致的时间知觉紊乱。

此外, Delvigne等人开发了VERA (Virtual Environments Recording Attention), 这是一款专为研究儿童注意力缺陷多动障碍(ADHD)设计的Unity工具(Delvigne et al., 2020)。VERA与HTC-Vive Pro Eye和Tobii眼动跟踪工具兼容, 提供了5种不同的VR测试环境(体育馆、卧室、森林、生日聚会的客厅和游乐园)和三种预设任务(放松、选择性注意力和持续注意力), 用于记录参与者的注意力能力。

3.2 空间导航研究工具

空间导航是指确定并实现从一个地方到另一个地方的过程, 这一过程依赖于人类的空间感知、空间表征和空间记忆等能力(张凤翔 等, 2023)。由于具备高生态效度、高可控性以及能够实时响应参与者互动的特性, 基于游戏引擎的虚拟现实工具越来越多地用于分析人类解决空间导航问题的过程。在这一领域, 一些专为简化虚拟环境导航研究而设计的实验工具, 如Landmarks、OpenMaze、DeFINE、VNT和NavWell工具箱, 提供了便捷的研究途径。Landmarks由一系列预制功能模块组成, 允许用户通过时间线模式自定义环境、刺激和任务参数, 从而创建实验(Starrett et al., 2021)。这些实验任务包括空间导航、地图学习、方向判断和虚拟导航等。此外, Landmarks还支持脑电(EEG)设备, 并能将数据输出为CSV文件。DeFINE (Delayed Feedback-based Immersive Navigation Environment)关注导航过程中的反馈问题, 尝试模拟现实世界中导航时的反馈机制(Tiwari et al., 2021)。其特定任务要求参与者导航至指定目标位置, 并实时呈现任务评分作为反馈, 以促使参与者在导航过程中做出更快、更准确的路线调整。NavWell是为经典虚拟水迷宫任务开发的工具, 配备友好的Web界面, 允许用户编辑迷宫大小、线索类型等虚拟环境变量, 并设置实验流程, 最终以插件形式在Unity引擎中运行实验任务(Commins et al., 2020)。OpenMaze也是一种用于开发第一人称导航任务的工具, 不依赖Unity图形用户界面进行开发引导(Alsbury-Nealy et al., 2021)。它允许研究者通过修改实验配置文本文件来自定义任务和实验参数, 但不支持数据预处理或通过并行/串行端口发送或接收信号。与此类似的开发工具还有VNT (The Virtual Navigation Toolbox), 一款基于预制体与脚本进行开发处理的第一人称空间导航工具(Müller et al., 2023)。除了实验工具, 目前还有一些专门用于进行特定空间能力测试的独立工具(Colombo & Grübel, 2023; Wiener et al., 2020)。

3.3 虚拟具身感研究工具

虚拟具身感是虚拟现实中的重要概念之一, 指个体在虚拟环境中对自己的虚拟化身产生拥有感、控制感以及自我位置感的体验(Kilteni et al., 2012)。一些研究表明, 通过让参与者的虚拟化身与其真实动作同步, 可以促进虚拟具身感的形成, 进而产生虚拟现实中的“身体拥有感错觉” (Slater et al., 2008)。这种体验可以在很大程度上影响参与者在虚拟环境中的行为和认知。当白人参与者化身为黑人虚拟人时, 可以减少其内隐种族偏见(Banakou et al., 2016)。类似地, 当参与者化身为儿童时, 他们倾向于高估物体的大小(Banakou et al., 2013)。为了简化虚拟具身感研究中的技术需求, Oliva等人开发了名为QuickVR的工具(Oliva et al., 2022)。它支持全身追踪和动作同步, 也包括眼动追踪和眨眼绑定, 同时提供实验相关功能函数, 可用于构建实验、收集数据或实现其他实验功能。能够用来研究虚拟具身感的还有VALID (Virtual Avatar Library for Inclusion and Diversity)多样性虚拟化身库(Do et al., 2023), 它包含了经过骨骼绑定的210个虚拟化身模型, 支持面部表情和身体运动, 并覆盖了7个不同的人种以及各种性别。库的构建过程包括对每个类别的相关图片进行平均处理, 生成“平均脸”图片, 并基于这些图片进行初步建模。为确保模型在种族和性别上的有效性, 该库经过来自多个国家、多个种族参与者的评分验证, 并进行了进一步筛选。此外, Pohl等人针对Oculus Quest手部追踪系统开发了Hafnia Hands, 这个工具提供了多种手部替换材质, 包括6种人类肤色和3种非人类材质(Pohl & Mottelson, 2022)。相应的肤色可以增强参与者在实验中对虚拟手的具身感, 而不匹配的材质则有助于理解虚拟具身感的形成机制。

3.4 虚拟环境中的决策研究工具

在研究人类在危险环境下的决策行为时, 将参与者置身于真实危险中可能引发伦理问题, 因此虚拟现实成为理想的研究方法。Brookes等人开发的VRthreat Toolkit为此类研究提供了支持(Brookes et al., 2023)。该工具包含一套虚拟自然环境和威胁模型, 如熊、毒蛇和鳄鱼等, 用于研究人类的回避行为。此外, 工具还包括了威胁场景, 比如摇摇欲坠的吊桥和数字倒计时的炸药, 以及相应的脚本系统。研究者可以通过UI界面组合这些组件, 形成一系列沉浸式的独立情节, 例如探讨参与者在采摘虚拟野果时如何面对威胁并选择逃跑时机。VRthreat Toolkit的基础实验功能依赖UXF来存储参与者的行为、移动和眼动追踪数据。

3.5 实验反馈与复现工具

在虚拟现实设备的使用中, 研究者可能会面临与参与者之间沉浸水平不对称的问题。举例来说, 当虚拟现实设备使用者与虚拟物体互动时, 身处现实世界的旁观者可能无法理解这些互动的含义, 只会感觉到动作滑稽可笑, 因为他们无法看到虚拟物体。一些现有的实验监控工具可以用来解决这一问题并提高研究效率。例如, Cools等人提出了一种跨现实方法, 开发了名为CreST (Cross-Reality Study Tool)的反馈工具(Cools et al., 2023)。CreST基于AR技术, 为研究者提供了一个虚拟物体的增强现实视图, 允许他们以AR方式监控参与者的实验状态或与参与者进行交互。通过同步呈现的增强现实虚拟物体, 研究者可以更好地记录参与者行为细节, 并在后续访谈中询问参与者特定行动背后的原因。另一种方法是由Rey等人提出的基于Web的实验监控和控制工具IXCI (The Immersive Experimenter Control Interface) (Rey et al., 2021)。IXCI简化了虚拟现实实验中实验者与虚拟程序交互的问题, 实现了Unity内部的沉浸式环境和外部Web端的实时通信。通过Web端的实时可视化界面, 研究者可以跟踪用户在虚拟环境中的位置和凝视方向, 实时跟踪任务进度、调整实验参数、切换实验阶段, 使实验更加灵活和可控。

复现工具如Vo和Cognitive3D为研究人员提供了一种有效的方式, 用来重新观察和评估参与者在虚拟现实环境中的行为。这些工具能够将参与者的行为记录上传至系统, 并在Web端重建, 生成便于分析的行为轨迹和凝视热图(Howie & Gilardi, 2021)。

4 基于虚拟现实的生理信号记录工具

生理信号数据记录与虚拟现实设备的结合已在实验研究中得到广泛应用, 并在治疗和干预领域显示出重要的作用(相关综述见Halbig & Latoschik, 2021)。与传统屏幕相比, 使用VR头戴显示器进行事件相关电位(ERP)的研究显示出更强的信号强度(Aksoy et al., 2021)。通常情况下, 脑电帽可以直接与VR头戴设备结合使用(Hofmann et al., 2021), 但当EEG与VR结合时, 头戴设备对EEG传感器施加的物理压力可能会导致头部运动引入更多噪声和信号失真(Tauscher et al., 2019)。一些研究表明, 通过适当的技术手段, 如对VR头盔的定制化改造和改进滤波分析算法, 可以有效减少运动伪迹(Butkeviciute et al., 2019; Li et al., 2023)。在硬件方面, 内置EEG信号收集装置的虚拟现实头盔正在不断发展, 未来有望出现更加便捷稳定的信号收集和记录方法, 从而克服这些问题 (Bernal et al., 2022; Moinnereau et al., 2022; Stangl et al., 2023)。除了传统方法, 近年来一种流行的方法是利用开源脑机接口软件OpenVIBE在虚拟现实程序中记录EEG信号。为了支持实验需求, 一些工具已经提供了Unity和OpenVIBE的集成, 例如BCIManager和LSL4Unity, 使得在Unity中控制EEG记录过程成为可能(Skola & Liarokapis, 2021)。Jiménez等人最近还提出了一种整合UXF和OpenVIBE的工作流程, 为研究提供了更加便捷的解决方案(Jiménez- Ruescas et al., 2023)。除了EEG, 将VR与功能性近红外光谱(fNIRS)结合也提供了一种灵活的脑成像方法(相关研究综述见Peng et al., 2024)。与EEG相比, fNIRS对电干扰的敏感性较低, 这在涉及参与者运动的VR研究中具有优势, 但目前相关工具仍较为缺乏。在眼动记录方面, 随着内置眼动追踪装置的头戴式显示器逐渐普及, 虚拟现实环境中的眼动记录方法也日趋成熟(相关综述见Adhanom et al., 2023)。未来, 虚拟环境中的眼动记录技术可能会逐步朝着多技术融合和应用的方向发展。例如, Nolte等人开发并验证了一种结合EEG和虚拟现实眼动追踪技术的算法(Nolte et al., 2024)。通过使用眼动数据标记注视点事件, 研究人员可以在时间维度上对齐不同的脑电反应, 从而更有效地处理和分析不同时刻的脑电活动。

此外, 便携式记录装置的发展则也极大地促进了生理信号数据与虚拟现实设备结合的应用。Muñoz等人较早地提出了结合移动设备和Unity引擎的工作流程(Quintero et al., 2019)。PhysioVR允许特定的生理传感器记录的心率、EEG以及来自无线臂带的EMG信号通过蓝牙协议连接到智能手机, 并使用用户数据报协议(UDP)实现数据的流式传输。这样一来, 第三方Unity引擎可以接收这些数据, 实现生理信号程序与虚拟现实程序的双向通信, 使研究者能够实时控制外部事件并记录数据。PARE-VR是另一款以简化心理健康干预为目的的心率变异性(HRV)记录与分析工具。它能够实时检测HRV指标, 识别正常呼吸和慢节奏呼吸之间的变化差异(Quintero et al., 2019)。PARE-VR同样由智能手表上的应用程序、移动设备上的安卓应用程序以及用于开发VR环境的Unity插件三部分组成, 使得虚拟现实实验程序能够实时接收来自移动设备的HRV信号, 提供了更精准的数据支持。另外, Excite-O-Meter也是一个用于记录HRV数据的Unity工具, 支持接收来自胸带传感器的HRV数据, 并能将数据传输到Unity内部的虚拟现实程序中进行记录(Quintero et al., 2022)。虽然它不支持实时分析, 但提供了离线分析功能, 可以在Unity程序中对收集到的HRV数据进行可视化展示。

5 讨论与展望

5.1 对当前工具箱的总结

本文综述了用于心理学虚拟现实研究的最新实验工具, 并总结了它们的适用范围和技术特点。虚拟现实技术在心理学领域的应用不断发展, 为具有不同背景和需求的研究者提供了丰富的选择。研究者可以根据自身经验、研究需求和以往研究风格, 从这些工具箱(见表1)的比较中选择最适合的开发工具。

针对开发平台, 对于初次接触虚拟现实研究的新研究者来说, 游戏引擎仍然是目前的最佳选择。其中, Unity引擎是一个很好的起点, 因为它被广泛使用, 且拥有丰富的实验程序和开发工具参考资料, 有助于学习和开发。在实验工具箱的选择上, 对于初次接触虚拟现实的研究者, 现阶段推荐使用UXF工具。它提供了较为全面的功能, 包含最详细的Wiki百科、文字和视频教程, 包括从如何配置VR设备到如何进行远程数据收集等, 有助于实现从零开始的完整虚拟实验开发。研究者可以通过了解范例程序中UXF的运作方式, 进而学习如何编写自己需要的代码。相比之下, bmlTUX虽然简洁轻量, 安装方便, 但仅支持实验设计阶段的开发, 后续实验构建需要开发者学习一定的Unity和虚拟现实知识。如果追求更高的图形渲染能力, Unreal引擎也是不错的选择, 其蓝图系统相对容易学习。偏好Unreal引擎的研究者可以尝试选择Study Framework Plugin创建研究, 但与bmlTUX一样, 需要对虚拟现实实验流程有一定了解。熟悉Python并希望能够继续使用该语言开发的入门研究者, 可以关注未来PTVR工具的发展。如果希望进一步深入使用Python开发, 也可以考虑Vizard平台及其配套的vexptoolbox。最后, 关于实验刺激的获取, 除了前述工具提供的开源刺激外, 研究者还可以免费或以合理价格购买到满足大部分实验需求的虚拟场景、物体或动捕文件。购买渠道包括3D素材模型分享平台, 如sketchfab (https://sketchfab.com/)等, 相关软件提供的商店渠道, 如Unity的AssetStore、Unreal的Unreal商城或Blender的Blender Market等。研究者可以将下载的刺激导入到游戏引擎, 或根据需求使用Blender、3ds Max等软件进行进一步编辑。对于有特殊开发需求的研究者, 他们还可以考虑使用3D扫描仪生成模型或使用动捕装置采集数据, 然后将其导入到工具箱和游戏引擎中。

对于已经拥有自己开发路径的实验室, 使用虚拟现实工具箱时需要考虑替换成本的问题。如果替换现有工程项目的成本较高, 那么学习工具箱的方法并更新原有工作路径可能更为适合。举例来说, 可以参考VERA或EVE Framework、VRSTK等工具作为范例项目, 学习它们在眼动、EEG等功能的处理方法。对于将HRV工作流程整合到Unity中, 可以考虑使用PARE-VR和Excite- O-Meter工具, 但要留意选择与工具适配的测量仪器。但如果目标研究范式已有对应工具, 仍推荐使用特定工具或对其进行微调。对于具有开发经验且有特殊研究需求的实验室, 还可以考虑在Python平台上使用PsychXR工具, 或在Matlab/ Octave平台上使用Psychtoolbox-3工具包中的PsychVRToolbox来实现虚拟现实硬件对接。

5.2 工具箱的未来发展

当然, 当前心理学虚拟现实工具箱还存在着一些问题, 例如, 缺乏统一的开发模式, 难以交叉使用等。为了避免继续出现这些问题, 研究者们正在做出改进。最近有研究者指出, 当前实验工具的发展问题源于其基本方法论。下一代虚拟现实实验框架应当遵循“元框架” (Meta- Framework)和“实验即代码” (Experiment as code, ExaC)的开发模式(Aguilar et al., 2022; Grübel, 2023)。“元框架”指的是用于构建其他框架的框架, 而“实验即代码”理念则强调将所有实验操作和配置转换为可执行的代码。提出者认为, 未来的新一代研究框架应将所有实验范式代码化为特定模板, 研究者可以直接选择这些模板生成实验, 从而减少与底层开发代码的交互, 实现全过程自动化。这种方法不仅有助于虚拟现实程序的标准化, 还能显著提高程序的可复现性。元框架思想的本质也是一种对于研究设计阶段与程序开发阶段的分离。元框架思想强调在研究和开发过程中, 将研究设计(包括理论框架、假设构建和实验设计)与程序开发(包括具体实现、编码和测试)区分开来。当前, 研究者在使用工具箱时往往既要扮演程序开发者, 又要扮演实验设计者。这种角色分离有助于确保研究设计阶段的独立性和纯粹性, 使其不受具体技术实现的限制或干扰。例如, 平面心理学软件PsychoPy和PsyBuilder在设计阶段的有效分离上提供了很好的示范(Lin et al., 2022; Peirce et al., 2019)。在元框架思想中, 研究设计通常是抽象的、高层次的, 而程序开发则是具体的、操作性的。通过将两者分离, 可以在研究设计阶段专注于问题的本质和理论构建, 而在程序开发阶段则专注于如何将这些抽象的理论转化为可操作的技术实现。通过分离研究设计与程序开发, 研究者可以在设计阶段保持灵活性, 探索不同的理论框架和方法, 而不必立即考虑其技术实现的可行性。在程序开发阶段, 开发人员可以根据设计阶段的需求, 选择最合适的技术手段来实现这些设计, 并结合实验即代码思想, 实现自动化处理。

就目前而言, 我们认为可视化编程语言(Visual Programming Language, VPL)有望成为未来实现心理学元框架开发和实验即代码模式的强有力候选者。当前基于游戏引擎的VPL游戏开发系统可以通过可视化图形调用游戏引擎内部的编程方法, 使游戏创意人员能够直接参与开发过程, 而不需要掌握传统的编程语言。这种方法的优点是具有易用性, 但又保留了开发的灵活性, 高度模块化的形式可以让不同的功能模块互不影响的完成工作, 能够有效地设计事件逻辑、模型动画和操作控制等方面内容, 显著提升开发效率。在未来, 如果能够从现有的多种VPL系统中汲取经验, 并开发出专门用于心理学研究的VPL系统, 这有望为心理学虚拟现实研究工具的发展带来帮助。

5.3 基于云端共享的元框架开发模式

通过结合云端服务的共享平台, 元框架开发体系也展现了未来实验工具的一种潜在共享开发模式。基于这一视角, 本文提出了一种基于云端的“研究者−开发者−参与者”多层开发模式(如图1所示), 并将以此模式为例, 深入探讨这一元框架思想的潜在价值。该开发模式的第一层是研究逻辑层, 负责构建研究的元框架, 面向心理学研究者。这一层的职责是以最简单的形式收集研究设计。研究者通过绘制“心理学研究蓝图”的形式来定义研究逻辑, 并将生成的结果以元数据格式进行存储。随后, 这些元数据和实验材料将共同输出到下一层进行自动化“施工”。来自实验逻辑层的元数据和实验刺激可以上传到云端, 储存的元数据可以作为预注册材料, 增强实验设计的透明度。相比于文字描述, 元数据能够以更直观和准确的形式展示实验流程和技术细节。由于元数据体积小、结构统一, 比实验程序更便于传播, 相关领域的研究者可以下载这些元数据文件, 修改实验设计后, 再次上传到实验逻辑层, 生成新的实验设计, 从而推动相关领域研究的发展。第二层是专为开发经验丰富的心理学研究者或专业开发人员设计的研究部署层。为了能够对接实验逻辑层, 部署层具有高度模块化的特点。各个相互独立的功能模块负责实现在元框架中被定义的实验功能, 将实验逻辑解析成具体工程流程。除预设功能外, 开发者还可以选择共享并上传自定义功能模块, 以扩展并更新实验部署层的工具库与研究逻辑层所能获得的功能列表。这样可以帮助新研究者使用和引用这些经验丰富的开发者的自定义方法, 从而避免不必要的二次开发。通过利用游戏引擎云计算技术(例如Unity Cloud), 可以将研究程序在线部署并储存在云端层。由于元数据可以在不同平台上具有统一标准的解析, 从而实现在不同平台上导出相同的实验流程, 实现一次生成, 多次部署的目标。第三层是研究执行层, 面向参与者。此层负责运行生成研究程序、收集数据并保存结果。根据不同实验需求, 研究可在平面显示器、虚拟现实设备或Web网页端呈现给参与者。随着VR设备的普及, 未来可能更多地使用远程虚拟现实进行数据收集。这种方法结合了虚拟现实情景化和网络大样本的优点, 扩大了研究的可观察范围和数据的丰富程度(Draschkow, 2022)。对于网络实验与众包实验, 研究者无需与参与者直接接触。系统会自动对接测试平台, 呈现并返回数据, 支持原始数据的直接下载和分析后结果的展示。除了实验数据外, 研究还将记录被试的运动轨迹、操作流程和注视信息。基于WebGL等技术, 实验流程可在Web浏览器中进行可视化重建, 支持数据的进一步分析。第四层是云端共享层, 面向的是所有人。云端负责联系和统合前三层, 除了已经提及的功能外, 我们还建议建立一个虚拟现实实验刺激共享网站(Draschkow et al., 2023)。它应当包含基础刺激库, 贡献者将进一步拓展这个库。通过云端部署的实验可以直接调用库内资源, 这不仅节省了数据空间, 还有助于确保实验刺激的标准统一, 从而提高研究的可重复性。

这种元框架共享平台可以带来诸多好处。首先, 研究者可以避免重复开发, 从而节省时间和资源。其次, 新手研究者可以快速上手, 降低学习和开发成本。此外, 该平台还可以推进实验标准化, 提高实验结果的可重复性和可信度。最后, 可以提供协作与交流的空间, 促进资源和知识的共享以及经验的传递, 推动跨学科合作。

然而, 我们也必须注意到, 目前要实现这种开发模式的转变还面临着许多技术挑战和不确定性。例如, 开发和维护高质量的元框架模板需要大量资源和时间, 技术的发展和变化可能对元框架的长期有效性产生影响等。为了解决这些问题, 未来的研究工具可以通过版本迭代逐步完善功能, 形成标准化体系, 例如从单平台开发工具到多平台开发工具, 从独立的虚拟现实实验刺激共享网站到嵌入元框架系统的分享平台。

同时, 人工智能技术的迅猛发展为简化虚拟现实开发提供了丰富的可能性。例如, 基于自然语言的代码生成器、自动生成程序化场景、3D模型和动画等方法可以极大简化自定义研究设计和刺激生成过程。未来的研究工具应当注重与人工智能技术的结合, 为虚拟现实领域带来更多创新和便利。

参考文献

胡传鹏, 王非, 过继成思, 宋梦迪, 隋洁, 彭凯平. (2016). 心理学研究中的可重复性问题: 从危机到契机. 心理科学进展, 24(9), 1504−1518.

张凤翔, 陈美璇, 蒲艺, 孔祥祯. (2023). 空间导航能力个体差异的多层次形成机制. 心理科学进展, 31(9), 1642−1664.

Adhanom, I. B., MacNeilage, P., & Folmer, E. (2023). Eye tracking in virtual reality: A broad review of applications and challenges. Virtual Reality, 27(2), 1481−1505. https:// doi.org/10.1007/s10055-022-00738-z

Aguilar, L., Gath-Morad, M., Grübel, J., Ermatinger, J., Zhao, H., Wehrli, S., ... Hölscher, C. (2022). Experiments as code: A concept for reproducible, auditable, debuggable, reusable, & scalable experiments. ArXiv Preprint ArXiv: 2202.12050.

Aksoy, M., Ufodiama, C. E., Bateson, A. D., Martin, S., & Asghar, A. U. R. (2021). A comparative experimental study of visual brain event-related potentials to a working memory task: Virtual reality head-mounted display versus a desktop computer screen. Experimental Brain Research, 239(10), 3007−3022. https://doi.org/10.1007/s00221-021- 06158-w

Alsbury-Nealy, K., Wang, H., Howarth, C., Gordienko, A., Schlichting, M. L., & Duncan, K. D. (2021). OpenMaze: An open-source toolbox for creating virtual navigation experiments. Behavior Research Methods, 54(3), 1374− 1387. https://doi.org/10.3758/s13428-021-01664-9

Banakou, D., Groten, R., & Slater, M. (2013). Illusory ownership of a virtual child body causes overestimation of object sizes and implicit attitude changes. Proceedings of the National Academy of Sciences, 110(31), 12846−12851. https://doi.org/10.1073/pnas.1306779110

Banakou, D., Hanumanthu, P. D., & Slater, M. (2016). Virtual embodiment of white people in a black virtual body leads to a sustained reduction in their implicit racial bias. Frontiers in Human Neuroscience, 10, 601. https:// doi.org/10.3389/fnhum.2016.00601

Bebko, A. O., & Troje, N. F. (2020). bmlTUX: Design and control of experiments in virtual reality and beyond. I-Perception, 11(4), 204166952093840. https://doi.org/10. 1177/20416f6660d31b991e7eb582acce28ed775779f275c1fe271c14d1de3d32efeb470c869520938400

Berdejo-Espinola, V., Zahnow, R., O’Bryan, C. J., & Fuller, R. A. (2024). Virtual reality for nature experiences. Nature Human Behaviour, 8, 1005−1007. https://doi.org/10.1038/ s41562-024-01857-0

Bernal, G., Hidalgo, N., Russomanno, C., & Maes, P. (2022). Galea: A physiological sensing system for behavioral research in Virtual Environments. 2022 IEEE Conference on Virtual Reality and 3D User Interfaces (VR), Christchurch, New Zealand, 66−76. https://doi.org/10.1109/ VR51125.2022.00024

Bovo, R., Giunchi, D., Steed, A., & Heinis, T. (2022). MR-RIEW: An MR toolkit for designing remote immersive experiment workflows. 2022 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW), Christchurch, New Zealand, 766−767. https://doi. org/10.1109/VRW55335.2022.00234

Brainard, D. H. (1997). The psychophysics toolbox. Spatial Vision, 10(4), 433−436. https://doi.org/10.1163/156856897X00357

Brookes, J., Hall, S., Frühholz, S., & Bach, D. R. (2023). Immersive VR for investigating threat avoidance: The VRthreat toolkit for Unity. Behavior Research Methods, 56, 5040−5054. https://doi.org/10.3758/s13428-023-02241-y

Brookes, J., Warburton, M., Alghadier, M., Mon-Williams, M., & Mushtaq, F. (2020). Studying human behavior with virtual reality: The unity experiment framework. Behavior Research Methods, 52(2), 455−463. https://doi.org/10.3758/ s13428-019-01242-0

Butkeviciute, E., Bikulciene, L., Sidekerskiene, T., Blazauskas, T., Maskeliunas, R., Damasevicius, R., & Wei, W. (2019). Removal of movement artefact for mobile EEG analysis in sports exercises. IEEE Access, 7, 7206−7217. https://doi. org/10.1109/ACCESS.2018.2890335

Castet, E., Termoz-Masson, J., Vizcay, S., Delachambre, J., Myrodia, V., Aguilar, C., Matonti, F., & Kornprobst, P. (2024). PTVR − A software in Python to make virtual reality experiments easier to build and more reproducible. Journal of Vision, 24(4), 19. https://doi.org/10.1167/jov. 24.4.19

Colombo, G., & Grübel, J. (2023). The spatial performance assessment for cognitive evaluation (SPACE): A novel game for the early detection of cognitive impairment. Extended Abstracts of the 2023 CHI Conference on Human Factorsu9F/J7Ra6ABe8kZvpXIbHA== in Computing Systems, Hamburg, Germany, 1−6. https://doi.org/10.1145/3544549.3583828

Commins, S., Duffin, J., Chaves, K., Leahy, D., Corcoran, K., Caffrey, M., ... Thornberry, C. (2020). NavWell: A simplified virtual-reality platform for spatial navigation and memory experiments. Behavior Research Methods, 52(3), 1189− 1207. https://doi.org/10.3758/s13428-019-01310-5

Cools, R., Zhang, X., & Simeone, A. L. (2023). CReST: Design and evaluation of the cross-reality study tool. Proceedings of the 22nd International Conference on Mobile and Ubiquitous Multimedia, Vienna, Austria, 409−419. https://doi.org/10.1145/3626705.3627803

Delvigne, V., Ris, L., Dutoit, T., Wannous, H., & Vandeborre, J. -P. (2020). VERA: Virtual environments recording attention. 2020 IEEE 8th International Conference on Serious Games and Applications for Health (SeGAH), Vancouver, Canada, 1−7. https://doi.org/10.1109/SeGAH49190.2020. 9201699

Do, T. D., Zelenty, S., Gonzalez-Franco, M., & McMahan, R. P. (2023). VALID: A perceptually validated virtual avatar library for inclusion and diversity. Frontiers in Virtual Reality, 4, 1248915. https://doi.org/10.3389/frvir.2023. 1248915

Draschkow, D. (2022). Remote virtual reality as a tool for increasing external validity. Nature Reviews Psychology, 1(8), 433−434. https://doi.org/10.1038/s44159-022-00082-8

Draschkow, D., Anderson, N. C., David, E., Gauge, N., Kingstone, A., Kumle, L., ... Võ, M. L. -H. (2023). Using XR (Extended Reality) for behavioral, clinical, and learning sciences requires updates in infrastructure and funding. Policy Insights from the Behavioral and Brain Sciences, 10(2), 317−323. https://doi.org/10.1177/23727322231196305

Draschkow, D., Nobre, A. C., & van Ede, F. (2022). Multiple spatial frames for immersive working memory. Nature Human Behaviour, 6(4), 536−544. https://doi.org/10. 1038/s41562-021-01245-y

Ehret, J., Bönsch, A., Fels, J., Schlittmeier, S. J., & Kuhlen, T. W. (2024). StudyFramework: Comfortably setting up and conducting factorial-design studies using the unreal engine. 2024 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW): Workshop” Open Access Tools and Libraries for Virtual Reality, Orlando, FL, USA, 442−449. https://doi.org/10.1109/ VRW62533.2024.00087

Emmelkamp, P. M. G., & Meyerbröker, K. (2021). Virtual reality therapy in mental health. Annual Review of Clinical Psychology, 17(1), 495−519. https://doi.org/10.1146/annurev- clinpsy-081219-115923

Feick, M., Kleer, N., Tang, A., & Krüger, A. (2020). The virtual reality questionnaire toolkit. Adjunct Publication of the 33rd Annual ACM Symposium on User Interface Software and Technology, Virtual Event, USA, 68−69. https://doi.org/10.1145/3379350.3416188

Freeman, D., Lambe, S., Kabir, T., Petit, A., Rosebrock, L., Yu, L. -M., … West, J. (2022). Automated virtual reality therapy to treat agoraphobic avoidance and distress in patients with psychosis (gameChange): A multicentre, parallel-group, single-blind, randomised, controlled trial in England with mediation and moderation analyses. The Lancet Psychiatry, 9(5), 375−388. https://doi.org/10.1016/ S2215-0366(22)00060-8

Geraets, C. N. W., van der Stouwe, E. C. D., Pot-Kolder, R., & Veling, W. (2021). Advances in immersive virtual reality interventions for mental disorders: A new reality? Current Opinion in Psychology, 41, 40−45. https://doi.org/ 10.1016/j.copsyc.2021.02.004

Grübel, J. (2023). The design, experiment, analyse, and reproduce principle for experimentation in virtual reality. Frontiers in Virtual Reality, 4, 1069423. https://doi.org/10. 3389/frvir.2023.1069423

Grübel, J., Weibel, R., Jiang, M. H., Hölscher, C., Hackman, D. A., & Schinazi, V. R. (2017). EVE: A Framework for Experiments in Virtual Environments. In Barkowsky, T., Burte, H., Hölscher, C., Schultheis, H. (Eds.), Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics): Vol. 10523 LNAI (pp. 159−176). Springer Verlag. https://doi.org/10.1007/978-3-319-68189-4_10

Hakim, A., & Hammad, S. (2022). Use of virtual reality in psychology. In C. Biele, J. Kacprzyk, W. Kopeć, J. W. Owsiński, A. Romanowski, & M. Sikorski (Eds.), Digital interaction and machine intelligence. MIDI 2021 (pp. 208−217, Vol. 440). Springer, Cham. https://doi.org/10. 1007/978-3-031-11432-8_21

Halbig, A., & Latoschik, M. E. (2021). A systematic review of physiological measurements, factors, methods, and applications in virtual reality. Frontiers in Virtual Reality, 2, 694567. https://doi.org/10.3389/frvir.2021.694567

Hofmann, S. M., Klotzsche, F., Mariola, A., Nikulin, V., Villringer, A., & Gaebler, M. (2021). Decoding subjective emotional arousal from EEG during an immersive virtual reality experience. ELife, 10, e64812. https://doi.org/10. 7554/eLife.64812

Howie, S., & Gilardi, M. (2021). Virtual Observations: A software tool for contextual observation and assessment of user’s actions in virtual reality. Virtual Reality, 25(2), 447−460. https://doi.org/10.1007/s10055-020-00463-5

Jiménez-Ruescas, J., Sánchez, R., Maya, Y., Fernández- Caballero, A., García, A. S., & González, P. (2023). A framework for managing the experimental evaluation of ambient assisted living systems. In J. Bravo & G. Urzáiz (Eds.), Proceedings of the 15th International Conference on Ubiquitous Computing & Ambient Intelligence (UCAmI 2023) (pp. 124−135, Vol. 835). Springer, Cham. https://doi. org/10.1007/978-3-031-48306-6_13

Kilteni, K., Groten, R., & Slater, M. (2012). The sense of embodiment in virtual reality. Presence: Teleoperators and Virtual Environments, 21(4), 373−387. https://doi.org/ 10.1162/PRES_a_00124

Landeck, M., Unruh, F., Lugrin, J. -L., & Latoschik, M. E. (2020). Metachron: A framework for time perception research in VR. 26th ACM Symposium on Virtual Reality Software and Technology, Virtual Event, Canada, 1−3. https://doi.org/10.1145/3385956.3422111

Li, H., Shin, H., Zhang, M., Yu, A., Huh, H., Kwon, G., ... Lu, N. (2023). Hair-compatible sponge electrodes integrated on VR headset for electroencephalography. Soft Science, 3(3), 21. https://doi.org/10.20517/ss.2023.11

Lin, Z., Yang, Z., Feng, C., & Zhang, Y. (2022). PsyBuilder: An open-source, cross-platform graphical experiment builder for psychtoolbox with built-In performance optimization. Advances in Methods and Practices in Psychological Science, 5(1), 251524592110705. https://doi. org/10.1177/25152459211070573

Liu, Z. -M., & Chen, Y. -H. (2022). A modularity design approach to behavioral research with immersive virtual reality: A SkyrimVR-based behavioral experimental framework. Behavior Research Methods, 55(7), 3805−3819. https://doi.org/10.3758/s13428-022-01990-6

Moinnereau, M. -A., de Oliveira, A. A., & Falk, T. H. (2022). Immersive media experience: A survey of existing methods and tools for human influential factors assessment. Quality and User Experience, 7(1), 5. https://doi.org/ 10.1007/s41233-022-00052-1

Müller, M. M., Scherer, J., Unterbrink, P., Bertrand, O. J. N., Egelhaaf, M., & Boeddeker, N. (2023). The virtual navigation toolbox: Providing tools for virtual navigation experiments. PLOS ONE, 18(11), e0293536. https://doi.org/ 10.1371/journal.pone.0293536

Nicoll, B., & Keogh, B. (2019). The Unity game engine and the circuits of cultural software (pp. 9−11). Springer.

Nolte, D., Vidal De Palol, M., Keshava, A., Madrid-Carvajal, J., Gert, A. L., von Butler, E. -M., Kömürlüoğlu, P., & König, P. (2024). Combining EEG and eye-tracking in virtual reality: Obtaining fixation-onset event-related potentials and event-related spectral perturbations. Attention, Perception, & Psychophysics. Advance online publication. https://doi.org/10.3758/s13414-024-02917-3

Oliva, R., Beacco, A., Navarro, X., & Slater, M. (2022). QuickVR: A standard library for virtual embodiment in unity. Frontiers in Virtual Reality, 3, 937191. https://doi. org/10.3389/frvir.2022.937191

Peirce, J., Gray, J. R., Simpson, S., MacAskill, M., Höchenberger, R., Sogo, H., Kastman, E., & Lindeløv, J. K. (2019). PsychoPy2: Experiments in behavior made easy. Behavior Research Methods, 51(1), 195−203. https://doi. org/10.3758/s13428-018-01193-y

Peirce, J. W. (2007). PsychoPy—Psychophysics software in Python. Journal of Neuroscience Methods, 162(1−2), 8−13. https://doi.org/10.1016/j.jneumeth.2006.11.017

Peng, K., Moussavi, Z., Karunakaran, K. D., Borsook, D., Lesage, F., & Nguyen, D. K. (2024). iVR-fNIRS: Studying brain functions in a fully immersive virtual environment. Neurophotonics, 11(2). https://doi.org/10.1117/1.NPh.11. 2.020601

Pohl, H., & Mottelson, A. (2022). Hafnia Hands: A multi- skin hand texture resource for virtual reality research. Frontiers in Virtual Reality, 3, 719506. https://doi.org/ 10.3389/frvir.2022.719506

Quintero, L., Papapetrou, P., & Munoz, J. E. (2019). Open-Source physiological computing framework using heart rate variability in mobile virtual reality applications. 2019 IEEE International Conference on Artificial Intelligence and Virtual Reality (AIVR), San Diego, CA, USA, 126−1267. https://doi.org/10.1109/AIVR46125.2019. 00027

Quintero, L., Papapetrou, P., Munoz, J. E., de Mooij, J., & Gaebler, M. (2022). Excite-O-Meter: An open-source Unity plugin to analyze heart activity and movement trajectories in custom VR environments. 2022 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW), Christchurch, New Zealand, 46−47. https://doi.org/10.1109/VRW55335.2022. 00017

Rey, A., Bellucci, A., Diaz, P., & Aedo, I. (2021). A tool for monitoring and controlling standalone immersive HCI experiments. Adjunct Proceedings of the 34th Annual ACM Symposium on User Interface Software and Technology, Virtual Event, USA, 20−22. https://doi.org/ 10.1145/3474349.3480217

Saffo, D., Yildirim, C., Di Bartolomeo, S., & Dunne, C. (2020). Crowdsourcing virtual reality experiments using VRChat. Extended Abstracts of the 2020 CHI Conference on Human Factors in Computing Systems, Honolulu, HI, USA, 1−8. https://doi.org/10.1145/3334480.3382829

Schuetz, I., Karimpur, H., & Fiehler, K. (2022). vexptoolbox: A software toolbox for human behavior studies using the Vizard virtual reality platform. Behavior Research Methods, 55(2), 570−582. https://doi.org/10.3758/s13428- 022-01831-6

Skibba, R. (2018). Virtual reality comes of age. Nature, 553(7689), 402−403. https://doi.org/10.1038/d41586-018- 00894-w

Skola, F., & Liarokapis, F. (2021). BCIManager: A library for development of brain-computer interfacing applications in Unity. 2021 IEEE Conference on Games (CoG), Copenhagen, Denmark, 1−4. https://doi.org/10.1109/CoG52621.2021. 9619123

Slater, M., Perez-Marcos, D., Ehrsson, H. H., & Sanchez-Vives, M. V. (2008). Towards a digital body: The virtual arm illusion. Frontiers in Human Neuroscience, 2, 6. https://doi.org/10.3389/neuro.09.006.2008

Stangl, M., Maoz, S. L., & Suthana, N. (2023). Mobile cognition: imaging the human brain in the ‘real world’. Nature Reviews Neuroscience, 24(6), 347−362. https://doi. org/10.1038/s41583-023-00692-y

Starrett, M. J., McAvan, A. S., Huffman, D. J., Stokes, J. D., Kyle, C. T., Smuda, D. N., ... Ekstrom, A. D. (2021). Landmarks: A solution for spatial navigation and memory experiments in virtual reality. Behavior Research Methods, 53(3), 1046−1059. https://doi.org/10.3758/s13428-020- 01481-6

Tauscher, J. -P., Schottky, F. W., Grogorick, S., Bittner, P. M., Mustafa, M., & Magnor, M. (2019). Immersive EEG: Evaluating electroencephalography in virtual reality. 2019 IEEE Conference on Virtual Reality and 3D User Interfaces (VR), Osaka, Japan, 1794−1800. https://doi.org/10.1109/ VR.2019.8797858

Tiwari, K., Kyrki, V., Cheung, A., & Yamamoto, N. (2021). DeFINE: Delayed feedback-based immersive navigation environment for studying goal-directed human navigation. Behavior Research Methods, 53(6), 2668−2688. https://doi. org/10.3758/s13428-021-01586-6

Ugwitz, P., Šašinková, A., Šašinka, Č., Stachoň, Z., & Juřík, V. (2021). Toggle toolkit: A tool for conducting experiments in Unity virtual environments. Behavior Research Methods, 53(4), 1581−1591. https://doi.org/10.3758/s13428-020-01510-4

van Steenbergen, H., Spapé, R., & Verdonschot, M. (2019). The E-Primer: An introduction to creating psychological experiments in E-Prime (pp. 1−304). Amsterdam University Press.

Vasser, M., & Aru, J. (2020). Guidelines for immersive virtual reality in psychological research. Current Opinion in Psychology, 36, 71−76. https://doi.org/10.1016/j.copsyc. 2020.04.010

Vasser, M., Kängsepp, M., Magomedkerimov, M., Kilvits, K., Stafinjak, V., Kivisik, T., Vicente, R., & Aru, J. (2017). VREX: An open-source toolbox for creating 3D virtual reality experiments. BMC Psychology, 5(1), 4. https://doi. org/10.1186/s40359-017-0173-4

Vercelloni, J., Peppinck, J., Santos-Fernandez, E., McBain, M., Heron, G., Dodgen, T., Peterson, E. E., & Mengersen, K. (2021). Connecting virtual reality and ecology: A new tool to run seamless immersive experiments in R. PeerJ Computer Science, 7, e544. https://doi.org/10.7717/peerj- cs.544

Watson, M. R., Voloh, B., Thomas, C., Hasan, A., & Womelsdorf, T. (2019). USE: An integrative suite for temporally-precise psychophysical experiments in virtual environments for human, nonhuman, and artificially intelligent agents. Journal of Neuroscience Methods, 326, 108374. https://doi.org/10.1016/j.jneumeth.2019.108374

Weisberg, S. M., Schinazi, V. R., Ferrario, A., & Newcombe, N. S. (2022). Evaluating the effects of a programming error on a virtual environment measure of spatial navigation behavior. Journal of Experimental Psychology: Learning, Memory, and Cognition, 49(4), 575−589. https://doi.org/10.1037/xlm0001146

Wiener, J. M., Carroll, D., Moeller, S., Bibi, I., Ivanova, D., Allen, P., & Wolbers, T. (2020). A novel virtual-reality- based route-learning test suite: Assessing the effects of cognitive aging on navigation. Behavior Research Methods, 52(2), 630−640. https://doi.org/10.3758/s13428- 019-01264-8

Wolfel, M., Hepperle, D., Purps, C. F., Deuchler, J., & Hettmann, W. (2021). Entering a new dimension in virtual reality research: An overview of existing toolkits, their features and challenges. 2021 International Conference on Cyberworlds (CW), Caen, France, 180−187. https://doi. org/10.1109/CW52790.2021.00038

Zilcha-Mano, S., & Krasovsky, T. (2024). Using virtual reality to understand mechanisms of therapeutic change. Nature Reviews Psychology, 3, 295−296. https://doi.org/ 10.1038/s44159-024-00303-2

Toolkits for virtual reality research in psychology

HAN Ming1, KUAI Shu-Guang1,2

(1 Institute of Brain and Education Innovation, School of Psychology and Cognitive Science,

East China Normal University, Shanghai 200062, China)

(2 NYU-ECNU Institute of Brain and Cognitive Science, New York University Shanghai 200062, China)

Abstract: High-quality virtual experimental environments are essential for psychological research using virtual reality. However, for psychology researchers lacking computer expertise, creating these environments can be challenging. To address that, various tools have been developed to streamline virtual reality research, leveraging technologies like game engines to minimize the need for specialized knowledge. These tools offer a range of features: some provide comprehensive experimental frameworks, facilitating the creation of experimental environments, while others focus on resolving specific technical challenges, offering technical support and development paradigms tailored to researchers’ needs. Looking ahead, future advancements in experimental tools may adopt the concept of a “meta-framework”, aiming to provide developers with a more efficient and adaptable development approach.

Keywords: virtual reality, 3D stimuli, experimental development tools, meta-framework, reproducibility, open science