VR在医学教学中的模拟应用*

裴育苗，李瑞鑫，常 荧，李瑞霞

(长治医学院生物医学工程系，山西 长治 046000)

教育的最高境界是言传身教，可以利用VR技术在医学教学过程中构建出一个接近于真实的操作场景，让学生身临其境。而且与传统的教学模式相比，同学们在不用受限于观摩医生操作时的角度、位置的情况下，可以全方位、多角度地观察、掌握临床实践的知识与手法。除此之外，还可以引起学生对学习的兴趣，将枯燥的课堂生动化，在高涨的学习热情下掌握并熟练应用课堂知识，锻炼实操能力。

1 构建虚拟系统

构建虚拟学习系统时，需要用到的软件为虚拟现实设计平台Unity，开发场景元素及相关组件。硬件为HTC Vive，与Unity实现对接。

1.1 Unity场景

在构建虚拟系统时首先需要构建一个场景，然后利用其中的摄像机对场景元素进行投影以及配合操作从而构建出整个虚拟系统。我们将通过4个场景元素[1]构建虚拟环境：

1) 游戏对象：是Unity场景里所有实体的基础，例如：实验器材、器官模型等。

2) 灯光：照亮游戏对象，通过调整灯光属性，给虚拟环境创造良好的视觉气氛(如图1和图2所示)。

图1 灯光属性调整界面

图2 三种灯光类型：方向光源、点光源、聚光灯

3) 相机：用于捕捉、显示虚拟环境的设备(如图3所示)。

图3 相机设置界面

4) 预设体：作为资源类型被使用于多个场景中。

构建好大环境之后，为了实现该虚拟场景中的功能，组件的使用也是必不可少的，在开发过程中所添加的组件如下：

1) Transform组件：游戏对象的基本组件，表示在矩阵中的位置、方向、大小。

2) Rigidbody组件：使游戏对象在不同质量、阻力、角阻力等因素的影响下做最接近真实状态下的移动。

3) Particle System组件：粒子系统模拟动画效果。例如：流血、跳动等。

4) Collider组件：完成场景中的碰撞检测功能。

1.2 HTC Vive

HTC Vive[2]是由HTC与Valve联合开发的一款VR虚拟现实头盔产品(如图4所示)，由头戴显示器、定位系统、手柄控制器组成，具有像素高、刷新率快、精度高等优点，可以让使用者十分自然地在虚拟场景中进行观察、操作。

图4 HTCVive设备

在搭建之前，首先划定好用户的行动范围，保证空间尺寸。之后将激光定位器安装在行动区域的对角位置，固定高度两米以上。在检查无误后，连接HTC Vive与电脑，完成搭建。

在实现HTC Vive与Unity连接时，导入Steam VR插件，将CameraRig和Steam VR拖入层次窗口，并删除Unity中的主摄像机，即可在窗口中看到HTC Vive在运行所划定的行动区域。

2 三维模型的建立

三维模型就是从CT、磁共振等二维图像切片中提取数据体，并通过算法将其进行建模，得到比较逼真的模型，可以清晰地展现人体器官、组织的大小、颜色、形状、位置。

2.1 图像分割

图像分割是图像预处理的重要步骤，图像的不同位置，其特征也不尽相同。要将目标区域从整体图像中提取出来，首先就要用Sobel算子与Roberts算子相结合的方法[3]检测出目标区域的边缘位置，尽可能地保证边缘提取的精确度。

在边缘检测后的图像中会发现有器官边缘线不完整或者有连通区域的现象，我们将采用膨胀与腐蚀[4]的方法对图像进行二次处理，连接不完整处并去除连通区域。将处理后的图像用Labeling Theory[5]对不同的器官、组织进行区分，以便于更好的分辨学习。

2.2 建立三维模型

输入CT的四个时相，利用全自动软件系统[6]进行三维器官、组织的提取。但由于各器官、组织形态、特征等不同，所以在提取中应注意：

1) 在CT图像中灰度值比较大，与背景有较大差别的组织，直接采用阙值分割[6]的方法对其进行提取；

2) 在CT图像中出现相似图像，且灰度值较小，与背景无较大差别的组织，首先对其进行线性强调，再通过阙值分割进行提取；

3) 在CT图像中面积小、分界线不明显、位置变化较大的组织，可以先对其进行手工描线，然后进行抽取；

4) 在CT图像中有明显提取难度的，可直接用边缘检测法进行抽取。

完成图像的抽取后，利用3D Doctor建立三维结构，并对其进行调整。

3 虚拟操作系统设计

虚拟系统里有实际操作所需要的所有工具，虚拟操作环境必须要有良好的交互感、超现实感，尽可能地实现沉浸感，完成仿真模拟，可以让使用者更好地体验接近实际的操作，更加真实地还原了现实实验操作场景。

3.1 系统设计

如图5所示，我们将从学校附属医院收集的各个器官、组织的CT、MRI图像，通过全自动系统生成人体各组织、器官的三维模型。通过编程实现器官的动态变化以及切割、流血等动画动作。这样，在用户带上HTC头盔时，就可通过手柄的操作在虚拟场景来完成一场较为真实的实验、手术操作。

图5 虚拟系统流程图

3.2 碰撞检测

为了保证正在操作过程中所产生的效果符合客观规律，将在虚拟系统中进行碰撞检测，确定游戏对象之间是否进行接触或穿透得出相交对象的信息[7]。

碰撞检测分为初步检测和详细检测两个阶段。初步检测将确定游戏对象发生相交的具体区域，详细检测则可以确定一个接触点，实现切割等动作动画，流程图如图6所示。

图6 碰撞检测流程图

在碰撞检测后得到的碰撞点将组成切割面，利用所形成的切割面实行对器官、组织的切割，还可以模拟手术效果，对器官进行一系列的临床操作。

4 实验结果与分析

将VR技术应用到医学教育中，利用计算机生成模拟环境，将三维模型与行为联系，让使用者可以更好地沉浸到该模拟环境中。在使用过程中，结合情景化学习、协作学习、远程教育等多种VR技术，将解决多种现有的教学问题，让学生得到全方位的教育。

在这个虚拟场景中，为了让使用者更好地体验接近实际的操作，更加真实地还原临床医疗场景，拥有超现实感，我们将尽可能地还原临床场景，让使用者体验在临床治疗中出现的各种突发情况，以达到更好的学习效果。

5 结束语

将VR技术应用到医学教学中，突破了医学院校在实验教学方面的限制，让学生在虚拟情境中进行沉浸式学习，完成交互活动，实现了理论与实践的结合。这种新型的教育方式，对教学质量的提高有极大的帮助，在未来的医学教育中将拥有广阔的应用前景。