骨科手术仿真模拟训练系统的构建研究

弭博岩，王鹏龙，王 萌，郑 奋

（海军军医大学 计算机与仿真技术教研室，上海 200000）

0 引 言

虚拟现实技术通常是通过计算机的模拟，将现实世界的真实场景模拟到虚拟环境中，并且可以提供给用户多种交互方式，这样就会给使用者一种等同于真实环境的沉浸式体验[1]。现阶段虚拟现实技术已在自动驾驶、VR 影视、虚拟游戏、医疗等领域取得了广泛的应用[2-3]。而虚拟手术则是将虚拟现实中的物体碰撞检测、姿态传感、3D 物体旋转、虚拟场景构建等相关理论技术引入到医学领域[4-5]。

现有的医学临床实践培训相对比较依赖尸体、模型、动物等，而且成本高、风险系数大。而虚拟现实技术的出现给这一医学问题提供了解决方法，在减少手术成本、提高培训效率、降低可行性风险方面，虚拟交互手术比传统临床培训更具优势[4-5]。

国内外目前针对虚拟现实系统的开发在医学各个领域也取得了很多成效[6-7]。在智能仿真医学方面，研究人员将计算机技术与医学进一步融合拓展，市面上已经有很多成熟的产品投入使用[8]。肖文君等人设计了医学图像观察系统，为医师在医学中的诊断提供了支持[9]。为了能够增强使用者的沉浸感和体验感，虚拟过程复现医生在使用手术器械对人体器官进行触碰、感知、操作等情景，虚拟手术仿真系统具有提供实时力反馈的能力[10]。王穗源等人探讨研究了数字化虚拟技术在胫骨手术中的应用，证明了数字化虚拟计算机技术可以缩短手术时间，提高手术精度[11]。范林龙等人提出了一种基于支持力反馈的肝脏虚拟手术仿真系统，可在虚拟场景中进行沉浸式知识学习以及实际操作训练[12]。黄铭明等人通过使用Unity3D 和HTC 进行了下颌骨骨折虚拟手术系统的构建，进而达成手术训练、模拟的目的[13]。综上所述，虚拟现实技术在医学相关领域的应用受到了广泛的关注和研究，随着技术的发展，仿真技术将在医学领域有更多的可行性研究出现。

1 虚拟现实技术在骨科培训上的优势

骨科手术实践教学是医师培育的重要一环，而对于初学者而言，仅仅接触理论知识难以对相应的手术有全面的认识，很难达到预期培训的效果，且以往的实践培训模式更是需要相关人员防范风险，很难完成大量的实践训练，以达到比较好的培训效果。而仿真系统设计的目的则是根据手术发生的机制和防治具体措施设置所需要的环境，能够让使用者身临其境，处于沉浸式学习氛围，从而提升医护人员预防危机，解决危机的能力。虚拟仿真教学可以让临床医生更好地发现错误的潜在原因，培养其临床思维及危机事件处理能力，促进对相关骨科手术的熟练程度，是推进临床胜任力培养和提升的重要手段。

本文以实现各类手术场景下的三维真实场景及骨科手术流程的虚拟仿真为目的，重点研究和设计了基于Unity3D 的骨科手术虚拟仿真训练系统。基于真实的手术流程操作、手术场景、手术器械，搭建了相应的虚拟手术场景，对皮肤、骨骼等进行了3D 特效仿真，并对手术过程中出现的手术现象进行了效果展示。医护培训人员可以在此虚拟系统上熟悉不同场景下骨科手术的流程，提高医护人员对骨科手术流程的熟悉程度，及相应骨科手术的成功率，对相应临床的培训工作具有一定的意义。

2 系统设计

系统架构：综合考虑骨科手术的实际操作问题以及手术需求，结合整体架构，设计一种基于C/S 系统的架构虚拟现实骨科入钉手术系统，总体架构如图1 所示。系统总体结构主要分为设备层、应用层、数据层。系统通过3ds MAX 构建真实手术场景以及人体骨骼模型，Unity 作为交互平台实现模型互动，优化的交互引擎使得大场景的展现成为可能。设备端包括PC 端、HTC VR设备等，可以极大地增强使用者的沉浸体验感。

图1 系统设计图

虚拟骨科入钉手术系统旨在通过虚拟手术实践提高骨科培训人员的实践手术水平，本文以真实手术场景流程作为数据依托，结合实际需求，设计了虚拟骨科手术系统的系统功能框架，主要分为手术流程演练、手术方案设计、虚拟手术仿真、手术考核评估四大功能模块，系统模块如图2 所示。手术演练流程功能可供培训人员选择性观看相应的实际手术培训视频讲解；手术方案设计则是给实训者提供了自定义的手术方案设计选择，使用者可以自定义地选择不同位置的手术进行方案设计；虚拟手术仿真则是还原真实手术场景，让使用者借助VR 眼镜或者头盔等交互设备能沉浸式地体验真实的手术环境；手术考核评估模块可以提供使用者进行手术模拟训练并给出相应的考核评分。

图2 系统模块设计

3 虚拟仿真系统实现

3.1 虚拟场景3D 建模

虚拟场景的搭建是虚拟现实系统可以提供高还原度、高沉浸感的前提。本文以现实骨科手术场景为基础，进行了手术室内场景的高度还原。针对场景内模型，本系统采取MVC（模型-视图-控制器）模式经典架构，Unity 引擎的设计鼓励MVC 面向engineering.In。模型包含了所有的交互对象、组件和数据文件、模型物体的渲染器和摄像机对象的访问等。视图呈现模型和主要管理Unity3D 的引擎渲染，它需要accessthe 持有模型的3D 模型、纹理、材质和效果，还受到输入选项的影响。控制器接收用户输入并调用模型对象中可编辑的脚本。系统搭建的场景高度仿真化，大部分场景是通过3ds MAX 软件进行搭建，无论是对手术室、手术器具，还是骨骼模型，都进行了细致的贴图，实现了场景尽可能的动态化。模型场景如图3、图4 所示。

图3 手术室模型与贴图

图4 器具以及骨骼模型

3.2 骨科入钉辅助

相比现阶段研发的虚拟现实骨科手术系统，本系统中重点在入钉方面添加了更为准确的辅助功能。在真实骨科手术当中，入钉时往往是主刀医生根据CT 凭借经验进行入钉方向的把控，而在临床培训当中，新受训者对此操作错误率较高，风险性较大。在虚拟骨科手术系统当中，针对不同的疾病设计了不同的入钉角度与深度的辅助功能供使用者参考，使用者可以通过CT 加入钉辅助对入钉的角度、深度有更深的把握，增强对相关手术的熟练度。

3.3 四元数与欧拉角

在虚拟骨科手术系统当中，经常需要通过不同的角度来观察具体人体骨骼模型以及姿态传感器在虚拟系统当中位置的变化。本系统采用四元数来表示模型的方位以及输出，同时解决了欧拉角容易产生死锁的问题。

在3D 空间中描述物体方位的方法有四元数与欧拉角。欧拉角是最常用的表示物体方位的方法，欧拉角有3 个角度分量，欧拉角的出现相比传统矩阵形式节约了更多的内存空间，而且比较直观，但是当角度为90°时，欧拉角会产生死锁问题，也就是旋转自由度减少的现象。欧拉角模型如图5 所示。

图5 欧拉角模型

四元数可以看作是特殊的clifford 代数，属于复数的一种推广，在三维图像中使用四元数进行运算速度会非常快，同时可以节省大量的时间，进行插值可以产生更平滑的旋转效果。

传统3D 旋转效果采用欧拉角的形式虽然可以较为容易地获取所需要的方位，但会出现死锁现象导致旋转效果不流畅。因此可以采用四元数对初始的欧拉角数据进行转换，这样四元数所表现的旋转实际就是欧拉角三次旋转合并而形成的，更好地实现了3D 模型更有效、更精确的旋转。

设三维空间内某一坐标绕x轴旋转角度为p0，y轴角度为r0，z轴角度为y0，将这三个角轴转换为四元数，得到的对应公式为：

3.4 虚拟手术仿真交互

虚拟骨科手术仿真交互主要由VR 交互设备以及力反馈系统两部分关键技术组成。其中VR 眼镜可以给使用者带来更沉浸式的视觉体验，而力反馈系统则能够还原手术过程中真实的手感。

骨科手术虚拟仿真系统交互设备主要采用VR 一体机HTC。该VR 设备可以提供强大的数据处理能力和驱动能力，而其自带的6DOF 定位追踪算法可以提供更精准的空间定位。VR 手套已经可以实现将现实中手部的运动传送到虚拟的空间中，主要依靠的元器件是惯性传感器。惯性传感器主要位于VR 手套的手指关节处和掌心处，可以将现实中手指的弯曲动作传送到虚拟空间中，同时搭配力反馈传感器模块来实现VR 手套的触觉反馈功能。

采用UGUI 对系统界面进行个性化的交互设计，如图6 所示，包括初始界面模块选择、自定义手术方案、模拟训练得分评价等，使用者可以通过界面进行交互性操作与选择，以第一人称视角参与到骨科手术的培训当中，增强对手术过程的了解。

图6 交互界面

手术方案的选择给予了操作者极大的自由度选择，可以有针对性地选择骨科手术的部位。对于初学者，提供了现有的手术方案可供学习参考；针对有一定手术经验的医生，提供自定义的手术方案，可以在系统上验证相关的可行性。仿真过程如图7 所示。通过模拟实践可以提高受训者对骨科手术的掌握程度，极大程度上避免真实手术训练过程中可能出现的风险性。

图7 仿真过程

虚拟手术的场景目前只是针对相应骨科的技能性进行训练，使用者可以通过穿搭VR 设备进入虚拟手术场景，加载入虚拟场景后，根据不同的手术需求选择不同的器械；还可以加载不同的辅助场景，系统都可以在程序一开始进行很好的场景管理。这主要利用了Unity的场景管理相关技术。

4 效果反馈测试

选择测试对象：选择2022 年参与培训的20 人为研究对象，男5 人、女15 人，年龄为26~33 岁，临床实践培训1 个月。将培训人员分为两组分别进行相对应的临床培训工作。一组采用传统临床医师进行带教，采取集体理论授课和分组形式进行临床实践培训；另一组在此基础上采用虚拟仿真系统进行实践教学，使用虚拟仿真系统的实际场景图如图8 所示。

图8 使用者测试虚拟仿真系统

评价方法：对两组人员分别进行操作考核，采取随机筛选方法筛选考核内容，选取同一组考官分别对其进行操作打分评价。得出虚拟仿真实验组的实践考核成绩为89.6±1.98，对照组的实践考核成绩为84.5±2.37。差异均具有统计学意义（p<0.05）。

测试结果表明，在传统医师带训基础上采用虚拟仿真教学手段，培训人员掌握程度更好，能够提升受培训人员的实践水平，激发学习积极性，进而提高综合能力。

5 结 语

本文利用虚拟现实仿真技术，结合Unity3D、3ds MAX 等虚拟仿真软件，成功搭建了一种虚拟仿真骨科手术系统，使用者可以通过VR 体感设备实现与系统的沉浸式交互；其次，为临床培训人员搭建了逼真的临床手术环境，从时间、空间上打破了传统培训模式的界限，提供了一种骨科临床培养新模式、新方法、新思路，增强了培训人员的主观能动性和学习积极性。研究结果表明，虚拟现实技术结合传统临床教学在医师手术实践上培训效果更好，为下一步完善相关的虚拟手术系统奠定了研究基础。