基于 Unity3D 的颞骨手术虚拟培训系统设计
2019-09-04李戊星桑宏强王婧宇尚永盛
李戊星 桑宏强 王婧宇 尚永盛
摘要:针对现有颞骨手术术前培训手段存在的问题,设计了一种基于Unity3D的颞骨手术虚拟培训系统。首先,分析了触感装置的正运动学和推导了雅克比矩阵;其次,构建了基于Unity3D的手术钻和颞骨模型组成的虚拟环境,利用触感装置获取物理空间手术钻的位姿数据,对虚拟环境中手术钻和颞骨模型进行了碰撞检测。最后,采用弹簧阻尼模型对碰撞后产生的反馈力进行了分析计算,将该反馈力通过力雅可比矩阵计算,得到触感装置的实际关节力矩,通过控制实现在末端执行器上产生力反馈。研究表明:该系统具有良好的可操作性,能够提供较真切的触觉感知,达到较好的术前培训效果。
关键词:触感装置;运动学;颞骨;Unity3D;碰撞检测;力反馈
颞骨是人体最复杂的解剖部位之一,与大脑及颅内的许多重要神经血管关系密切[1]。为了安全有效地完成手术操作,耳外科医生必须要进行大量的手术操作模拟练习,否则手术操作不当会导致听力丧失、骨折和潜在死亡等危险。尸体颞骨标本无疑是医生进行手术训练最好的模型,但受尸体数量、成本和疾病传播风险等限制,远不能满足医生进行教学与训练的需求[2]。目前国外的不少研究机构对虚拟现实技术在颞骨手术规划和仿真方面进行了大量研究和实践。哥本哈根大学Sorensen教授和奥尔胡斯 Alexandra研究所的Mikkelsen工程师等设计开发出一种颞骨解剖手术模拟器[3],其由人机交互接口鼠标和键盘等组成,它们可以提供虚拟的手术环境,然而其无法提供真实的触觉感知。本文提出了一种基于Unity3D颞骨手术虚拟培训系统,便于医生进行良好的教学和培训。
1 虚拟培训系统总体方案
系统通过触感装置获取手术钻的位置和姿态数据,同时系统对虚拟手术环境(包含手术钻和颞骨模型)进行三维建模,控制系统检测现实环境中触感装置的位/姿,结合虚拟环境数据进行碰撞检测,输出反馈力,经过处理转换得到期望力输出到触感装置中,从而实现医生对接触力的真实感知,以达到教学和培训的目的。
2虚拟环境的构建与碰撞检测
采用旋量法[4],建立5自由度触感装置运动学模型,求解机构得到雅可比矩阵和位姿数据。
虚拟环境下手术钻与颞骨模型的碰撞检测功能是实现培训者获得良好触觉感知的基础。
由于Unity3D支持C#、Java和Boo这3种语言的编程,均是基于.NET 平台开发运行[5]。因此系统采用C#语言进行程序设计,IDE(集成开发环境)选用 Microsoft Visual Studio 2017。碰撞检测的具体实现过程为:
1) 在unity中导入.FBX格式的手术钻模型和颞骨模型;
2) 分别为手术钻和颞骨添加Sphere Collider和Box Collider,并修改属性。将碰撞器设置为触发(Is Trigger)类型;
3) 给手术钻模型1添加刚体组件,并修改属性。将Use Gravity设置为Ture,使其可以受到重力作用;
4) 当手术钻和颞骨发生碰撞时,需要编写碰撞触发脚本程序,将事件脚本绑定到手术钻模型上。
3 力反馈原理
由于建模简单和计算量小的特点,虚拟手术中力反馈的计算采用弹簧阻尼模型[6],即根据弹簧的劲度系数和阻尼器的阻尼系数计算出末端反馈力的大小。反馈力由弹簧提供的弹性力和阻尼器提供的阻尼力兩部分来组成。计算的反馈力通过触感装置输出给操作者。之后刷新模型,继续根据新的位移和速度计算反馈力将其输出。
环境中手术钻和颞骨模型发生碰撞,程序中的碰撞检测功能检测到这个现象,在控制台输出反馈力。颞骨手术三维仿真分别如图所示。
4 结论
本文克服现有培训方式的不足,开发研究了基于Unity3D的颞骨手术虚拟培训系统。推导了触感装置的运动学模型和雅克比矩阵。基于 Unity3D 搭建了一个虚拟手术场景,同时结合手术钻与颞骨模型之间的关系,建立了相应的碰撞检测模型,获得了虚拟环境中的反馈力,经过力雅克比矩阵得到触感装置中的关节力矩,在触感装置末端执行器处实现力反馈,那能够提供良好的触觉感知,从而可以真实的反映手术钻在手术操作中的特征和效果。
参考文献:
[1]孙敬武,孙家强,侯晓燕.颞骨解剖技能培训的作用和思考[J]. 听力学及言语疾病杂志, 2015, 23(06): 635-637.
[2]胡澜也,贾欢,杨军. 3D打印颞骨模型制备方法及其在耳科中的应用展望[J].中华耳科学杂志,2016,14(03):420-426.
[3]黄孝文,余洋,周良强,等.可视耳模拟器在颞骨解剖虚拟训练中的应用[J].听力学及言语疾病杂志,2013,21(04):400-402.
[4]Saeed B. Niku.机器人学导论:分析、控制及应用[M].孙富春,朱纪洪,刘国栋等,译.北京:电子工业出版社, 2013.
[5]高国雪,高辉,焦向东,等.基于Unity3D的焊接机器人虚拟现实仿真技术研究[J].组合机床与自动化加工技术,2018(03):19-22.
[6]邵岩.基于虚拟现实技术的力反馈手术平台的研究[D].沈阳工业大学,2018.