基于手术医生头位姿的三维人体部位显示技术

赵 全，冯乔生，张亚萍



基于手术医生头位姿的三维人体部位显示技术

赵 全，冯乔生*，张亚萍

（云南师范大学，云南 昆明 650500）

虚拟手术技术是训练实习医生或医生进行新手术规划的重要技术，其中人机交互方式是决定虚拟手术是否具有真实感的重要因素。本文主要研究基于医生手术头位姿的人体部位显示技术，对于VTK世界坐标系、VTK相机坐标系以及PATRIOTTM追踪设备世界坐标系进行了描述，并分析了三者坐标系之间的转换过程。然后通过对PATRIOTTM追踪设备坐标数据的编码与解码，结合对人体器官追踪人体视角位置及角度的阈值控制，实现了基于手术医生头位姿的三维人体部位显示技术的研究。同时，为了进一步精确的我们的实验结果，对相机坐标系与PATRIOTTM追踪设备世界坐标系的差值测量进行了标定。最终实验结果表明我们所创建的基于手术医生头位姿的三维部位显示技术可以满足高真实感虚拟手术的仿真需求。

虚拟手术系统；人机交互技术；人体器官；动态显示

0 引言

虚拟手术仿真是虚拟现实技术与临床医学结合产生的新方向，是虚拟现实技术在临床医学的重要应用。如何创建一个真实感更强的手术训练系统，一直是虚拟手术仿真研究的核心问题。随着计算机硬件和虚拟现实技术的发展，高真实感的虚拟手术系统为手术医生提供了一种低风险、低成本的医学手术训练方案，因此这方面的研究工作越来越受到国内外学者的重视[1]。

在手术操作过程中，医生的手是持手术刀进行手术操作，对手术部位的观察，主要依靠改变头的位姿以及视线来实现的。因此，为了表达医生真实的手术环境，虚拟手术系统应具有除手以外的人机交互方式来驱动人体部位的显示。

在日常生活中人们常用人头姿态的变化来进行有效交流，是一种重要的交互方式。Andre Gaschler等人分析了人类如何在人与人、人与机器人之间使用头部姿势进行交流互动，并在欧洲JAMES项目的人机交互系统上进行了实现[2]。Guozheng XU等人研究了利用残疾人头部运动来控制机器人轮椅运动的交互技术，提出了一种基于随机森林和迭代最近点（ICP）算法组合来估计头部姿态并用于控制机器人轮椅[3]，Farid Abedan Kondori等人基于Kinect捕获头位姿，用于控制残疾人所坐的电动轮椅的运动[4]。A Agrawal等人研究了头部姿态与手势多模态的人机交互方式，用于控制计算机应用程序的运行[5]。Hyunduk Kim等人从彩色图像和深度图估计并跟踪头部区域，利用随机森林分类器估算头部的位置和方向，最后通过确定用户的注视位置来识别用户关注的焦点[6]。Qingjie Zhao等人开发了一种基于头部姿态识别技术的游戏系统，来控制虚拟机器人走在使用Microsoft Robotics Developer Studio构建的虚拟迷宫环境中[7]。Micha Livne等人通过基于视频的3D人体跟踪算法的输出结果，以推断出追踪目标的物理属性如性别和体重，以及精神状态的方面如快乐或悲伤等信息，研究结果已应用于视频当中[8]。Pranoti Meshram等人提出在具备照明条件下连续监控驾驶员的头部姿态，用于检测驾驶员在驾驶期间的驾驶情况，避免发生交通事故的风险[9]。所以，基于人头位姿的人机交互方式得到了一定的重视，根据医生视角或头部姿态的变化来进行手术部位的显示调整是一种可行的人机交互方式，用于方便医生对手术部位进行观察与实施手术，因此本文研究在VTK可视化环境下基于手术医生头部位置和姿态变化来控制人体器官显示的人机交互技术。

1 人体器官VTK三维建模

1.1 VTK坐标体系

VTK可视化开发工具包是我们研究虚拟手术系统图形建模所使用的工具。VTK中主要包含模型（Model），世界（World），视图（View），以及显示（Display）四种坐标系统[10]。

世界坐标系是演员所处的坐标系，也就是我们研究的虚拟仿真手术器官模型所在的坐标系，器官模型的坐标以及角度变换，都是相对于此坐标系的变换。而视图坐标系，即相机坐标系，是我们观察演员对象的坐标系。我们要从不同的视角或距离观察演员对象，就是调整相机坐标系相对应世界坐标系的位置和姿态。

VTK世界坐标系坐标轴的规定沿显示器屏幕的右方向为轴正方向，沿显示器屏幕向上为轴正方向，轴的正方向使用右手螺旋法则确定，即垂直屏幕向外方向为Z轴正方向，如图1所示。

图1 世界坐标体系

相机坐标s系沿像平面的右方向为x轴正方向，沿像平面的向下为轴正方向，垂直于像平面即沿相机光轴方向为轴正方向。相机的位置由相机坐标系原点在世界坐标系的位置(co,co,co)确定；相机的姿态由相机坐标系绕世界坐标系旋转（α，，）确定，即绕轴旋转角，再绕轴旋转β角，最后绕轴旋转角，如图2所示。则世界坐标系与相机坐标系的转换关系如下：

其中：

（2）

1.2 基于MC算法的人体器官建模

人体器官的建模方法有有两大类，一类是使用计算机图形学方法创建人体器官三维模型，另一类是通过断层图像序列来重构人体器官三维模型。针对虚拟手术仿真的临床应用，计算机图形学建模方法不能很好的适应病人个体的特征，而通过断层图像序列来重构的建模方法能很好的适应病人个体的特征，符合临床应用要求。所以，本文采用基于移动立方体（MC）算法来进行人体器官的三维建模[11]。

MC算法是W.E.lorenson和H.E.Cline等人于1987年提出来的一种三维表面重构方法，是公认的解决从体数据中抽取等值面问题的标准算法。在医学应用上，采用MC算法可以重建人体外部轮廓、内部组织器官，使医生能够直接以三维的方法观察感兴趣的器官与周围组织的空间关系。使用MC算法对心脏CT图像集重构结果如图3所示。图像的初始坐标=0,=0,=400,= 0;= 0;= 0。

图3 MC算法重构心脏血管

2 手术医生头位姿下的人体部位观察显示

2.1 PATRIOTTM的世界坐标体系

PATRIOTTM追踪设备在自己定义的世界坐标系中来跟踪目标的位姿。那么该世界坐标系的坐标轴方向规定为，X轴的正方向沿接收器正面底边向左，Y轴正方向沿接收器正面侧边向上，Z轴的正方向按右手螺旋法则确定。如图4所示。所跟踪到的目标姿态R(,,)的规定为，目标先绕P轴旋转角，再绕X轴旋转角，最后绕Z轴旋转角。目标位置是装在其上的发射器坐标系原点在世界坐标系X-Y-Z的坐标（ps,ps,ps）。

图4 PATRIOTTM的世界坐标体系

2.2 PATRIOTTM的医生头位姿的获取

我们将PATRIOTTM设备发射器佩戴在用户额头中间偏上的位置，使得发射器发射的信号可以较好的模拟人的视。PATRIOTTM设备接收器位置放在显示器正后方，如图5所示。

图5 PATRIOTTM接收器位置

手术医生头位姿数据的获取是使用PATRIOTTM设备提供的PDI（Polhemus Developer Interface）应用接口通过编程来实现的。本研究使用了其所提供的BOOL ReadSinglePnoBuf（PBYTE & pBuf, DWORD & dwSize）; 其中函数的第一个参数是一个PBYTE类型的指针，用来指向存放从接收器接收到的单帧数据的存储单元，第二个参数存储单元的大小。接收到的单帧数据的存储格式如图6所示。

图6 帧坐标数据

根据上述编码格式，我们可以获取到虚拟医生头的位置坐标与姿态角。

2.3 头位姿驱动的人体部位动态观察显示

为使用由PATRIOTTM跟踪系统所跟踪到的手术医生头的位姿来改变人体部位的显示以对应医生的观察，需要建立VTK世界坐标系与PATRIOTTM世界坐标系之间的转换关系。

设虚拟手术医生头相对于VTK世界坐标系的位置为(,,)，姿态为R(,,)；头在跟踪器世界坐标系中的位置为p(x,y,z)，姿态为R(,,)；PATRIOTTM跟踪系统接收器相对于VTK世界坐标系的位置为t(X,Y,Z)，姿态为R(co,β,)，如图7所示。则有下列关系：

其中

于是有：

角度值的计算分别如下，其中右上角的角标代表矩阵中第几行第几列的参数：

于是有：

图7 三者坐标系位置关系图

（13）

由公式（13）、（14）可知，在虚拟医生头姿态变化时，位置坐标的变化量与姿态角度的变化量均需要接收器相对于VTK世界坐标系的位姿矩阵R已知才能确定，因此需要对其进行标定。

2.4 相机的标定

为了可以方便的标定出接收器相对于VTK世界坐标系的位姿矩阵R，本研究选定一个如图5所示的发射器特殊姿态来实现R的标定，即特殊姿态取法为=180°，=0°，=0°。因而该特殊姿态下的发射器相对于VTK世界坐标系的位姿矩阵按公式（3）得：

于是由公式（7）得到：

若在使用过程中改变了接收器的姿态，则需要按公式（16）进行重新标定。

2.5 阈值控制下的显示

当获取到的追踪设备的三维坐标数据后，我们开始着手将已经建立的三维心脏模型与追踪设备相结合。由于坐标数据是在极小范围内不停上下浮动的，所以当图像和追踪设备链接后，我们所建立的三维医学心脏图像会发生颤动的情况。为了避免这种情况的发生，我们设定一个阈值来决定图像的实时坐标及角度是否随人体头位姿的变化而发生变化。同时，阈值的设定，也可以增加系统的响应速度，降低图像的重构频率。我们知道，图像的每一次重构，都要占用大量的系统内存，而有时，我们头部的细微偏动，并不是想要变换视角或转动画面。阈值的设定，就可以帮助我们避免无效的重构，降低了我们无意识动作对于图像变换以及头位姿追踪的干扰，同时也变相的提高了人体器官图像重构的有效频率。

通过公式（13）的计算，我们已经可以得到坐标和角度的偏移量，那么判断是两帧空间坐标位移差是否达到图像变换阈值d的具体公式为：

由虚拟手术医生头位姿变化驱动显示的算法描述如下：

While（设定的到时事件发生）{

步骤1，按公式（12）、（13）计算位姿变化，按（14）计算；

{

步骤2.1，按公式（18）计算当前位置计算相机的位姿：

(,,)和（,,）是到时事件发生前相机的位置坐标与姿态角，

步骤2.2，设置相机位置与姿态：

Camera.setposition(¢,¢,¢);

Camera.yaw(¢);

Camera.Azmith(¢);

Camera.rall(¢);

步骤2.3，重新绘制人体器官：

Render.render();

步骤2.4，更新相机的位置坐标与姿态角:

=¢;=¢;=¢;=¢;=¢;=¢;

}

}

3 实验结果

本文基于VTK研究出了从CT图像序列重构心脏三维模型的实验原型系统，该系统以PATRIOTTM追踪设备来实现虚拟手术医生头的位姿跟踪，利用所跟踪到的头位姿信息，控制心脏的三维模型的动态显示，以反应三维心脏模型对虚拟手术医生头和视线的显示调整。动态显示的几个“快照”如图8-10所示。图8(a)左侧是我们模拟手术医生进行手术操作的初始头部位姿，(b)是人体器官模型的初始图像，也是我们用来测试追踪效果的参考图像。我们图9(a)是头部的位置和姿态进行改变后的头部图像，(b)是人体器官追随人体头部位置姿态进行改变后的图像，当手术医生的头部向左偏转时，我们可以明显发现人体器官追随手术医生的视角进行了向左偏转，改变了人体器官在三维空间的位置与角度。图10我们模拟手术医生将头部姿态向右进行改变，与此同时我们的人体器官模型也跟随手术医生的视角进行了变化。通过上述实验测量结果，证明了我们基于手术医生头位姿的显示技术具有较高的稳定性和准确度，符合高真实感虚拟手术的应用要求。

图8 虚拟手术医生正视“快照”

图9 虚拟手术医生左视“快照”

图10 虚拟手术医生右视“快照”

4 结论

在当今的虚拟手术仿真中，研究人员往往忽略了医生与人体器官交互方式的重要性，在虚拟手术的仿真中，发现手术医生的视线焦点，将会对针对什么创建真实感强的虚拟手术环境产生重要的影响。依靠以往使用鼠标来对图像进行位置或角度变化的仿真方法，是无法实现真实感强的虚拟手术环境的，这种方法所创建的虚拟手术通常是教学意义胜过胜过临床意义，对医生的手术训练效果更是微乎其微。基于以上原因，本文研究了基于手术医生头位姿的三维人体部位显示技术，深入分析了VTK与追踪设备之间坐标系的转换过程，解码了追踪设备的编码格式，获取到手术医生头位姿的坐标数据，并根据医生头部位置及姿态的变化，实现图像追随人体头位姿的实时变化。最后，对于图像的变化频率以及效率通过设置阈值，来避免图像的抖动，降低图像变换次数并提升了有效变换的效率。最终实验结果证明，本研究所创建的基于手术医生头位姿的三维部位显示技术可以有效的实现手术器官实时追踪医生头部位置及姿态的变化，可以满足高真实感虚拟手术的仿真需求。

[1] 王宜龙. 基于VTK的医学图像三维重建的研究与应用[D]. 安徽大学. 2013.

[2] Andre Gaschler, Kerstin Huth, Manuel Giuliani. Modelling State of Interaction from Head Poses for Social Human-Robot Interaction[J]. Intelligent Systems Application to Power Sys­tems Proceedings of International Confer, 2012, 22: 226-227.

[3] Guozheng XU, Lei XU, Cheng LV. An improved head pose estimation method for the robotic wheelchair interaction control[J]. International Conference on Robotics and Biomimetics, December 5-8, 2017, Macau SAR, China.

[4] Farid Abedan Kondori, Shahrouz Yousefi, Li Liu. HEAD OPERATED ELECTRIC WHEELCHAIR[J]. Image Analysis & Interpretation, 2014: 53-56.

[5] A Agrawal, R Raj, S Porwal. Vision-based multimodal human- computer interaction using hand and head[J]. Information & Communication Technologies. 2013: 1288- 1292

[6] Hyunduk Kim, Myoung-Kyu Sohn, Dong-Ju Kim, Nuri Ryu. User’ Gaze Tracking System and Its Application using Head Pose Estimation[J]. International Conference on Artificial Intellig., 2015, 73(2): 166-171

[7] Qingjie Zhao n, Weicun Xu, Yuxia Wang, Using head poses to control a virtual robot walking in a virtual maze[J], 《Optics Communications》, 2013, 295 (295): 84-91.

[8] Micha Livne, Leonid Sigal, Nikolaus F. Troje，Human attributes from 3D pose tracking[J], 《Computer Vision & Image Understandig》, 2012, 116(5): 648-660.

[9] Pranoti Meshram, Nisha Auti, Himanshu Agrawal, Moni­toring Driver Head Postures to Control risks of Accidents[J], 《Procedia Computer Science》, 2015, 50: 617-622.

[10] Will Schroeder, Ken Martin, Bill Lorensen. The Visualization Toolkit Third Edition[M]. Kitware Inc. 2004(8): 49-58.

[11] 卢朝峰. CT图像三维重建的研究与实现[D]. 复旦大学. 2013.

Three-Dimensional Body Part Display Technology Based on Surgeon's Head Posture

ZHAO Quan, FENG Qiao-sheng*, ZHANG Ya-ping

(College of Information, YunNan Normal University, KunMing YunNan 650500, China)

Virtual surgery technology is an important technique for training an intern or doctor in planning new surgeries. The human-computer interaction method is an important factor in determining whether or not virtual surgery is realistic.This article mainly studies on the human body part display technology based on the doctor's head posture, describes the VTK world coordinate system, the VTK camera coordinate system and the world coordinate system of the PATRIOTTMtracking device, and analyzes the conversion process among the three coordinate systems.Finally.Then,through the encoding and decoding of the coordinate data of the PATRIOTTM tracking device, combined with the threshold control of the position and angle of the human body tracking the human perspective, the three-dimensional human body part display technology based on the surgeon's head pose is achieved.At the same time, in order to further refine our experimental results, the difference between the camera coordinate system and the world coordinate system of the PATRIOTTMtracking device was calibrated.The final experimental results show that the 3D part display technology based on the surgeon's head pose created by us can meet the simulation needs of high-reality virtual surgery.

Virtual surgical system; Human-computer interaction technology; Human organs; Dynamic display

TP3

A

10.3969/j.issn.1003-6970.2018.09.013

国家自然基金项目“基于表面分割的大型三维网格模型多分辨率表示并行构建与绘制”(61262070)资助

赵全(1992-)，男，硕士研究生，主要研究领域为虚拟现实技术；张亚萍(1979-)，女，博士，副教授，主要研究领域为虚拟现实技术。

冯乔生(1961-)，男，硕士，教授，主要研究领域为虚拟现实技术。

本文著录格式：赵全，冯乔生，张亚萍. 基于手术医生头位姿的三维人体部位显示技术[J]. 软件，2018，39（9）：58-63