混合现实技术引导放疗摆位

梁巨宏，王殊轶，胡忞仁，杨双燕，孙雨萱，付小妮

（1.上海理工大学 健康科学与工程学院，上海 200093；2.同济大学附属上海市肺科医院 放疗中心，上海 200443）

0 引言

放射治疗（以下简称放疗）是临床治疗肿瘤的三大主要手段之一［1］，其目的是最大程度地杀灭肿瘤细胞，而使周围的正常组织和器官免受或少受射线照射。研究表明，因患者摆位误差导致放疗剂量不准确会影响放疗效果［2］，因此位置验证是精准放疗不可或缺的保障措施［3-4］。

随着计算机技术的迅猛发展，放疗精度得到大幅度提高。可视化技术是保障精准放疗的重要手段，其中混合现实（Mixed Reality，MR）是继虚拟现实（Virtual Reality，VR）和增强现实（Augmented Reality，AR）技术后出现的新兴数字全息成像技术，打破了数字虚拟世界与物理现实世界的界限［5］。1994 年，Milgram 等［6］提出真实—虚拟连续统一体的概念，首次阐述了MR、AR、VR 三者之间的关系。在可视化医学手术导航领域中，MR 具有以下基本特点：①现实与虚拟世界相结合；②虚拟对象与现实世界精准匹配；③现实世界与虚拟对象实时交互［7］；④多用户共同操作同一个虚拟对象［8］。

传统摆位中，放疗技师在医用直线加速器外置激光摆位系统的引导下，通过使激光十字线与画在患者体表的十字线重合完成摆位［9］，摆位过程中患者的体位应尽可能与CT 模拟定位时的体位一致，但该种摆位方法准确度有待提高。目前，AR/MR 技术被广泛应用于医学领域，但在放疗领域的应用研究并不多。例如，Talbot 等［10-11］研发出一种外照射治疗模式下的患者摆位系统，首次提出通过CT 数据获得患者外轮廓的三维模型，并利用AR 跟踪软件将轮廓叠加到正确治疗位置的视频图像上，医师通过观察监视器将患者实际外轮廓与虚拟轮廓对齐，以实现精确摆位；Cosentino 等［12］基于HoloLens MR 头戴式显示器开发AR 软件以辅助放疗摆位，对患者CT 影像中的病灶和体表轮廓进行三维重建后将其呈现在HoloLens 中，摆位时根据虚拟影像的引导移动治疗床和调整患者体位；Stanley 等［13］使用表面引导放射治疗（Surface Guided Radiation Therapy，SGRT），即通过光学投影获得患者体表信息，并与CT 影像进行匹配，可显著降低乳腺癌治疗中心的辐射剂量，有效保护心脏；Li 等［14］设计了一种移动端AR 视觉图像引导放疗摆位的装置，通过AR 对象识别技术将虚拟模型的治疗中心定位到加速器中心处，利用移动监视器的摄像头获取患者实时体表信息，使其与虚拟模型外轮廓吻合，进而完成精准摆位。

以上基于视频的AR 放疗摆位方法具有良好的实时性，在一定程度上降低了人体呼吸运动引起的摆位误差，但其需基于单个或多个平面监视器进行，限制了技师的操作范围，摆位时还需要校准摄像头，设备之间连线繁琐。HoloLens2 头戴式显示器具有佩戴方便、运行独立、三维可视化的特性。基于此，本文开发适用于HoloLens2 的MR 软件，研究体表无标记的MR 可视化技术引导放疗摆位，不仅可以还原患者定位时的体位，而且方便技师操作，不受线材和网络限制。

1 系统操作流程

基于MR 的放疗摆位系统操作流程如图1 所示（彩图扫OSID 码可见，下同），具体为：①患者CT 模拟定位；②定位CT图像数据以DICOM 格式［15］导出至Eclipse 放射治疗计划系统；③临床医生勾画靶区和危及器官，医学物理剂量师依据临床医生开具的申请单制定放疗计划；④包含放疗计划信息的数据以DICOM 的格式导出；⑤使用3D Slicer 进行三维重建，以STL 格式导出；⑥将STL 格式转换为FBX 格式，导入Unity 软件计算虚拟模型的空间位置，打包程序，将其部署至HoloLens2；⑦MR 引导放疗摆位，使虚拟体表标记对齐激光辅助摆位（Laser Assisted Positioning，LAP）系统；⑧采用锥形束CT（Cone Beam CT，CBCT）进行位置验证。

Fig.1 Operation process of MR-based radiotherapy set-up system图1 基于MR 的放疗摆位系统操作流程

2 系统核心技术

2.1 系统主要组成

本文系统主要由3D Slicer、Unity 软件、HoloLens2 设备组成。其中，3D Slicer 软件是由哈佛大学和麻省理工学院联合开发的一个免费开源图像分析处理平台，操作相对简单，而且支持功能扩展和改进。其包含的Slicer RT 插件可以完整读取并解析DICOM 中的放疗计划信息，根据重建模型准确测量肿瘤体积、相对位置，增强技师操作的真实感和精确性。

Unity 软件是一款跨平台虚拟开发引擎，广泛应用于移动端、电脑端游戏，以及AR、VR、MR 相关产品的开发。Unity 为虚拟项目的开发提供了通用框架以及灯光渲染、场景编辑、物理仿真等强大功能，通过其开发的场景交互十分便捷。Unity 为VR 和MR 相关平台提供了技术支持，使得在HoloLens 中建立一套MR 手术导航系统成为可能。

HoloLens2 是微软发布的一款可穿戴式混合显示设备，允许操作者头部自由移动且不会损失空间定位的准确性。其拥有独立计算和处理数据的能力，不受空间限制和线材束缚，佩戴者能透过屏幕看到真实世界和全息三维模型。目前，HoloLens2 已被应用于医学教学、手术导航等领域，可以辅助解决许多医学难题。

2.2 三维注册跟踪技术

在AR/MR 中，用户改变自身位置和观察角度时，被观察的虚拟物体需实时融洽地与现实场景保持一致，因此必须声明观察者和虚拟物体在现实环境中的准确位姿。虚拟物体在现实环境中的位姿一般由设计者决定，因此只要获得了观察者的位姿，便可以根据观察者的实时视角重建坐标系，计算出虚拟物体的显示姿态，实现交互对象的虚实融合，这个过程就是三维注册，反映的是真实与虚拟空间的坐标映射关系［16］。一个优秀的三维注册关系能使虚拟物体准确无误地叠加在真实场景中，其实现方法一般包括基于传感器的注册技术、基于视觉的注册技术和混合注册技术3 种［17］。Vuforia Engine 是高通公司推出的针对移动设备AR/MR 应用的软件开发工具包，拥有全面的AR/MR 功能，可对虚拟与真实场景中的模型进行识别与追踪［18］。本系统使用Vuforia Engine 进行图片识别。

2.3 空间坐标系转换

三维注册过程中涉及多种坐标系之间的转换，包括虚拟世界坐标系、世界坐标系、HoloLens2 坐标系、图像坐标系、像素坐标系等。为确保虚拟模型能够准确地与真实环境相叠加，需要获取虚拟空间坐标系与投影坐标系（像素坐标系）之间的变换关系，具体如图2 所示。

Fig.2 Coordinate system transformation图2 坐标系转换

三维注册一般需要进行以下几种坐标系转换环节。

2.3.1 虚拟世界坐标系→世界坐标系

世界坐标系（OWXWYWZW）是现实世界中的坐标系，反映了客观物体在现实世界坐标中的位置，通常可以任意指定。虚拟世界坐标系（OVXVYVZV）是描绘虚拟物体的坐标系，其到世界坐标系的转换是为了确定虚拟物体在世界坐标系中的位姿。设OVXVYVZV中的点P(xV,yV,zV)为目标点，对应OWXWYWZW中的坐标为P(xW,yW,zW)，其转换关系表示为：

式中，B表示虚拟世界坐标系到世界坐标系的转换矩阵。一般来说，虚拟世界坐标系与世界坐标系的转换关系在设计AR/MR 时便已确定，因此矩阵B是已知的。

2.3.2 世界坐标系→HoloLens2 坐标系

HoloLens2 坐标系（OCXCYCZC）以HoloLens2 摄像机为中心，从OWXWYWZW到OCXCYCZC需要经过刚体变换，即旋转、平移变换。目标点P(xV,yV,zV)在OCXCYCZC中对应的点为P(xC,yC,zC)，其转换关系表示为：

经齐次变换得出：

式中，T为平移矩阵，R为旋转矩阵。

2.3.3 相机坐标系→图像坐标系

图像坐标系（OPXPYP）是图像的物理坐标系，从OCXCYC⁃ZC到OPXPYP需要经过投影变换。点P(xC,yC,zC)经过小孔成像投射到OPXPYP中的点为P(x,y)，其转换关系表示为：

式中，f为HoloLens2 摄像机的焦距。

2.3.4 图像坐标系→像素坐标系

像素坐标系（OPUV）表示的是像素点在图像中的位置，以像素为坐标单位，从OPXPYP到OPUV需要经过二次变换。假设图像坐标系的原点为O1，其在像素坐标系中的坐标为(u0,v0)。点P(x,y)对应OPUV中的像素坐标为P(u,v)，其转换关系表示为：

可转化为齐次方程，表示为：

2.4 识别图尺寸与位置选择

识别图的尺寸和位置与识别的精度和稳定性息息相关，设计如图3（a）所示。识别图自然特征点越多，识别越稳定、精准，具体如图3（b）所示。参照Pérezpachón 等［19］对识别图位置和大小的研究，使用Vuforia Engine 对8cm×8cm的识别图进行识别并完成虚实环境中的配准和追踪功能。如图4 所示，将识别图分别贴于治疗床右上角、加速器机头两个位置并进行对比测试。经测量，以识别图中心为参考坐标系的中心，将识别图贴在治疗床右上角时，肺模体定位中心点的空间坐标为（21.00，15.70，-23.50）cm；将识别图贴在加速器机头上时，肺模体定位中心点的空间坐标为（11.65，43.48，-7.38）cm。

Fig.3 Design of recognition image图3 识别图设计

Fig.4 Location of recognition image图4 识别图位置

2.5 MR 交互功能设计

MR 中人机交互的目的是使用户尽可能高效自然地与虚实混合的内容进行交互。手势识别技术能使用户直接用手操作MR 环境中的3D 物体，是目前使用最广泛的MR交互方式之一［20］，也有些研究者利用语音识别作为交互手段［21］。3D 交互技术支持用户使用3D 输入手段操作3D 物体及内容，是MR 中人机交互的主要组成部分，能在虚实环境下提供高效自然的交互方式。如图5 所示，本文设计了适用于MR 的3D 人机交互界面，用于实现物体位置的实时调整、材质属性调整，以及拍照、重新识别等基本功能，手势、语音、3D 交互可同时使用。

Fig.5 3D user interface图5 3D 人机交互界面

3 系统测试

3.1 测试环境

测试环境如图6 所示。地点：上海市肺科医院放疗中心；设备：Varian TureBeam 医用直线加速器，LAP 激光摆位系统，HoloLens2；测试对象：肺模体。

Fig.6 Testing environment图6 测试环境

3.2 测试方法

3.2.1 测试准备

对肺模体进行CT 模拟定位，CT 扫描厚度为5mm，在Eclipse 上制定放疗计划并以DICOM 格式导入3D Slicer 软件中，读取DICOM 包含的放疗计划信息，三维重建后以STL 格式导出，然后将格式转化为FBX 导入Unity 中进行模型渲染和空间位置计算，打包程序并将其部署到HoloLens2中。

3.2.2 对照组

将传统三点式激光手动摆位作为对照组，记为Manu⁃al。摆位时，通过移动治疗床使CT 模拟定位时所做的体表物理标记（身体两侧和体表十字标记线）分别对齐LAP 激光，完成摆位后进行CBCT 位置验证，并做好数据记录。

3.2.3 测试组

将识别图贴在治疗床右上角进行MR 引导摆位，记为MR.A；贴在加速器机头进行MR 引导摆位，记为MR.B。摆位时，技师佩戴HoloLens2，运行MR 软件，进行MR 引导放疗摆位，摆位完成后进行CBCT 位置验证，并做好数据记录。

共测试15 组，每组测试顺序为MR.A、MR.B、Manual。

3.3 测试结果

如图7 所示，临床上将左右方向定义为Lat，上下方向为Vrt，头脚方向为Lng，分别对应Unity 中的X、Y、Z，Pitch、Rtn、Roll 分别为绕Lat、Vrt、Lng 方向旋转。以CBCT 作为摆位验证的金标准，测试结果如图8 所示。误差用-x±s表示，结果如表1 所示。

Fig.7 Direction of set-up图7 摆位方向

Fig.8 Set-up errors test result图8 摆位误差测试结果

由表1 可知，MR.B 在Lng、Lat 平移方向及Rtn 旋转方向上的误差均低于MR.A 和Manual，在Roll 旋转方向上的误差高于MR.A，但低于Manual。MR.B 在Vrt 平移方向和Pitch 旋转方向上的误差均高于MR.A 和Manual。结合图8可知，在Vrt、Lng、Lat 平移方向及Rtn、Pitch、Roll 旋转方向上，MR.B（蓝色）相较于MR.A（灰色）和Manual（橙色）曲线波动幅度更小、更稳定，即将识别图贴在加速器机头上的MR 引导放疗摆位系统更稳定。

3.4 统计学分析

为进一步验证MR 引导放疗摆位的有效性，选择Vrt、Lng、Lat 及Rtn、Pitch、Roll 方向的摆位误差进行统计学分析。将MR.A、MR.B 分别与Manual 进行配对样本t 检验，首先经过Kolmogorov-Smirnov 正态分布检验，Manual、MR.A和MR.B 在Vrt、Lng、Lat、Pitch、Rtn 和Roll 方向上的数据均符合正态分布；其次分别将MR.A、MR.B 与Manual 进行配对样本t检验，记为MR.A-Manual 和MR.B-Manual，配对样本t检验的结果如表2 所示。

Table 1 Average set-up errors表1 摆位误差平均值

Table 2 Paired samplest test results表2 配对样本t 检验结果

由表2 可知，识别图贴在治疗床右上角的MR 引导放疗摆位与传统摆位在Vrt 平移方向上无显著性差异（t=0.021，P>0.05），在Lng 平移方向上无显著性差异（t=-1.276，P>0.05），在Lat 平移方向上无显著性差异（t=-0.218，P>0.05），在Pitch 旋转方向上无显著性差异（t=-1.848，P>0.05），在Rtn 旋转方向上无显著性差异（t=-0.718，P>0.05），在Roll旋转方向上有显著性差异（t=-2.779，P<0.05）。

识别图贴在加速器机头的MR 引导放疗摆位与传统摆位在Vrt 平移方向上有显著性差异（t=3.878，P<0.05），在Lng 平移方向上有显著性差异（t=-3.983，P<0.05），在Lat 平移方向上有显著性差异（t=-6.377，P<0.05），在Pitch 旋转方向上有显著性差异（t=7.209，P<0.05），在Rtn 旋转方向上无显著性差异（t=-2.413，P>0.05），在Roll 旋转方向上无显著性差异（t=-0.292，P>0.05）。

MR.A-Manual配对t检验时，除Roll方向P值＜0.05，有显著性差异外，其余方向的P值均＞0.05，无显著性差异。而MR.B-Manual 配对检验时，Vrt、Lng、Lat、Picth 方向的P值均＜0.05，有显著性差异，Rtn、Roll 方向的P值均＞0.05，无显著性差异。表明这两种MR 引导摆位方法均具有良好的适用性，可以辅助放疗精准摆位。

4 讨论

在肺模体实验中，将识别图贴在治疗床上进行MR 引导摆位时，首先需微调虚拟模型的空间位置，使其与模体匹配；然后通过平移治疗床使加速器外置激光灯对齐虚拟模型的体表标记。当识别图贴在治疗床上时，虚拟模型在空间中的坐标位置是参照识别图中心建立的空间坐标，因此随着治疗床的移动，虚拟模型在空间中的位置也会发生改变。摆位过程中要时刻保持识别图在HoloLens2 视野范围内，操作繁琐，限制了技师的操作范围。将识别图贴在加速器机头上进行MR 引导摆位时，由于模体的定位点与加速器等中心重合，其空间坐标位置可由LAP 激光系统确定，又由于加速器的等中心位置是固定不变的，因此只需通过识别图便可确定现实空间相对于加速器等中心虚拟模型的空间位置，然后再通过移动治疗床和调整患者体位将患者与虚拟模型进行匹配即可。该过程耗时短、操作简单，因此将识别图贴在加速器机头上的MR 引导放疗摆位更具优势。

然而，在实际治疗过程中，放疗周期一般较长，患者体型极易发生变化，实际治疗体位与计划体位存在不同程度的差异［22］。此外，胸肺部肿瘤患者在放疗中的体位常受到呼吸运动、膈肌运动、食管蠕动、心脏搏动等因素的影响，可能会造成较大的摆位误差［23-24］。本文实验对象为肺模体，实验数据是基于刚性模体的刚性配准获得。实际患者的肿瘤和正常组织存在分次间和分次内的运动，会导致不确定的随机摆位误差。在后期研究中，可通过4D-CT 分时相进行重建，生成一个呼吸运动周期内连续的MR 全息动画。技师通过观察，在MR 全息动画频率与患者呼吸频率保持一致时再进行MR 引导摆位，可降低由呼吸运动造成的摆位误差。

5 结语

为解决传统放疗摆位过程中需要在患者体表进行物理标记以及摆位时无法准确还原患者在CT 模拟机定位的姿态等问题，本文利用MR图像识别技术可视化引导放疗摆位，还原患者在定位时的姿态，降低了重复摆位次数，提高了放疗精度，改善了患者在治疗过程中的舒适性。考虑到放疗机房的特殊性，本文开发了便于床旁操作的MR 软件，免受线材和网络的影响。对比实验结果表明，将识别图贴在加速器机头上操作更简单，更适合辅助放疗摆位。在推进临床应用方面，在提高三维注册精度的同时，还应重点研究如何改善实时检测摆位过程中虚实配准的精度和呼吸运动造成的摆位误差问题，以实现精确摆位、精准放疗。