VR/AR应用于智能放疗的若干焦点问题

赵利荣，孙建国

(陆军军医大学新桥医院肿瘤科，重庆 400037)

世界卫生组织(WHO)发布了2020年《世界癌症报告》，明确指出癌症是威胁人类健康的第二大死亡原因。2018年，全球共有1 810万人被诊断患有癌症，960万人死于癌症[1]。在肿瘤综合治疗中，放疗有着重要的地位，对早期肿瘤可采用根治性放疗，对术后肿瘤可辅助放疗以减少复发，对晚期肿瘤可作为姑息手段以减轻患者症状。放疗已有一个多世纪的历史，在过去20年得到了快速发展，尤其是随着大数据和人工智能技术的快速发展，近年来，智能放疗在放疗轮廓勾画、放疗计划设计、放疗流程优化、放疗云平台搭建等方面得到广泛应用。由于智能放疗具有更高的精确性、专业性和复杂性，引进虚拟现实(virtual reality，VR)/增强现实(augmented reality，AR)技术具有重要的意义，通过与虚拟环境的实时交互，可使医患沟通情景化、放疗培训虚拟化、放疗流程精细化、放疗计划可视化，大幅提升工作效率、放疗质量和服务水平[2-4]。以虚拟现实培训(virtual environment radiotherapy training,VERT)系统为代表，其为放疗过程的风险性和复杂性提供了良好的解决方案，使放疗技术具有更高的精确性、快捷性、安全性和为放疗患者带来舒适性体验[5-7]。然而，VR/AR技术应用于智能放疗还处于起步阶段，设备普及性、在线实时性、同质化标准、技术新形态等方面存在问题，需要依靠快速革新而逐渐成熟、不断突破及多元化发展的人工智能技术，从而使智能放疗向更高层次推进。本文就VR/AR技术应用于智能放疗的研究现状及焦点问题做一阐述，以期为智能放疗从业人员和VR/AR研究人员提供未来探索的方向。

1 VR/AR技术应用于智能放疗的研究现状

1.1 智能放疗研究现状

随着计算机医学和人工智能技术的快速发展，现代放疗技术向着精确计划、精准定位、个体化治疗的方向发展，更加趋于数字化、信息化和智能化。智能放疗主要在大数据、靶区自动勾画、自动放疗计划以及“互联网+”等多方面有重大突破。

大数据作为临床治疗的客观量化资料，已经成为促进临床治疗及科学研究创新不可或缺的一部分[8]。放疗大数据主要由医院信息系统、放射治疗计划系统及影像学检查设备3个方面产生，包括电子健康记录、治疗计划数据、核磁共振成像记录等[9]，除了患者的性别、年龄、症状等常规信息外，还包括治疗的计划、程序、方法及放射影像、剂量等非常规数据[10]。对放疗大数据进行合理、高效地整合、集成与解析，包括结构化、半结构化及非结构化的数据，使得数据形式趋向多样化、多元化和异构性[11]。

放疗的靶区勾画对于肿瘤病灶定位、放疗疗效及患者预后至关重要，对放疗医生的专业知识、治疗经验均是较大的考验，患者进行CT肿瘤的模拟定位后大约有200张图像，医生需要对不同层面的图像逐一勾画标注，费时费力，勾画的准确性受主观因素影响较大。应用人工智能技术建立肿瘤靶区自动勾画模型，能够有效提高放疗医生的工作效率，大大增加靶区勾画的准确性，提高放疗的疗效。目前国内外正在开发放疗靶区轮廓自动勾画的软件，主要在勾画危及器官结构上达到较高的精度；肿瘤靶区的自动勾画探索主要在头颈部肿瘤，林金勇等[12]将ABAS自动勾画软件用于头颈部肿瘤靶区和危及器官的自动勾画，基本可以达到手工勾画的要求。

自动放疗计划是多学科、多层面、多维度的综合性智能放疗自动计划平台，能够综合多项技术及多种临床数据，给出最佳的优化方案。SMITH等[13]选取20例前列腺癌患者，分别做了Pinnacle自动放疗计划和Eclipse基于经验的自动放疗计划，均可以得到高质量放疗计划，并且计划评分也无明显差异。范嘉伟等[14]选取240例左侧乳腺癌患者，基于深度学习网络来预测乳腺癌调强放疗计划的剂量分布，与临床治疗计划的剂量分布相比，靶区(除同步加量的PTV 48 Gy)和危及器官的剂量值相近，具备自动放疗计划的基本能力。

“互联网+”以互联网平台为基础，将现代信息技术手段(如手机通信技术、云计算、大数据、物联网等)与传统行业进行深度融合，创造新形态下的新产业。“互联网+”的实践和应用也已融入医疗行业，并在放疗应用中显示出巨大潜力[15-16]。以云端放疗大数据库为基础，通过放疗云操作系统，各级单位管理者和使用者均可直观详实地了解所需信息，并客观准确地指导放疗工作。例如，通过互联网在线服务，使患者放疗流程规范化、电子化，形成以患者为中心的流程管理系统；可以使用图像分析和识别技术，自动识别医疗影像数据或者挖掘放疗计划制订、放疗实施过程中诸多参数及临床预后的关系，从而为医师提出诊疗建议；可以通过与医院已有的软硬件互联互通，打破各个放疗科数据孤岛的现状，实现数据整合与信息共享[17-18]。

1.2 VR、AR技术的定义

VR利用计算机生成模拟环境，是视觉、听觉、触觉等多源信息融合的交互式 3D 动态视景和实体行为的系统仿真。用户借助特殊的输入/输出设备沉浸到该环境中，临场感的强弱是检验VR设备及内容是否优秀的标准。

AR利用计算机技术，将虚拟的信息应用到真实世界中，在现有的真实环境基础上实时地叠加虚拟的物体。VR与AR不同：VR需要用不透明头戴显示设备(简称头显设备)完成虚拟世界里的沉浸体验，而AR需要透明清晰的头戴设备看清真实世界和重叠在上面的信息和图像。

1.3 VR/AR技术在智能放疗中的应用

VR/AR技术已在智能放疗中发挥重要作用。首先，VR/AR具有交互性、沉浸性、可操作、多感知性等优势，可以用于放疗教育培训，通过虚拟的教学环境充分调动学生的主动性和创造性。2009年10月西英格兰大学最早将VR技术(VERT系统)用于放疗教学培训[19]，创建出高度逼真的虚拟放疗环境，从而在具有趣味性和互动性的过程中增强对放疗技术的理解，体验三维环境中人、放疗设备和放疗软件的多重交互，完全超越传统的学习感受。随后，VR技术应用于放疗技术培训在国内外兴起[20-22]，爱尔兰牛津大学调研结果显示，58%的学生赞成用VR进行放疗教学[23]。李小波等[24]将VR/AR技术用于放疗技术的培训，包括患者体位固定、CT模拟定位、加速器质量控制等模块，提升了放疗物理师的模拟学习效率和实时操作感受。

其次，VR/AR技术在对放疗患者的宣传教育中发挥重要作用，让放疗患者在一个非常逼真的放疗环境中模拟感受真实的放疗场景，能充分理解复杂的放疗流程[25]。华中科技大学同济医学院GAO等[26]通过问卷调查和研究生理学指标发现，相较于放疗前只接受传统知识宣教的患者，VR/AR技术对患者的放疗宣教可减少患者对放疗过程的焦虑和恐惧。美国某放疗中心采用头戴式VR设备进行放疗前宣传教育，显著减少了放疗患者的治疗恐惧和焦虑，提高了放疗效果[27]。

2 VR/AR技术应用于智能放疗的焦点问题

2.1 VR智能放疗的设备普及性有待技术革新

VR技术综合应用各种数字化技术制造出逼真的模拟环境，可以有效地模拟人在自然环境中的各种感知行为，给人一种身临其境的感觉，如同进入了一个真实的客观世界。虚拟技术的交互性使人能够自然地和虚拟世界中的对象进行交互操作。虚拟环境可使人沉浸其中并且获取新的知识，提高感性和理性认识，从而深化概念并萌发新意，启发人的创造性思维。

然而，VR技术作为高速发展的新型技术，不可避免地会有各种问题，例如产品体验的高价位问题、用户视觉体验问题等。当前，VR技术需要进行技术革新，像智能手机一样更加平民化地走进每个放疗中心，成为智能放疗的主流模式。例如：VR头显设备会给用户带来眩晕、呕吐等不适感，造成用户的体验性不佳。再如：头显设备的不适感可能让用户产生VR技术是否会对自身的健康造成损害的担忧，必将影响VR技术在未来的普及和发展。随着VR技术的不断进步，未来将实现人机交互的全新模式，头显设备小型化是发展趋势，甚至不需穿戴头显设备就能使加速器和患者进行实时交互。

2.2 VR技术用于智能放疗的在线实时性有待大幅度提高

解决VR/AR的在线实时性，最好的途径是“5G”技术。5G技术让万物实现智能互联，实现放疗过程中人和机器的实时交互，在5G技术支持下，海量放疗数据与放疗工作人员、医疗加速器、质量控制设备之间实现前所未有的互联，将会给新型放疗行业提供极好的机遇。

在5G技术支持下，开发者应当首先对应用和产品进行测试，更加关注用户的健康和舒适问题，开发其他感官、运动交互界面，而不仅仅是听和看，尝试用手指去操控并形成真实的内部和外部力的触觉和反馈，如果发明一副有触觉反馈并对所有手指都产生力的手套，将会是一个革命性的技术创新。

虚拟环境下的可视化对计算速度的要求更高，对于鼻咽癌等复杂靶区的计算还需要平衡计算速度和精度，这也对计算机硬件和网络传输提出了更高的要求。随着物联网技术和5G技术的诞生，可以解决当前头显设备因为清晰度和分辨率不足的问题，通过至少5G或更优秀的网络传输，避免造成视觉的延迟，保证图像的同步。

2.3 AR技术用于智能放疗的动态显示有待技术突破

当前的VR技术只显示静态图像，没有考虑患者呼吸运动等自然活动，也没有考虑放疗过程中的体位变化。能将患者的呼吸运动和体位变化也考虑在内，实现真正意义上的实时纠正患者摆位误差和肿瘤移动追踪。未来，AR技术需要对患者呼吸动度进行全面系统的研究，可以通过输入患者的呼吸波形图，以了解患者的运动幅度与周围环境的关系，并将其整合到VR技术中，在虚拟治疗室中重现患者的真实运动，借此改善呼吸运动对照射剂量的影响。

同时，在加速器机房安装360度摄像头，用以捕捉真实的放疗机房里真实患者体位数据进行3D重构模拟，放疗工作人员可以像移动电脑鼠标一样轻松操纵虚拟形象，机房内患者可以看到自己的虚拟形象，对自己的感官运动行为给予视觉反馈，增强医患之间在虚拟环境中的交互。另一方面，通过对虚拟患者的实时监测和射线追随，结合CT、影像引导放射治疗(IGRT)等影像设备评估患者肿瘤的大小、形态、位置的变化，分析实际治疗计划和原计划的差异，经过大数据处理中心集成处理展示实时的患者剂量，从而指导后续分次治疗计划的设计，实现真正的自适应放疗和肿瘤追踪放疗，从而提高靶区剂量覆盖率，并更好地保护正常组织。

2.4 AR技术用于智能放疗的同质化标准还有待开发统一

不同层级医院之间、同层级不同放疗中心之间，放疗流程实施存在较大的异质性，各放疗单位在摆位精确度、放疗轮廓勾画要求、放疗计划设计、放疗设备和放疗计划的质控，都存在显著的不同，尤其是区县基层单位在缺乏足够人力、设备、质控技术的情况下，实现放疗同质化存在巨大的困难。

随着智能放疗和互联网的推行，AR技术有望全面提高各放疗单位之间的同质化，建立AR技术下的放疗流程新标准，包括放疗摆位误差、肿瘤靶区和危及器官的勾画精度、放疗计划的优化程度、放疗设备的质控通过率、图像引导和自适应放疗的技术条件、精准放疗云平台的数据共享、远程放疗指导的会诊服务等，在全国层面建立智能放疗新规则，建立远程化、自动化、智能化的放疗新模式，有效利用医疗资源，推动分级诊疗，极大改变现有医疗格局。

2.5 AR技术用于智能放疗的技术新形态还亟待更多探索

真实世界中不允许用真实患者进行放疗试验，AR技术提供了一个很好的环境，可以在其中进行试验和测试。现有AR技术在肿瘤放疗领域的逐渐应用，尚不足以满足更大范围、更高层次、更多维度的虚拟技术需求，以数字孪生、虚拟生理人为代表的新形态有待更多突破。

数字孪生是物理资产的虚拟图像，数字孪生模型(大到加速器，小到物理质控中的电离室等设备)在虚拟环境中测试验证所有的物理参数的精确性，可以在临床测试阶段发现问题并及时在模型中做出纠正。在放疗应用中，可以通过数字孪生模型来模拟放疗计划，计算及其产生的物理学效应，可优化放疗剂量的计算和放疗计划的设计，是人工智能与VR/AR技术完美结合的典范。

虚拟生理人是通过数字技术模拟真实的人体器官而合成的三维模型，不仅具有人体外形及肝脏、心脏、肾脏等各个器官，而且具备各器官的新陈代谢机能，能较为真实地反映出人体的生理状态和各种病理变化，在计划设计时可以真实、实时地反映剂量计算的过程，帮助物理师设计出更优化的放疗计划。有望开发可视化的新技术，实现放疗计划优化、剂量计算和放疗质控质的飞跃。

3 VR/AR技术用于智能放疗的未来展望

3.1 VR技术的未来关键环节

VR技术在智能放疗领域的推广普及，需要更强大的硬件、超快的网速、丰富的内容作为支撑。基于虚拟系统技术的交互性、沉浸性的特点，以及受网络传输速率的制约，如何实时模拟逼真的动态环境是虚拟系统技术能否实现的保证。因此，未来的VR技术将在穿戴式硬件、传输网速、虚拟内容等关键环节上快速发展，迎来VR产业的爆发拐点，成为颠覆传统模式的智能放疗人机交互平台。

3.2 AR技术的新形式

数字孪生和虚拟生理人是AR技术发展的高级阶段，可能在未来蓬勃发展。数字孪生是物理资产的虚拟图像，可以模拟加速器、电离室等各类放疗设备，从而在虚拟环境中形成反映真实物理实体的物理参数，在临床测试阶段发现问题并及时纠正，其模拟放疗剂量计算，优化放疗计划设计，可以在放疗质控中发挥重要作用。虚拟生理人是通过数字技术模拟真实的人体器官而合成的三维模型，不仅具有人体外形及内脏器官，而且具备“新陈代谢机能”，能反映人体的生理状态和病理变化，从而“真实、实时”地反映放射剂量在人体的吸收过程，帮助放疗医生更精准地制订放疗方案，帮助物理师更加优化放疗计划设计，从而实现精准放疗质的飞跃。

3.3 VR/AR技术将改变放疗从业人员工作方式

随着VR/AR技术和智能放疗的快速发展，放疗专业人员的工作方式将发生重大变化。传统的医生培训、医患交流、放疗流程、质控模式、操控方式都将彻底改变，机器人更多参与到放疗流程，人机交互使“人找事”变成“事找人”，简单重复劳动将被取代，虚拟远程交互使多学科团队及放疗单位之间的沟通变得远程、虚拟、逼真且实时，使得日常放疗工作更加流畅和自动化，从而使放疗患者更加受益。