基于5G的远程介入手术协作影像系统

王旭东,曾安宇,张凯 ,徐野

(西门子数字医疗科技(上海)有限公司,上海市 200126)

介入放射学是20世纪迅速发展起来的一门新兴的诊疗学科,是在医学介入影像设备的引导下,以影像诊断学和临床诊断学做为基础,同时结合临床治疗学原理,利用导管、导丝等医疗器材对各种疾病进行诊断及治疗的一门微创学科[1]。近年来,随着介入技术的发展和突破推动医疗设备的不断进步,大量先进的介入医疗设备在各级医院得到逐步的应用和普及。然而介入手术领域内医疗资源总体不足,局部配置不合理,对基层医院的医生来说:业务能力提升受环境限制、求师学艺难度大,需要脱产去外地医院、提升阶段独立上台心理压力大。缺乏支持团队、缺乏大型医院帮扶、缺乏学习渠道。对介入专家来说,舟车劳顿、时间成本高、分身乏术。目前,主要的解决方案为数字化远程介入手术系统实现手术室与远端的双向音视频互动[2-4],虽然能够部分满足当前指导远程介入手术的需求,然而普遍存在网络延迟较高,音视频压缩较高;远程专家只能通过片面的音视频被动接收信息进行远程手术指导,无法全面掌握患者多维的实时状态。

因此,针对上述问题,基于5G[5]和人工智能物联网技术,通过多种智能边缘设备的应用组合构建本远程介入指导系统,尤其IP KVM的使用实现医院内网与公网的物理隔离,实现反向控制院内相关系统的同时又能保护患者数据。能够特别针对卒中、冠心病、肿瘤等介入手术,精准对接相关领域的介入专家,实现对基层医院远程介入诊疗与手术指导的帮扶。

1 资料与方法

针对上述目标需求,本系统基于目前先进的5G、物联网、边缘计算等先进技术[5-6],通过IP KVM、视频矩阵与视频分割器的组合实现远程专家对介入手术室内不同医疗信息系统的网络隔离下的远程访问及控制,同时整合集成多个介入手术室内不同场景的摄像机和蓝牙耳机实现远程专家与手术室内医生的实时无缝沟通。

本系统针对不同的功能需求和应用场景分别构建包括基层设备端、远程专家端、微信小程序端、平板移动端、HoloLens端和云服务端六大客户端模块(如图1)。

图1 系统逻辑图

1.1 设备端

作为本系统的核心模块之一,通过创新性的应用组合IP KVM、视频矩阵、视频分割器、按键切换器和多场景摄像头,实现能够分享DSA设备主台(计算机系统)的屏幕及其连接的其他辅助医疗设备,比如PACS、EMR和ECG等,且在手术室配置回推屏,可显示DSA设备产生的手术图像和远程专家的视频画面。同时通过设备端安装的摄像头,能够分享手术室内医生和病人相关状况影像,专家也可以通过云端自主调节术野影像。设备端医生通过配备的摄像头和麦克风与远程专家就介入手术等技术问题进行音视频沟通。

1.2 专家端

呈现远端手术室相同信息副显示器接受远端设备间技师推送图像如US、ECG、EMR、PACS,专家也可以自己通过切换直接选择和调取三方会议同时指导远端介入医生和操作间技师,也可以通过按键切换器直接控制远端术中云台摄像头,观察手术细节。影像传输:a.造影 b.监护 c.第三方(OCT、FFR、IVUS等)。实时通话:视频通话,术野摄像,影像同步无延迟。治疗策略辅助:远程专家在造影图像上可以虚拟放置治疗器械,如导丝、球囊或支架等(如球囊支架mark点定位、病变部位标记等)。

1.3 小程序端

基于微信小程序,可以通过扫一扫功能进行系统用户登录,并且管理用户身份,设置医疗设备信息及邀请或删除设备上的专家及医生,个人信息资料管理。

1.4 移动平板端

远端专家可以通过便携式移动iPad设备在任何时间、任何地点对远程的手术室内的影像设备进行访问操作控制,脱离时间和空间的限制,与此同时能够充分发挥便携式移动设备的优势,通过手势进行视频图像的缩放及按键处理。

1.5 HoloLens端

本系统创新性的提供基于HoloLens的全息专家客户端,能够展示手术室内的多路摄像机和医疗信息系统的全息影像,并且通过手势和眼部追踪等操作进行远程控制,提供更加身临其境的感觉,大幅提升远程会诊的沉浸感。

1.6 云服务端

后台管理模块主要提供系统运行所需的各种相关服务,并提供web页面进行管理配置。同时也能对支撑系统运行的各种服务进行实时的监控管理。

在遵循高内聚、低耦合、高扩展性和高复用的分层架构模式[7]下,进行整体系统架构设计及编码实现,如图2所示。通过5G网络独有的低时延特点,能够满足远程介入专家的反向控制的精确度要求和实时性要求。能够将基层医院的影像设备的屏幕视频流和病人画面实时传送到远端专家屏幕上,还能实时远程操控位于基层医院的介入影像设备控制台及其他配置的相关医疗信息系统。

图2 系统架构图

2 结果

该系统通过多次平台优化及系统调优,达到以下主要技术指标,实现系统设计目标:

(1) 超低延时,能够实现低于300毫秒的延时 ,进行本地或异地实时的手术直播示教与会诊,减少进入导管室的人员带来的不可预知的污染。同时能够使远端专家能够进行异地的实时会诊指导手术,解决下级医院医生资源缺乏的困境并能快速帮助低年资医生积累经验[9]。(2)实现多维度的音视频的高保真、高实时的采集与传输。(3)远程专家能够快速便捷地进行不同医疗系统间进行灵活的切换及反向控制。(4) 实现兼容不同分辨率的影像系统进行采集及编解码,从而更多支持医疗设备和临床信息系统。(5) 实现导管室内系统的患者数据物理隔离,从而满足高安全性的要求。(6) 能够方便快捷地进行多维患者影像的聚合与切换,能够实时地全方位地显示患者的病变情况。(7) 将介入手术中所涉及到的多维度的患者影像实时推送至远端,并能聚合反馈显示到导管室内供手术医生进行实时查看。(8) 远程的专家可以进行远程快速便捷地控制手术室内的术野摄像机和实时切换多维度的患者影像资料,使其对患者的病情有全方位的了解,提高远程会诊的效率。

北京大学第三医院崇礼院区作为第24届冬奥会张家口赛区医疗保障定点医院,主要承担冬奥会中多个赛事项目期间涉奥病患的救治任务。作为国内首家部署本系统的介入手术室,远在北京大学第三医院的专家和处于崇礼院区指挥中心的专家通过本系统实时观看处于闭环内的DSA手术采集的图像,并远程给予手术医生相应的手术指导意见,从而完成各类介入手术。

3 讨论

综上所示,本系统基于WebRTC的音视频流媒体技术,同时结合IP KVM,视频分割和矩阵技术,通过5G将介入手术室的血管机影像、专业影像工作站、电子病历系统或手术麻醉系统等临床信息系统,此外手术室术野影像、全景影像及音频数据实时传输至远程专家端,同时远程专家可以实时反向控制已授权的影像设备,进行高效互动协作指导。使介入手术室内的医师与远程的专家能够基于完全相同的患者临床信息进行病例沟通。通过在手术端导管室内预先安装的高清光学云台摄像机与全景摄像机,用于捕捉医生操作手势与DSA机架等信息,指导端用户可根据摄像头反馈的影像对DSA机架投照角度、导丝塑形及皮肤切开等手术操作细节进行指导,最大限度地避免操作不规范带来的误差,带来仿佛专家身临其境一般的全新手术体验。

本系统平台是基于5G技术之上,将先进的科技与基础医疗、远程指导相结合,是具有重要示范意义的,同时也具有复制推广的模式。通过本系统可以连接基层介入手术室的介入医生和远程专家,从而能够突破空间的束缚,实现远程专家对患者病情诊断、手术操作和手术方案提供远程实时在线指导,规避疫情蔓延之下的差旅风险,真正意义上跨越时间与空间的限制,普及介入诊疗技术,为偏远地区或基层医院的介入医生提供持续学习的机会,帮助医院能够快速独立开展相关的介入手术,进一步推动介入技术的普及,促进优质医疗资源下沉,助力基层医院的介入学科水平提升。使得我国卫生事业中存在着的医疗资源总量不足、资源配置不均衡等问题也有望得到相应的缓解与改善。从而加速推进健康中国2030的重要战略目标——胸痛、卒中中心的建设。