基于5G技术及4K/3D手术系统的显微外科远程手术会诊平台的设计及实践

2023-02-09袁永一刘威邵航王国建赵超越盛宏申杨和强赵星胡鹏海康东洋戴朴

中国医疗设备 2023年1期

袁永一，刘威，邵航，王国建，赵超越，盛宏申，杨和强，赵星，胡鹏海，康东洋，戴朴

1.中国人民解放军总医院第六医学中心耳鼻咽喉头颈外科医学部，北京 100853；2.浙江清华长三角研究院，浙江嘉兴 314006；3.中国人民解放军西部战区总医院耳鼻咽喉头颈外科，四川成都 610083

引言

20世纪50年代，光学手术显微镜的发明使显微外科得以迅速发展[1]。进入21世纪，高清三维（Three-Dimensional Imaging，3D）成像视频手术系统应用于医疗领域，开启了微创手术治疗的新篇章[2]。4K显像技术是由美国数字电影推进联盟（Digital Cinema Initiative，DCI）修订并推出的行业标准，DCI规定数字影院清晰度分为2级，其中较高一级即DCI 4K（4096×2160像素、24帧/s），其信息量是高清电视的4倍。实时4K/3D数字计算成像系统与手术显微镜的结合，改变了传统光学手术显微镜的理念。其主要的优势在于：借助3D显示器取代传统光学显微镜上的目镜，使外科医生手术过程中的坐姿更符合人体工程学，降低了医生的疲劳度，进而提高了手术的安全性和质量；便于教学及实时分享显微镜下的影像[3]。2019年，主要面向显微外科手术的国产4K/3D显微手术成像系统面世，该系统保留了光学目镜成像组件，实现了光学与4K/3D数字显微成像的结合，在提高侧颅底、神经外科、耳外科手术成像质量的同时，成本较进口设备大大降低。

1 需求分析

人体侧颅底位置深在，解剖结构复杂，神经血管密布，病变切除及结构、功能重建均需在手术显微镜下完成。目前，针对侧颅底外科的手术机器人研发缓慢，通信技术支撑下的远程手术亦因此无法开展。而传统2D视频传输缺乏立体感，不利于准确判断病变及重要解剖结构。因此，侧颅底外科手术指导还需会诊医师亲临手术现场。针对侧颅底外科远程手术指导所需的术野画面立体、实时、高清传输的难题，本研究设计并搭建了基于5G技术及4K/3D手术系统的显微外科远程手术平台，以“端云端”的架构实现术野的高质量传输，以期使专家通过远程手术会诊、协同现场手术医生完成疑难重症患者的救治成为现实。

2 平台设计及搭建

2.1 设计思路

超高清低延时3D手术视频生成和传输是本手术会诊平台的核心任务。平台围绕“端云端”的设计架构进行软硬件搭建，云的设计实现了平台数据的转发，使本地手术端和远程会诊中心间无须铺设专网，对网络要求较低。为获得超高清手术视频，首先针对显微术野进行双视点原始图像采集，获取术野数字图像；然后基于智能测光算法进行曝光自适应调节，使用BT.200广色域标准处理图像色彩，实现精准测光以避免过曝和欠曝现象；最后通过3D最佳融像算法实现视差校正获取最佳立体观看。为获得低延时手术视频，系统采用片上硬交织方案，环路滤波算法保证了手术视频的高质量传输，再通过直连方式进行实时3D显示。系统关键技术设计示意图如图1所示。

图1 系统关键技术设计示意图

2.2 平台搭建

远程手术会诊平台包括本地显微手术救治系统（本地救治系统）和远程显微手术指导系统（远程指导系统）。为达到远程手术指导的目的，平台的功能设计分为术野线路和音视频交互线路。术野线路为单向传输线路（图2虚线），本地手术室作为视频直播源，远程会诊中心进行接收；音视频交互线路（图2实线）为手术室到远程会诊中心的双向传输线路。

图2 显微外科远程手术救治平台示意图

显微外科远程手术救治平台搭建在中国人民解放军总医院远程会诊中心（北京）和中国人民解放军西部战区总医院手术室（成都），两地相距约1815 km。在硬件组成上，本地救治系统包括手术显微镜、3D屏前可视化及录播工作站（嘉兴智瞳科技有限公司）、4K/3D视频编解码器、本地音视频交互设备、本地会议系统和本地5G网络终端各1套；远程指导系统包括4K/3D视频解码器、3D屏前可视化及录播工作站、远程音视频交互设备和远程网络会议系统各1套。此外，2套系统中间还有1套云网关设备，用于数据云转发。在人员配置上，除了本地救治平台的手术团队和远程指导平台包括的会诊专家，两地各有设备保障人员2名，负责4K/3D显微手术成像设备和通信设备。

3 远程手术会诊平台成效评价

3.1 4K/3D视频传输延时测试

对搭建好的平台进行视频传输延时测试，设备连接节点示意图如图3所示。

图3 视频传输延时测试节点示意图

共进行5次测试，其中A-B段为术野视频经过成像设备的采集延时（时延为101 ms）；节点B为4K/3D视频编码处理延时（时延为179 ms）；B-C段为编码器到云网关服务器的接收延时（时延为296 ms），包括链路延时和网络上设置的波动冗余时间；C-D为云网关的转发延时（时延为304 ms），同样包括链路延时和网络波动延时；D节点为4K/3D视频的解码延时（时延为201 ms）；D-E段为视频从解码器到3D可视化屏幕上完成交织显示的延时（时延为99 ms）。在成都北京两地传输超高清立体显微手术视频整体延时1.18 s。

3.2 实际案例应用及远程手术会诊效果展示

3.2.1 病例分析

男性，50岁，四川人，身高173cm，体质量49 kg。术前诊断：颞骨鳞状细胞癌，感音神经性耳聋，内听道占位（左）；颞叶占位伴炎症（左）；肺结核，结核性胸膜炎；中耳乳突术后（左）；下肢动脉血管扩张术后（左）；下肢骨折内固定术后（右）；轻度贫血。因该患者身体条件差、病情复杂、病变广泛（累及耳、侧颅底及颅内多部位），拟开展远程实时协同手术会诊。手术由耳外科医生实施，拟一期先行颞骨次全切除术+自体脂肪取出+耳道封闭术，切除耳及侧颅底肿瘤，探查肿瘤与颅内是否有沟通，封闭外耳道为二期开颅手术做准备。手术会诊现场如图4所示。

图4 显微外科远程手术会诊现场图

3.2.2 远程会诊效果评估

招募包括远程专家在内的27名耳显微外科手术医生，以问卷调查方式对4K/3D视频传输前后的视频质量进行主观评测分析。27名医生包括女性12名、男性15名，年龄分布为18～60岁，30岁以上及30岁以下各占50%左右，其中从事显微外科手术2年以上的医生占比62.96%。

选取侧颅底肿瘤切除术中典型术野视频片段8段进行测试。考虑手术主要在中倍率及中高倍率下实施，8段手术视频片段的倍率分布设计如表1所示，包括低倍率1段、中倍率2段、中高倍率4段、高倍率1段。

表1 问卷调查涉及的手术视频信息

问卷调查中，8段手术视频上就画质和舒适度评价分别产生了216（27×8）个统计样本。其中，传输后术野视频在画质上与传输前毫无差异或基本没有差异的样本占比为65.74%（142/216），反映出现轻微差异但对观看没有影响的样本占比为23.61%（51/216），反映画质差异对观看产生了轻微的影响、明显影响的样本占比分别为6.02%（13/216）和4.63%（10/216）；反映传输后的术野视频在舒适度上与传输前毫无差异或基本没有差异的样本占比为77.78%（168/216），反映视频传输前后舒适度有轻微差异但不影响观看的占比为18.52%（40/216），仅有3.70%（8/216）的样本表明传输后视频舒适度明显影响了观看效果。此外，96.30%（26/27）的医生认为在非专用5G组网环境下，远程传输后的4K/3D视频足以支撑显微外科远程手术指导。

3.2.3 4K/3D视频传输质量测试

在本次显微远程手术直播过程中，成都手术室本地屏前播放码率为62.9 Mbps，经编码压缩传输至北京远程后的视频码率为20.4 Mbps。本研究采用反映图像传输信息损失的最常用指标进行测算，具体包括峰值信噪比（Peak Signal to Noise Ratio，PSNR）和结构相似性（Structural Similarity Index Measure，SSIM）[4]。

PSNR可以从图像像素值差异上对传输前后的图像进行评估，其计算方法如公式（1）所示。

式中，max表示图像点颜色通道上的最大值，以8位YUV为例，max为255；MSE代表待评价图像与参考图像在图像颜色上的均值平方差。

SSIM分别从亮度、对比度和结构3个方面度量图像相似性，其计算方法如公式（2）所示。

式中，f和g分别表示需要进行相似度分析的两张图像，l(f,g)、c(f,g)、s(f,g)分别对应两张图像在亮度、对比度和结构上的比较结果。

本研究共测试了8段视频的PSNR和SSIM，见表2。

表2 视频传输后PSNR和SSIM对比

通常PSNR在8位YUV指标上的值在20～50 dB，PSNR在30 dB以下提示图像质量有明显差异，PSNR＞40 dB代表图像几乎无差异[5-6]。表2的测试数据显示，除Y通道均值为37.082 dB，其他通道PSNR的均值接近或超过40 dB。因此，传输前后的视频引起的视觉差异小。通常SSIM越接近1，2个图像的差异越小，表2中SSIM均值为0.959，可见，传输后的视频结构差异小。

4 讨论

本研究采用的国产4K/3D手术系统应用了先进成像算法和超高清3D成像技术，如基于自动术中关键区域识别和精准测光的术野曝光补偿算法、基于视差计算和统计的3D最佳融像算法以及基于硬件交织的低延时视频传输技术。该设备对各种型号手术显微镜具有良好的兼容性；在颜色还原处理上，支持BT.2020广色域色彩空间，对术中组织边界可实现清晰分辨。在显微外科领域，同类数字显微成像产品在眼科领域曾有报道，但尚存在画面分辨率低、画面延时长、可视化效果差（如眩晕）等问题[7-9]，本研究中的设备解决了上述问题。近2年来，4K/3D手术外视系统在神经外科及脊柱外科显微手术领域逐步被认可[10-15]。2022年，陈慧兴等[16]量化评测了机器人4K/3D手术可视化系统（Zeiss，KINEVO 900），认为KINEVO 900输出的4K/3D视频数字图像与以S7为代表的光学手术显微镜差别不大，可以满足泌尿男科显微手术的需求。2021年，意大利学者Colombo等[17]报道应用4K/3D外视系统进行颞骨解剖训练有助于学习者理解颞骨的复杂立体解剖。值得注意的是，在耳显微及侧颅底外科领域，应用4K/3D外视系统开展手术且术者摆脱显微镜目镜进行屏前操作的案例鲜见报道，本研究中术者实现了屏前手术操作。

对于病情危重或需行高难度手术患者，基层医院因显微外科手术水平及条件的限制，需要专家协助制订手术方案或进行现场手术指导。在5G网络下，专家可通过虚拟现实和增强现实等技术，远程全方位评估患者病灶，并能实时指导手术方式规划和进行手术操作指导。2019年3月和7月，位于北京的解放军总医院神经外科及骨科团队为距离3000 km外的解放军总医院海南医院的患者，进行了世界首例基于5G的帕金森病患者脑起搏器置入及Mako机器人远程操控全髋关节置换术。2019年9月，解放军总医院刘荣团队完成了全球首例多点协同5G远程多学科机器人胃肠道及肝脏切除手术[18]。2019年4月，吉林首例“5G+医疗”远程手术指导及远程手术教学成功实施，远程指导1例门静脉高压症患者的“脾切除+贲门周围血管离断术”，实现了高清画面、音质无延迟传输[19]。因对手术画面传输及手术机器人的高要求，在显微外科领域实施远程手术指导及远程手术尚未见报道。本研究借助4K/3D手术系统，在5G通信技术支撑下，首次实现了侧颅底手术的远程指导，精细结构，如侧颅底的神经、血管及中内耳显微结构显示逼真、流畅，达到了会诊专家与术者同一术野的要求。

需要指出的是，除了本研究中的组网方式，基于有线尤其是专网的远程手术组网方式同样也能达到远程手术的要求，有线搭建方式要求运营商提供专线服务，搭建成本高，但具有更低的延时。本研究的组网搭建方式基于5G网络，在边缘端设备的联网上具有较好灵活性，这种方式不需要提供专线网络服务，具有较好的扩展性。

我国国土面积大，地域医疗发展水平参差不齐，边远地区的基层医护人员缺少有质量的专业指导，新手术技术传播受限。利用5G等先进的通信技术开展远程手术指导、远程手术示教是远程医疗不可或缺的重要方面[20]，基于5G和显微手术术野的实时高清传输，连线高水平外科医师进行远程手术指导，对于患者救治及医生培养均具有实践意义。现阶段，在耳神经及侧颅底手术机器人尚未研发成功的形势下，这一模式为显微外科的远程协同手术提供了硬件条件，除了用于两地日常手术会诊，同样适用于灾难救援、战场救护等特殊场景。