人工智能在腹腔镜手术中的研究应用与展望

郑庆源，杨 瑞，王 磊，陈志远，刘修恒

(武汉大学人民医院泌尿外科，湖北 武汉，430060)

腹腔镜手术被越来越多地应用在各手术科室，如泌尿外科、普通外科、妇科等[1]。腹腔镜手术相较传统开放手术不仅具有显著的微创效果，而且具有感染风险小、术后康复快、住院时间短等优点[2]。由于计算机性能与硬件的提高，腹腔镜手术视频资料以一种数据形式灵活储存在服务器中，可供医生回顾查看与分享。随着大数据时代的来临，许多数据被用以发现、分析与解决问题[3]，丰富的腹腔镜视觉数据也不例外。而人工智能是最擅长通过数据分析解决问题的技术，因此可能推动临床上腹腔镜手术的发展。近年腹腔镜手术依靠人工智能技术取得了巨大的进步，本文现就人工智能技术在腹腔镜手术中的研究应用与进展作一综述。

1 人工智能的概述

人工智能是模拟人类大脑进行运算操作与处理的智能技术[4]。可通过使用高效的算法及从大量数据中学习到的特征训练所需模型参与到临床实践中。其超越人类水平的诊断、决策与计算能力，有助于减少诊断与治疗的错误，并促进个性化医疗[5]。

机器学习是人工智能的一个分支。经典的机器学习方法需要从大量数据中手动测量后获得一组生物标志物或特征，接着依赖这些标志物或特征训练出强大的分类器，因此这些分类器的性能依赖于所选取的标志物或特征[6]。这些标志物或特征往往是人工事先定义好的，想要取得更深层次的特征难度较大。

深度学习较机器学习最大的区别在于可应用较深的神经网络架构主动提取数据特征。这种具有深度的神经网络是端到端的训练模式，因其不是从手工提取的特征中进行学习再输出所识别的类别，而是从输入信号中直接学习。因此，神经网络不仅可充当分类器，还可充当特征提取器[7]。

随着深度学习的兴起，视觉领域近年也得到了迅速发展。基于卷积神经网络(convolutional neural networks，CNN)的图像识别技术与传统的图像识别技术相比具有明显优势[8]。CNN是一种比较适合医学成像数据的深度学习架构，其架构中不同层之间的连接，类似于哺乳动物视觉皮层的组织。典型的CNN架构包括卷积层、池化层、全连接层，被证实可成功提取特征并进行对应的神经网络训练[9]。

目前人工智能已在多个医学领域展示了它的能力，包括分类、分割及检测任务。现就人工智能在腹腔镜手术中现阶段的研究与应用展开叙述。

2 人工智能在腹腔镜手术中的研究应用

2.1 手术器械的分割与检测 手术器械的分割与检测追踪是计算机辅助手术系统的重要组成部分。由于受到腹腔内特殊的背景影响，如高光反射、模糊、手术器械的运动伪影等，这是一项较为困难的挑战。而许多学者借助CNN成功解决了该问题，这也是目前研究最为广泛的一个方向。

Yu等[10]提出了一种基于U-Net体系结构的外科器械分割模型，其性能优于经典的U-Net模型，交并比高达0.8645。Shvets等[11]利用四种分割模型进行手术器械的分割，分别为U-Net、TernausNet-11、TernausNet-16与LinkNet-34模型。其中TernausNet-16以0.8630的交并比、0.9001的Dice系数获得最佳性能。Hasan等[12]提出的U-NetPlus体系结构用于腹腔镜图像中分割手术器械，结果显示，其体系较最先进的TernausNet框架更好。

YOLOv3检测模型是目前性能较好的目标对象检测算法之一，名称意为“You only look once”(你只需看一次)。Yamazaki等[13]基于YOLOv3检测模型，从52个腹腔镜胃切除术视频中提取了10 716张图像用于模型训练，成功开发并验证了一种新的自动化系统，用于检测腹腔镜胃切除术中的手术器械。

2.2 手术阶段识别 识别腹腔镜手术过程中不同的阶段是重要的研究课题，具有各种作用，如用于技能评估、教学场景的自动选择、实时工作流程的识别，也可向手术室外的临床工作人员提供有关手术进度的信息。但目前对手术阶段识别属于手动执行的操作，容易出现错误与延误。

Hashimoto等[14]分析了88例腹腔镜袖状胃切除的手术视频，视频被分为七个步骤：(1)端口放置；(2)肝脏牵引；(3)肝活检；(4)胃结肠韧带解剖；(5)胃吻合；(6)装袋标本；(7)钉线的最终检查。在识别测试集中操作步骤的准确度为82%，最大值为85.6%。这表明腹腔镜手术视频可用作术中临床决策支持、风险预测或结果研究的定量数据源。

Kitaguchi等[15]研发了一种基于腹腔镜乙状结肠切除手术视频的自动手术阶段识别的深度学习模型。他们使用的数据集包含71个腹腔镜乙状结肠切除术案例，均被手动分为11个手术阶段(阶段0～10)。手术阶段自动识别准确率为91.9%，其中体外动作、冲洗手术动作自动识别准确率分别为89.4%与82.5%。他们的结果证明该系统可以较高的精度进行自动手术阶段与目标手术动作的识别。

此外，Twinanda等[16]还提出了一种称为EndoNet的新型CNN架构，在腹腔镜胆囊切除术的数据集中，成功将其应用于手术阶段的检测。

2.3 手术操作的分类 手术操作是外科手术进行的一般活动，涉及一个或多个器械。在外科手术完成后，利用计算机辅助对外科手术操作进行术后分析可给术者带来一定优势。外科手术操作在手术程序中是最关键的组成部分，比如在寻找特定的手术阶段时，它们可被视为主要目标。因此利用CNN对手术操作的分类可辅助术者进行手术分析。

Munzer等[17]在16个手术操作的类别(建立腹部通路、注射、切割、钝性分离、烧灼组织、引流灌洗、凝固、抽吸、针定位、针穿刺、打结、固定线结、剪线、悬吊、内窥镜取物袋置入及取出)中，应用静态与动态内容描述符进行评估与识别。前者只考虑单个图像，而后者考虑场景中的运动。结果表明，静态描述符获得了最高的整体性能，但动态描述符对于特定类别的手术操作具有更大的区别性。

Leibetseder等[18]基于8个手术操作(引流灌洗、缝合、冷切割、高频切割、钝性分离、子宫悬吊、凝固及注射)进行神经网络训练识别，证明这些类别本身具有明显的特征。其中缝合操作似乎是截至目前最容易预测的，精度高达0.968。

Petscharnig等[19]基于CNN研究了妇科手术视频镜头的单帧分类模型。他们从头开始训练两种不同的CNN架构AlexNet与GoogLeNet，用于手术动作、解剖结构分类。他们使用GoogLeNet，分别实现了0.782、0.617的召回率；使用AlexNet，分别实现了0.469、0.615的召回率。此外他们还从AlexNet中提取高级特征，并将其用于训练SVM分类器，对解剖结构、手术动作进行分类的召回率为0.697与0.515。

2.4 手术解剖关系的分类与分割 术中自动定位与突出显示关键的解剖结构可防止术中损伤，提高手术安全性。外科医生借助该手段可了解关键解剖结构的确切位置，并在术中更好地处理这些结构。

Zadeh等[20]使用了Mask R-CNN的深度学习方法进行研究。他们对461张腹腔镜图像手动标注了子宫、卵巢与手术器械三种类别。随后将数据集拆分为361张图像以训练Mask R-CNN模型，并使用100张图像评估其性能。结果显示子宫、卵巢与手术器械的识别准确率分别为84.5%、29.6%与54.5%。虽然训练数据量有限，但他们证明了在妇科中应用基于深度学习的语义分割的初步结果是非常有潜力的。

如2.3所述，Leibetseder等[18]对各种解剖结构(结肠、肝脏、卵巢、输卵管、子宫)进行了分割。其中最容易分类的器官是肝脏，准确率为99%。Petscharnig等[19]利用AlexNet、GoogLeNet对解剖结构进行了分类，召回率分别为0.615与0.617。

Tokuyasu等[21]利用76个腹腔镜胆囊切除术视频中获得的约2 000张胆囊三角区域图像，使用YOLOv3检测模型进行了定量与主观评估。每个解剖结构的平均精度值如下：胆总管为0.320，胆囊管为0.074，左内侧肝段下缘为0.314，Rouviere沟为0.101。结果证明，他们的研究虽然性能不佳，但成功帮助手术团队更容易识别这四个解剖位置。这可能有助于降低胆管损伤率，从而提高腹腔镜胆囊切除术的安全性。

2.5 手术时间的预测 在如今医疗资源紧张的大环境下，为确保手术顺利进行，必须精确分配手术室的时间及手术人员的时间。因此手术室的使用计划不能一成不变，较术前估计时间更长的手术可能导致后续手术被推迟甚至取消，从而给患者、手术团队带来不便。外科手术的过程通常是不可预测的，因此很难事先估计腹腔镜手术的持续时间。这种不确定性使得安排外科手术成为一项艰巨的任务。为解决这一问题，CNN基于其强大的能力，现已被用于直接从腹腔镜视频数据中预测手术时间。

Bodenstedt等[22]对80段各种类型的腹腔镜视频进行了评估，连续实时预测手术时间的误差为36.7 min，半场误差约为28 min。

Twinanda等[23]提出了一种称为RSDNet的深度学习模型，可通过仅使用腹腔镜视频中的视觉信息自动估计剩余手术时间。关于胆囊切除术所预测的剩余时间误差为15.6 min，该性能优于Bodenstedt等的研究。

2.6 纱布检测 术中遗留纱布虽然是极少见的情况，但一旦发现，无论对患者还是医生、医院都会带来极其严重的后果。目前手术室通过标准化纱布计数来进行管理，但这种流程始终属于人为操作，仍然可能存在人为错误。此外，纱布由于浸润血液后难以与组织区分，导致有意外滞留的情况发生。

3 目前阶段存在的局限性

3.1 可用数据集严重匮乏 一个可靠的预测结论是需要基于足够的数据，而数据也是人工智能进行模拟学习最核心、最关键的部分。然而由于医学数据的隐私问题，许多数据集不能公开使用。这也导致可用的腹腔镜手术的数据集严重匮乏，进而使得训练模型的精度、泛化能力难以得到提升。目前学者们为解决数据集不足的问题，提出了许多解决方法，如数据增强[25]等策略。标注好的数据集更少，因为对图像进行人工标注费时费力。Fuentes-Hurtado等[26]介绍了一种快速标注手术数据集的方法，可用于进行语义分割，结果接近于完全监督方法，而创建标注的工作量显著减少。通过这些策略，可缓解训练高精度模型所需的数据要求。

3.2 伦理要求 随着社会的发展，医学伦理道德问题也越来越被重视。伦理规则和道德价值观因地区而异，不同的民族、国家会持有不同的规范[27]。有些人工智能是经过编程的，人工智能系统的动作完全由程序员的选择决定。而另一些人工智能，尤其机器学习或深度学习，允许系统本身进行调整，以便提高正确应对不确定情况的能力。虽然深度学习算法具有非常强大的学习能力，但我们通常无法完全理解其得出正确答案的方法。因此，目前大多数基于人工智能的研究都需要得到相应的伦理委员会的批准，在充分尊重、保护患者，得到其知情同意的前提下，方可开展系列研究[28]。

3.3 模型的优化 目前有许多深度学习模型，包括分类模型、分割模型、检测模型已被公开证实具有有效性、可靠性。但对于特殊的医学数据，如CT、MRI或腹腔镜视频资料等，与自然图像有很大区别，进行对应训练所得到的结果也通常不理想。因此，要想直接使用这些模型应用于医学数据中并不可靠。往往需要对这些现有的模型进行改善与优化，才能达到我们期望的水平。目前来看，这涉及到跨学科专业的研究，无疑也是对临床医生的一项巨大挑战。

3.4 模型的可解释性 虽然人工智能中简单的机器学习模型(如决策树或线性回归等)人们可完全理解，但随着技术的进步，理解变得越来越困难，现在许多深度学习模型已无法理解，这种情况会导致意想不到的结果与不确定的行为，即所谓的黑盒结果。这个问题也适于其他医学问题，其中很多具有确切作用的机制往往知之甚少(如药物治疗)。但如果确切的作用方式不清楚，那么人工智能是否可以用于影响深远的决策问题仍然未解决。目前研究者们也正在努力研发可解释的人工智能，以提高算法的透明度。可解释人工智能的目标是产生可更容易地解释其提出的模型，如通过显示其可能依赖的特征来生成预测，最终目标是提高透明度，从而增加人类对其预测的信任与理解。如决策树就有很大的透明度，因为可审查与评估每个决策节点[29]。

4 未来展望

人工智能技术已被应用于腹腔镜手术中，尤其在手术器械与解剖结构的分类分割中，应用较为广泛。可以看到，很多方向应用人工智能技术后得到的结果虽然能起到一定效果，但模型精度还需要进一步提高。借助人工智能技术，丰富的腹腔镜手术数据资料得以被用于手术教学、改善医疗环境、优化医疗资源等。尽管人工智能在腹腔镜手术中的应用存在着巨大潜力，但我们也需要承认其局限性。数据缺乏、伦理问题及模型的优化、可解释性已是不得不加以重视对待的问题。各种形式的人工智能技术已展现出超越人类的表现，但缺乏更高层次的背景知识，无法像人脑那样建立关联[30]。因此未来人工智能的发展离不开医生，医生的工作也会与人工智能紧密相连。

综上所述，人工智能技术在腹腔镜手术中的研究与应用具有非常可观的前景，但以目前的研究来看，还有很多问题需要解决。

申明：本文作者均对署名无争议。