深度学习技术在医学图像分割中的应用
2022-05-30邱越李秋秋王瑛何宇腾
邱越 李秋秋 王瑛 何宇腾
摘要:随着人工智能的发展,深度学习技术在医学图像分割的应用越来越多。文章综述了深度学习在医学图像分割中常用的框架和应用,促进智能成像和深度学习在疾病早期诊断领域的应用。
关键词:深度学习;医学图像;图像分割
中图分类号:TP393 文献标识码:A
文章编号:1009-3044(2022)10-0074-02
1 背景
在过去的几十年里,医学成像技术,如计算机断层扫描 (CT)、超声、X 射线、磁共振成像(MRI)、正电子发射断层扫描 (PET)和乳房 X 线照相术已被用于疾病的早期检测、诊断和治疗[1]。在临床上,主要由人类专家如放射科医生等进行医学图像判读。然而,鉴于医学图像的广泛差异和人类专家的潜在疲劳,急需计算机辅助医学图像的诊断。近年来,随着人工智能的发展,开发计算机辅助方法帮助放射科医生进行图像分析和诊断,成为医学成像研究和开发的重要方向。
医学图像分割,从背景医学图像(如 CT 或 MRI 图像) 中识别器官或病变的像素,即提供有关这些器官的形状和体积的关键信息,是医学图像分析中最具挑战性的任务之一。 许多研究人员通过应用现有技术提出了各种自动分割系统[2]。
2 深度学习
深度学习是计算机人工智能的子领域,可以视为对传统人工神经网络的改进,由多个层构建。深度神经网络可以发现分级特征表示,可以从较低级别的特征中导出更高级别的特征,尤其是卷积网络,已迅速成为医学图像分割的首选方法。
2.1 医学图像常用的分割框架
深度学习已经发展成为热门的研究领域,有多种算法。这些算法几乎涵盖了图像处理的所有方面,本文主要集中在医学图像分割方面。图像分割可以看作是将图像的每个像素分类为一个实例的过程,其中每个实例对应一个类[3]。目前流行的语义图像分割架构包括 CNN、FCN、SegNet、U-Net、PSPNet 和 Mask R-CNN 等。
2.2.1 卷积神经网络
卷积神经网络(Convolutional Neural Networks,CNN) 是一种包含卷积计算,且具有深度结构的前馈神经网络,是深度学习最重要的一种算法。它可以用于目标检测和图像分类[4]。其良好的图片处理能力源于其多卷积核和多层处理的特性,多卷积核使CNN能够充分提取图像特征,每个卷积核都对输入图像进行卷积处理,将原始图像转换为特征图像,不同卷积核生成的不同图像可以理解为该输入图像的不同通道。而多层处理是指将图片不断卷积和池化,最后在全连接层进行分类。在图像处理中,一层卷积往往只学到了局部的特征,层数越多,学到的特征越全局化,多层处理使得低级的特征组合形成更高级的特征表示,从而达到良好的分类效果,如图1所示。
2.2.2 全卷积网络
全卷积网络(Fully Convolutional Network,FCNs)[5]缺乏完全连接的层,只包含一个卷积层的层次结构。与CNNs不同,CNNs用于在本地聚合信息以进行全局预测,FCNs可以用于从每个像素学习表示,因此,有可能能够检测到在整个图像中可能稀疏发生的元素或特征。这个属性使FCNs能够做出像素级的预测,与CNNs相比,FCNs更具有优势:它能从整个图像中进行重复特征学习,图2为全卷积网络模型。
2.2.3 Unet
Unet[6](图3) 最初由 Ronneberger 等人提出, 该模型建立在 FCN 的优雅架构之上。除了将网络深度增加到 19 层之外,Unet 还受益于网络不同阶段之间跳过连接的卓越设计。所提出的结构由分析和综合两条路径组成。分析路径遵循CNN的结构。合成路径,通常称为扩展阶段,由一个上采样层和一个反卷积层组成。 Unet 最重要的特性是分析路径到扩展路径中等分辨率层间的快捷连接。这些连接为反卷积层提供了必要的高分辨率特征。
3 深度学习在医学图像分割上的应用
随着深度学习的发展,计算机视觉使用大量的深度学习对各种医学图像进行分割。Hosseini-Asl等人[7]在阿尔茨海默氏病的早期诊断中,提出了一种基于增强AlexNet的深度学习方法。 根据阿尔茨海默氏病的特点,研究了如何精确定位海马体。他们将海马体的分割与主流深度学习网络进行了比较,包括 FCN、Unet、SegNet、Unet-3D 和 Mask-RCNN。 Chen等人[8]应用深度神经网络分割左心房和心房瘢痕。作者采用了一个多视图CNN的递归注意模块融合互补视图的特征,以获得更好的分割精度。Zhang等人[9]建立了“肺癌早期计算机诊断系统”,对肺癌病理切片进行检测,可以检测出肺癌的几种主要类型。
4 结论
深度学习是医学图像分析的强大工具之一。它已成功应用于目标检测、分割和分类。在本文中,笔者首先综述了应用于医学图像分割最流行的网络框架和应用。深度学习不仅可以找到病灶区域,还可以对病变区域进行分割。深度学习在体现自身优势的同时,也存在一定不足,深度学习在医学领域的发展依赖于医学大数据的积累,每个深度学习模型都需要海量数据进行训练。此外,深度学习可以量化人类无法检测到的图像信息,从而辅助临床决策,还可以将多个数据流聚集到功能強大的综合诊断系统中,系统涵盖射线照相图像、基因组学、病理学、电子健康记录等。总之,深度学习方法在医学领域中发挥的作用将越来越重要。
参考文献:
[1] Chan H P,Samala R K,Hadjiiski L M,et al.Deep learning in medical image analysis[J].Advances in Experimental Medicine and Biology,2020,1213:3-21.
[2] Hesamian M H,Jia W J,He X J,et al.Deep learning techniques for medical image segmentation:achievements and challenges[J].Journal of Digital Imaging,2019,32(4):582-596.
[3] Asgari Taghanaki S,Abhishek K,Cohen J P,et al.Deep semantic segmentation of natural and medical images:a review[J].Artificial Intelligence Review,2021,54(1):137-178.
[4] Litjens G,Kooi T,Bejnordi B E,et al.A survey on deep learning in medical image analysis[J].Medical Image Analysis,2017,42:60-88.
[5] Long J,Shelhamer E,Darrell T.Fully convolutional networks for semantic segmentation[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition.June 7-12,2015,Boston,MA,USA.IEEE,2015:3431-3440.
[6] Ronneberger O,Fischer P,Brox T.U-net:convolutional networks for biomedical image segmentation[M]//Lecture Notes in Computer Science.Cham:Springer International Publishing,2015:234-241.
[7] Hosseini-Asl E,Ghazal M,Mahmoud A,et al.Alzheimer's disease diagnostics by a 3D deeply supervised adaptable convolutional network[J].Frontiers in Bioscience (Landmark Edition),2018,23(3):584-596.
[8] Chen J, Yang G, Gao Z, Ni H, Firmin D, others Multiview two-task recursive attention model for left atrium and atrial scars segmentation. In: Frangi AF, Schnabel JA, Davatzikos C, Alberola-López C, Fichtinger G, editors. 21st International Conference on Medical Image Computing and Computer Assisted Intervention—MICCAI 2018, Vol. 11071. Granada: Springer; (2018). p. 455–63.
[9] He K M,Zhang X Y,Ren S Q,et al.Spatial pyramid pooling in deep convolutional networks for visual recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37(9):1904-1916.
【通聯编辑:唐一东】
收稿日期:2021-12-15
作者简介:邱越(2000—) ,女,云南昆明人,本科在读,主要研究方向为医工交叉;李秋秋(2000—) ,女,云南易门县人,本科在读,主要研究方向为医工交叉;王瑛(2000—) ,女,宁夏固原人,本科在读,主要研究方向为医工交叉;何宇腾(2000—) ,男,云南玉溪人,本科在读,主要研究方向为医工交叉。