APP下载

国内外图像分割技术在医疗健康领域应用发展态势分析

2023-09-14刘良斌杜宝林卢琰王建全

现代信息科技 2023年13期

刘良斌 杜宝林 卢琰 王建全

摘  要:文章以近二十年医学图像分割领域文献为研究对象,基于CiteSpace软件对该项技术的研究现状、知识群组、研究主题及其演化路径进行系统研究;并在公开数据集上对同类医学图像分割方法进行对比实验与分析。结果表明,医学图像分割技术研究核心主要表现在计算机科学、生物医学与人工智能等学科,并正在从以区域生长、模糊聚类技术为中心的模式向以深度学习等新兴人工智能技术为中心的模式转变,为产业发展战略决策提供参考依据。

关键词:医学图像分割;CiteSpace;知识群组;演化路径;医疗健康产业

中图分类号:TP391        文献标识码:A    文章編号:2096-4706(2023)13-0105-07

Analysis of the Application and Development Trend of Image Segmentation Technology in the Medical Health Field at Home and Abroad

LIU Liangbin1, DU Baolin1,2, LU Yan1,2, WANG Jianquan3

(1.Guangdong Science & Technology Infrastructure Center, Guangzhou  510033, China; 2.Guangdong Institute of Computing Technology Application, Guangzhou  510033, China; 3.The First People's Hospital of Kashi Prefecture, Kashi  844099, China)

Abstract: In this paper, the literature in the field of medical image segmentation in the past 20 years is taken as the research object. Based on CiteSpace software, the research status, knowledge group, research topic and evolution path of this technology are systematically studied. Comparative experiment and analysis of similar medical image segmentation methods are carried out on open dataset. The results indicate that the research core of medical image segmentation technology is mainly manifested in disciplines such as computer science, biomedicine, and artificial intelligence, and is transitioning from a mode centered on regional growth and fuzzy clustering technology to a mode centered on emerging artificial intelligence technologies such as deep learning, providing reference basis for industrial development strategic decision-making.

Keywords: medical image segmentation; CiteSpace; knowledge group; evolution path; medical health industry

0  引  言

随着国际创新环境不断优化以及科研投入不断加大,人工智能(Artificial Intelligence, AI)技术正越来越多地集成到医疗健康服务领域。人工智能技术与医疗健康产业的创新融合模式能够满足行业的价值链多方面需求点,使得精确化医疗卫生服务更加丰富[1]。其中,智能图像分割作为图像处理领域的一个重要分支,能够通过人工智能技术在医学图像中高质量划定病变器官或组织的边界,提供相关病变组织的形状以及体积等关键定量信息。为此,众多基于图像分析的医疗临床应用产业的发展受益于医学图像解剖结构领域智能语义分割技术的迭代更新。综上,智能语义分割技术已然成为推动医疗健康产业发展的重要力量,而创新是智能语义分割技术发展的主要驱动力。因此,探究医学图像分割等人工智能技术在医疗健康领域应用的研究现状、创新模式及前沿热点,有助于规划我国“人工智能+医疗健康”领域的科技计划,进而为政策制定提供情报依据。

在“人工智能+医疗健康”领域的研究中,学术界与产业界主要通过对研究文献数据进行数据挖掘,以进一步探究该领域研究的发展现状、创新路径及前沿热点,如,张俐等[2]通过对专利信息以及研究文献的词汇计量、引用关系以及标引统计进行数据挖掘分析,进而对全球“区块链+医疗”领域的研究现状以及发展态势进行研究,揭示了该领域的研究前沿与研究热点。付姣慧等[3]从文献计量学的角度探索了近十年深度学习应用于医学影像领域的科研热点,统计分析了该技术领域的发展特点与未来趋势。陈欣然等[4]通过整体与分领域层面技术,系统分析了人工智能技术在医疗卫生领域的应用发展态势,研究结果为行业决策者调整与规划医疗卫生健康服务科技发展战略及政策提供了情报参考,有利于提高资源配置效率。

基于此,为了探索医学图像分割领域的研究现状与发展态势,本研究以CNKI中国学术期刊网络出版总库中1997至2022年间862篇以及Web of Science数据库中3 563篇医学图像分割研究文献为研究对象,基于CiteSpace软件采用文献关键词聚类网络图谱分析方法对医学图像分割技术的研究现状与知识群组进行研究,并且通过将文献计量与系统综述相结合的方式分析其研究热点主题与演化路径。最后,在公开数据集上对同类医学图像分割方法进行定量的性能对比实验与分析,为我国智能医疗健康产业发展提供参考。

1  数据来源及研究方法

1.1  数据来源

以医学图像分割相关文献为研究对象,其文獻数据来源分为两个部分:中文文献和外文文献。其中,中文文献全部选自CNKI中国学术期刊网络出版总库,检索关键词为“医学图像分割”,检索起始时间为1997年1月1日,检索结束时间为2022年12月31日,来源类别选择核心期刊、EI、SCI以及博士学位论文,共检索到文献862篇。外文文献全部选自Web of Science数据库核心合集,检索关键词为“Biomedical image segmentation”“Medical image segmentation”“Convolutional neural network”,共获得有效文献3 563篇。

1.2  研究方法

采用计量学方法对医学图像分割研究文献进行分析,进而通过绘制科学知识图谱研究相关领域的技术热点、知识网络以及发展态势;其中知识图谱被定义为分析知识领域的过程、方法和工具[5],能够发现大数据蕴含的特征或意义,并以透明与全面的格式将其可视化,它是知识管理中最重要的步骤之一。因此,本研究使用信息可视化分析软件CiteSpace对引文及被引文献进行科学计量分析和数据挖掘,探索医疗图像分割研究领域的知识基础,进而对医学图像分割研究的知识群组、演化路径等进行研究,为智能医疗健康产业发展战略决策提供参考依据。

2  研究文献的特征分析

2.1  知识群组识别

随着科学学科纵深、交叉、快速的发展,新兴的研究课题以及研究领域不断涌现,然而,一个新兴学科的发展需要建立在相关学科知识积累的基础上,而研究论文在一定程度上代表了某一学科前沿,其文献关键词反映了该文献的研究重点及知识基础。因此,本研究基于医学图像分割学科或其他相关学科研究文献,在CiteSpace软件的支持下,通过聚集医学图像分割研究论文中标注的关键词,确定该领域的知识群组。医学图像分割研究文献关键词聚类图谱如图1所示,关键词共现频次及年份统计分析(前20位)如表1所示。

由如图1所示的文献关键词聚类图谱和表1可知,在医学影像语义分割研究中,“图像分割”关键词出现的频次最高,其次是“医学图像”“深度学习”“水平集”“图像处理”以及“三维重建”等,这与关键词共现频次的统计呈现一致。另一方面,由如图1所示的文献关键词聚类图谱可知,研究网络集中性较强,且节点文献之间表现出较强的关联性;其中,部分关键的节点文献关键词存在于相邻知识群组的交界处,并且在相邻群组间起到串联的功效,具有联系紧密且主题交叉融合等特征,能够为后续研究提供基础理论的支持以及主题方向的指引。

基于上述的描述性统计分析,可知近几年该领域取得大量优质的研究成果,相关研究文献的关键词聚类特征展示出清晰的知识群组区间划分以及相邻知识组群之间的强关联度,并且具有较为明显的学科交融性,以技术融合推进技术创新,进而对产业变革产生潜在影响。

2.2  关键聚类主题分析

根据如图1所示的文献关键词聚类图谱和如表1所示的关键词共现频次统计信息,本研究将医疗图像分割研究领域划分为:基于区域生长技术的图像分割方法、基于模糊聚类的图像分割方法和基于深度学习的图像分割方法三个知识群组。

2.2.1  基于区域生长的图像分割技术研究

传统的图像分割技术大多鲁棒性较好,常常作为图像分析的预处理流程提取目标图像的关键特征信息,传统图像分割方法主要有基于阀值、边缘、区域生长的分割方法等。其中,基于区域生长的图像分割方法根据图像像素的相似性特征对像素点进行分类以构成分割区域。被引频次前五的基于区域生长的医学图像分割研究论文统计分析如表2所示。然而,由于基于区域生长的图像分割方法对噪声敏感,在提取焦点区域上容易存在区域空缺等现象[6-10]。

2.2.2  基于模糊聚类的图像分割技术研究

随着医学图像分割任务需求的日益复杂化,基于聚类算法的分割技术也在不断地发展。其中,最具代表性的方法是Ahmed等[11]提出的模糊C-均值聚类算法(Fuzzy C-means clustering, FCM),该分割技术能够确定图像像素所属的区域,从而实现图像的自动分割。然而,传统的FCM算法使用单个像素的灰度信息作为特征空间,不包含空间上下文信息,并对噪声和强度不均匀性非常敏感[12-14],针对于此,研究人员通过使用收敛速度快的K-均值聚类技术获得聚类中心,使得FCM算法收敛的迭代次数降低,提高了图像分割任务的处理速度[15-17]。被引频次前五的基于模糊聚类的医学图像分割研究论文统计分析如表3所示。

为了对比基于模糊聚类的图像分割方法的性能,本文在COVID-CT-Dataset新冠感染数据集上对基于模糊C-均值的分割算法(如FCM模型、EnFCM模型)进行了性能对比实验。各模型的图像分割效果对比如图2所示。由图2(a)、2(b)和2(c)可知,相较于FCM算法,EnFCM算法在分割后的图像质量以及处理速度上有了一定的改善。综上,基于模糊聚类的图割方法各有利弊,在图像信息复杂、图像像素强度区分不明显等情况下,其图割性能较差;因此,在临床使用中,应当依据图割场景选择适当的图像分割模型。

2.2.3  基于深度学习的图像分割技术研究

传统的图像处理方法通常依赖图像像素的强度差异进行图像分割,对语义信息复杂化的医学图像分割任务来说具有不小的挑战性,而深度神经网络因其强大的特征提取和表示能力而受到广泛关注[18-22]。基于深度学习的医学图像分割研究论文统计分析如表4、表5所示。本节将重点探索四种基于深度学习的图像分割方法,分别为FCN网络、U-Net网络、DeepLab网络以及Segformer网络。

2.2.3.1  FCN网络

全卷积网络是第一个用于像素级分割的深度学习网络体系,以全监督学习方式兼容任意尺寸图像进行图像语义分割,主要由下采样和上采样两部分组成,并将最后一个全连接层替换为全卷积层,这一重大改进使网络具有像素级的密集预测能力,并在语义分割方面优于同时代的最先进技术。FCN启发了许多后续研究,Shelhamer等[28]将分类卷积神经网络改进为完全卷积网络框架,并使用微调技术将其学习表示转移到分割任务中以实现精确分割。然而,对于医学图像分割任务,FCN网络的一个弊端是需要用到大量的样本数据来训练模型,因此,相关基于卷积神经网络的图像分割任务目前仍十分具有挑战性。

2.2.3.2  U-Net网络

U-Net网络是医学图像分割领域最著名的体系结构之一,由Ronneberger等于2015年率先提出,截至目前该研究成果的总被引量达到了21 450次,得到业内学者的高度认可,U-Net网络模型结构如图3所示。其骨干网是一个完全卷积的网络,该网络的结构是完全对称的,由扩张路径和收缩路径组成。由此可见,U-Net模型修改并扩张了FCN网络,使其能夠在少量数据的训练下获得精确的分割结果。广泛的研究表明,U-Net网络仍具有一定的局限性。因此学者们针对不同的应用提出各种U-Net模型变体[25-29],如V-Net网络、H-DenseUnet网络、U-Net++网络以及MultiResUNet网络等。然而,该类算法存在高度依赖数据集属性和硬件条件的困境。

2.2.3.3  Deeplab网络

DeepLab网络模型由Chen等[30]于2018年提出,其在骨干网络中增加空洞卷积结构,以此缓解一系列卷积操作所导致的有效信息丢失等问题。因此,DeepLab网络以其良好的性能广泛用于图像分割领域,并取得了良好的成效。随着深度学习理论的不断深化,DeepLab系列模型在DeepLab网络的基础上逐渐被提出。

上文对各个时期的医学图像分割研究主题进行了系统综述,为了客观地比较基于深度学习的各个图像分割网络模型的性能,本文在肺部分割数据集上对同类的三种医学图像分割方法(如:U-Net网络和DeepLab V3网络)进行了定量的性能对比实验和分析。实验环境为Intel(R) Core(TM) i7-3537U-CPU,各网络模型在Python 3.8中实现,选择PyTorch作为深度学习框架。各模型的医学图像分割效果如图4所示。实验结果表明,U-Net网络和DeepLab V3网络在医学图像分割任务中能够取得良好的分割效果,相较于DeepLab V3网络,U-Net网络能够较为准确地识别目标区域。

综上所述,在图像自动分割任务中,深度学习由于其优异的特征提取能力而在医学图像分割领域发挥重大的作用。在很多时候,基于深度学习的图像分割方法的良好性能很大程度上依赖于大量带有高质量标签的图像集。遗憾的是,大量收集可靠的注释不但成本高而且十分耗时,在大多数情况下,只存在小部分的标记数据,这对监督学习网络的分割精度提出了挑战。

2.3  研究主题的演化路径与发展趋势分析

2.3.1  研究主题的演化路径识别

基于上述文献关键词聚类网络的关键文献信息以及分析,对图像分割的主干技术及其相关基础理论的研究主题演化路径进行研究。本研究借用关键词节点间的连线颜色,分析了医学图像分割研究领域中的三条重要主题演化路径:“医学图像分割—水平集—稀疏表示—深度学习”研究路径、“图像分割—模糊聚类—核函数—多尺度”研究路径以及“图像分割—深度学习—语义分割—聚类”研究路径。医学图像分割研究的研究主题演化路径如图5所示,具体分析如下:

1)“医学图像分割—水平集—稀疏表示—深度学习”研究路径。该路径是医学图像分割研究中经典技术与新兴技术相融合的特色分支,该路径主要描述医学图像分割研究的各个阶段,研究主题从医学图像分割技术的基础理论逐渐向外扩展。与此同时,结合文献关键词聚类网络可以看出,医学图像分割研究初期集中于“水平集”等传统图像分割技术,随着理论研究的不断深入,研究主题逐渐细化为“稀疏表示”等分支,并结合深度学习等新兴的人工智能技术,进一步促进医学图像分割技术的发展。

2)“图像分割—模糊聚类—核函数—多尺度”研究路径。该路径主要展示了医学图像分割技术的研究演化过程,研究主题从图像分割技术逐渐细化到特色的模糊聚类技术,并在多尺度图像分割应用中进行实证研究。在此研究的基础上,研究主题引入多尺度分割的理念,促使医学图像分割研究进入新的发展领域。

3)“图像分割—深度学习—语义分割—聚类”研究路径。该路径是医学图像分割研究领域的新兴特色分支,代表着医学图像分割研究在基于深度学习的计算机视觉领域的细化及应用。该路径是深度学习等新兴技术与经典分割任务的结合与碰撞,展现出强大的生命力。尤其是随着计算机技术的改进,机器学习和深度学习方法成为图像分割任务实现的主要选择,并且有越来越多的研究学者开始了对该技术路径的探索。

因此,在图像分割领域的各分支方向上均存在大量的学科交叉与融合,为解决某种问题,需采用多项技术结合研究并逐渐提出技术交叉的创新方法。随着技术的不断发展,“水平集”“遗传算法”“区域生长”等概念的研究热度逐渐减弱,如实反映出医学图像分割领域的关键节点及发展脉络。

2.3.2  发展趋势分析

通过对国内外医学图像分割技术演化路径趋势的分析研究,能够总结出国内外医学图像分割技术的发展趋势:

1)零样本语义分割技术。目前,医学图像语义分割网络主要是监督学习模式,该类模型表现出的优异性能常常依赖于大量带标注的样本数据进行模型训练。然而,在实际应用过程中,像素级标注数据的获取往往需要高昂的人力资源成本,导致医学图像分割领域普遍存在小样本及数据孤岛等问题,限制了医学图像语义分割技术的拓展性。其中,零样本学习通过知识的迁移,使得深度学习网络模型可以对从未见过的数据类别进行识别,为解决小样本问题开辟一个新的方向,并在图像分类、类别定义等领域取得了显著成效,是基于深度学习的图像处理技术的重要发展趋势之一。

2)迁移学习与弱监督学习技术。深度卷积神经网络在医学图像分割领域成效显著,并逐渐从监督学习向无监督学习扩展。然而,在实际应用中,往往会出现训练数据过期的情况,亟待重新标定训练数据。这类方法不仅需要高昂的人力资源成本,而且还会造成前期已标注训练数据的极大浪费。而迁移学习是一种能够将源域任务中学习到的知识应用于目标域任务的学习方法,能够有效利用已标注好的样本数据辅助目标任务构建模型,其效果得到了学术界与产业界的认可,引起了广泛的关注。

3)多模态图像语义分割技术。由于医学图像成像的局限性,不同模态的医学图像数据仅能反映病人病理部位特定的信息。因此,对于同一研究主题,综合利用多种不同模态医学图像数据,能够从多种不同特征方面捕捉更加全面的病理信息和特征表现。由于多模态医学图像的表型具有高度异质的特点,其医学图像分割的研究具有很大的挑战性。为了提升多模态医学图像中的信息利用率,通过融合多模态互补醫学图像特征数据的多模态医学图像分割方法得到了学界与产业界的高度重视。

3  结  论

利用信息可视化分析软件CiteSpace对近25年(1997—2022年)国内外图像分割技术在医疗健康领域的研究文献进行了文献计量学分析和知识网络可视化,通过绘制医学图像分割研究文献关键词聚类网络图谱,分析该领域网络聚集的五个知识群组,进而识别出知识群组的知识演进路径。最后,综述了基于区域、聚类、深度学习的图像分割算法及其应用,并在新冠疫情数据集与肺部分割数据集上对同类的医学图像分割方法进行了对比实验与分析,并得出以下结论:

1)从知识群组识别分析来看,医学图像分割作为当前研究的热点,近几年来取得大量优质的研究成果,研究热度越来越高,其研究核心主要表现在计算机科学、生物医学、人工智能科学以及机器人工程等学科,有较为明显的学科交融性,以技术融合推进技术创新,进而对产业变革产生潜在影响。

2)从研究主题分析来看,基于深度学习技术对医学图像分割领域研究的原理以及方法较为丰富,并且随着技术的不断推进,未来多学科交叉定量研究的趋势将逐渐增强,进而促进智能医疗健康产业的发展。

3)从研究主题的演化路径与发展趋势来看,图像分割技术正在从以区域、模糊聚类等传统图割技术为中心的模式向以深度学习等新兴人工智能技术为中心的模式转变,并具有主题交叉、联系紧密等特点。其中,深度学习技术研究成为智能医疗健康领域高度系统化的研究热点。

综上所述,以深度学习为关键技术的模式是未来医学图像分割发展的必然趋势,研究与探索医学图像分割领域的研究现状与发展态势,对推动国内图像分割技术在医疗健康领域应用研究与医疗临床应用产业发展具有重要的情报参考价值。

参考文献:

[1] 王艺培,闫雯,张益肇,等.面向精准医疗的人工智能在病理图像中的应用 [J].现代信息科技,2018,2(5):170-172.

[2] 张俐,马敏象,杜军,等.基于文献计量与标引统计的医疗领域区块链技术应用发展趋势研究 [J].情报学报,2021,40(9):962-973.

[3] 付姣慧,常晓丹,沙俏丽,等.2011年—2020年深度学习用于医学影像学研究文献分析 [J].中国介入影像与治疗学,2022,19(1):53-57.

[4] 陈欣然,李国正,崔一迪,等.基于专利计量的全球人工智能技术在医疗健康领域应用发展态势分析 [J].科技管理研究,2021,41(3):139-147.

[5] FANG Y Q. Visualizing the structure and the evolving of digital medicine: a scientometrics review [J].Scientometrics,2015,105(1):5-21.

[6] 陆剑锋,林海,潘志庚.自适应区域生长算法在医学图像分割中的应用 [J].计算机辅助设计与图形学学报,2005(10):28-33.

[7] 朱付平,田捷,林瑶,等.基于Level_Set方法的医学图像分割 [J].软件学报,2002,13(9):1866-1872.

[8] 王金涛,刘文耀,路烁.流域分割算法在细胞图像分割中的应用 [J].西南交通大学学报,2002,37(3):290-294.

[9] 罗希平,田捷.一种改进的交互式医学图像序列分割方法 [J].电子学报,2003(1):29-32.

[10] 程明,黄晓阳,黄绍辉,等.定向区域生长算法及其在血管分割中的应用 [J].中国图象图形学报,2011,16(1):44-49.

[11] AHMED M N,YAMANY S M,MOHAMED N,et al. A modified fuzzy C-means algorithm for bias field estimation and segmentation of MRI data [J].IEEE Transactions on Medical Imaging,2002,21(3):193-199.

[12] CHEN Z L,ZWIGGELAAR R. A modified fuzzy C-means algorithm for breast tissue density segmentation in mammograms [C]//Proceedings of the 10th IEEE International Conference on Information Technology and Applications in Biomedicine. Corfu:IEEE,2010:1-4.

[13] 田捷,韩博闻,王岩,等.模糊C-均值聚类法在医学图像分析中的应用 [J].软件学报,2001(11):1623-1629.

[14] 吴林,郭大勇,施克仁,等.改进的FCM在人脑MR图像分割中的应用 [J].清华大学学报:自然科学版,2004(2):157-159.

[15] 吴永芳,杨鑫,徐敏,等.基于K均值聚类的图割医学图像分割算法 [J].计算机工程,2011,37(5):232-234.

[16] 李宣平,王雪.模糊聚类协作区域主动轮廓模型医学图像分割 [J].仪器仪表学报,2013,34(4):860-865.

[17] 朱玲利,李吉桂,鲍苏苏.基于遗传算法的聚类分析在CT图像分割中的应用 [J].计算机科学,2006(10):186-188.

[18] 吴晨玥,易本顺,章云港,等.基于改进卷积神经网络的视网膜血管图像分割 [J].光学学报,2018,38(11):133-139.

[19] 郭树旭,马树志,李晶,等.基于全卷积神经网络的肝脏CT影像分割研究 [J].计算机工程与应用,2017,53(18):126-131.

[20] 詹曙,梁植程,谢栋栋.前列腺磁共振图像分割的反卷积神经网络方法 [J].中国图象图形学报,2017,22(4):516-522.

[21] 王海鸥,刘慧,郭强,等.面向医学图像分割的超像素U-Net网络设计 [J].计算机辅助设计与图形学学报,2019,31(6):1007-1017.

[22] 于宁波,刘嘉男,高丽,等.基于深度学习的膝关节MR图像自动分割方法 [J].仪器仪表学报,2020,41(6):140-149.

[23] RONNEBERGER O,FISCHER P,BROX T. U-Net: Convolutional networks for biomedical image segmentation [J].Springer Cham,2015,10(1):234-241.

[24] SMITH S M. Fast robust automated brain extraction [J].Human Brain Mapping,2002,17(3):143-155.

[25] MILLETAR F,NAVAB N,AHMADI S A. V-Net fully convolutional neural networks for volumetric medical image segmentation [C]//2016 Fourth International Conference on 3D Vision (3DV).Stanford:IEEE,2016:565?571.

[26] TUSTISON N J,AVANTS B B,COOK P A,et al. N4ITK: improved N3 bias correction [J].IEEE Transactions on Medical Imaging,2010,29(6):1310-1320.

[27] KONSTANTINOS K,CHRISTIAN L,VIRGINIA F J N,et al. Efficient multi-scale 3D CNN with fully connected CRF for accurate brain lesion segmentation [J].Medical Image Analysis,2017,36:61-78.

[28] SHELHAMER E,LONG J,DARRELL T. Fully convolutional networks for semantic segmentation [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39(4):640-651.

[29] ISENSEE F,JAEGER P F,KOHL S A,et al. nnU-Net:a self-configuring method for deep learning-based biomedical image segmentation [J].Nature Methods,2021,18(1):203-211.

[30] CHEN L C,PAPANDREOU G,KOKKINOS I,et al. Deeplab:Semantic image segmentation with deep convolutional nets,atrous convolution,and fully connected crfs [J].IEEE transactions on pattern analysis and machine intelligence,2018,40(1):834-848.

作者簡介:刘良斌(1974—),男,汉族,湖北汉阳人,高级工程师,硕士研究生,主要研究方向:科研管理、软件工程、科技服务。

收稿日期:2023-01-30

基金项目:广东省援疆科技(特派员)项目(2018YJ003);广东省重点领域研发计划项目(2020B0101130019)