基于主动学习的深度医学图像分析算法综述

杜金星 麻安鹏 王君 杨本娟

摘  要： 深度学习技术在医学图像分析领域发展得非常好，但医学图像注释成本高，使得深度学习技术在医学图像分析领域受到阻碍。主动学习算法是目前解决注释成本高的一个研究热点。文章介绍了在医学图像分析领域中采用主动深度学习降低注释成本的技术手段和方法，以便相关人员了解目前的研究进展。最后对主动学习方法仍存在的问题和发展趋势进行了总结和展望。

关键词： 深度学习; 医学图像; 主动学习; 注释成本

中图分类号：TP751          文献标识码：A     文章编号：1006-8228（2021）02-08-04

Abstract： Deep learning technology has developed very well in the field of medical image analysis， but the high cost of medical image annotation hinders the application of deep learning technology in the field of medical image analysis. Active learning algorithm is a research hotspot to solve the problem of high annotation cost. This paper introduces the technical means and methods of using active deep learning to reduce annotation cost in the field of medical image analysis， so that the relevant personnel can understand the current research progress. Finally， the problems of active learning method are summarized and the development trend is prospected.

Key words： deep learning; medical image; active learning; annotation cost

0 引言

机器学习在医学图像分析中具有重要的地位。如医学图像的分类与识别、定位与检测、组织器官与病灶分割等，这些任务几乎都是由机器学习完成的。近几年，深度学习作为机器学习的一种工具，在生物医学图像分析中成为研究热点，有研究[1-2]声称，深度学习技术在医学图像分析领域可以达到甚至超越专家水平，但通常只有当目标任务有大量带注释的样本时才会出现这种情况。然而，给医学图像注释成本很高。主动学习是一种降低注释成本的方法，目的是以迭代方式在每一轮选择有价值的样本专家标注，以最小化训练数据实现最大化模型性能。目前很少在深度主动学习框架下对医学图像领域做总结，Tanwar等人[3]只对各种医学图像分析做了详细综述; yi等人[4]广泛研究了generative adversarial networks （GAN）[5]在医学图像中的应用; Cheplygina等人[6]回顾了半监督学习、多示例学习和迁移学习; Xie等人[7]总结了将深度学习技术应用在医学图像中; Hesamian等人[8]对医学图像分割进行研究;包昌宇等人[9]针对乳腺钼靶图像分类方法进行研究; Zhang等人[10]针对小数据量这一问题，总结可以解决的方法。

以下将从医学深度主动学习框架中的关键部分介绍降低医学图像注释成本方法、面临的主要问题及改进措施，并展望未来，将深度学习技术完美应用到医学影像的研究工作。

1 研究现状

深度学习在医学图像分析中的应用越来越广泛，如何降低医学注释成本非常重要。本文总将该框架划分为四个主要部分进行介绍。

1.1 构建初始训练样本集

在运用主动学习策略挑选样本之前，有一个具有一定精度的分类器很重要。因此在主动查询策略之前必须对分类器进行初始训练。比较常用的构建初始样本方法是随机抽样 [14，26，28]。随机抽样可能会导致相似的图像被抽取，使训练集中存在冗余。为了克服这一问题，Smailagic[11]采用ORB（Oriented FAST and Rotated BRIEF， ORB）算法[12]构造初始训练集，并将此方法应用于糖尿病视网膜病变（Diabetic retinopathy， DR），乳腺癌和皮肤癌的分类检测。这种方法的目的是寻找彼此最不相似的图像，从而覆盖更大的区域，减少初始训练样本集中存在的冗余，降低注释成本。

1.2 查询策略

主动学习查询策略在主动学习框架中占重要的地位，大部分有价值的样本是由查询策略筛选出来。目前，国内外许多研究机构或组织根据不确定性度量或代表性度量以及他们的各种组合提出许多有效的查询策略。

1.2.1 不确定性度量查询策略

用不确定度量作为主动学习查询策略，挑选的样本是不容易分类的样本，这样的样本对深度模型贡献大，可以提高模型性能。

Folmsbee等人[13]挑选不确定样本的方法是由训练有素的病理学专家对未标记样本的模型输出进行主觀比较。并将此方法在苏木精和伊红染色的全口癌切片的数字化图像数据上与随机抽样方法对比，训练精度至少提高3%。如Deng 等人[14]用最优标号和次优标号（Best vs second-best， BvSB）[15]选择最不确定的训练数据。BvSB是每个像素/样本的最高两类概率的差异作为不确定性度量。以磁共振（Magnatic Resonance， MR）脑组织分割为例，将该方法应用在IBSR18数据集和MRBrainS18进行了评价，结果表明，仅使用60%的训练数据就可以获得最优的训练效果。Konyushkova等人[16]提出一种利用图像空间中的几何平滑先验来辅助分割过程的主动学习方法。他们使用传统的不确定性度量来估计接下来应该注释哪些像素，并在多类设置中引入了新的不确定性标准。

Yoo等人[17]提出一种不针对具体任务的不确定性度量方法。该方法在训练一个任务的同时训练一个损失预测模型，损失预测模型用于计算剩余未标记池中样本的不确定性。Zhao等人[18]通过在深度模型的隐藏层中注入深度监督，来减少注释工作量和提高模型性能。在每一阶段的末尾，根据最终掩膜与隐藏层掩膜的一致性作为主动学习的不确定性来选择最有信息性样本。将此方法应用在手指骨骼分割中与完整标注相比，仅使用43.16%的样本就能获得同样的效果。Hemmer等人[19]通过将模型的softmax标准输出替换为Dirichlet密度参数，通过捕获高预测不确定性来有效的学习未标记数据。Li 等人[20]提出一个主动学习框架内的不确定性校正医学图像分割，通过不确定性查询策略挑选区域或全部图像。

1.2.2 不确定性度量+代表性度量查询策略

主动学习每次只用不确定性策略批量的挑选的样本可能存在冗余，因此再找一个可以覆盖数据集有代表性样本也很重要。

Smailagic等人[11]提出一种两步查询策略。首先用熵作为不确定性度量，去掉预测值低的未标记的样本;然后将其余样本用相似性度量寻找最不相似的样本。在三种医学图像数据集上验证，当训练精度达到80%时，在不确定性查询策略中加入代表性度量挑选的样本比只用不确定查询策略挑选样本少32%。因此，从这些不确定样本中选择一个代表性的子集，可以降低注释成本。同样，Yang等人[22]提出一个建议注释框架。第一阶段是利用自举方法挑选贡献量大的样本。训练多个FCNs[23]深度模型，用这些模型预测平均方差来估计给定图像的不确定性。第二阶段在不确定样本中用余弦相似性选择有代表性的样本，即从不确定样本中寻找最不相似的样本，进一步细化不确定图像。在胰腺分割数据和淋巴结超声图像分割数据上评估了此方法，证明只使用50%的训练数据就可以达到最先进的分割性能。Sourati等人[24]在深度网络中首次提出了一种计算Fisher Information以保证查询样本多样性的新方法。在此，通过传播的梯度计算使得高效的计算能够在的大参数空间上计算Fisher Information卷积。

1.2.3 动态查询策略

文献[8，12]的主动学习查询策略从不确定样本中选择有代表性子集来减少冗余。然而主动查询策略每次挑选的样本与训练的深度模型息息相关，可能会因为关注分布的小区域而将模型偏向于分布的特定区域，导致数据特征没有挖掘出来。

Zhou等人[25]主动选择策略中加入了随机性，随机选择不依赖于模型，增强主动学习的鲁棒性。除此，还可以探索不确定性和代表性的最佳组合方式作为主动学习查询策略的方法。如Ozdemir等人[26]实现了一个改进版的建议性注释框架。提出一种borda计数法，探索不确定度量和代表性度量的最佳组合选择下一批样本。此方法应用在医学图像肌肉分割数据中验证，最终只使用整个训练集的27%就可以达到基线精度。Kim等人[21，27]提出一种自信coreset主动学习方法。为了有效利用不确定性和多样性的互补信息，在贪婪的K-center选择算法中，利用置信度和最小距離合并来计算信息量。

1.3 人工注释

主动学习从未标记的样本中根据设定的规则挑选有价值样本由医学专家注释，需要同时考虑样本的质量、样本的数量和医学图像的复杂度。例如MR（颅脑核磁共震检查）脑组织分割，每张图像不仅不同组织类别间灰度变化不大，还有着复杂的结构。这些注释代价高昂且难以获取。一个自然的想法是在生物医学图像分析中使用相对低成本的注释来执行这些复杂的任务。Deng等人[14]提供了一个注释平台。注释者不需要注释每个样本的所有信息，只需要纠正模型预测错误的信息。Kuo等人[28]把主动学习当作0/1背包动态问题选择样本，来降低注释成本。目标是选择一批样本进行注释，使模型的不确定性最大化同时保持注释成本低于给定阈值。Rajchl et al [29]研究了使用超级像素来加速注释过程。该方法采用预处理步骤对每幅图像进行超像素分割，然后利用非专业人员选取目标区域中的超像素进行标注。Zhang等人[30]针对三维医学图像分割提出一种稀疏注释策略。首先在深度模型3D U-Net[31]中加入了注意力机制来提高分割准确度，同时估计每个切片的分割准确度;其次利用注意力机制估计分割的准确性为主动学习提供指导，由主动学习导出要标记的切片注释;最后采用弱监督训练方法对具有片级稀疏标记训练集的模型进行训练。

1.4 更新分类器

用训练数据更新分类器方法主要有两种：一种是使用新获取的注释样本和所有可用样本对模型进行训练（如文献[11，26，28]）;另一种是用新注释的样本加上可用样本的子集或只使用新注释的样本对模型进行训练。Gorriz et al[32]用新标注的样本，由模型自动伪标注样本训练模型。自动伪标注样本每一轮会删除，这样做可以减少错误的伪标记样本混乱模型。Zhou et al[25]用新注释的样本加上可用样本的子集，这个子集是消除容易预测的样本。这样不仅因专注困难样本而防止灾难性遗忘，还可以自动平衡训练数据集。

在更新模型时，用迁移学习还是重新训练？文献[26]将自然图像训练的深度模型迁移到医学任务，在放射学、心脏病、胃肠病学三种医学数据分别对模型进行充分微调，结果证明，迁移学习优于从零开始训练。Zhou et al [27]提出了一种增量微调的深度主动学习框架。用迭代方式将新注释的样本以增量方式注入训练样本，对深度模型进行持续微调。在三个生物医学成像应用中评估了此的方法，证明这种方法注释成本可以减少至少一半。

2 结束语

本文综述了近年来基于主动学习的深度医学图像分析算法，这些算法在降低注释成本中取得了很好的成果，但仍存在不足之处。如主动学习策略是人为设计的，医学图像标注成本并没有达到最低。在注释医学数据如此昂贵的情况下，进一步降低冗余信息是非常有必要的。用强化学习来学习一个主动学习的策略算法，使得挑选样本冗余信息最低，设计这一算法有望使医学图像注释成本做到更低，这是一个非常值得研究的问题。

参考文献（References）：

[1] H Greenspan， B van Ginneken， R M Summers， et al. Guesteditorial deep learning in medical imaging： Overview and future promise of an exciting new technique[J]. IEEE Transactions on Medical Imaging，2016.35（5）：1153-1159

[2] Rajpurkar P， Irvin J， Ball R.L， et al. Deep learning for chestradiograph diagnosis： A retrosp-ective comparison of the CheXNeXt algorithm to practicing radiologists[J]. PLoS Med，2018.15： e1002686

[3] Altaf F， Islam S M S， Akhtar N， et al. Going Deep in Medical Image Analysis：Concepts， Methods， Challenges and Future Directions[J]. IEEE Access，2019.7：99540-99572

[4] Yi X， Walia E， Babyn P. Generative Adversarial Network in Medical Imaging： A Review[J]. Medical Image Analysis，2019：58-101

[5] Goodfellow I J， Pouget-Abadie J， Mirza M， et al.Generative Adversarial Networks[J]. Advances in Neural Information Processing Systems，2014.3：2672-2680

[6] Cheplygina V， de Bruijne M， Pluim J.P. Not-so-supervised： a survey of semi-supervised，multi-instance， and transfer learning in medical image analysis[J]. Medical Image Analysis，2019：58-101

[7] Xiaozheng Xie， Jianwei Niu， Xuefeng Liu et al. A Survey on Domain Knowledge Powered Deep Learning for Medical Image Analysis. arXiv：2004.12150，2020.

[8] Hesamian M H ， Jia W ， He X ， et al. Deep Learning Techniques for Medical Image Segmentation： Achievements and Challenges[J]. Journal of Digital Imaging，2019.32（4）：582-596

[9] 包昌宇，彭俊川，胡楚婷等.基于深度學习的乳腺钼靶图像分类方法研究进展[J].生物医学工程研究，2020.39（2）：208-213

[10] Zhang P， Zhong Y， Deng Y， Tang X， Li X. A survey on deep learning of small sample in biomedical image analysis. arXiv preprint arXiv：1908.00473，2019.

[11] Smailagic A， Noh H. Y， Costa P， et al. MedAL： Deep Active Learning Sampling Method for Medical Image Analysis[A].2018 17th IEEE International Conference on Machine Learning and Applications （ICMLA）[C]，2018.

[12] Ethan Rublee， Vincent Rabaud， Kurt Konolige， et al.ORB： An effificient alternative to sift or surf[A].  IEEE International Conference onComputer Vision， ICCV 2011[C].Barcelona， Spain，2011：2564-2571

[13] Folmsbee J， Liu X， Brandwein-Weber M et al. Active deep learning： Improved training efficiency of convolutional neural networks for tissue classification in oral cavity cancer[A].IEEE[C]. Washington， DC，2018：770-773

[14] Yang Deng， Yao Sun， Yongpei Zhu， et al. Efforts estimation of doctors annotating medical image. arXiv：1901.02355，2019.

[15] A. J Joshi， F.Porikli， and N.Papanikolopoulos. Multi-class active learning for image classification[A].IEEE International Conference on Robotics and Automation， ICRA[C].USA（Alaska），2010：2372-2379

[16] Konyushkova K， Sznitman R， Fua P. Geometry in active learning for binary and multi-class image segmentation[J].Computer Vision and Image Understanding，2019.182（5）：1-16

[17] Yoo D， Kweon I. S.Learning Loss for Active Learning[A].2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）[C].United States（long beach），2019：93-102

[18] Ziyuan Zhao ， Xiaoyan Yang ， Bharadwaj Veeravalli et al.Deeply Supervised Active Learning for Finger Bones Segmentation[A]. Accepted version to be published in the 42nd IEEE Annual International Conference of the IEEE Engineering in Medicine and Biology Society[C].Montreal（Canada），2020：27-40.

[19] Patrick Hemmer， Niklas Kuhl， Jakob Schoffer et al.DEAL：Deep Evidential Active Learning for Image Classifification.arXiv：2007.11344，2020.

[20] Bo Li ，Tommy Sonne Alstr?m. On uncertainty estimation in active learning for image segmentation[J]. Presented at ICML 2020 Workshop on Uncertainty & Robustness in Deep Learning.2020，338：34-45

[21] Sener O， Savarese S et al. Active learning for convolutional neural networks： A core-set approach[A]. International Conference on Learning Representation （ICLR）[C]. USA. 2018.

[22] Yang L， ZhangY， Chen J， et al. Suggestive annotation： A deep active learning framework for biomedical image segmentation[A]. MICCAI[C]. Springer，Cham，2018： 399-407

[23] Long J ， Shelhamer E ， Darrell T . Fully Convolutional Networks for Semantic Segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2015.39（4）：640-651

[24] Sourati J， Gholipour A， Dy J.G et al. Active Deep Learning with Fisher Information for Patch-Wise Semantic Segmentation[A]. Deep learning in medical image analysis and multimodal learning for clinical decision support ： 4th International Workshop， DLMIA 2018， and 8th International Workshop， ML-CDS 2018， held in conjunction with MICCAI 2018[C].Granada，2018：83-91

[25] Zhou Z， Shin J. Y， Gurudu， S. R. Gotway， et al. AFT *：Integrating Active Learning and Transfer Learning to Reduce Annotation Efforts. arXiv： 1802. 00912. 2018.

[26] Ozdemir F， Peng Z， Tanner C， et al. Active Learning for Segmentation by Optimizing Content Information for Maximal Entropy [A]. Deep Learning in Medical Image Analysis and Multi-modal Learning for Clinical Decision Support[C]. Springer，2018：183-191

[27]  Seong Tae Kim， Farrukh Mushtaq. Confident Coreset for Active Learning in Medical Image Analysis[J]. Computer Vision and Pattern Recognitionar，2020.13：46-16

[28] Kuo W， Hane C， Yuh E， et al. Cost-sensitive active learning for intracranial hemorrhage detection[A]. International Conference on Medical Image Computing and Computer-Assisted Intervention[C]. Springer，2018：715-723

[29] Rajchl M， Lee M.C.H， Schrans et al. Learning under Distributed Weak Supervision. arXiv：1606.01100V1， 2016.

[30] Zhenxi Zhang， Jie Li， Zhusi Zhong.A sparse annotation strategy based on attention-guided active learning for 3D medical image segmentation.arxiv：1906.07367. 2019.

[31] O. Ronneberger， P.Fischer， and T.Brox. U-Net：Convolutional Networks for Biomedical Image Segmentation[A].Springer International Publishing[C].Springer，2015.

[32] Marc Gorriz， Xavier Giro-i-Nieto， Axel Carlier et al.Cost-Effective Active Learning for Melanoma Segmentation. arXiv：1711.09168，2018.

[33] Tajbakhsh N， Shin J.Y， Gurudu S.R et al. Convolutional Neural Networks for Medical Image Analysis： Full Training or Fine Tuning？[A] IEEE Transactions on Medical Imaging 35[C]，2016：1299-1312

[34] Zhou Z， Shin J， Zhang L， et al. Fine-tuning convolutional neural networks for biomedical image analysis： actively and incrementally[J].CVPR，2017：4761-4772