迁移学习在医学图像分析中的应用研究综述

黎 英

南宁师范大学 广西高校科学计算与智能信息处理重点实验室，南宁 530001

医学图像分析是计算机视觉的一个子领域，近年来深度学习因其能够较好处理高维数据、无需手动选取特征、只需训练好权重就能较好完成特征提取和分类任务，在该领域得到广泛而深入的应用，但缺点是要训练的参数太多且需要大量样本，而医学图像分析的一个重要问题是图像数据集比较小，导致训练出来的模型不够准确，影响临床实际应用。迁移学习是机器学习中的一种新的学习范式，可以解决医学图像分析领域的小数据集问题，因此近年来迁移学习逐渐应用到医学图像分析的许多领域，如图像分割、病变定位和病变模式识别等。可以迁移的知识包括数据、特征和模型，例如把阿尔茨海默症源域的数据迁移到轻度认知功能障碍目标域，把大型公共图像数据集ImageNet上训练的模型作为预训练模型迁移到乳腺良恶性病变分类任务目标域等。既可以在相似或相近的医学图像分析领域之间迁移知识，例如将一般肺炎图像数据集上训练的检测模型迁移到新冠肺炎检测研究领域；也可以把公共领域的知识迁移到生物医学研究领域，例如将ImageNet上训练的各种分类模型迁移到医学图像分析领域进行疾病检测、分类和分割等。目前医学图像分析主要使用的迁移学习方法是基于样本的迁移学习、基于特征的迁移学习、基于模型的迁移学习、对抗式迁移学习、混合迁移学习。按照上述几种迁移学习方法分别对医学图像分析的重要文献进行梳理、分析和归纳，阐述各种迁移学习的机制、适用范围、优势和局限性，以及如何具体应用到医学图像分析的各种任务。详细阐述了基于模型的迁移学习的应用情况，重点阐述混合迁移学习及对抗式迁移学习的应用情况。最后针对现有研究缺陷提出将来可能的研究方向，为迁移学习在该领域的深入研究提供参考。

1 迁移学习概述

迁移学习是数据科学界一种强大的研究方法，通过迁移已学到相关任务的知识来改进新任务的学习过程，特别是用于克服高度专业化但规模较小的数据集的局限性[1]。目前已经出现的迁移学习方法主要包括：基于样本的迁移学习、基于特征的迁移学习、基于模型的迁移学习、同构迁移学习、异构迁移学习、对抗式迁移学习和自动迁移学习等。基于样本的迁移学习和基于特征的迁移学习都属于基于数据的迁移学习[2]。基于数据的迁移学习和基于模型的迁移学习等大多数迁移学习属于同构迁移学习，适用于当源域和目标域数据具有相同或相近的表示结构但服从不同概率分布的情况。同构迁移学习的局限性在于只能借助同构表示空间的源域来提高目标域的泛化能力。异构迁移学习通过允许源域和目标域位于不可通约的特征空间或不同的标签空间来进一步扩大迁移学习的适用范围[1]，从而克服同构迁移学习的缺陷。对抗式迁移学习[1-4]是生成对抗网络（Generative Adversarial Network，GAN）和迁移学习结合的产物。GAN可以通过基于学习的数据扩展方法来生成或增强目标域数据，创造了额外的目标域数据，避免了传统模型只学习源域有标签样本的权重。为了在目标域获得良好的性能，目前研究者往往尝试多种迁移学习算法，从中选择效果较好的，然而计算代价高昂，不可能穷极所有算法，那么如何选择比较适合目标域任务的迁移学习算法是亟待解决的问题。自动迁移学习[5]也称为学习迁移，通过经验自动选择迁移学习算法，是一种新的迁移学习框架，有助于解决迁移学习算法的选择问题。目前迁移学习已经广泛应用于隐私保护、计算机视觉、自然语言处理、对话系统、推荐系统、行为识别等领域。

2 基于数据的迁移学习

2.1 基于样本的迁移学习

基于样本的迁移学习是在源域和目标域数据具有相同特征的情况下，从源域中筛选出符合目标域数据的相似分布的样本，用它们训练新模型以降低其偏差和方差[1]。传统的方法是样本加权方法，使用判别区分源数据和目标数据方法、核平均匹配方法、函数估计方法等来估计权重。这种加权方法应用到脑部[6-7]和血管[8]图像分析中。Cheng等[6]提出一种多模态流形正则化迁移学习方法，联合利用来自另一个域的样本，即阿尔茨海默症患者和正常人及未标记样本来提高轻度认知功能障碍的性能转换预测。该研究在目标函数中使用基于核的最大平均偏差（Maximum Mean Discrepancy，MMD）准则来帮助消除辅助域和目标域之间的分布差异带来的潜在负面影响；通过最小化目标函数可以学习多域、标记和未标记数据以及多模态数据之间收敛的公共权重矩阵。

样本加权方法要计算源域和目标域的密度比，该值计算难度较大，因此有些研究采用其他方法来迁移样本，包括使用多个分类器选择样本[9]、通过标记无标签数据来获得有标签数据[10]、扩展目标域不同类之间的间隔再合并源域样本[11]等。Yao等[11]提出了一种基于判别最小二乘回归（Discriminant Least Squares Regression，DLSR）的归纳迁移学习方法，将其应用于提高癫痫脑电信号识别的适应性和准确性。该方法继承了DLSR的优点，通过扩展目标域不同类之间的间隔以更适合于分类场景，并同时使用目标域和源域的数据对模型进行训练以便获得更好的性能。

虽然上述各类实现样本迁移的方法都在一定程度上增加了目标域的样本数量，但能够迁移到目标域的样本数量仍然受限于源域样本数量，并且样本加权方法还需要计算MMD及KL等距离量度；在源域和目标域数据都无标签，及源域数据无标签而目标域数据有标签的情况下目前还无法使用样本加权方法。

2.2 基于特征的迁移学习

基于特征的迁移学习要解决的是源域数据和目标域数据特征不重叠或者有部分特征重叠的问题。对于特征有重叠的情况，学习一对映射函数，将来自源域和目标域的数据映射到共同特征空间以减少域间差异性；对于不重叠的情况，找到两个特征空间可能存在的某些转换器来实现迁移学习。Cheng等[12]提出了一种域迁移支持向量机（Support Vector Machine，SVM）的迁移学习方法，对轻度认知损伤转换物（Mild Cognitive Impairment Converters，MCI-C）和非轻度认知损伤转换物（MCI Non-Converters，MCI-NC）进行分类。该方法使用跨域核学习来迁移辅助领域知识，首先将辅助域和目标域映射到再生核Hilbert空间（RKHS），然后用跨域核方法构造一个新的核函数，减少辅助域和目标域数据分布的差异。将源域和目标域的数据从原始特征空间映射到新的特征空间的方法本质上是建立源域和目标域的特征关联，因此也可以采取其他方法，例如特征空间变换迁移学习[13]、尺度不变特征变换的迁移学习[14]等。使用不同的扫描仪或扫描参数获取训练和测试图像会导致训练数据和测试数据之间的特征表示不同，因此Opbroek等所做MR脑图像分割研究中提出了一种特征空间变换（Feature-Space Transformation，FST）方法来克服特征重构中的这种差异。未标记的源-目标样本对由使用源和目标扫描仪扫描的对象的图像生成，然后将标记的训练样本链接到它们最近的k个源样本，并给出k个源样本的中值变换，从而得到变换后的训练样本[13]。

目前医学图像分析领域基于特征的迁移学习属于源域和目标域有特征重叠的情况。基于特征的迁移学习适用范围较广，不管源域和目标域数据是否有标签都能使用。然而，当数据有标签时，域不变性的度量值不易计算；当数据无标签时，学习跨域通用特征也较困难。

3 基于模型的迁移学习

基于模型的迁移学习是在模型层次上源任务和目标任务共享部分通用知识，包括模型参数、模型先验知识和模型架构，分为基于共享模型成分的知识迁移和基于正则化的知识迁移两类。前者利用源域的模型成分或超参数来确定目标域模型；后者通过限制模型灵活性来防止模型过拟合[1]。目前医学图像分析领域主要用到的是第一类，被迁移的模型绝大多数是深度卷积神经网络（Deep Convolution Neural Network，DCNN），个别是贝叶斯框架等非神经网络。被迁移的DCNN有两种，一种是现有的经典网络，主要是在ImageNet数据集上预训练的DCNN，如Inception系列、GoogLeNet系列、MobileNet系列、ResNet系列、VGG系列、DenseNet系列、MatConvNet系 列、SqueezeNet、AlexNet、ENet和CAE（Convolutional Autoencoder，卷积自动编码器）；另一种是研究者根据所研究任务设计的各种DCNN。被迁移模型有些进行了结构调整，有些只是对参数进行微调，有些没有进行任何微调就直接使用。结构改变可以去掉某些层，可以去掉靠后的卷积层，也可以去掉某些完全连接（Full Connection，FC）层；参数微调是调整卷积层或FC层的参数。基于模型的迁移学习按照目标域任务可分为图像分类、图像分割、预测、目标检测、图像去噪等，具体如下所述。

3.1 图像分类

在图像分类任务的迁移学习中，迁移DCNN的卷积层到目标域中进行特征提取，分类则使用诸如SVM、随机深林、决策树、最近邻等传统方法来完成[15-31]，或者修改被迁移模型的FC层来完成[32-70]。使用传统方法分类和修改FC层分类各有优缺点，具体要使用哪种方法要根据所研究问题具体分析。根据分类实现方式把图像分类迁移学习研究分为使用传统分类方法和修改FC层分类两种。

3.1.1 使用传统分类方法

在ImageNet上预训练的DCNN的卷积层被迁移到新任务，卷积层没有经过参数调整而直接用来进行特征提取[15-22]。某些研究对所提取特征进行了再处理，包括：特征选择和降维[15]、合并从医学图像提取的深层特征和从常规图像提取的通用特征[16]、合并迁移模型提取的医学图像深层特征和传统机器学习提取的图像特征[17]、合并不同迁移模型提取的图像特征[18]等。Deniz等[18]使用AlexNet和VGG16的FC6和FC7层分别提取乳腺癌组织病理图像的深层特征，然后进行合并，再使用SVM进行乳腺肿瘤的良性和恶性分类。还有研究直接使用迁移模型提取的深度特征进行年龄相关性黄斑变性（AMD）分类[19]。这些研究验证了从自然图像中获得深层特征的可移植性。然而，Trivizakis等[20]在同一个乳房X光片数据集上对比从头训练的定制2D CNN和ImageNet上预训练的VGG19、DenseNet和NASNet各自提取图像特征后经由SVM进行分类，实验结果表明从头训练的CNN在两个不同数据集上不同分类任务的AUC均明显好于几个迁移模型的AUC。这个结果说明迁移模型直接使用，不经过调整且未在目标域再训练可能导致模型效果不理想。

把预训练模型的卷积层迁移到目标域，再使用目标域的数据再训练来调整参数，以便更好适应目标域的特征提取任务。参数调整研究在肿瘤[22-26]、脑部[27-30]和肺炎[31]等图像分析中都有应用。某些研究对迁移模型提取的图像特征没有进一步处理，有些研究则进行了处理，例如合并迁移模型提取的肿瘤特征和基于解析提取的肿瘤特征[22]、合并迁移模型提取的肺癌特征和传统特征[23]、用PCA对迁移模型提取的特征进行映射[24]等。在区分乳腺良恶性病变的任务中，Huynh等[22]比较了基于预训练的AlexNet提取图像特征的支持向量机分类器和先前的计算机提取肿瘤特征的分类器，结果表明，这两者性能相当；预训练AlexNet经过目标域数据集微调后提取的种类特征和基于解析提取的肿瘤特征合并后再用SVM分类，性能明显优于单独使用两种特征提取方法中的任何一种，可见迁移学习可以改进现有的计算机辅助诊断（CADx）方法，同时提供独立的分类器，而不需要大的数据集。该研究表明预训练模型迁移到目标域后进行参数调整，至少能达到和从头开始训练的模型相当的性能，说明参数调整是非常重要的。

3.1.2 修改FC层分类

在ImageNet上预训练的各种DCNN，它们最后的FC层是用来进行1 000个类的分类，因此这些预训练的DCNN迁移到目标域后，需要修改最后FC层的节点数或是增加新的FC层以适应目标域的分类数量。根据迁移模型结构的修改情况，把修改FC层分类任务的研究分为：增加新FC层[33-35]、替换原有FC层[36-40]、只修改最后FC层的节点数[41-70]。只修改最后FC层节点数的研究是最多的，因其对迁移模型的修改最少而又有一定效果。

（1）增加新FC层

增加新的FC层在肿瘤图像分类中研究较多，其他疾病图像分类研究较少。这里仅以乳房X光片分类为例。Samala等[33]使用一个为ImageNet LSVRC-2010竞赛开发的预训练的DCNN作为迁移模型，在该网络中添加了两个额外的FC层，以便将1 000节点的FC层减少成2节点的softmax分类器，所有FC层的权重和偏差被随机初始化，采用冻结不同卷积层策略以便对其进行参数微调，使用数字化屏幕胶片乳房X光片（SFMs）和数字化乳房X光片（DMs）对进行再次训练，用于对乳房X光片上的肿块进行良性和恶性分类。

（2）替换原有FC层

替换原有FC层在肺部和脑部疾病图像分析中都有应用，这里仅举肺部典型事例。Nishio等[36]去掉预训练的VGG-16的FC层，然后添加两个节点数不同的FC层，在这两个层之间应用dropout，并在这两个层后添加softmax层，将具有3个节点的FC层的输出转换为3个类的概率；然后冻结某些卷积层，其他卷积层参与微调，在患者的CT图像数据集上进行再训练，用于良性结节、原发性肺癌和转移性肺癌之间分类。

（3）只修改最后FC层的节点数

在修改最后FC层的研究中，有些研究调整了被迁移模型所有层的参数，包括卷积层和FC层等，以便获得更适用于目标域的特征提取及更准确分类；有些研究只调整被迁移模型的所有FC层的参数，直接利用原有的卷积层进行特征提取，可能是源域和目标域的特征比较接近而只是分类任务不同；有些研究只调整最后FC层的参数。根据参数调整涉及的层，把修改最后FC层节点数的研究分为：调整所有层的参数[41-44]、调整FC层的参数[45-50]、调整卷积层的参数[51-70]。

①调整所有层的参数

调整所有层参数的研究在肺炎及肺部肿瘤图像分析中都有应用，这里仅以肺炎图像分析为例。TAO等[41]提出一种称为顺序微调的迁移学习方法，用经CT/X射线影像诊断为肺部疾病患者的支气管镜图像对一个预训练的DenseNet进行再训练，依次从FC层到其之前的层对该模型进行微调；对于下一个epoch或一组epoch，还允许对前一个epoch中已经微调的层之前的层进行微调，如此反复微调所有层直到符合要求，用来区分肺癌、结核病和正常人。

②调整FC层的参数

调整FC层参数包括调整所有FC层的参数、调整部分FC的参数和只调整最后FC层的参数，这些调整在肿瘤和皮肤病图像分析中都有应用，这里仅以调整部分FC层参数为例。在眼部疾病图像分析研究中，Karri等[48]提出一个用于从光学相干断层扫描（OCT）的视网膜图像中识别老年性黄斑病变、糖尿病黄斑水肿和正常人的迁移学习方法。对预训练GoogLeNet的修改包括FC层有三个输出、随机初始化辅助分支中所有FC层和卷积层的权重、所有最后一层都从soft-max变为logsoft-max；修改后的GoogLeNet使用adagrad优化器而不是adam或随机梯度下降（SGD）进行训练。实验结果表明，与经典学习相比，微调后的CNN可以有效地识别病变；对于训练数据有限的OCT图像，在非医学图像上训练的模型可以进行微调。该研究只调整辅助分支中的所有FC层的参数，而不是所有FC层的参数。

③调整卷积层的参数

调整卷积层的参数在癌症[51-55]、脑科[56-57]、骨科[58-59]、肺炎[60-63]、眼科[64-66]、肝脏[67-68]、皮肤病[69]、乳腺[70]等疾病图像分析领域都有应用。这里仅以癌症图像分析为例。陈道争等[51]采用冻结全部卷积层和微调靠近顶部的深层卷积层两种迁移学习策略，对比分析VGG16、VGG19和ResNet50这3种预训练卷积神经网络模型的肺结节分类性能，结果表明允许部分卷积层参与训练过程可以获得更好的实验结果。

3.2 图像分割

按照被迁移模型的结构和参数是否被调整分为两类：调整结构和参数、只调整参数。

3.2.1 调整结构和参数

在胸部危险器官分割[71]、X射线图像中的导管和导丝分割[72]属于同时调整了结构和参数。以危险胸部器分割为例来说明调整结构和参数如何进行。Vu等[71]提出一种放射肿瘤学危险胸部器官自动分割的迁移学习方法，使用现有研究文献的U-Net，对其编码器部分使用未修改的VGG16，该模型基于ImageNet9进行训练。对向上路径，用上采样核和反卷积核映射下行路径，将激活函数修改为泄漏校正线性单元（leaky ReLU）激活，在激活层之后使用了一个批处理规范化层和一个丢失层（dropout），目的是使网络规则化并允许更快收敛而不过度拟合。使用患者的CT图像对迁移模型进行再训练。该研究证明了使用非域迁移学习的二维U-Net模型可以实现精确的危险器官分割。

3.2.2 只调整参数

只调整参数在眼部血管分割[73-75]、肿瘤分割[76-78]、前列腺分割[79]、脑积水[80]、膝关节的半月板分割[81]和前交叉韧带分割研究[82]中都有应用，仅以眼部血管分割为例。糖尿病视网膜病变（Diabetic Retinopathy，DR）是糖尿病的一种微血管并发症，毛细血管间面积量化为视网膜灌注的深入临床分析提供了手段，因此Lo等[73]提出一种迁移学习方法对浅表毛细血管丛（Superficial Capillary Plexus，SCP）和深血管复合体（Deep Vascular Complex，DVC）的血管形态进行精确分割。使用U-Net结构的变体，网络初始权重来自前人研究，采用三重交叉验证法对网络超参数进行优化；然后在两个光学相干断层扫描血管造影（Optical Coherence Tomography Angiography，OCT-A）数据集上进行训练以微调网络参数。实验结果表明，迁移学习减少了手工注释图像的数量，同时产生了高质量的SCP和DVC自动分割，超过评分员的手动分割。

3.3 预测

按照被迁移模型的结构和参数是否被调整分为两类：调整结构和参数、只调整参数。

3.3.1 调整结构和参数

调整结构和参数在脑部疾病[83-84]和肺癌图像[85]分析中都有应用，仅以脑部图像为例进行说明。Chen等[84]开发了一个迁移学习增强卷积神经网络（TL-CNN）模型，用大脑结构连接体二维图像对2岁极早产儿的认知评估进行早期预测。该研究采用VGG19模型，先使用ImageNet预训练，然后分解模型，保留卷积层和池层的权重，为分类或回归任务附加了一个输出层，再在目标域中进行微调，最后将该模型应用于认知缺陷分类和连续认知分数预测任务，利用在足月等效年龄获得的大脑结构连接体来预测2岁校正年龄时的认知结果；结果表明，TL-CNN比多个对等模型具有更好的性能。

3.3.2 只调整参数

基于MRI的肿瘤细胞密度（Tumor Cell Density，TCD）模型可以显著提高胶质母细胞瘤（GBM）的靶向治疗效果，但由于患者间的变异性限制了许多模型方法的预测能力，因此Hu等[86]提出了一种迁移学习方法，利用贝叶斯框架将模型参数估计过程偏向于代表广义模型的群体模式，迁移学习是使用每个患者自己的MRI和活检数据来修改该广义模型，以更适合个体患者。实验结果表明，迁移学习模型改善了预测值与实际TCD之间的相关性，显著提高了模型的预测能力。

3.4 目标检测

目标检测在肿瘤[87-88]和脑积水[89]图像检测中都有应用，仅以肿瘤图像检测为例。Samala等[87]先使用乳腺X线片训练一个具有四个卷积层和三个完全连通层的DCNN，然后对这个预训练的DCNN，冻结前三个卷积层中的所有权重，仅随机初始化最后一个卷积层和FC层，再使用数字乳腺断层摄影（Digital Breast Tomosynthesis，DBT）的感兴趣区域进行训练。训练后的DCNN被合并到基于DCNN的CAD系统中，检查所有对象是否重叠，若两个对象的边界框的质心相重叠则合并为一个对象。合并后的最终保留物体集与有经验的放射科医生标记的参考肿块位置进行比较，用来检测乳腺肿块。实验结果表明，基于DCNN的CAD系统的灵敏度比基于特征的CAD系统高出8%，说明通过迁移DCNN可以将乳腺X光片图像的模式信息迁移到DBT切片的肿块检测中。

3.5 图像去噪

图像去噪迁移学习在低剂量CT切片去噪[90]、扫描图像去噪[91]、牙科CT图像去噪[92]中都有应用，仅以切片去噪为例。Shan等[90]提出一种迁移学习方法用于低剂量CT去噪。通过扩展预训练的2D CNN，将其参数迁移到一个初始的基于传输路径的3D卷积编码器-解码器（Conveying Path-based Convolutional Encoder-decoder，CPCE）去噪模型，然后对其进行微调，以融合相邻切片的3D空间信息。实验结果表明，基于从2D到3D的迁移学习，与从头训练相比，3D网络收敛速度更快，去噪性能更好。

上述研究表明迁移模型到目标域后进行参数调整、结构调整能有效提高模型精度。对于分类任务，调整卷积层能提取更准确的深层特征，调整FC层能够更准确分类；对于其他任务，只调整参数或同时调整结构和参数都能提高实验效果。基于模型的迁移学习可以避免再次抽取训练数据或再对复杂的数据表示进行关系推理，是更高效的学习方式。然而，模型需要进行源域的预训练和目标域的再训练，增加了训练次数和训练时间；迁移模型到目标域后，采用何种模型结构和参数调整策略对模型的精度产生重大影响，而如何快速选择合适的调整策略还缺乏有效的解决办法。

4 对抗式迁移学习

对抗式迁移学习有两种方式，一种是基于样本的迁移学习，由GAN生成目标域数据；另一种是基于特征的迁移学习，这种方式还可以分成两类，一类是对抗式域适配器，使用有标签的源域数据和没有标签的目标域数据来学习一个适用于两个领域的识别分类器，另一类是对抗式特征学习，用大量无标签的源域数据构造高层抽象特征，再用少量有标签的目标域数据学习一个分类器[1]。

通过基于样本的迁移学习来实现对抗式迁移学习在全心切分中得到应用。Liao等[4]提出了一种基于对抗训练的多模态迁移学习网络的三维多模态全心切分方法，该网络将源域（MRI域）迁移到目标域（CT域），通过GAN重建MRI图像，并通过鉴别器网络优化重建的MRI图像，将MRI图像与CT图像进行融合，并在对抗性训练中引入加权系数来分配Dice系数损失与发生器损失的比例，还提出了一种新的损失函数，既能保证图像从MRI域正确地迁移到CT域，又能利用迁移的域实现准确分割。

通过基于特征的迁移学习来实现对抗式迁移学习在医学图像融合中得到应用。为解决使用改进生成对抗网络（WGAN-GP）的数据增强方法用于医学图像融合效果差的问题，肖儿良等[93]提出一种基于迁移学习的改进WGAN-GP模型（Transfer-WGAN-GP），用来融合计算机断层成像（CT）与T2加权磁共振成像（MR-T2）。该模型从红外与可见光图像的融合过程中学习特征映射，利用改进WGAN-GP损失函数优化网络的生成器与鉴别器；将网络的初始化参数经过微调并迁移到CT与MR-T2的图像融合网络再训练，得到包含两种源图像的语义信息融合图像；实验结果表明，与原有数据增强方法相比，Transfer-WGAN-GP能够得到更高质量的融合图像。

对抗式迁移学习适用范围较广，无论源域和目标域数据是否有标签都能使用，使用参数化网络度量域之间的差异，无需计算MMD和KL散度等距离。然而，该迁移学习方法也有局限性，例如难以学习高维和多模态数据的内在结构；在某些区域模型无法生成样本时可能会崩溃、最小-最大博弈难以达到平衡、可能生成不切实际的样本[1]。

5 混合迁移学习

混合知识迁移是通过使用多种迁移学习方法来迁移两种以上的知识，包括样本、特征和模型，迁移特征最终表现为迁移了样本。使用基于数据的迁移学习或对抗式迁移学习来迁移数据，使用基于模型的迁移学习来模型。混合迁移学习在医学图像分析中的应用具体如下。

在基于特征和模型的混合迁移学习中，Gu等[94]提出了两种新的跨域皮肤病识别方法，用于医学影像分析和诊断各种皮肤疾病，以解决深度学习模型由于域的转移而不能很好地推广到来自不同群体数据的问题。该研究采用基于模型的迁移学习方法，从一个在ImageNet上预先训练的全监督DCNN分类器出发，通过在两个皮肤病数据集上对该网络进行微调，探索了一种两步渐进式迁移学习技术。该研究还采用了基于特征表示的迁移学习，提出采用对抗学习作为一种域自适应技术，从源域到目标域进行不变属性转换，以提高识别性能。

基于样本和模型的混合迁移学习被应用到阿尔茨海默病诊断[9]、全心脏切分[5]、间质性肺病病理模式分类[95]。黄盛等[95]提出一种混合迁移学习方法用于间质性肺病病理模式分类。在特征提取阶段，将肺内大量可用的无标签区域作为源域数据，这是基于样本的迁移学习；将ResNet-18改进后作为特征提取模型，在无标签样本上进行预训练，再将预训练好的模型在目标域的训练集上进行微调，这是基于模型的迁移学习。在分类阶段，用一个三层卷积神经网络作为辨别器，采用对抗训练的思想，在训练中加入了假样本。实验结果表明，该研究提出的迁移学习算法有效利用了肺内无标签数据，提高了模型的分类效率[95]。

基于对抗式迁移学习和基于模型的混合迁移学习中，Hegazy等[92]提出了一种基于GAN的牙科CT图像去噪迁移学习方法，利用5 100对高剂量和低剂量人体胸部和腹部CT图像，预训练了一个具有Wasserstein损失函数（WGAN）的GAN，采用了五级U-Net结构来提高GAN的生成网络计算效率。在训练了所提出的U-WGAN之后，用两个不同的颅骨模型的3 006对牙齿CT图像对网络进行了微调，该微调过程在量化指标方面提高了网络性能，同时也改善了处理后图像的视觉外观。

混合迁移学习可以同时迁移两种以上知识到目标域，和单一的迁移学习相比，能从多个方面提高模型的训练效果，从而提高模型精度。然而，混合迁移学习同时使用两种以上的迁移学习方法，增加了问题解决的难度和复杂性。

6 医学图像分析中的迁移学习方法的分析及比较

医学图像分析领域目前应用最多的是基于模型的迁移学习，其在图像分析各种任务中都有应用，在图像分类任务中应用最多。主要原因是有现成的预训练模型可用，即在ImageNet上训练的各种经典DCNN，它们都有较高的分类精度，这样就避免了对模型进行预训练。在分类任务中，通过修改模型的FC层进行分类的研究远比使用SVM等进行分类要多，主要是用一个模型完成特征提取和分类比较方便和省力。基于数据的迁移学习应用较少，因为各种量度的计算比较繁复。对抗式迁移学习是新崛起的方法，虽然存在模型不易训练等局限性，目前还处于初步应用阶段，但已经显示出其高效生成样本的优势。混合迁移学习也处于初步应用阶段，因其受到其他迁移学习方法应用情况的影响，并且同时使用多种迁移学习方法也增加了解决问题的难度和复杂性，因而混合迁移学习也还未得到广泛应用。几种迁移学习方法都有各自迁移知识的机制、适用范围、优势和局限性，具体如表1所示。

表1 几种迁移学习的比较Table 1 Comparison of several kinds of transfer learning

7 总结与展望

首先对当前主要迁移学习方法的优缺点及各方法之间的关系进行了概述说明，然后分别从基于样本的迁移学习、基于特征的迁移学习、基于模型的迁移学习、对抗式迁移学习和混合迁移学习对医学图像分析文献进行分析及总结，最后对上述几种迁移学习在医学图像分析中的优势、局限性及适用场景进行了总结和对比分析，脉络清晰地展现了迁移学习在医学图像分析中的应用研究情况。虽然目前迁移学习在医学图像分析中得到广泛应用，但还存在一些问题，具体如下。

（1）医学图像样本不充足。样本小影响被训练模型的准确率，现有迁移学习通过基于样本的迁移学习和基于特征的迁移学习把源域合适的样本迁移到目标域，但这两种方法能够迁移的样本数量有限，并受限于源域样本数量。对抗式迁移学习通过基于学习的数据扩展方法来增加样本，能够高效生成大量样本，且不受源域样本数量影响，从而可以大幅度提高样本数量。目前该方法在医学图像分析中还只是初步应用，还未得到充分而广泛的应用，但是该方法优势明显，潜力巨大，因而有望成为该研究领域的热点，是未来研究的一个重要方向。

（2）可以同时迁移的知识种类还比较单一。目前基于模型的迁移学习在医学图像分析中应用最为广泛，基于样本的迁移学习和基于特征的迁移学习应用较少，同时使用多种迁移学习方法的情况较少，导致同时从源域到目标域迁移的知识种类单一。如果能够同时迁移多种知识到目标域，那么将从多个方面提高目标域模型训练效果。混合迁移学习能够同时迁移多种知识，虽然该方法目前在医学图像分析中的应用还处于初级阶段，但是随着对抗式迁移学习在医学图像分析中的应用越来越深入，混合迁移学习在该领域也将随之得到促进发展，因而也是未来研究可以重点考虑的方向之一。

（3）选择最优迁移学习算法难度大。由于计算代价昂贵，从众多的迁移学习算法中选择最适合研究问题的迁移学习算法是很困难的。现有基于迁移学习的医学图像分析研究中，通常采用若干种迁移学习算法同时进行实验，再根据实验结果选择表现最好的算法。这种方法的缺点是用来比较的迁移学习算法数量较少，难以保证所选算法是最优的，可能还存在其他迁移学习算法能够达到更好的效果。自动迁移学习可以从经验中自动选择迁移学习算法，有助于解决迁移学习算法的选择问题，也是未来可能的研究方向之一。