基于深度学习的甲状腺超声图像辅助诊断研究进展

邹奕轩，赵紫婷，周蕾蕾，韩煜东，田书畅，蒋红兵，3*

（1.南京医科大学附属南京医院，南京市第一医院医疗设备处，南京 210006；2.南京医科大学附属南京医院，南京市第一医院功能检查科，南京 210006；3.南京市急救中心，南京 210003）

0 引言

研究表明，甲状腺结节是全球成年人群中最常见的结节性病变之一，平均约5个成年人中就有一人罹患此病，其中大部分为良性结节，甲状腺癌的发生率为5%～15%[1-2]。由于缺少对甲状腺疾病的认知，许多患者接受了不必要的手术与穿刺，这一方面加重了患者的心理和经济负担，另一方面加大了医生的工作强度。因此，深入了解甲状腺结节性疾病的超声图像组学特征，对提高此类疾病的诊疗水平、改善诊疗效果意义重大。本文就基于深度学习的机器辅助诊断在甲状腺结节性疾病超声图像中的应用及进展综述如下。

1 甲状腺疾病的超声图像诊断

作为一种常用的疾病筛查与诊断工具，超声成像的安全、便捷、无创、无痛、低成本、无电离辐射、实时显像等特点使其广泛应用于临床，其中包括甲状腺疾病的常规诊断。2015年美国甲状腺学会（American Thyroid Association，ATA）《成人甲状腺结节与分化型甲状腺癌诊治指南》中指出：所有甲状腺结节均需行颈部超声检查，并行恶性风险评估，明确定义甲状腺结节为“甲状腺内散在病灶，影像学能将其和周围甲状腺组织清楚分界”[3-4]。这都表明影像学检查在甲状腺结节性疾病诊断中具有无可替代的作用。但整个诊断流程对医生的临床经验及专业知识要求较高，需结合甲状腺图像中结节的位置、大小、数目、边界、边缘、形态、纵横比、回声、声晕、内部结构及钙化、内部浓缩胶质、被膜连续性及彩色多普勒血流图像特征等进行综合评估。然而由于超声图像分辨力和对比度较低、固有斑点噪声较大、伪影较多等特性，及不同品牌和型号设备间的系统性差异、医师经验判断及操作习惯不同等人为因素造成的差异，超声诊断结果难以明确，通常需要依靠医师丰富的临床经验与主观判断。

2 基于深度学习的计算机辅助诊断

2.1 计算机辅助诊断

计算机辅助诊断是为消除医师经验依赖性、提高诊断准确性而设计的系统，通过医学影像学、数字图像处理技术、信息与计算科学以及其他可能的生理、生化手段，结合计算机的高效率运算，辅助医师发现病灶、明确分类、预测分型，提高诊断的准确性[4-5]。计算机辅助诊断通常由图像预处理、特征提取和选择、图像分类3个主要步骤组成，如图1所示。

图1 计算机辅助诊断主要步骤

2.2 深度学习辅助诊断

随着计算机技术的发展，深度学习在计算机辅助诊断中的诊断作用已变得不可替代。在深度学习之前，需要从大量候选特征集合中选出一组最有代表性、分类性能好的特征，一个好的特征选择方法能够有效地提升模型的性能。作为机器学习的子领域，深度学习能够通过多隐藏层的学习结构，从原始图像中自动学习、提取特征[6-11]。特征经过相邻层间激活函数的非线性变换，转换为更抽象的表征特征传递到下一层，实现对底层特征的高度抽象，形成自动化、定量化的图像分析技术，用于临床诊断和预测。

作为深度学习方法之一的卷积神经网络（convolutional neural networks，CNN）是一种前馈型神经网络，网络中的神经元可以响应周围神经元，进行大型医学图像处理，完成如目标检测，结节及肿块的分类、分割和分型等任务[12-15]。

CNN主要结构包括卷积层、池化层与全连接层。卷积层可以通过卷积运算，从输入图像中以局部矩阵的形式学习图像特征，同时保留像素间的空间关系，使得相邻连接层之间只需要部分节点相连，即局部连接。池化层可以逐渐降低输入表示的空间尺度，即缩小特征张量维度，简化运算，降低网络的时间和空间复杂度，避免过拟合，同时能够降低网络对于输入图像中无关变化、冗余误差和微小变换的敏感度，使得更多的神经元结点流向主特征，从而提高特征的鲁棒性，加快关键特征的获取[16]。全连接层起到将网络在训练中获取的特征映射到样本标记空间的作用。全连接层中的每个神经元与其前一层的所有神经元进行全连接，可以整合卷积层及池化层中具有类别区分性的局部信息。

CNN相较于传统神经网络，能够压缩图像特征，摒弃冗余，有效减少神经网络中的参数数量[17]，提高网络学习效率，适于处理复杂且庞大的医学图像[18]。传统神经网络与CNN结构对比如图2所示。

图2 传统神经网络与CNN结构示意图

3 深度学习在甲状腺超声图像辅助诊断中的应用研究

目前，深度学习在甲状腺超声图像辅助诊断中的应用主要包括对皮肤、筋膜、脂肪、肌肉、腺体及血管等各种解剖结构进行检测、分割和分类。

3.1 感兴趣区域的检测与分割

结节的检测可为目标分割和良恶性鉴别提供有力的支持。同时，结节的定位在医疗工作中也是基于图像诊断和治疗的前提。但在超声图像中，甲状腺结节与背景的对比度较低，手工分割感兴趣区域不仅费时费力，且个体差异较大[19]。为解决这一问题，Ma等[20]使用级联深度卷积神经网络探究自动检测二维超声图像中甲状腺结节的方法。级联深度卷积神经网络是一种混合模型，由2种不同功能的卷积神经网络和一种新的分割方法组成。该模型的基本思路是先运用CNN架构从原始数据中学习分割概率图（如图3所示），然后将所有的分割概率图用分割方法分割成不同的连通区域，最后通过训练得到用于甲状腺超声图像结节识别的CNN，实现超声图像的甲状腺结节检测。

图3 甲状腺结节分割效果示意图[20]

Ma等[21]使用基于CNN方法的一个框架，提取多个结节图像块，从输入的二维超声图像中捕获广泛的结节变异性。然后将得到的图像块同时输入网络，计算识别特征（如图4所示），即将甲状腺结节分割问题作为一个块分类任务，忽略图像块之间的关系。该方法中CNN使用正常甲状腺和甲状腺结节图像的图像块作为输入，然后生成分割概率图作为输出，并采用多视图策略提高基于CNN模型的性能[22]。

图4 基于深度学习的图像块分类流程图[21]

Wang等[23]使用迁移学习方法设计了一个基于YOLOv2的端到端检测网络，其中集成了Resnet v2-50[24]网络和YOLOv2网络，并去除Resnet网络的最后池化层和全连接层，将网络的深特征映射与浅特征融合，获得更好的细粒度特征。为了减少计算量，在Resnet网络输出后通过增加卷积层的方式进行降维。该结构操作速度快，便于实时处理输入图像。改进后的YOLOv2网络结构如图5所示。

图5 改进后YOLOv2网络的网络结构[23]

基于 YOLOv2的网络速度快，能够实时检测。与其他检测网络相比[25]，能够在判断结节良恶性的同时自动识别结节位置（如图6所示）。此网络可以捕捉到更精细的图像特征，提高对小结节的检测和识别精度。与使用分类器提取特征并进行训练的方式相比，对不同设备获得的不同质量的超声图像具有较好的识别能力。

图6 结节识别输出效果图[23]

基于CNN的区域自动检测与分割技术可为临床医师提供客观的二次意见，减少工作量，降低甲状腺结节性疾病的漏诊、误诊率。此外，还能够辅助从业经验不足的医师对此类疾病的诊断[26]。

3.2 结节的分类

甲状腺结节外观多变，内部成分多样，边界模糊，在超声图像中难以凭借肉眼区分其良恶性。长期以来，甲状腺结节良恶性诊断十分依赖于穿刺活检和术中切片活检结果。计算机辅助诊断与超声图像的结合为甲状腺结节性疾病诊断提供了一种安全、无痛、快捷、经济的替代方法。Ma等[27]提出一种混合CNN的甲状腺结节诊断方法，此神经网络由2个包含不同数量卷积层和全连接层的预训练CNN融合而成。2个不同深度的CNN分别学习浅层特征和深层的抽象特征，结合2个神经网络的特征图，利用softmax分类器对甲状腺结节进行诊断。该方法能够准确有效地诊断甲状腺结节，准确率为（83.02±0.72）%，2种CNN模型融合后的性能显著提高。有学者[28-29]进一步提出一种更准确的特征提取方法，尝试在训练过程中引入更有意义的语义特征用于分类。该方法将一个经过大规模自然数据集训练的CNN模型转移到超声图像域中，生成语义深度特征，处理小样本问题，并将这些深度特征与传统特征，如方向梯度直方图（histogram of oriented gradient，HOG）和局部二值模式（local binary patterns，LBP）结合起来，形成一个混合特征空间（如图7所示）。采用正样本优先的多数投票算法和特征选择策略进行混合分类，从而克服集成特征向量的冗余和不相关的问题，避免过度拟合。结果表明，与传统方法相比，该方法的精度提高14%，并且证明了对甲状腺超声图像的有效预处理和数据增强策略可提高诊断性能。

图7 卷积层的响应结果[29]

Chi等[25]使用深度学习方法从甲状腺超声图像中提取特征。超声图像经过预处理，校准其刻度并去除伪影。然后使用预处理的图像样本对训练好的GoogLeNet模型进行微调，以获得更好的特征提取。图8为微调的过程。之后将提取的甲状腺超声图像特征发送到对代价敏感的随机森林分类器中，对图像进行良恶性分类。该方法的创新性在于使用了微调深度学习神经网络，将原始GoogLeNet网络的参数应用到甲状腺超声数据的训练和验证图像中，从而转移了这些参数。最初的GoogLeNet CNN是由Szegedy等[30]创建的，使用22个卷积层，包括9个初始模块，并经过120多万幅图像的预训练。Chi等[25]在甲状腺超声图像处理研究中对GoogLeNet网络的损失层参数进行修改，只学习与这2个类对应的2个输出，即良性或可能恶性。同时，将整体学习率从0.01降低到0.001，这样预训练的模型权值不会变化得太快、太多，以增加整个训练过程的鲁棒性。通过使用来自不同数据库的训练和验证样本，从而生成了3种不同的微调过的GoogLeNet模型。实验结果表明，该调整GoogLeNet模型达到良好的分类性能，在开放存取的甲状腺图像数据库中测试分类精度达到98.29%，敏感度为99.10%，特异度为93.90%。

综上，利用深度学习网络对甲状腺超声图像进行分类和诊断与传统的人工神经网络相比，在低灵敏度下预测效果更为突出，提取特征更为准确。

图8 微调GoogLeNet过程[30]

4 结语

深度学习方法在甲状腺超声图像辅助诊断中的应用已经日趋成熟，并不断创造新高度。从目前深度学习网络框架的应用上来看，甲状腺超声图像的智能检测与诊断方法多数都是基于CNN图像块方式训练并取得优秀的分割与分类结果，与最初的感知器和非监督训练方法相比有长足的发展。然而，CNN在甲状腺超声图像领域的应用仍存在较多亟待解决的问题。一是在自然图像集上训练的模型可能不适合单通道、低对比度和纹理复杂的超声图像[31-32]。二是对于发病率较低的某些恶性结节，难以找到足够多的标注样本用于特征学习，使得分析难度增大。有部分学者已经将目光投向递归神经网络来对时间关系进行建模，使得神经元的输出可以在下一个时间戳直接作用于自身，并在此基础上发展出长短期记忆（long short-term memory，LSTM）网络[33-34]。因此，跨模式多维度的迁移学习可能是未来甲状腺超声图像分析的一个方向，并已有学者利用图像中的低层局部特征信息与循环神经网络（recurrent neural network，RNN）中的高层信息相融合的方式对图像进行分类[35-36]。随着硬件功能的进步及算法结构的改善，深度学习网络在甲状腺超声图像辅助诊断领域将向更高准确性、更强适应性、更广适用范围的方向发展，为临床诊疗工作提供全面的参考依据。