基于深度学习和图像融合诊断甲状腺结节良恶性的研究*

陈飞, 郑力基, 易小林, 李强, 龚海帆, 李冠彬

1南方医科大学珠江医院甲状腺外科(广东广州 510280); 2中山大学计算机学院(广东广州 510006)

甲状腺结节是颈部最常见的疾病，通过超声发现的甲状腺结节可达19.00%～68.00%[1]。甲状腺结节对于临床实践最主要的挑战就是鉴别良恶性，超声检查因安全、廉价、简单、无辐射等优点被广泛应用于甲状腺结节良恶性诊断，具有重要价值[2]。超声医师对甲状腺超声图像的诊断依赖个人的知识和经验，具有深刻的主观性[3]。目前甲状腺结节发病率急剧上升[4]，导致超声医师的劳动强度显著增加，每个病例的平均诊断时间减少。另一方面，甲状腺癌发生发展极其复杂，目前诊断方法对结节认识有限，因此，将基于深度学习的人工智能与超声图像相结合提高甲状腺结节超声诊断效能，并且有望实现超声检查客观和规范；研制诊断甲状腺结节的人工智能设备，为解决甲状腺癌精准化诊疗问题提供了新思路。随着科技的不断发展，人工智能(artificial intelligence，AI)在医学领域获得了突破性进展，医学影像与人工智能的结合被认为是最具有发展前景的领域[5]。目前人工智能技术在肺部结节和肺癌筛查、乳腺癌筛查、预测早期宫颈癌患者的局部复发和远处转移情况等临床研究中获得较好的诊断效能[6-8]。相信人工智能技术会逐步地进入医院，为医疗服务质量的提高提供技术支持。

1 资料与方法

1.1 图像采集与预处理 (1)图像采集：研究数据来源于2016年1月至2020年9月在南方医科大学珠江医院接受手术治疗的2 421例甲状腺肿瘤患者术前超声图像；共收集3 493张超声图像；超声机器包括GE Logiq 9, ARIETTA 850 和 RESONA 70B。根据以下标准[2]选择图像:①甲状腺结节图像清晰、完整；②图像中有正常甲状腺组织供对照；③超声图像中无血流信号叠加；④甲状腺结节病理诊断明确；⑤患者同一区域或同一视角的图像中，只保留了一张具有代表性的图像。所有图像必须符合以上全部标准，将最终获得的图像分为原始训练集2 591张、验证集288张和测试集614张。(2)图像预处理。首先裁剪超声图像以外区域,再将图像转化为灰度图像大小调整为232×232像素，最后裁剪为224×224像素。然后由一名经验丰富的医师对图片中的甲状腺结节位进行标注，标注过程使用 VIA 工具，生成 json 格式文件。本研究经我院伦理委员会审核通过(2021-KY-008-01)。

1.2 数据增强 原始训练集包含1 905幅良性结节图像和973幅恶性结节图像，对恶性结节图像进行数据重采样，采样率为1∶1，通过数据重采样，训练集扩充为1 905幅良性图像和1 946幅恶性图像,共3 851张图像，解决数据集不平衡的问题。之后，再用图像融合技术处理全部图像，将图像在空间上配对合并形成多模式图像，经过信息互补来提升诊断效能的技术，具体方法可见参考文献[9-10]。

1.3 神经网络模型 卷积神经网络是目前人工智能结合医学影像识别领域主流技术，并在学习数据充足时有稳定的表现。卷积神经网络结构图如图1所示。

图1 卷积神经网络结构图

我们应用ResNet作为模型的基线，研究步骤如下：第一步：采用基于U型卷积神经网络的方法对图像中的每个像素进行语义级别的分类，即区分出图像中的每一个像素，属于甲状腺区域、甲状腺结节区域、还是非甲状腺区域。第二步：用基于卷积神经网络的方法对图像分类，通过设置训练集与验证集，机器学习自动提取病变图像的关键特征，将图像分为良性、恶性两类，以病理结果为金标准，统计分析人工智能判断结果，过程见流程图2。

图2 模型流程设计图

1.4 研究流程图 见图3。

图3 研究总体流程图

1.5 医生诊断方法 我院超声科专家手术前依据甲状腺影像与报告系统(thyroid imaging reporting and data system，TI-RADS)对甲状腺结节进行分类，分为 2、3、4a、4b、4c、5 类，记录术前超声诊断分类结果，术后病理诊断为金标准，分析TI-RADS影像报告系统诊断甲状腺结节良恶性的最佳节点值，诊断结节良恶性。

1.6 统计学方法 采用SPSS 20.0统计软件进行数据分析。数据均以个数和百分数表示，以病理诊断为金标准，计算出原始模型、图像处理后实验模型、超声科专家诊断甲状腺结节的灵敏度、特异度、准确率、受试者工作特征(ROC)曲线下面积(AUC)；采用ROC曲线评价检测模型、超声科专家对甲状腺结节超声图像良恶性的诊断效能。具有统计意义的检验水准定为0.05，参数可信区间估计采用95%可信区间。

2 结果

本研究中应用ResNet作为模型的基线；并通过数据增强(数据重采样和图像融合)提高模型的效能，同时对比目前主流的DenseNet、VGGNet神经网络模型。3种模型诊断甲状腺结节良恶性的敏感度、 特异度、准确性、阳性预测值、阴性预测值及AUC值可见于表1，ResNet模型高于 DenseNet、VGGNet神经网络模型，改进的 ResNet模型的各项值均高于基线的 ResNet模型。

表1 各诊断模式诊断效能

表1可以看到超声科专家诊断甲状腺结节良恶性的数据，本研究将最佳节点值定为 3.5，超声科专家诊断的2、3、4a、4b 类结节视为良性，4c、5 类结节视为恶性，结果显示超声科专家诊断的敏感度为78%， 特异度为90%，准确性84.0%，阳性预测值0.90，阴性预测值0.78，AUC为 0.89。在4个人工智能模型中，改进的ResNet模型诊断效能最高，准确性为74.4%、敏感度为65%、特异度为81%、阳性预测值0.8、阴性预测值0.68；人工智能模型的诊断效能低于超声医师的诊断水平。

3 讨论

甲状腺癌发病隐匿，早诊断、早治疗并开展干预至关重要，而高分辨率超声是早期发现甲状腺癌的有效手段[11]，医学影像工作是高强度的技术性工作，医务人员在日常生活中要准确、高效完成大量的临床检查。目前新一代人工智能系统已逐步显示出越来越强的能力，有望从根本上改变现状[12-13]。目前世界各国长期的研究热点是人工智能与医学影像的结合，医学智能化、影像智能化必定是未来医学领域中的一个新趋势。CNN模型的稳定性与训练集数量息息相关，因此，本研究中利用卷积神经网路结合数据增强(数据重采样+图像融合)技术来增强产品的诊断性能。最终结果也验证了这一方法。

在我们此次研究中，对比了4种人工智能模型DenseNet、VGGNet、ResNet、改进的ResNet诊断效能，4种模型诊断效能比较接近，改进的ResNet模型诊断效果最佳，准确率可达74.4%，AUC 0.82，说明经过图像融合技术处理形成的多模式图像，通过信息互补有助于提高模型对甲状腺结节超声图像的诊断效能。但本研究中人工智能模型准确率、敏感度、特异度均低于对比的超声科医师诊断水平，原因在于超声科医生临床实践中可通过多切面、多角度，同时还可以运用彩色多普勒、弹性成像等特征对甲状腺结节进行动态评估；而人工智能模型只是通过静态图像进行一个实时快速的诊断。

近年来，较多研究结果显示人工智能通过卷积神经网络对甲状腺超声图像进行深度学习、训练、建模、客观定量分析图像特征，对甲状腺结节超声图像诊断具有良好的诊断性能[14-17]，天津医科大学肿瘤医院在甲状腺超声图像深度学习诊断领域开展的一项研究最具代表性[18]：该研究共深度学习分析 31.2 万张超声图像构建了DCNN 模型，通过多中心验证(20 386 张图像)，实现人工智能模型较高的准确性(86.3%～88.9%)，AUC 值为0.908～0.947，该模型诊断准确率接近于甚至高于高年资超声科医生，对标这项研究，本研究人工智能模型诊断效能不足原因是本研究用于人工智能模型训练集较少，只有3 493张原始数据，因此在提高模型诊断效能上存在局限性。这提示我们后续需要收集更多的图像对模型进行训练学习测试，提高模型的诊断性能。另外我们在数据增强处理中只是单纯进行数据重采样和采用图像融合技术，未进行降噪、细化图像特征等，模型训练时未联合TI-RADS，从而诊断性能存在一定差异。我们模型只能对甲状腺接结节进行单一的结果输出(良性或恶性)，未能进行分类。这提示我们在后续研究中需要对模型进行升级，对图像特征进行提取细化。再次，充分结合超声弹性成像、淋巴结等诊断特征，进一步的多中心前瞻性研究对模型进行充分训练，将有助于目前甲状腺结节超声人工智能设备的完善[19-20]。目前人工智能模型诊断甲状腺超声图像表现出现较高诊断效能，但不足之处在于模型训练深度学习所需的图像，必须先由人工分割、标记甲状腺结节的位置，需要花费巨大人力物力，有研究探索利用YOLOv2神经网络自动识别甲状腺结节超声图像，提取图像特征最终做出诊断分类的系统，目前仍处于研究阶段，是未来研究需要解决的问题[14]。

针对甲状腺结节，目前迫切需要降低影像学中诊断存在的主观性，使恶性结节得到及时的诊断和治疗，良性的结节避免承受有创性的检查及不必要的手术操作。利用人工智能辅助临床超声科医生诊断甲状腺结节，而不是取代，但是该运用仍处于初级阶段，图像的整体输入和良恶性结果的单一输出、结节的异质性未得到充分的解释；因此广泛应用于医学影像学辅助诊断仍具有巨大的挑战。

综上所述，本研究通过创建人工智能模型，在人工智能对甲状腺结节超声图像进行良恶性预测方面做了初步的探索。人工智能可以实时快速地对甲状腺结节进行良恶性判断，并具有较好的诊断效能。本研究提示人工智能诊断效能低于超声科专家诊断水平，在未来有望成功应用于医学影像学辅助临床医生诊断疾病，减少主观性导致的过度治疗，使恶性结节及时得到精准化、个体化治疗。

利益相关声明：文章所有作者均声明不存在任何利益冲突。

作者贡献说明：李强指导研究设计，陈飞、郑力基收集整理、勾画超声图片、论文撰写，易小林收集患者基本资料，龚海帆、李冠彬负责深度学习内容和图像融合技术。