基于卷积神经网络胃食管结合部腺癌转移淋巴结人工智能诊断系统的建立

张超,卢云,2,刘磊,王涛,张宪祥,王东升

(1 青岛大学附属医院胃肠外二科，山东 青岛 266003； 2 山东省数字医学与计算机辅助手术重点实验室； 3 青岛大学附属医院放射科)

近年来，全球范围内胃食管结合部腺癌(AEG)的发病率呈上升趋势，手术切除仍然是其主要的治疗手段[1-2]。然而，由于AEG位于食管和胃的交界处，其手术方式一直是争议的焦点[3]。AEG的预后差，若有淋巴结转移，其生存率显著降低[4-7]。选择合适的手术方式及淋巴结清扫范围，可以明显提高AEG的整体存活率[8]。肿瘤术前分期对选择恰当的治疗方案是非常必要的[9]。增强CT诊断AEG淋巴结转移有很多优势，可以对肿瘤进行分型与分期评估，有利于指导制订规范化、个性化的治疗方案[10]。最新版美国国立综合癌症网络(NCCN)指南指出，AEG首选辅助检查方式为使用口服和静脉注射对比剂的胸部/腹部CT。但大量影像数据会耗费医师的诊断时间，且不同医师诊断存在主观偏倚。随着计算机辅助技术和医学成像技术的迅速发展，人工智能(AI)在医学影像诊断中的应用日趋成熟，卷积神经网络(CNN)在医学图像中的应用也越来越广泛[11-12]。NAM等[13]利用CNN完成了胸部影像图片的恶性肺结核自动检测算法的开发和验证；LIU等[14]也阐述了CNN在胰腺癌CT诊断中的应用价值。本课题组曾利用深度学习技术成功建立了直肠癌、胃癌周围淋巴结转移的AI辅助诊断系统[15-16]。本研究通过提取病人术前增强CT图像的定量放射学特征，建立AI识别系统并进行测试，旨在利用更快的区域卷积神经网络(Faster RCNN)模型识别CT阳性淋巴结的快速性和准确性，辅助临床医师在术前实现高效预测阳性淋巴结，协助临床医师做出判断，用以指导选择手术方案。

1 资料与方法

1.1 病例选择及分组

回顾性选取2015年12月—2019年12月在青岛大学附属医院治疗的AEG病人248例。病人纳入标准：术前行胸部和上腹部增强CT检查；接受根治性手术和淋巴结清扫术；术后病理诊断为AEG。排除标准：有胸腹部手术史、放化疗史；手术后未经病理检查证实；胸腹部有其他恶性肿瘤；患有免疫系统等疾病。将入选病人随机分为训练组(174例)和测试组(74例)，分别用于训练模型和评估AI辅助诊断系统的性能。本研究获得了青岛大学附属医院伦理委员会的批准(NO.QYFYWZLL26608)。

1.2 CT图像获取及标识

所有病例均采用统一标准进行CT扫描，具体操作方法如下：病人禁食时间4～6 h，检查前协助病人进行呼吸屏气练习；病人取仰卧体位，扫描范围为膈肌顶部至脐水平线；扫描机器为Philips 256排螺旋CT仪，管电流和管电压分别为250 mA、120～140 kV，螺距为0.9，层间距和扫描层厚度为1 mm，肘静脉高压注射80 mL碘海醇，注射流量为2.6～3.0 mL/s，动脉期延迟时间为20～30 s，门静脉期延迟时间为50～70 s，平衡期延迟时间130～150 s。本研究仅提取其中最具有淋巴结诊断价值的门静脉期的图像[17]。

由3名分别工作于影像科、胃肠外科和胸外科的高年资医师整合意见，对训练组174例病人的增强CT图像进行转移淋巴结标识(所用标识软件为LabelImg)，共标记1 009张含阳性淋巴结的图像。由另3名分别工作于影像科、胃肠外科和胸外科的高年资医师对测试组病人术前CT图像中的淋巴结数量、位置作出诊断，并完成转移淋巴结区域勾画，共标记354张含阳性淋巴结的图像。

本研究将CT征象作为判断淋巴结转移的标准。阳性淋巴结征象标准如下：静脉期类圆形增大淋巴结，短径大于1 cm；强化不均，短长径之比大于0.7，多发簇集[18]。阴性淋巴结不进行标识，无标识区域作为训练AI系统区别标识区域的记忆素材。

1.3 Faster RCNN训练

使用计算机视觉领域最常用的ImageNet数据库对训练模型进行预训练，通过在ImageNet数据库中进行回归与分类任务的训练，得到模型在该任务上表现较好的参数，然后使用预训练好的模型在CT图像训练集和验证集中进行参数的训练、微调和优化等[19-20]。

整个Faster RCNN模型主要由4个模块所组成[21]。第1个模块是卷积层。首先使用像素归一化技术把输入图像进行归一化处理，将数值缩放。然后使用ResNet 50基础网络提取训练集CT图像中的高维特征并生成卷积特征图。第2个模块是RPN层，用以接收CNN提取出的高维信息并在CT图像上的转移淋巴结区域生成候选框[22]。大小不同的淋巴结影生成多种不同尺寸的候选框，每种尺寸的候选框添加3种比例的Anchor进行扫描，进而得到更多不同尺寸的候选框，可以有效覆盖不同大小的淋巴结区域。然后在候选区域上通过卷积操作进行淋巴结检测。第3个模块是Roi Pooling层，将得到的候选框映射到卷积层得到的特征图上，通过对候选框中的特征进行最大池化，得到候选框中部位的特征表示，并输入后续的分类器之中。第4个模块是分类器，基于候选框中生成的特征表示进行分类任务，同时使用回归算法确定检测框的位置。4个模块共同组成的Faster RCNN目标检测网络，可以输出图像中疑似淋巴结转移的检测框和检测框内淋巴结转移的概率。

通过计算预测的边界框与实际边界框的回归损失和目标的分类损失，将误差损失通过反向传播和随机梯度下降进行端到端训练，不断对网络参数进行优化[21]。在训练集上误差降到最低后，随机抽取训练集的一部分子集进行内部验证，若误差较大，需要对模型参数进行微调并继续训练，若训练集子集误差与训练集误差一致，则模型训练后符合分布的独立性准则，可以确定模型训练完毕，进而得到最优参数，使用最优参数可以得到最终的模型。Faster RCNN的训练过程见图1，原始标识区域示例和输出检测框的概率示例见图2，Faster RCNN的训练参数见表1。

图1 Faster RCNN的训练过程

A：原始标识区域示例；B：输出检测框的概率示例。

表1 Faster RCNN的训练参数

1.4 Faster RCNN测试

将完全不参与模型训练的测试组74例病人的所有3 784张胸腹部增强CT图像输入已经训练好的模型之中进行测试。测试组测试的结果与高年资医师标记的转移淋巴结阳性区域作比较，通过预测概率和IOU来评估AI辅助诊断系统的性能。预测概率在0～1之间，值越大代表阳性可能越大；IOU表示测试结果输出的检测框和医师手动标识区域的重叠百分比，IOU越大代表阳性可能越大。根据规定将0.7作为判定阳性和阴性区域的概率阈值，将0.5作为IOU阈值。评价指标真阳性是指预测概率大于0.7且IOU大于0.5；假阳性是指预测概率大于0.7但IOU小于等于0.5；真阴性是指预测概率小于等于0.7且IOU小于等于0.5；假阴性是指预测概率小于等于0.7但IOU大于0.5。在技术领域评价测试效果的主要指标包括诊断正确率、灵敏度、特异度、阳性预测值、阴性预测值、受试者工作特征(ROC)曲线的曲线下面积(AUC)等。

1.5 统计学分析

采用SPSS 26.0统计学软件对数据进行分析。记录训练组识别结节类别的精确度(precision)以及召回率(recall)，绘制PR曲线，计算每一个类别的AUC，并获得多个类别平均精度均值(mAP)。统计测试组所有标注的结节区域的真阳性、假阳性、真阴性和假阴性数目，计算出不同概率阈值下的真阳性率(灵敏度)和假阳性率(1-特异度)，并以真阳性率为纵坐标，以假阳性率为横坐标，绘制ROC曲线，并计算AUC。

2 结 果

2.1 Faster RCNN的训练效果

通过训练优化网络参数，不断降低损失函数值，直到网络收敛。AI诊断系统学习曲线的训练损失结果表明，经过约7 000个学习周期后，诊断系统得到了最佳优化参数。Faster RCNN训练过程中的Loss曲线见图3。测试过程结节分类的PR曲线见图4，其AUC为0.589，mAP为0.589，表明该模型结节分类效果较好。

2.2 AI系统的测试

测试结果的正确率为0.870，灵敏度为0.858，特异度为0.883，阳性预测值为0.892，阴性预测值为0.847。AI系统诊断转移淋巴结的ROC曲线(图5)显示，其AUC为0.912，说明该系统具有较高预测准确性，由此可以判断训练好的AI辅助诊断系统的诊断能力接近高年资医师水平。

在测试组中，医师联合诊断单个病例时间约为350 s，平均单张图片识别时间约为5 s，共诊断354张CT图像存在淋巴结转移；AI系统诊断共耗时为793.28 s，单个病例平均耗时为10.72 s，每张图像识别时间约为0.15 s，共诊断348张CT图像存在淋巴结转移。由此可见，AI诊断系统的诊断时间远小于临床医师诊断时间。两者对转移淋巴结位置和数量诊断结果完全相同的图片共301张，说明AI系统在整张图片诊断水平上也有较高的正确率。

Class_accuracy表示淋巴结和背景的平均分类精确度；False_negative表示假阴性的准确率；FG_class_accuracy表示淋巴结的分类准确率；Loss_box_regression表示候选框回归的错误率；Loss_rpn_class表示候选框分类的错误率；Loss_rpn_location表示候选框位置的错误率；Total_loss表示总的错误率。

图4 训练过程的PR曲线

3 讨 论

3.1 AI辅助诊断系统的临床意义

AI辅助诊断系统具有高效性。AEG的外科治疗是目前外科领域的热点问题，随着其发病率的上升，外科和影像科医师的工作量越来越巨大，影像学诊断结果的精确性也会受到影响[23-25]。本研究结果显示，AI辅助诊断系统的诊断耗时远小于医师诊断耗时，其诊断性能接近多学科医师联合诊断水平。因此，AI辅助诊断系统在一定程度上可以缩短医师的工作时间，减轻医师的工作负荷，同时也有望缩短病人就诊等待的时间，并为病人提供可信赖的影像诊断结果，使医患同时受益[26]。

图5 AI辅助诊断系统ROC曲线

AI辅助诊断系统具有全面性。食管和胃交界处解剖部位独特[27]。在中国国内绝大多数医疗机构中，胃肠外科与胸外科在AEG的诊治上形成了交叉和重叠，这导致了AEG术前诊断与治疗难以统一[23]。尽管有大量的数据提供支持，但最佳手术方式仍然存在争议，这也影响了AEG的外科治疗效果[28-29]。AEG的淋巴结引流特点为同时向纵隔及腹部淋巴通路引流，这也增加了其术前CT诊断的复杂性[30-31]。本研究由影像科、胃肠外科和胸外科三学科医师共同诊断增强CT上的AEG转移淋巴结，综合各学科医师的专业性，使AI辅助诊断系统的预测结果尽可能避免了主观偏倚，使结果更为全面、科学；相较于多学科会诊，其诊断耗时更少。这对病人术前确定最佳的诊治方案，包括手术入路、手术方式、淋巴结清扫范围以及是否行新辅助放化疗等，具有一定的指导意义。

3.2 Faster RCNN的优势

Faster RCNN集成了区域生成网络，可以快速生成疑似淋巴结的区域，有效辅助临床医师进行判断，并且大大缩减了重复计算，实现了快速实时的目标识别，具有同类网络中更高的学习率和更短的计算时间，对于实时医学检测，端到端的快速目标检测算法非常适用[21]。由于CT图像的像素值变化较剧烈，使得模型训练困难，我们在模型训练过程中使用了归一化技巧[32]，得益于归一化带来的数值缩放，模型可以更快更准确地完成优化。这样就尽可能避免了由于影像科技师操作水平差异和造影剂灌注水平差异等因素所造成的系统误差。由于AI模型需要大数据进行训练，ImageNet对模型进行预训练的作用有效地避免了数据库相对较小的弊端。Faster RCNN学习过程是以图片纹理特征为基础的特征提取[33]。因此，该模型具有一定程度鉴别图片中其他干扰结节的特点。同时，基于此种纹理特征，AI系统克服了淋巴结融合、单相位扫描、淋巴结尺寸不同等因素导致CT淋巴结形态不规则的困难，使训练效果更优化。

3.3 增强CT的优势

国内外多项研究显示，增强CT对AEG病人转移淋巴结的术前预测准确率为68%～85%[34-38]。PET及增强CT对术前诊断AEG淋巴结转移均具有较高的价值，两者准确性无统计学差异[38]。但增强CT目前在临床上应用更为广泛，相较于PET，增强CT给病人带来的经济负担更小。

3.4 不足之处及改进方法

本研究将CT征象作为阳性淋巴结的诊断标准，但在临床上，阳性淋巴结诊断的金标准为组织病理学检查，因此本研究只对辅助临床医师完成术前影像学诊断、减轻临床医师工作量有实际意义。本研究为回顾性研究，难以实现每个淋巴结的影像诊断与淋巴结术后病理诊断一一对应，建立的AI诊断系统的测试结果并不能被病理金标准证实。因此，本课题组未来将尝试进行前瞻性、多中心研究，增加数据量和淋巴结的病理取证，进一步优化该系统的诊断能力。

总而言之，随着医学影像技术的发展、AI技术的进步和医疗大数据的不断积累，智能医疗的发展进入了新时代[39]。本研究建立的AI辅助诊断系统填补了在AEG这一领域AI研究的空白。虽然其诊断性能有待于提高和改善，但是鉴于其术前预测淋巴结转移的重要临床意义和预测的高效性、准确性，该系统有望提高AEG的诊疗水平，提高医师的工作效率，促进AEG的二级预防，创造更大的经济和社会价值。