基于Faster-RCNN的肝细胞癌与肝内胆管细胞癌多模态MR影像智能肿瘤识别与分类诊断模型构建

雷 磊，李俊杰，王倩梅，赵 鹏，刘传明

肝癌是世界范围内病死率最高的恶性肿瘤[1-3]，每年有800 000～1 000 000死于肝细胞肝癌(HCC)及相关疾病[4]。原发性肝癌(PLC)从组织学类型上可分为HCC和肝内胆管细胞癌(ICC)[5-6]。由于两种肿瘤治疗策略不同，科学合理的鉴别诊断，对疾病后续治疗有着重要的指导意义。MR增强扫描因具有软组织分辨率高、对比度高、成像参数多等优势，在HCC/ICC的鉴别诊断中起重要作用[7]。但MR增强扫描在临床应用中仍存在一些问题，一方面人工影像鉴别准确率有进一步提升的空间，另一方面其模式多、时相多，在一定程度上增加了判读的复杂性。当前，以区域卷积神经网络(RCNN)为代表的深度学习方法已广泛应用于医学图像识别领域，在病变识别和性质判断上取得了诸多成果。Faster-RCNN是在RCNN基础上的重要改进，其将特征提取、边框回归、分类等任务整合到同一个网络中，极大提高了网络的综合性能[5]。本研究拟将不同时相的MR图像进行配准、融合，以Faster-RCNN为主要方法，对HCC和ICC的MR增强扫描图像进行肿瘤范围识别及性质分类，旨在为临床转化、协助诊疗工作提供帮助。

1 资料与方法

1.1一般资料 选取2017年1月—2020年1月于我院接受肝脏切除手术治疗，经术后病理明确诊断为HCC或ICC(不包括HCC-ICC混合型)，且术前4周内于我院接受腹部MR增强扫描156例。排除标准：①合并肝脏良性占位性病变(肝血管瘤、肝囊肿、肝脏局灶性结节增生等)者；②患者在采集图像过程中出现较大体位变化，导致MR不同时期图像之间难以配准；③图像质量不佳。

1.2图像采集 所有入组患者使用3.0T MR仪进行扫描。增强扫描序列包括动脉期、静脉期、延迟期。序列切片厚度为5 mm、间隔1.5 cm、图像大小510×420像素。所有图片使用DICOM格式收集并存储。存储时，以患者手术标本的病理诊断为训练标签。

1.3图像标注及配准 使用MR图像中的动脉期、静脉期、延迟期图像及融合图像进行训练。所有图像感兴趣区域(ROI)由有经验的专科医师使用SLICE软件进行标注。标注时，首先选取一个序列的影像，在横断面、冠状面、矢状面中任选两个方向(SLICE软件可以通过一个方向的图像序列，根据切片厚度生成其他方向的图像)，在肿瘤截面积最大的层面对肿瘤进行矩形标注。标注原则：①矩形标注框应完全包含肿瘤范围；②在满足①的前提下，标注框面积应尽可能小；③当肿瘤边界不清时，标注框应尽可能完整包含疑似肿瘤的部分。在完成一个序列的标注后，SLICE软件可以生成立方体的三维标注框。在同一患者其他序列的影像标注中，不调整该立方体标注框的大小，仅调整其空间位置，使其可以包含新序列中的肿瘤区域。必要时调整标注框。标注完成后输出标注框在影像序列中的坐标位置并保存。

使用image_registration软件中的chi2_shift方法对图像进行配准。为提高配准的准确性，首先将不同模态的影像依次沿X轴连接，配准后融合动脉期、静脉期及延迟期图像，按图像尺寸裁剪。最终获得融合后的420×510×3矩阵用于训练。

1.4Faster-RCNN模型训练 结合MR影像数据特征采用Faster-RCNN模型训练[8]。Faster-RCNN基本原理是将选择候选区域、提取特征、分类与边界回归等步骤融合到一个神经网络中进行，其结构包括Faster-RCNN、区域建立网络(RPN)和卷积神经网络(CNN),见图1。在训练过程中，当图片输入模型后，通过CNN提取图像特征，一个分支将特征图输入池化层，另一个分支将特征图输入RPN，得到2000个候选框后送入池化层，分别提取各候选框特征。最后通过全连接层进行分类计算和边框回归确定候选范围。

图1 Faster-RCNN基本结构

1.6统计学方法 使用Dice系数作为肿瘤目标识别准确性的评价指标，当测试结果框选范围与预先标记的肿瘤范围Dice系数≥50%时，认为肿瘤位置判断准确；随后判断该区域的分类是否准确，以精确率及召回率作为评价指标。精确率=真阳性/(真阳性+假阳性)×100%，召回率=真阳性/(真阳性+假阴性)×100%。临床数据的统计学分析使用SPSS 23.0软件，计数资料以率(%)表示，比较采用χ2检验。α=0.05为检验水准。

2 结果

2.1训练集和测试集患者临床资料比较 纳入训练集和测试集影像数据来自156例患者，随机选取其中125例(80.1%)作为训练集，31例(19.9%)作为测试集。患者动脉期、静脉期、延迟期图像序列均包含88张图像。训练集和测试集患者在性别、年龄、体质量指数、乙型肝炎病毒感染、丙型肝炎病毒感染及病理类型构成上均无显著差异(P>0.05)，见表1。

表1 训练集和测试集患者临床资料比较[例(%)]

2.2目标识别测试结果 Faster-RCNN使用TensorFlow实现。分别针对单一序列图像及融合后图像(图2)进行训练，以学习率=10-4进行优化。在单一序列训练中，最终迭代次数为20 000次；在融合图像训练中，迭代次数为30 000次。Faster-RCNN在每张图片中输出2000个候选框，保留其中置信度>0.7的候选框。在Z轴连续性筛选中，如连续2个层面中识别的肿瘤候选框范围Dice系数≥50%认为是真阳性，否则判断为假阳性(图3)。目标识别准确性判断中，使用输出的识别框与预先标记的识别框比较，如二者Dice系数≥50%认为判断正确，否则认为判断错误。目标识别结果见表2。结果可见无论是单一序列图像还是融合图像，Z轴连续性筛选均提高了精确率和召回率。在单一序列测试中，延迟期图像在经Z轴连续性筛选前、筛选后均获得了最高的精确率和召回率。

图2 图像配准及融合示例

图3 肿瘤目标范围识别示例

表2 目标区域识别结果

2.3分类诊断测试结果 测试中，存在部分图像ROI区域识别结果错误，但分类诊断结果正确。实际应用中此类识别结果不具有价值，因此仅当ROI区域识别结果正确且分类诊断结果正确时，才认为判断结果正确(图4)。在单一序列判别结果中，延迟期图像整体分类诊断准确率及HCC、ICC分类诊断准确率均最高，而融合图像准确率则高于单一序列图像。见表3。

表3 图像层面分类诊断测试结果(%)

因同一位患者的不同层面结果可能存在差异，使用加权投票法对患者层面分类诊断结果进行综合判断，即以各层面分类诊断结果置信度作为投票权重，以最终的投票结果作为患者的疾病诊断结果。加权投票后，动脉期、静脉期、延迟期HCC分类准确率均高于加权投票前，ICC分类准确率低于加权投票前，加权投票提高了整体准确率。见表3、4。融合图像整体分类诊断准确率为93.5%，HCC分类诊断准确率达96.0%，ICC分类诊断准确率达83.3%。见表4。

图4 肿瘤分类结果示例

表4 患者层面(加权投票后)分类诊断测试结果(%)

3 讨论

近年来，以深度神经网络为代表的人工智能技术在医学领域展现出巨大的应用潜能。相较于传统统计分析方法，神经网络更善于挖掘高维度、复杂数据间的内在联系，目前已经在临床诊断、预后分析等领域得到应用。CNN具有良好的图像特征提取及分类能力[9-10]。ESTEVA等[11]使用深度神经网络对皮肤恶性肿瘤分型进行图像识别，受试者工作特征曲线下面积(AUC)、诊断特异度和敏感度均较高。而利用迁移学习法对眼科影像进行智能识别，在提高AUC的同时，还极大降低了模型训练对样本量的要求[12]。

RCNN是第一个成功将深度学习应用到目标检测中的方法。RCNN的检测思路与传统目标检测方法类似，均使用框提取、特征提取、图像分类、非极大值抑制4个步骤[13]。在特征提取步骤中，由于使用CNN，可以提取更多的图像信息，因此较传统方法大幅提高了目标检测的准确率。RCNN发明者Girshick于2016年提出了Faster-RCNN模型，在网络结构上将特征提取、边框回归、分类任务整合在一个网络中，极大提高了检测速度及模型综合性能[14]。本研究的目标识别及分类任务基于Faster-RCNN模型，该模型在单一图像的目标识别中可以识别多个目标。由于HCC/ICC患者常合并肝囊肿、肝血管瘤等良性疾病；同时由于合并肝硬化患者较多，常在肝脏图像中出现异常成像区域。因此在单层面图像水平的目标识别中可能存在较多假阳性结果。为解决这一问题，本研究采用Z轴连续性筛选，根据肿瘤的形态特征，将在Z轴中孤立的识别结果判断为假阳性，经过Z轴连续性筛选后的识别精确率和召回率均显著高于筛选前，尤其精确率得到大幅提高，证实该方法可以有效降低识别的假阳性率。

MR增强扫描较MR平扫可以显著提高诊断准确率。在临床工作中，HCC与ICC在MR增强扫描中的鉴别诊断需要结合不同序列影像进行判断。本研究在对单一序列图像进行识别的同时，提出将动脉期、静脉期及延迟期影像进行融合，旨在增加单一图像所包含的信息，以提高目标识别和分类的准确性[15]。为解决单一层面图像配准效果不理想的问题，本研究将一个序列中的图像按顺序连接后进行图像配准，该方法增加了单一图像中的特征，在不改变图像基本形状的同时，获得了较为理想的配准效果，融合后的图像无论在目标识别和分类性能方面均优于单一序列。

为进一步提升模型性能，结合患者临床特征，本研究提出使用加权投票的方法对患者肿瘤分类进行整体判断[16-17]。尽管该方法提高了整体判断准确率，尤其是在融合图像中整体准确率达93.5%、HCC判断准确率达96.0%；但在ICC的判断中，准确率却出现下降，单一序列的判断结果不理想，只有融合图像判断准确率达到了83.3%，可能原因为ICC测试集中患者水平样本量较少(6例)，导致结果波动较大；训练中HCC与ICC样本量不平衡(85.6% vs 14.4%)。更加平衡的数据可能会获得更好的分类性能，这是本研究的主要局限性之一；此外，本研究还需进一步扩大样本量以提升模型的稳定性和可靠性。

综上，本研究通过Faster-RCNN模型，使用经配准、融合后的多模态MR影像数据，结合Z轴连续性筛选、加权投票方法，构建了一种可以高效、准确对HCC/ICC患者进行肿瘤区域识别及分类诊断的模型。该模型具有较强的临床转化潜力，进一步完善后有望协助相关医生进行HCC/ICC的识别及鉴别诊断工作。