基于CT影像构建的ResNet-18模型在非酒精性脂肪性肝病分级中的应用

雷立存，杜亚强，周琦，高天姿，杨爽，王哲

1.河北医科大学第一医院放射科，河北 石家庄 050031；2.河北医科大学第四医院体检部，河北 石家庄 050011；*通信作者 杜亚强 halixundong@126.com

非酒精性脂肪性肝病（nonalcoholic fatty liver disease，NAFLD）是一种世界范围内的慢性疾病，发病原因主要有肥胖、2型糖尿病、高脂血症与代谢性疾病等，近年NAFLD患病率呈逐年上升趋势[1-2]。肝脏脂肪性病变是由于肝脏细胞脂肪液滴的积累，进而可能导致肝炎、纤维化、肝硬化，最后进展为肝细胞癌[3-4]。NAFLD发生纤维化的概率约为25%，1.5%～8.0%可进展为肝硬化[5]。因此，早期诊断与提前干预可能阻止其发病历程[4]。

目前肝脏活检是诊断NAFLD的重要参考标准，但因其有创性、价格昂贵，不适合大范围筛查。肝脏超声检查的缺点是分辨率低，依赖超声设备与操作医师的个人经验手法[6]。肝脏CT平扫虽然有电离辐射，但成像快速，且分辨率较高，可以显示更多的信息，广泛应用于临床，并且联合肝/脾CT值分析有助于诊断NAFLD[7-8]。随着近年深度学习技术的兴起，其在计算机视觉与自然语言处理领域已取得突破性成果[9]。自2012年以来，基于卷积神经网络（convolution neural network，CNN）的图像识别网络每年均提高识别准确率[10-11]。目前各学科交叉促使将优异的深度学习图像识别网络应用于医学图像辅助医务人员诊断变得切实可行。本文挑选ResNet-18图像识别网络，采用迁移学习的方式[12-13]，基于肝脏CT平扫图像，验证深度学习诊断NAFLD的可行性。

1 资料与方法

1.1 研究对象 回顾性分析2020年5—12月河北医科大学第一医院收治的164例经CT扫描检查诊断为NAFLD的影像资料，共1 801层CT平扫图像，其中男101例，女63例；年龄9～86岁，平均（46.1±16.3）岁；轻度脂肪肝53例共577层图像，中度脂肪肝54例共590层图像，重度脂肪肝57例共634层图像。一般资料见表1。将20例行上腹部CT平扫未见明显异常患者纳入对照组，共200层图像，其中男13例，女7例，年龄13～73岁，平均（36.6±18.7）岁。共收集2 001层图像。纳入标准为所有患者均在CT检查中未发现其他明显肝脏疾病，且无重大肝脏疾病史和手术史。本研究经河北医科大学第一医院伦理委员会批准（审批号：20200425），并获得患者知情同意。

表1 轻度、中度、重度NAFLD患者一般资料（例）

1.2 数据集 NAFLD分级标准参考《中国非酒精性脂肪性肝病诊疗指南》[14]，CT诊断脂肪肝的依据为肝脏密度普遍降低，肝/脾CT值＜1.0，其中0.7＜肝/脾CT值＜1.0为轻度脂肪肝，0.5＜肝/脾CT值≤0.7为中度脂肪肝，肝/脾CT值≤0.5为重度脂肪肝。首先收集研究所用病例影像数据，进行相应预处理，然后随机划分训练集、验证集、测试集，训练集与验证集用于训练参数建立模型，测试集用于模型最后评估，最后进行模型评估指标分析（图1）。

1.3 数据预处理 为了将图像数据送到网络中便于训练且节省计算机内存，统一将肝脏CT图像数据调整为512×512像素、JPG格式，采用后处理工作站实现（图2）。然后将数据集按照60%、20%、20%划分训练集、验证集、测试集；且随机打乱，保证泛化性；其中训练集1 201层图像，用于训练网络模型参数；验证集400层图像，用于防止网络过拟合，调节模型超参数；测试集401层图像，用于评估模型真实效果。

1.4 深度学习模型 使用ResNet-18图像识别网络，较以往传统基于CNN的图像识别网络（如VGG网络[10]）不同，ResNet类型的网络增加了“短接”机制[11]（图3）。

公式：xi=F（xi-1）+xi-1（xi代表第i层的图像特征信息，F代表由卷积层、BN层、池化层等组成的基本单元），前向传播过程中，将之前提取过的特征信息也考虑在内。

ResNet类型的网络加入“短接”机制，即将原始图像特征数据通过1×1卷积的作用，调整为与由基本单元提取后的特征数据一致的尺寸大小，便于特征的融合，即将特征信息相加。在前向传播过程中，每一层均考虑了之前由基本单元提取过的特征信息，解决了传统的图像识别网络，因网络层数堆叠很深时，模型难以收敛的问题。结尾的数字18，仅代表基本单元数量不同，结构上无差异。

本研究采用迁移学习方法，即不使用较小的数据样本量直接训练模型巨大的随机初始化的参数，而是在装载了预训练参数的模型上，在模型输出端更换适合本研究分类情况的全连接层，然后再使用本研究数据训练网络，进行参数微调，避免因数据量与算力的不足导致模型不收敛。代码实现基于深度学习框架Pytorch，采用Python 3.7语言编写，代码运行环境为Windows 10系统，GPU为Nvidia Geforce RTX 2080Ti 11GB，epoch设置为500，学习率设置为0.001，batchsize设置为64，训练过程中，运行完所有的epoch，保存其中在验证集上准确率表现最好的那一次的模型参数。

1.5 统计学方法 入选病例临床一般资料性别和年龄段行χ2检验。针对评估模型的表现，采用受试者工作特征（ROC）曲线与曲线下面积（AUC）评估准确度、敏感度、特异度对ResNet-18图像识别网络在NAFLD分级中的价值。

2 结果

ResNet-18图像识别网络在测试集中的总体准确率为95%，识别正常肝脏、轻度脂肪肝、中度脂肪肝和重度脂肪肝的CT平扫图像敏感度、特异度及AUC值见表2，ROC曲线见图4。

表2 ResNet-18图像识别网络测试集评估

3 讨论

NAFLD是指除酒精和其他明确的肝损伤因素所致肝细胞内脂肪过度沉积为主要特征的临床病理综合征，NAFLD包括非酒精性脂肪肝、非酒精性脂肪性肝炎、肝硬化和肝细胞癌[15-16]。NAFLD在全球的发病率为10%～30%，亚洲国家为11%～16%，中国的发病率约为15%[17]。随着近年医工结合的不断发展，人们对医疗质量和效能提出了更高的要求。传统基于医学影像对NAFLD分级的方法虽有一定效果，但其效率不高、图像信息不全面。深度学习可以自动获取原始图像的一系列特征，可以为NAFLD分级诊断提供新的方向。

深度学习技术目前已渗入医学影像领域的诸多方面，如心血管疾病的CT/MRI影像的分割与量化、视网膜眼底影像分析、胸部X线影像的深度学习辅助诊疗以及对颅内出血与颅内肿瘤影像的语义分割[18-21]。在肝脏影像领域，此类报道较多，Forlano等[22]利用CNN技术将收集的NAFLD患者资料建立模型，与人工组对比结果一致；Heinemann等[23]用CNN系统建模，量化了NAFLD和非酒精性肝炎的病理图片，并建立了相应的区分系统，其准确性与病理诊断正确率接近一致。余文林等[24]研究发现，使用T1RHO-FA参数采集的MR影像和采用VGGNet-11模型更能提高肝纤维化分期的诊断准确率。茹仙古丽·艾尔西丁等[25]利用图像识别网络Inception-v3在肝癌病理切片图像中区分正常与病变两种类型，最终平均准确率达到99.2%。

传统的图像识别网络，单纯通过堆叠由卷积层、激活函数层、BatchNormalization层（BN层）、池化层组成的基本单元，进行对图像数据的单一向前逐层提取特征。本研究采用迁移学习方式，利用深度学习框架Pytorch搭建已预训练的ResNet-18图像识别网络，避免因数据量与算力的不足导致最终模型不收敛的情况，同时也在一定程度上降低了模型过拟合的风险。另外数据预处理过程相对简单，无需过多复杂的图像处理相关操作，网络模型可以直接读取原始JPG格式的数据，也为将来实际应用降低了难度。

本研究结果发现，测试集共401层图像中，正常图像32层，网络可以全部识别正确，准确辨别正常图像与NAFLD图像，而在NAFLD图像中分级的轻、中、重度图像中，网络表现出较高的敏感性，但也有识别分类错误的图像，其原因可能是由于当前数据规模较小，不可能将所有NAFLD图像特征包含在内，并且NAFLD的CT平扫表现也因人而异。此外，尽管大量研究表明通过测量肝/脾CT值定量诊断NAFLD与病理活检肝脂肪含量有较高的相关性，但由于CT值除受肝脏脂肪含量影响外，还存在铁、铜、纤维化、水肿等多方面的干扰因素，因而需要进一步研究加以证实。

随着深度学习等相关计算机技术的不断更新发展，实现全自动化自动诊疗继续向前迈进，本文进行基础性探索，使计算机自动化进行NAFLD的分级得以实现，可以预期，深度学习有望在将来为肝病诊断提供更多的方法。