基于多模态MRI 图像的3D 卷积神经网络对肝纤维化分类的价值研究

樊凤仙，胡万均，姜艳丽，邹婕，杨品，张静*

肝纤维化（liver fibrosis,LF）是各种慢性肝病发展为肝硬化、肝癌的必经途径，全球的肝硬化患者已从1990年的7100万大幅上升至2017年的1.22亿[1]。大量临床研究发现多数病因导致的LF和早期肝硬化经过治疗干预是可以消退、逆转的[2]，因此，LF的早期诊断和及时的临床干预成为肝病领域最重要的任务。肝活检是LF 诊断和分期的金标准，但肝活检的有创性、发生并发症的风险、抽样误差等缺点使其不能在临床广泛开展，且不适于肝病进展的随访。

随着人工智能技术的不断发展，已经在肝脏疾病中开发了多种机器学习算法并结合临床参数来预测肝脏弥漫型疾病的风险和进程，例如评估LF 和脂肪变性，预测原发性硬化性胆管炎的肝脏失代偿、筛选和选择肝移植受体以及预测肝移植后的生存率和并发症等[3]。Yasaka 等[4]运用钆塞酸二钠（Gd-EOB-DTPA）增强的肝胆相图像，研究了深度学习算法在LF 分期中的应用，但研究者所开发的算法需要手动选择包括肝脏轮廓在内的肝实质区域进行图像裁剪，该方法可能容易出现观察者间的差异，且所获得的感兴趣区（region of interest, ROI）为2D图像。此外，Gd-EOB-DTPA增强检查需额外注射对比剂，存在过敏风险。因此，本研究基于LF 患者的常规T1WI、T2WI、表观扩散系数（apparent diffusion coefficient, ADC）平扫图像开发基于深度学习的3D 卷积神经网络（convolutional neural network,CNN）模型，以区分无显著LF（S0～S1）、显著LF（≥S2）。

1 材料与方法

1.1 研究对象

回顾性分析2016 年1 月至2020 年7 月兰州大学第二医院行肝脏组织穿刺活检或手术病理检查证实为LF，并在病理检查后3 个月内[4]接受过肝脏MRI 平扫检查的患者病例。纳入标准：（1）符合LF病理诊断标准，并有明确病理分期；（2）具有完整的临床病史资料及临床实验室检查资料。排除标准：（1）MRI 扫描机型及参数不一致或扫描序列不完整者；（2）图像质量不佳，无法进行分析，如图像伪影重或重建后图像有间隔；（3）肝脏弥漫病灶或单发较大肿块（最大直径＞5 cm）；（4）既往肝脏手术史。本研究经兰州大学第二医院伦理委员会批准，免除受试者知情同意，批准文号：2021A-196。

1.2 LF病理分期

所有患者均经超声引导下病理穿刺活检证实为LF，穿刺点为肝右叶。参照国内学者以Scheuer评分系统为基础修订的慢性肝炎的病理学诊断标准[5]中有关标准进行LF 分期，将LF 分为S0～S4期：S0为无纤维化；S1 为汇管区纤维化扩大，局限性窦周及小叶内纤维化；S2为汇管区周围纤维化，纤维间隔形成，小叶结构保留；S3 为纤维间隔伴小叶结构紊乱，无肝硬化；S4为早期肝硬化。本研究纳入病例中S0～S4期LF患者分别为7例、107例、62例、29例、19例。MRI检查与病理检查平均间隔时间为4.5 d（0～89 d）。根据《肝纤维化诊断及治疗共识（2019年）》[6]，以S0～S1定义为无显著LF，≥S2定义为显著LF。

1.3 MRI图像采集

所有患者均行肝脏MRI平扫检查，检查前空腹＞6 h，并进行呼吸和屏气训练以获得良好的配合。采用荷兰Philips 3.0 T Ingenia MRI扫描仪，16通道相控阵体线圈。轴位T2WI 频率衰减翻转恢复（T2WI spectral attenuated inversion recovery, T2WI-SPAIR）序列扫描参数：TR/TE 718 ms/77 ms，FOV 350 mm×392 mm，矩阵232×200，层厚/层间距6.5 mm/1 mm；轴位T1魔镜成像（T1-mDIXON）序列扫描参数：TR/TE 3.7 ms/1.31 ms，FOV 400 mm×350 mm，矩 阵244×193，层 厚/层 间 距4 mm/-2 mm；轴位扩散加权成像（diffusion weighted imaging, DWI）序列参数：TR/TE 2462 ms/75 ms，FOV 400 mm×353 mm，矩阵132×117，层厚/层间距6.5 mm/1 mm，b=0、800 s/mm2，扫描结束后DWI 序列重建出ADC图。

1.4 数据预处理

从影像归档和通信系统（picture archiving and communication system, PACS）中下载患者图像并存储为DICOM格式文件。预处理步骤包括：（1）T1WI选择mDIXON序列的水相，从T1-mDIXON序列中单独保存水相，以T1 水相为标准图像，应用ITK-SNAP（version 3.6.0，http://www.itksnap.org/）软件对图像进行预处理，运用仿射配准方法将T2WI 图及ADC 图配准到T1WI图，重建后图像层厚4 mm，层间距-2 mm，所有图像以NiFTI格式保存，然后对所有患者图像进行配准；（2）使用Python 3.7软件编写的代码对图像进行处理和自动裁剪，为更好对应病理穿刺区域，基于肝右叶所在目标区域坐标，对图像随机裁剪10次，步长为10，重叠10 个体素大小，分辨率为28 mm×28 mm×28 mm；（3）使用直方图均衡化、拉普拉斯换算法对图像进行增强，以增加训练样本的数量，更好地提取图像特征、泛化模型，最终每个序列生成211 200幅图像，将图像转换为对应的图像矩阵，输入CNN模型；（4）为了减少偏场效应，对裁剪后的图像进行归一化处理，将像素值归一化到-1～1之间；（5）按8∶2 的比例随机将所有患者分为训练集（n=179）、测试集（n=45）。

1.5 深度学习模型开发及验证

CNN模型在GeForce GTX 1060（NVIDIA, California,USA）图形处理单元上进行有监督训练，该模型是在TensorFlow后端（Google，https://www.Tensorflow.org/）上运行的Python 3.7 和Pytorch 2.4（https://pytorch.org）构建。应用训练集图像对模型进行网络结构（包括权重计算和梯度自动求导）迭代训练，将CNN 输出的预测值与实际值（即纤维化病理分期）进行比较，利用损失函数（loss，本研究为交叉熵）计算误差。然后对误差进行反向传播，并更新网络权重、梯度自动求导以减少损失。利用深度学习中常用的随机梯度下降（stochastic gradient descent, SGD）优化器优化训练模型，并更新CNN 中的参数，更新网络权重，以减小LF 分类模型与LF 病理分期之间的差异。以四个样本数据为batch 进行训练。由于小批次的样本训练初始权重和患者选择存在随机性，因此进行了1500 个epoch（即所有训练数据前向传播和反向传播后更新参数的过程，训练过程中全部参数进行了6000 次更新）。训练完成后，用测试集数据对CNN 模型进行测试，使用准确度（accuracy,ACC）曲线、loss 曲线及受试者工作特征（receiver operating characteristic, ROC）曲线来评价模型的性能。

最终的CNN模型构成：（1）三个卷积层，全部使用3D 卷积，其中第一层对于原始图像中的每个像素都有56 个卷积滤波器，而另外两个层在所有像素上都有112 个滤波器，每个滤波器通过将体素卷积为2 mm×2 mm×2 mm来生成滤波后的图像；（2）批标准化层（batch normalization, BN）、三个最大池化（max pooling）层（大小均为2 mm×2 mm×2 mm），BN层可防止模型过拟合，最大池层降低了滤波图像的分辨率，但具有空间不变性（即通过体素移动的特征仍可以用相同的神经元表示，这样有助于特征提取）；（3）两个全连接（fully connected network,FC）层，一层具有1024 个神经元，另一层输出最终二分类结果。模型构成见图1。

图1 3D卷积神经网络模型的结构。输入图像经过三个卷积层、三个最大池化层处理，然后使用两个全连接层来处理数据。C：通道；U：单元。Fig. 1 The structure of 3D convolutional neural network model. The input image data was processed by three convolution layers and three maximum pooling layers. Then two fully connected layers were used to process the data.C:channel;U:unit.

1.6 统计学分析

使用SPSS 26.0（IBM, Armonk, New York, USA）软件进行统计分析。符合正态分布的计量资料用均值±标准差（xˉ±s）表示，计数资料采用频数表示。采用单因素方差分析（ANOVA）比较不同纤维化分期患者年龄组间差异。计数资料采用卡方检验进行分析。P＜0.05为差异具有统计学意义。

2 结果

2.1 一般资料

根据纳入及排除标准最终纳入患者病例224例，其中：男134例，年龄17～62（37.7±9.9）岁；女90例，年 龄18～61（40.3±10.0）岁；无 显 著LF（S0～S1）114例；显著LF（≥S2）110例。患者临床资料见表1。

表1 肝纤维化患者临床资料Tab.1 Clinical data of patients with LF

2.2 CNN模型诊断性能

模型训练过程性能评价如图2 所示，随着epoch数量的增加，训练集和测试集中loss值不断下降，ACC不断升高，且测试集ACC优于训练集，提示该模型有较好的分类性能。模型训练完成后，基于多模态MRI的3D-CNN 模型在训练集中的ROC 曲线下面积（area under the curve, AUC）值为0.94，在测试集中的AUC为0.98（图3）。

3 讨论

慢性肝病给社会带来了沉重的卫生经济负担，几乎任何慢性肝病均可引起LF。《肝纤维化诊断及治疗共识（2019 年）》指出在LF 发生的早期阶段以病因治疗、抗炎保肝治疗为主，进展期、显著LF 期以及肝硬化期时需要进行抗LF治疗[6]，因此本研究中将患者分类为无显著LF（S0～S1）、显著LF（≥S2）。深度学习技术在医学成像中发展迅速，其可以从图像中获得额外的诊断信息，从而全面和客观地评估图像特征。CNN是最流行的神经网络结构，也是最常应用于图像的算法[7]。本研究建立基于多模态MRI 图像的3D-CNN 模型，将LF有效分为无显著LF、显著LF，对指导临床治疗方法的选择有重要意义。

3.1 多模态MRI 图像3D-CNN 模型对LF 分类的结果探讨

以往对LF分期的深度模型开发多基于CT和超声图像[8-10]，而MRI图像具有多参数、多方位成像及较高的软组织分辨率等优势，可以使CNN捕捉到更广泛的成像特征。Yasaka等[4]、Hectors等[11]基于Gd-EOB-DTPA增强MRI的肝胆期图像建立了深度学习的LF预测模型，特别是Hectors等的研究中实现了全自动深度学习算法，可自动进行肝脏分割，该深度学习模型在预测纤维化严重程度方面表现出色，在单独的测试集中与磁共振弹性成像（magnetic resonance elastography,MRE）有相似的表现。本研究结果表明，基于T1WI、T2WI、ADC 图多模态MRI 的训练模型能够在测试集对LF 进行准确分类，其AUC 值达0.98。本研究在LF 分类中具有较高ACC 可能原因如下：（1）首先也是最重要的原因是本研究应用了3D-CNN 网络，与2D 网络相比，3D 网络结构的优势在于密集的连接将信息从之前的所有层传送到下面的层，这些类型的网络更容易训练，可以有效提高分类精确度，减少过度拟合[12]。此外，3D网络可以编码更丰富的空间信息，通过3D样本训练的层次结构可提取更具代表性的特征[13]。多项研究证实3D-CNN 较传统2D-CNN 模型有更优的分类性能[14-15]。（2）另一个原因可能是本研究从多模态MRI 图像中提取和综合分析了众多特征，可以实现不同序列中特征信息互补，研究发现这种方法明显优于单个MRI图像的模型，且图像的配准不会影响模型的分类性能[16]。

3.2 3D-CNN模型的优势

LF 与胶原蛋白等大分子物质在肝脏中的沉积有关,导致肝脏血管和结构改变，从而产生组织纹理的改变，多项研究评估了MRI 影像组学在评估LF 中的应用[17-18]，虽然取得了良好的结果，但影像组学分析需要手动勾画ROI，不仅费时，ROI 的选择也受到观察者间差异的影响；此外，影像组学定性语义特征和定量特征均属于浅层特征，主要表征图像的“表象”[19]。深度学习不依赖于预定义的、手工设计的特征，使用CNN的深度学习能够自动捕获初始卷积层中多个层次的特征信息，随着卷积层感知域的增大，高层次的抽象特征被提取出来，这些特征往往与临床状态有关，从而有助于识别性能的提高[20]。

MRE 是有最高可信度和诊断性能的MRI 定量方法，已经成为LF 评估的无创性标准[21]，但MRE 检查需要配备额外硬件，检查耗时、费用较高等限制了其普及与应用。深度学习作为一种图像处理方法，在不需要额外硬件的情况下，应用常规序列即可对LF 进行无创性评估，是肝脏疾病影像学评估中非常有前途的辅助工具。

3.3 本研究的局限性

本研究存在一些局限性。第一，本研究在肝脏分割时仅自动选择了10个体素大小为28 mm×28 mm×28 mm的3D 正方体图像，LF 为弥漫性病变，可能无法反映少部分肝脏的纤维化进展。目前有部分研究采用全自动的肝脏分割算法[11]，很好地避免了这个问题，因此在今后研究中应不断改进研究方法。第二，本研究为回顾性研究，患者选择存在偏倚、样本量数据过少，不同纤维化分期间样本量不平衡，无法预测确切的纤维化阶段，因此采用了二分类LF分类方法。但本研究通过图像增强方法增加了样本量，模型在二分类中有较好的诊断性能，今后的工作将不断扩大研究队列。

综上所述，利用常规序列多模态MRI 图像，基于深度学习的3D-CNN 模型可对无显著LF 和显著LF 进行准确分类，在LF 的无创性诊断中具有广阔的应用前景。

作者利益冲突声明：所有作者均声明不存在利益冲突。