基于深度学习的肝脂肪变性分级研究

2021-06-25李星辉张政张蕾何付权汪丰

中国医疗设备 2021年6期

李星辉，张政，张蕾，何付权，汪丰

1.东南大学生物科学与医学工程学院，江苏南京 210096；2.上海交通大学附属第一人民医院放射科，上海 201620

引言

随着我国人民饮食结构的变化，越来越多人出现肥胖、代谢异常等问题。体内摄入过多的糖类与油脂会导致器官内脂质储积并发生脂肪变性。肝脏作为能量代谢的中枢器官，肝内脂肪变性严重影响肝脏的生理功能[1]，造成人体代谢异常。同时肝脂肪变性可发展为脂肪性肝炎、肝纤维化、肝硬化，少数病例还可发生肝功能衰竭和肝细胞癌，严重危害生命健康。调查显示，从2004至2014年，我国成人非酒精性脂肪肝患病率从15%增加到了31%[2]。肝部脂肪储积导致的疾病患病率逐年上升，肝脂肪变性越来越受到重视。对肝脂肪变性的准确分级有助于采取不同的治疗和干预措施，具有重要意义。同时肝脂肪变性程度的确定对于代谢类相关疾病准确诊断、治疗方案制定、随访疗效观察和预后判断等均有重要作用。

然而，肝脂肪含量的定量检测为有创手段，存在穿刺难度大，穿刺部位易感染、出血及胆汁泄漏等潜在风险。超声、CT和MRI等影像学检查技术在相关领域的应用逐渐兴起。超声检查通过超声影像下脂肪和肝组织回声不同筛查脂肪肝。医生根据超声影像进行脂肪变性程度主观分级，不同的医生会存在分级偏差。且研究表明[3]，超声影像分析仅对中重度脂肪肝检出率高，在脂肪含量低于20%的时候，敏感度最高55%，特异度仅有26%；CT检查通过CT值进行肝脂肪变性的分级，但研究表明，直接测量肝脏CT值准确率仅63%，通过参照物对照测量对中重度脂肪肝检出率较高（90%），但是对轻度脂肪判断困难[4-5]。且CT具有辐射性，使用CT评估脂肪含量具有局限性。MRI不仅能观察肝脏的形态及有无脂肪浸润，而且实验表明[6]，MRI检测脂肪肝检出率高于超声检查45.5%。

本文通过深度学习结合迁移学习的手段，利用肝的MR影像资料，进行肝脂肪变性分级研究，相比于穿刺活检，为肝脂肪变性分级提供一种智能的无创性思路。基于深度学习进行图像特征的提取和分类，模型自动对肝脏进行脂肪含量检测，节省了人力物力，同时进行肝脂肪变性程度和临床指标的相关分析，具有一定临床价值。

1 材料与方法

1.1 研究对象

本研究与上海交通大学附属第一人民医院合作，收集医院2018年6月至7月共50例进行MR上腹部mDixon成像序列扫描的患者的MR影像资料，并收集患者的临床信息。其中所收集患者需确诊肝脂肪变性等级，且排除其他肝部疾病或因恶性肿瘤进行放射治疗的患者。其中肝脂肪变性等级由影像科医生根据患者MRI资料进行分级，为确保分级准确性，分级工作由两位医生独立完成并进行验证。

1.2 深度学习模型建立

1.2.1 数据集建立

根据细胞脂肪变性程度评分[7]：细胞脂肪变性占0～5%计0分，占5%～33%计1分，占34%～66%计2分，占66%以上计3分。本研究采集的50例MR上腹部mDixon成像序列扫描的患者肝脂肪变性等级分布如下：肝脂肪变性0分共38例，其中男性患者24例，女性患者14例；肝脂肪变性1分共12例，男性患者6例，女性患者6例。

DICOM图像切片如图1所示。在每个MR序列的DICOM图像上，放置6个正方形的感兴趣区域（Region of Interest，ROI），每个区域在肝实质中由16×16像素组成；ROI选取在影像科和消化科医生指导下进行，选取规则如下：每位患者肝部MRI取6个16×16大小ROI区域，4个位于右叶实质（肝Ⅴ，Ⅵ，Ⅶ，Ⅷ段），2个位于左叶实质（肝Ⅱ，Ⅲ段），选取时确保每位患者的全部ROI肝脂肪变性情况一致，同时选取ROI过程避免大血管、胆管、肝局灶性病变和显著的肝伪影。

图1 MR上腹部mDixon成像图

1.2.2 数据预处理

（1）数据增强。深度学习模型需要大量数据支撑，数据量过少会导致模型过拟合等问题。因此通过数据增强网络可以在保持泛化能力的同时学习到更多数据不变的特征。在本研究中，根据ROI选取规则，50例患者共选取300例ROI。为满足深度学习数据量需求，将300例ROI进行8倍数据增强，操作包括：平移、镜像、旋转、随机选择区域、添加随机噪声等。

（2）不平衡数据集处理。数据集不平衡是医学影像类数据常见的问题。在深度学习中，样本不平衡会导致少数类别样本被相对忽视，而医学影像中少数类别样本往往更具有研究价值。在本研究中，肝脂肪变性0级患者38例，肝脂肪变性1级患者12例。肝脂肪变性0级患者远多于1级患者。处理数据集不平衡问题常采用的策略有少数类别样本过采样和多数类别样本降采样。由于本研究数据量较少，为平衡数据分布，对少数类别样本数据集进行过采样操作。将肝脂肪变性1级的648个ROI进行二次数据扩增，扩增倍数为4倍。最终得到肝脂肪变性0级患者ROI数据2052例，肝脂肪变性1级患者ROI数据2592例。

1.2.3 模型建立

DenseNet（Dense Convolutional Network）为2017年国际计算机视觉与模式识别会议最佳文章设计的网络。其提升网络性能方法不同于ResNet和Inception代表的加深或加宽网络结构的方法。DenseNet通过加强每一层的输入，实现特征重用，既大幅度减少了网络的参数量，又在一定程度上缓解了梯度消失的问题。

DenseNet主要由两部分组成：dense block密集块和transition layer过渡块，dense block每一层都与之前所有层相关联[8]。在传统的卷积神经网络中，L层网络有L个连接，但是在DenseNet中，有L(L+1)/2个连接，每一层的输入来自前面所有层的输出，以此类推，实现特征复用。一个DenseNet的结构如图2所示，在这个结构图中包含了2个dense block。在同一个dense block中要求特征数保持相同大小，在不同dense block之间设置transition layer实现降采样，在该网络中transition layer由批归一化层、卷积层和平均池化层组成。

图2 DenseNet结构示意图

1.2.3.1 模型输入

数据集隐藏所有病人临床相关信息，仅标记肝脂肪变性等级0级和1级作为标签。数据集由两部分组成：病人影像数据ROI和对应0级/1级肝脂肪变性标签。随机抽取0级和1级肝脂肪变性患者数据集各80%作为训练集，剩余20%作为测试集。

对所有训练集和测试集数据进行归一化操作，将MRI原图0～4095的像素范围归一化到0～1.0。归一化不改变图像本身的存储信息，归一化后可调整不同维度的特征尺度到相近范围，进而加大学习率，提升网络的收敛速度。

1.2.3.2 模型训练

迁移学习指系统识别并应用先前领域学到的知识和技能到新领域的手段，旨在解决当前领域数据量不足等问题并提高学习效率。数据量不足是医学影像的常见问题，而迁移学习技术扩大了训练数据[9]，因此在疾病诊断中显示出良好的性能。迁移学习后模型不需要训练完全空白的网络，而是通过使用前馈方法来确定已优化的较低级别的权重，以识别一般图像中发现的结构。并通过反向传播重新训练较高级别的权重，从而识别特定类别图像的特征[10]。迁移学习常选用ImageNet数据集中自然图像进行分类预训练，训练后根据当前领域数据量及数据相似度选择调整策略。

1.2.3.3 模型微调

本研究DenseNet模型使用ImageNet数据集中的128万张自然图像进行模型预训练，之后进行模型微调。微调分为三种策略：训练整个网络、冻结部分层训练部分层和冻结卷积基。由于课题数据集与ImageNet数据集中自然图像存在较大差异性且数据量较小，故采取冻结部分层训练部分层的操作。模型预训练后，取消全连接层，并冻结2个dense block，保持其权重不变。在其后添加一个未训练的dense block以及全连接层进行高级特征提取和分类训练，二者使用批归一化层和池化层进行连接。模型结构图如图3所示，Dense Block1和Dense Block2为4层密集网络连接，Dense Block3为32层密集连接。

图3 DenseNet模型网络结构图

课题使用3766个ROI进行模型训练，878个ROI进行测试。模型的训练与测试在配置了Nvidia GeForce RTX 2080 Ti GPU服务器上进行。模型由深度学习库Keras实现，语言为Python 3.6，选取AdamOptimizer为模型训练的优化函数。

2 结果

2.1 深度学习模型结果

表1收集了模型训练集和测试集的受试者工作特征曲线下面积（Area Under the ROC Curve，AUC）、精确度、敏感度和特异度。AUC是衡量二分类模型优劣的一种评价指标，表示预测的正例排在负例前面的概率；精确度为全体样本预测正确的概率；敏感度为样本中的正例被预测正确的概率；特异度为样本中的负例被预测正确的概率。测试集和训练集的AUC差距较小，表明深度学习模型可以很好地预测新患者脂肪变性的等级。同时观测敏感度和特异度可得，模型对正例（即肝脂肪变性1级）检测能力较强，具有一定临床意义。

表1 测试集和验证集模型性能表

深度学习模型性能变化的观测方式是同时观测训练和测试过程中模型精确度和损失函数（Loss）随迭代次数的变化。损失函数反映真实标签和预测标签之间的差距，Loss曲线越趋近于0表明模型预测结果与真实结果的差距越小，计算如公式(1)所示。

其中，y为真实标签，为预测标签。

Accuracy曲线反应迭代过程中模型预测正确的概率，Accuracy曲线越趋近于1表明模型正确率越高，计算如公式(2)所示。

其中，TP为True Positives，正确地被分为正例的样本数，TN为True Negatives，被正确地划分为负例的样本数，P为Positives，表示全体正例样本数；N为Negatives，表示全体负例样本数。

图4分别显示了测试集和训练集的Loss曲线和Accuracy曲线。随着迭代次数的增加，模型精确度和损失函数曲线逐渐收敛，并在400次迭代后趋于稳定。通过观察对比训练集和测试集曲线趋势表明模型未发生过拟合现象。得益于128万张自然图像进行的迁移学习，深度学习模型呈现出良好的性能。

图4 深度学习模型Loss和Accuracy曲线

2.2 统计学分析

使用MATLAB R2018b软件对临床信息进行统计学分析。对肝脂肪变性等级与临床相关信息进行斯皮尔曼相关性分析，临床信息包括：患者年龄、性别、胰腺脂肪变性等级及代谢综合征。同时分别对不同性别患者的临床信息与肝脂肪变性等级进行相关性分析。P＜0.05认为差异有统计学意义。患者临床信息与肝脂肪变性等级相关性如表2所示，肝脂肪变性等级与胰腺脂肪含量存在高度相关性。

表2 患者临床信息与肝脏脂肪变性等级相关系数表

此外，本研究分别研究了女性患者和男性患者临床信息与肝脂肪变性等级相关性。其中女性患者中肝脂肪变性等级与胰腺脂肪变性等级、代谢综合征具有显著相关性，P值分别为0.002和0.007，男性患者肝脂肪变性等级与临床信息未发现相关性。

使用平滑样条曲线拟合男性患者和女性患者的肝脂肪含量随年龄的变化趋势曲线，详见图5。患者年龄与肝脏脂肪含量虽未发现相关性，但通过拟合曲线发现女性肝脂肪含量在50～60岁之间出现了一次峰值，男性肝脂肪含量在40～50岁以及70～80岁之间出现了两次峰值，随后曲线呈现下降趋势。

图5 肝脏脂肪含量与年龄关系图

3 讨论及结论

本研究提出了一种利用MR影像进行肝脂肪变性分级的深度学习模型。采集了上海交通大学附属上海市第一人民医院50例患者进行肝脂肪变性分级的研究，通过数据处理、数据分组、迁移学习等手段，对训练集3672例和测试集972例影像数据进行模型训练与测试。模型在训练集AUC达到了0.86，在测试集AUC达到了0.83，具有良好的结果。模型在训练集和测试集敏感度均在95%左右，表明模型对肝脂肪变性1级患者检测能力大于0级患者，即表明模型对轻度及以上肝脂肪变性患者有较高检出能力。

同时对比肝脂肪变性分级的其他研究。Hernaez等[3]通过深度学习基于超声影像对轻度肝脂肪变性进行分级时，准确度为84.8%，敏感度为55%，特异度仅有26%；Lee等[4]通过CT影像对肝脂肪变性分级研究，发现直接测量肝脏CT值准确率为63%，通过参照物对照测量对中重度肝脂肪变性检出率较高，准确度可以达到90%，但是对轻度肝脂肪变性判断困难。Strauss等[11]研究表明，放射技师通过超声影像对正常和肝脂肪变性的分类准确性较低，分别为76%和72%，而在轻度、中度和重度肝脂肪变性之间的分类准确度分别为47%、59%和64%。

本研究模型相比于人工或采用其他影像手段的研究具有一定的性能优势。对肝脂肪变性的分类研究，本文的分析为患者提供了一种无创智能化的思路，有助于进行轻度脂肪变性的自动化智能筛查，实现肝脂肪变性尽早诊断。同时对肝脂肪变性的部分临床因素进行了分析，年龄、代谢综合征和胰腺脂肪变性等级等临床因素为肝脂肪变性影响因素提供了研究方向。

3.1 肝脂肪变性相关因素

脂质参与调节能量转换、物质运输、细胞发育和分化，以及细胞凋亡等多种生命活动过程[12-13]。肝脏作为能量代谢的中枢器官，在调节脂质代谢过程中发挥重要作用，包括脂肪生成和脂蛋白摄取及分泌等[14]。脂质代谢异常会导致肝组织内脂质异常增加，如过氧化脂质、游离脂肪酸等在肝脏内的增加，导致肝脏内脂质储积并发生肝脂肪变性[15]。肝脂肪变性是一个积累的过程，较严重的肝脂肪变性对肝脏具有不可逆转的伤害，如肝星状细胞受损会发展为肝纤维化[16]等。故轻度肝脂肪变性的筛查和肝脂肪变性的尽早诊断具有一定的临床意义。

通过相关性分析可知肝脂肪变性等级与胰腺脂肪变性等级具有显著相关性。体内过多的脂肪储积同样会导致胰腺脂肪的积累，过多脂肪组织沉积于胰腺实质中，即为胰腺脂肪浸润，又称为脂肪胰或胰腺脂肪变性[17]。该相关性表明肝脏脂肪积累和胰腺脂肪积累具有一定的同步性。

代谢综合征由脂质和糖类代谢异常导致，或因代谢通路异常，血液或器官中糖类和脂肪的积累导致。肝脂肪变性与代谢综合征具有一定关联性，如非酒精性脂肪肝的危险因素包括胰岛素抵抗、肥胖、高血压、血脂异常和Ⅱ型糖尿病代谢综合疾病[18-19]。通过相关性分析可见，女性患者肝脂肪变性等级与年龄、代谢综合征具有显著相关性。目前仅有女性患者肝脂肪变性与年龄和代谢综合征相关性，男性患者肝脂肪变性等级与其他因素未体现出相关性。