深度学习在MR早期诊断膝关节骨性关节炎中的研究进展

张乐平综述 付旷审校

深度学习(deep learning,DL)是机器学习的一个分支，可以自动识别图像中的特征，它是由多个处理层组成的计算学习模型，具有多个抽象级别的数据表示，在医学领域，尤其是放射学领域，已经有大量关于DL的研究，显示了巨大的前景。

膝关节骨性关节炎(knee osteoarthritis, KOA)是一种复杂的异质性疾病，是老龄化人群中常见的致残原因。KOA的病理生理学特征是软骨的破坏及相邻组织和软骨下骨的相关变化，导致关节衰弱症状，包括疼痛和残疾，并伴有结构性畸形[1]，因此，个体水平上疾病进展的预后是复杂的。常规的影像学检查对KOA的早期诊断及治疗预后预测是局限的。随着人工智能在医学中的蓬勃发展，将会为其提供参考，DL最近已被应用于KOA的评估、分类和进展预测[2-3]。

1 DL概况

DL不是一种特定的算法，而是一种涉及多个层次的技术[4]。DL方法通过组合简单但非线性的模块获得，每个模块将一个层次的表示转换为更高、更抽象层次的表示。通过组合足够多的此类转换，可以学习非常复杂的函数。对于分类任务，更高层次的表示会放大对区分重要的因素，并抑制不相关的变化，DL的关键方面是这些功能层不是由人类工程师设计的，它们是通用学习程序从数据中得到的[5]。DL模型通常基于人工神经网络，这是节点(人工神经元)的计算框架[6]。DL可以使用2种基本的方法，分别为有监督学习和无监督学习。在有监督学习中，计算机被赋予有标记的数据集，其中的对象已经被预先分类，该算法寻找区分每个类别中对象的特征。在无监督学习中，计算机算法被赋予未标记的数据，无监督深度学习算法的任务是确定不同类别对象的标签，并将对象划分为相应的类别[7]。

2 DL在膝关节的研究进展

2.1 DL与膝关节图像分割 临床上通过图像分割对于确定膝关节结构组织和对分割结果进行分类具有重要意义[8]。然而，人工分割膝关节结构是繁琐、耗时的过程，这使得在临床常规分析更大的队列或制定个体化治疗计划变得不切实际，由此，基于DL的图像分割有了发展机遇。现阶段所研究的DL自动分割绝大多是在磁共振图像上完成的。Ambellan等[9]利用OAI和SKI10数据集结合3D统计形状模型(SSMs)及2D和3D 卷积神经网络(CNN)，实现即使是高度病变的膝关节骨和软骨也可以准确分割的方法，并达到了与人类观察者之间差异相当的准确性。Chen等[10]提出在质子密度加权 MR中自动分割股骨和胫骨的皮质骨和小梁骨的模型，该模型是基于3D局部强度聚类的水平集自动分割和一种利用小梁表面的法向矢量确定皮质边界的新方法，在使用不到3%时间的情况下与手动分割结果非常一致。Byra等[11]基于U-net构架，利用3D UTE MR序列开发了膝关节半月板自动分割的方法，使用2位放射科医生提供的容积感兴趣区(ROI)开发的模型分别获得了0.860和0.833的Dice得分，而放射科医生的手动分割获得了0.820的Dice得分，深度学习模型实现了与放射科医生差异性相当的分割性能。Panfilov等[12]介绍了一种用于关节软骨分割和亚区域评估的全自动方法，通过多图谱配准进行了亚区域划分，并提取了亚区域的体积和厚度，最终通过它们对12个月和24个月影像学骨关节炎进展的判别能力进行了回顾性分析，分割模型与参考分割的体积测量具有很高的相关性(r>0.934)和一致性(平均差异<116 mm3)，结果表明，所提出的方法已经可以用于自动化骨关节炎研究中的软骨分割和亚区域评估。Gatti等[13]提出了一种仅使用CNN从MR中分割膝关节骨和软骨的新框架，该框架分割每个膝关节需要(91±11)s。所提出的算法展示了在没有人工干预的情况下如何从有和没有KOA个体的矢状位MR序列中自动分割软骨的能力。Perry等[14]应用一种新的半自动评估方法，使用三维主动外观建模量化滑膜组织体积(STV)，与手动分割相比，半自动方法明显快于手动分割(18 min vs.71 min)，观察者内一致性非常好，该方法比手动分割准确、可靠。

2.2 DL与KOA的评估与与预测 KOA的诊断目前依据临床表现和影像学图像[15]，这个过程有一定的主观性。随着DL逐渐被用于KOA的疾病诊断和预后研究中，可以更加准确地早期诊断和分类KOA帮助临床医生精确地制定诊疗计划，而了解预后也可让医生和患者对于疾病的治疗有心理预期。Chang等[16]使用MR图像构建了CNN以区分疼痛的膝关节和非疼痛的膝关节，将模型性能提高到了0.853，并通过对参加研究个体的双膝进行MR扫描来识别与膝关节疼痛最相关的结构性病变，该CNN同时可以识别与单膝引起的强烈疼痛特征相关的图像特征，确定KOA引起疼痛的来源和位置，可以极大地利于设计有针对性的个体化治疗方案，以减轻症状和限制残疾。Joseph 等[17]基于MR的软骨生化成分、膝关节结构、人口统计学和临床预测因子，开发了8年内发生KOA的影像学预测模型，该研究机器学习模型可以预测在基线检查时无放射学KOA的受试者在8年内发生放射学KOA的未来发展。已有研究使用MR图像建立DL模型识别KOA形态学表型用于指导预防疾病进展，针对性制定干预措施[18-19]。在KOA后期，一种治疗手段是侵入性选择全膝关节置换术(TKR)，该手术存在一定并发症风险，Tolpadi等[20]将临床和人口统计信息与MR图像相结合，基于3D DESS MR图像设计一个CNN模型来预测是否需要侵入性干预，模型的准确度为(78.5±0.134)%，敏感度为(81.8±0.643)%，特异度为(78.4±0.138)%。该模型以高敏感度和特异度识别有TKR风险的患者，对于没有或中度KOA患者，可以延长膝关节健康并延迟TKR的非侵入性治疗时间。此模型是第一个应用3D CNN 从 MR预测TKR的模型。Abbas等[21]将机器学习模型(MLMS)拟合到SCIKIT-Learn和PyTorch中的训练集，并在验证集上调整参数，模型被训练以使均方误差(MSE)最小，来预测全膝关节置换(TKA)的手术持续时间(DOS)和术后住院时间(LOS)。该研究表明，传统和DL模型在预测TKA患者的DOS和LOS方面表现优于平均回归模型。

2.3 DL与膝关节软骨 KOA会出现膝关节软骨的厚度变化和缺损，因此，发现软骨的变化对KOA的早发现、早诊断、早治疗是十分有必要的。MR 是KOA研究中无创评估关节软骨厚度、完整性和质量的最佳方式[22]。Vaarala等[23]用3D DESS序列基于灰度共生矩阵的3D纹理分析开发了一种预测KOA软骨发病和进展的纹理方法，该方法对放射学KOA前后的软骨变化都很敏感，它能够检测对照组、缓慢进展组和快速进展组的纵向变化，并可以区分由于KOA和衰老引起的软骨改变。Thomas等[24]设计了一款全自动股骨软骨分割模型，用于测量T2松弛值和纵向变化，结果表明对软骨健康的评估使用研究中的模型与专家评估一致性较好。Schiratti等[25]使用DL来建立KOA未来进展的预测模型来评估MR图像是否可以预测未来12个月软骨进一步退化。研究显示利用COR TSE图像，所提出的分类模型AUC为65%，以SAG 3D DESS图像作为输入，该模型的AUC为 63%，高级放射科医生获得的AUC为59.72%，这是监督学习方法首次应用于MR预测膝关节骨关节炎软骨的进展。这项可行性研究表明，DL有可能支持放射科医生完成识别疾病进展高风险患者的艰巨任务。

2.4 DL与膝关节半月板 半月板在膝关节运动过程中减震、分散重力和减少摩擦方面发挥着关键作用。Bien等[26]开发了一种利用CNN(主要构建块MRNet)来检测膝关节中的一般异常和特定诊断的DL模型，研究纳入了1 370个数据集。在检测膝关节异常和半月板撕裂时，该模型AUC值分别为0.937和0.847，该DL模型实现了利用MR图像从内部和外部数据集快速生成准确的膝关节临床病理学分类。Tack 等[27]基于CNN，提出了一种新颖且计算效率高的方法用于检测MR数据中半月板撕裂，研究首先在3D MR序列 DESS中运行，而后推广到IW TSE扫描序列，研究所提出的方法在检测DESS和IW TSE MR数据中的半月板撕裂方面实现了高精度。Hung等[28]训练和评估一个用于自动检测MR半月板撕裂的深度学习模型，在内部测试、内部验证和外部验证数据集上，该模型检测半月板撕裂的总准确率分别为95.4%、95.8%和78.8%，具有较高的敏感度、特异度和准确度。

2.5 DL与膝关节软骨下骨 软骨下骨在骨关节炎的发病机制中发挥作用，软骨下骨也被认为是潜在的疾病修饰骨关节炎药物的靶点[29-31]。Chang等[32]利用CNN和U-Net提出了可以提取软骨下骨长度(SBL)的预测模型，研究表明SBL平均值越高膝关节疼痛和残疾风险越高，并增加后期TKR的风险。Hirvasniemi等[33]对665例膝关节数据集的胫骨软骨下骨进行半自动提取放射学特征，研究使用了包括年龄和BMI的协变量模型、图像特征模型，以及协变量加图像特征的组合模型，使用Elastic Net回归降维和分类并进行10倍交叉验证区分有无KOA。有无KOA的胫骨软骨下骨的放射特征是不同的，可以此来区分KOA。

2.6 DL与膝关节韧带 膝关节由韧带结构固定，维持关节的稳定性。韧带撕裂可导致膝关节疼痛、肿胀、不稳定、骨质疏松和骨关节炎。Awan等[34]用917个膝关节数据训练了标准五层CNN和定制CNN模型对健康、半撕裂、全撕裂的前交叉韧带进行分类，结果表明，定制CNN模型实现了 98% 以上的准确度、精度、特异度和敏感度，可以实现对前交叉韧带损伤较为准确的分类。Li等[35]提出了基于DL的MR多模态特征融合模型，用于对前交叉韧带损伤的诊断，结果表明矢状位检测在前交叉韧带(ACL)撕裂预测中具有很大的优势，准确率高达96.28%。基于DL的MR显著提高了诊断ACL损伤的能力，并提高了诊断韧带损伤的敏感度、特异度和准确度。Zhang等[36]基于3D DenseNet的架构构建的一个分类CNN同样证明使用基于DL的自动检测系统来评估ACL损伤的可行性。Minamoto等[37]基于CNN训练了能够评估前交叉韧带损伤的深度学习模型，其敏感度、特异度、准确度、阳性预测值和阴性预测值分别为91.0%、86.0%、88.5%、87.0%和91.0%，结果表明准确度可与人工相当。

3 小结与展望

DL在近几年迅速发展，已经应用于KOA分割、诊断、预测等各个方面，但仍存在一些不足。首先是DL算法固有的黑盒性质和其算法的复杂性。为了满足对膝关节损伤的可信赖检测系统的需求，医学诊断算法应满足许多要求，例如透明度、可解释性、易用性，以便获得临床医生的信任。AI可解释性和轻量级DL是此类系统在日常临床实践中广泛使用的关键推动因素。轻量级 DL 领域的目标是开发具有更浅层架构的模型，而且速度更快、数据效率更高，同时保持高性能标准。其次，现在已有DL模型研究大部分是评估单独结构或组织的病变，如软骨、半月板及韧带等，但如果大规模应用于临床，多个模型的应用就会增加诊断的复杂性，日后的研究应注重更多关注整体的诊断模型，来解决此类问题。

总之，DL在KOA的评估、诊断与预测中显示了其巨大的优势，人工智能分析有望彻底改变膝关节医学信息学，实现精准医学和准确诊断。