基于MRI单张图像的深度卷积神经网络对膝关节前交叉韧带撕裂的诊断价值
2023-04-29崔东明张镡月董浩赵金柱谭长龙陶春生
崔东明 张镡月 董浩 赵金柱 谭长龙 陶春生
[摘要] 目的 建立基于膝关节MRI单张图像的深度卷积神经网络(DCNN)模型,并分析其诊断前交叉韧带(ACL)撕裂的价值。方法 收集2017年1月1日—2022年6月30日海军第971医院GreatPACS影像存档与通信系统中1 663例受检者的膝关节MRI图像,经一名骨科专科医生在每例患者MRI图像中手动选取1张图像并进行ACL正常或撕裂(正常1 111张,撕裂552张)标注。将所有图像按照83%和17%的比例随机分配到训练集(1 383张)和测试集(280张)中,用以训练并测试搭建的ACL智能诊断DCNN模型。通过阳性预测值(PPV)、阴性预测值(NPV)、准确率、灵敏度、特异度、受试者工作特征曲线下面积(AUC)等指标评估模型性能。结果 本研究成功设计并搭建了ACL智能诊断DCNN模型。该模型诊断ACL撕裂的PPV、NPV、准确率、灵敏度和特异度分别为52.99%、88.96%、73.93%、77.50%和72.50%,AUC值为0.602。结论 基于MRI单张图像DCNN模型对于临床医生诊断ACL撕裂具有一定的辅助作用。
[关键词] 前交叉韧带;撕裂伤;卷积神经网络;人工智能;深度学习;智能诊断
[中图分类号] R684.76
[文献标志码] A
VALUE OF DEEP CONVOLUTIONAL NEURAL NETWORK BASED ON SINGLE MRI IMAGES IN DIAGNOSIS OF ANTERIOR CRUCIATE LIGAMENT TEARS OF THE KNEE\ CUI Dongming, ZHANG Xinyue, DONG Hao, ZHAO Jinzhu, TAN Changlong, TAO Chunsheng (Faculty of Medicine, Qingdao University, Qingdao 266071, China)
[ABSTRACT] Objective To establish a deep convolutional neural network (DCNN) model based on the single MRI image of the knee, and to investigate its value in the diagnosis of anterior cruciate ligament (ACL) tears. Methods Knee MRI images were collected from 1 663 subjects from the GreatPACS image archiving and communication system in No. 971 Hospital of Peoples Liberation Army Navy from January 1, 2017 to June 30, 2022, and one image was selected from the MRI images of each patient and was annotated as normal ACL or ACL tears by an orthopedic specialist, which obtained 1 111 images with normal ACL and 552 images with ACL tears. The images were randomly assigned to the training set (1 383 images) and the test set (280 images) at a ratio of 83% and 17%, respectively, to train and test the DCNN model established for the intelligent diagnosis of ACL. The performance of the model was evaluated by positive predictive value (PPV), negative predictive value (NPV), accuracy, sensitivity, specificity, and area under the ROC curve (AUC). Results A DCNN model was successfully established for the intelligent diagnosis of ACL. The test results of this model showed a PPV of 52.99%, an NPV of 88.96%, an accuracy of 73.93%, a sensitivity of 77.50%, and a specificity of 72.50%, with an AUC of 0.602. Conclusion The DCNN model based on single MRI images can help clinicians with the diagnosis of ACL tears.
[KEY WORDS] Anterior cruciate ligament; Lacerations; Convolutional neural network; Artificial intelligence; Deep lear-ning; Intelligent diagnosis
前交叉韌带(ACL)撕裂是膝关节最常见的损伤之一[1],仅美国每年就有约20万例ACL撕裂患者[2]。ACL是限制胫骨向前平移和内旋的主要膝关节稳定结构[3-5],因此ACL撕裂对膝关节稳定性具有较大影响,如不及时治疗会导致关节软骨、半月板和韧带的继发损伤,最终导致早期骨关节炎[6-7]。目前ACL撕裂的诊断主要依靠MRI,MRI还可评估除ACL撕裂之外的其他膝关节损伤[8-10]。对于经验丰富的放射科医生而言,MRI成像对诊断ACL撕裂具有较高灵敏度和特异度,而经验不足医生却很难作出准确的诊断[11-12]。
深度卷积神经网络(DCNN)是深度学习的一种算法,近几年来其在图像识别方面取得了重大的突破[13]。DCNN通过模仿生物神经元的交互作用,形成了类似神经元的作用机制,可以自动学习图像的多层特征,通过特征处理,逐渐将初始的“低层”特征表示转化为“高层”特征表示,并用“简单模型”完成复杂的分类等学习任务,非常适合医学图像的辅助诊断[14-16]。目前国内外关于ACL撕裂智能诊断的研究,大多基于多张或多序列MRI图像[17-18]。而本研究基于DCNN算法构建智能诊断模型,首次探索基于单张MRI图像的DCNN模型智能诊断ACL撕裂的可行性。
1 材料与方法
1.1 材料来源
选取2017年1月1日—2022年6月30日海军第971医院GreatPACS影像存檔与通信系统中经1.5 T和3.0 T MRI扫描仪检查的1 663例受检者的MRI图像。受检者中男1 200例,女463例,年龄16~60岁,平均(34.0±6.0)岁。1 663例受检者中,ACL正常者1 111例(左膝500例,右膝611例),体质量指数(BMI)为(22.8±1.9)kg/m2;ACL撕裂者552例(左膝250例,右膝302例),BMI为(25.8±1.6)kg/m2。ACL撕裂者纳入标准:①因旋转、剪切等动作受力导致膝关节外伤者;②经MRI检查并由工作经验丰富的放射科医生阅片确认膝关节内存在ACL部分或完全撕裂者。ACL正常者纳入标准:经MRI检查并由工作经验丰富的放射科医生阅片确认膝关节内ACL正常者。受检者排除标准:①膝关节骨折者;②膝关节畸形者;③合并膝关节内其他病变(如韧带囊肿、韧带钙化)者;④有膝关节手术史导致关节内解剖结构不清者;⑤不配合查体及罹患精神疾病者。
由一名富有经验的骨科专科医生在每例受检者膝关节MRI矢状OsagT2序列中选择一张ACL最明显的图像,从系统中导出,共导出ACL撕裂图像552张和ACL正常图像1 111张。由同一名骨科专科医师使用LabelImg软件剪裁包含ACL等解剖结构的图像,并对正常或撕裂图像行手动标注。将上述1 662张图像中83%图像(ACL正常911例,ACL撕裂472例)随机分配到训练集当中,剩余17%的图像(ACL正常200例,ACL撕裂80例)分配到测试集中。
1.2 模型的训练与测试
本研究先使用COCO train2017公开数据集(美国微软公司)中图像进行300轮预训练以增强预训练模型对于ACL正常或撕裂两个类别特征的提取能力,再借助该预训练模型用本研究的训练集进行300轮迭代训练,从而获取能够针对输入的MRI图像进行分类的架构。使用随机梯度下降(SGD)算法对训练集图像进行训练,利用线性缩放策略动态调节学习率(lr),lr=初始lr×BatchSize÷64,初始lr=0.01,权重衰减设置为0.000 5,SGD动量为0.9。默认情况下BatchSize为128张,在含有1080Ti型号图形处理器的设备上进行训练,输入图像分辨率为224×224像素。因发现随机剪裁算法与现有的增广手段存在重叠,本研究在训练时采用了随机水平翻转、颜色抖动和多尺度缩放等数据增广方式,摒弃了随机剪裁算法进行数据增广的策略。另外,本研究采用了Focal Loss[19]和BCE Loss[20]两种损失函数来训练该模型。其中对预测目标框和真实框的回归计算采用BCE Loss法,对于分类任务计算采用Focal Loss法。测试阶段模型参数设置与训练阶段保持一致,当DCNN训练结束后,使用模型加载损失最小的训练参数对测试集进行测试。
1.3 统计学分析
采用Python3.8编程软件获取机器学习结果,采用SPSS 26.0 软件对数据进行统计学分析,通过绘制受试者工作特征(ROC)曲线,计算曲线下面积(AUC)、阴性预测值(NPV)、阳性预测值(PPV)、准确率、灵敏度和特异度等指标来评估模型性能。
2 结果
ACL撕裂智能诊断DCNN模型的训练过程中损失曲线的结果显示,随着训练轮数增加,训练损失逐步下降,经过300轮迭代训练后Loss值达到最小,表明模型达到最高诊断性能(图1A)。本模型训练的准确率曲线显示,随着训练轮数增加,训练准确率逐步上升,经过80轮迭代训练后准确率变化趋于平稳(图1B)。
经测试集对本模型诊断性能进行测试,绘制的ROC曲线显示AUC为0.602(图1C),通过各个评价指标的常用公式进行计算,得出准确率、灵敏度、特异度、PPV以及NPV分别为73.93%、77.50%、72.50%、52.99%和88.96%。
3 讨论
ACL是保持膝关节稳定的重要结构,ACL撕裂后将导致膝关节生物力学发生改变,产生明显的膝关节失稳,并继发半月板、关节软骨等退行性变,严重影响患者的膝关节运动功能,因此宜早期诊断和治疗[21]。以往医生对于ACL撕裂的诊断主要根据患者的受伤史、临床症状与体征并结合影像学检查综合判断,但由于临床情况复杂多变,医生难免有漏诊误诊的可能[22]。因此,为减少ACL撕裂的误诊率,本研究基于人工智能技术辅助诊断的设想,对膝关节MRI图像建模智能诊断ACL撕裂进行研究,探讨DCNN辅助诊断ACL撕裂的可行性。
由于膝关节大多数病理变化,特别是对于肌腱、韧带、半月板等肌肉骨骼病理变化的评估,通常局限在MRI图像的一小部分区域或一个薄层,因此我们在膝关节矢状OsagT2序列中选取显示ACL最明显的一张图像,这将为我们提供更多的诊断信息。本研究尝试了各种网络架构识别膝关节单张MRI图像用以诊断ACL撕裂的情况,最终模型加载最优的训练参数并在测试集上进行预测,根据预测结果绘制了测试集上的ROC曲线,并计算出AUC为0.602。该模型在训练集的PPV达到74.62%,NPV达到91.81%;在测试集的PPV达到52.99%,NPV达到88.96%。从测试结果可看出该模型NPV值较高,即排除ACL撕裂的患者正确率较高,而PPV值较低,即诊断ACL撕裂的正确率相对较低。这可能是由于训练集中正常ACL图像较ACL撕裂图像多,导致模型对于正常ACL的识别能力更强,而对ACL撕裂的识别能力相对较弱。该模型的诊断性能相对较低(60.2%),这可能由于训练数据相对较少,模型泛化能力较低所致。既往研究结果显示放射科医生通过MRI诊断ACL撕裂的准确率为96.43%,灵敏度为97.01%,特异度为83.33%[22]。本研究DCNN模型诊断ACL撕裂的准确率、灵敏度和特异度分别为73.93%、77.50%和72.50%。深度学习虽然是一项强大的数据建模技术,理论上能够识别图像中细微特征(目标对象的纹理、边缘等),但其需要大量训练数据提取所需对象特征;但有时由于各种原因导致无法收集足量训练数据,此时应进一步细化和准确化有限的训练数据,如本研究中将MRI图像裁剪出研究所需解剖结构,以提高算法识别的准确性。虽然本研究模型目前诊断性能与临床医生相比仍有差距,但随着后期训练数据的增多,本模型的诊断性能将会有进一步提升。
本研究所搭建的DCNN識别ACL撕裂模型可作为深度学习这一新技术应用于医疗卫生领域的补充。未来研究中,我们将逐步扩展深度学习技术的应用,将其用于膝关节其他疾病(如其他韧带损伤、软骨损伤及半月板损伤)诊断的探索。从而利用深度学习技术实现对膝关节疾病的全面评估,这将更有利于提高临床工作效率。此外,我们会进行多中心的数据收集和验证,在更大的数据集上开发新的算法,我们也会综合考虑加入除图像数据外的其他临床数据,从而可以使DCNN在临床诊疗过程中发挥更大的作用[17]。
同时,本研究也存在一些局限性。首先,本研究区分了正常和撕裂的ACL,但是没有区分部分和完全ACL撕裂,目前如何辨别ACL部分和完全撕裂的MRI图像是DCNN面临的难题之一[23]。其次,本研究没有统计患者是否接受了膝关节镜手术,因此用于训练的ACL撕裂图像的诊断仅依靠医生阅片,这可能会为训练结果带来一定误差。
综上所述,基于单张MRI图像的DCNN模型诊断ACL撕裂是可行的,其能够为部分临床医生作出诊断提供一定的参考。
作者声明:崔东明、陶春生参与了研究设计;崔东明、张镡月、董浩、赵金柱、谭长龙、陶春生参与了论文的写作和修改。所有作者均阅读并同意发表该论文,且均声明不存在利益冲突。
[参考文献]
[1]SRINIVASAN R, WAN J, ALLEN C R, et al. Knee imaging following anterior cruciate ligament reconstruction: The surgeons and radiologists perspectives[J]. Semin Musculoskelet Radiol, 2018,22(4):386-397.
[2]XIAO W F, YANG T, CUI Y, et al. Risk factors for noncontact anterior cruciate ligament injury: Analysis of parameters in proximal tibia using anteroposterior radiography[J]. J Int Med Res, 2016,44(1):157-163.
[3]GIANOTTI S M, MARSHALL S W, HUME P A, et al. Incidence of anterior cruciate ligament injury and other knee ligament injuries: A national population-based study[J]. J Sci Med Sport, 2009,12(6):622-627.
[4]SANDERS T L, MARADIT KREMERS H, BRYAN A J, et al. Incidence of anterior cruciate ligament tears and reconstruction: A 21-year population-based study[J]. Am J Sports Med, 2016,44(6):1502-1507.
[5]DIERMEIER T A, ROTHRAUFF B B, ENGEBRETSEN L, et al. Treatment after ACL injury: Panther symposium ACL treatment consensus group[J]. Br J Sports Med, 2021,55(1):14-22.
[6]LAO Y F, JIA B B, YAN P L, et al. Diagnostic accuracy of machine-learning-assisted detection for anterior cruciate ligament injury based on magnetic resonance imaging: Protocol for a systematic review and meta-analysis[J]. Medicine, 2019,98(50):e18324.
[7]龚恒,乔欣荣,陈连旭. 股骨外侧髁切迹征诊断前交叉韧带断裂的研究进展[J]. 中国修复重建外科杂志, 2021,35(9):1200-1204.
[8]ZHANG L Y, LI M F, ZHOU Y J, et al. Deep learning approach for anterior cruciate ligament lesion detection: Evaluation of diagnostic performance using arthroscopy as the refe-rence standard[J]. J Magn Reson Imaging, 2020,52(6):1745-1752.
[9]BRUNO F, BARILE A, ARRIGONI F, et al. Weight-bearing MRI of the knee: A review of advantages and limits[J]. Acta Biomed, 2018,89(1-S):78-88.
[10]KOHN L, REMBECK E, RAUCH A. Anterior cruciate ligament injury in adults: Diagnostics and treatment[J]. Orthopade, 2020,49(11):1013-1028.
[11]MINK J H, LEVY T, CRUES J V 3rd. Tears of the anterior cruciate ligament and menisci of the knee: MR imaging evaluation[J]. Radiology, 1988,167(3):769-774.
[12]WIRRIES A, GEIGER F, HAMMAD A, et al. Artificial intelligence facilitates decision-making in the treatment of lumbar disc herniations[J]. Eur Spine J, 2021,30(8):2176-2184.
[13]RUSSAKOVSKY O, DENG J, SU H, et al. ImageNet large scale visual recognition challenge[J]. Int J Comput Vis, 2015,115(3):211-252.
[14]SHEN C W, HO J T. Technology-enhanced learning in higher education: A bibliometric analysis with latent semantic approach[J]. Comput Hum Behav, 2020,104:106177.
[15]LI Z J, REN S Y, ZHOU R, et al. Deep learning-based magnetic resonance imaging image features for diagnosis of anterior cruciate ligament injury[J]. J Healthc Eng, 2021,2021:4076175.
[16]MIOTTO R, WANG F, WANG S, et al. Deep learning for healthcare: Review, opportunities and challenges[J]. Brief Bioinform, 2018,19(6):1236-1246.
[17]CHANG P D, WONG T T, RASIEJ M J. Deep learning for detection of complete anterior cruciate ligament tear[J]. J Digit Imaging, 2019,32(6):980-986.
[18]GERMANN C, MARBACH G, CIVARDI F, et al. Deep convolutional neural network-based diagnosis of anterior cruciate ligament tears: Performance comparison of homogenous versus heterogeneous knee MRI cohorts with different pulse sequence protocols and 1.5-T and 3-T magnetic field strengths[J]. Invest Radiol, 2020,55(8):499-506.
[19]LIN T Y, GOYAL P, GIRSHICK R, et al. Focal loss for dense object detection[J]. IEEE Trans Pattern Anal Mach Intell, 2020,42(2):318-327.
[20]HUANG Q, SUN J F, DING H, et al. Robust liver vessel extraction using 3D U-Net with variant dice loss function[J]. Comput Biol Med, 2018,101:153-162.
[21]謝伟,王玮,白宇. 关节镜下Endobutton带袢钢板并Ethibond缝线治疗前交叉韧带胫骨止点撕脱性骨折效果[J]. 精准医学杂志, 2018,33(5):418-421.
[22]梁继华,梁小瑜. 磁共振成像技术诊断膝关节前交叉韧带断裂的准确率分析[J]. 影像研究与医学应用, 2022,6(24):173-175.
[23]UMANS H, WIMPFHEIMER O, HARAMATI N, et al. Diagnosis of partial tears of the anterior cruciate ligament of the knee: Value of MR imaging[J]. AJR Am J Roentgenol, 1995,165(4):893-897.
(本文编辑 范睿心 厉建强)