深度学习与骨骼影像自动化处理

王立鹏，陈晓，纪哲，陆建平

人工智能是研究、开发用于模拟和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学，其领域包括机器人、语言识别、图像识别、自然语言处理和专家系统等[1]。近年来，人工智能技术发展迅速并不断应用于各个领域。在医学中，医学影像与人工智能的结合被认为是最具发展前景的方向之一[2-3]。

医学影像自动化处理发展历史

从可以在计算机上浏览和读取医学图像开始，研究人员便致力于研发能够自动分析和解读图像的技术。起初，在1970-1990年，研究者采用低级别的像素处理技术和数学模型来构建基于复合规则的图像处理系统，这一时期的图像的自动处理旨在通过多种固定规则的组合来完成图像分析[4]。20世纪末，基于传统机器学习方法的图像处理在医学影像分析中开始流行，主要包括k-平均算法(k-means)、K最近邻法(k-nearest neighbors,k-NN)、贝叶斯分类(Bayes classification)、决策树(decision tree)、支持向量机(support vector machine,SVM)等。至此，借助机器学习的方法可以实现医学图像特征向量提取及自动化对比判定。然而，图像特征的定义及抽象分析仍然需要依靠人工来完成，无法实现图像分析的全线程自动化处理[5]。

基于深度学习的图像处理

2006年深度学习技术引起学术界的广泛关注，目前已广泛应用于图像、语音、文字和视频等各种信息的智能分析及处理[6]。基于深度学习技术，计算机能够自动学习目标任务数据的典型特征。基于神经网络的深度学习模型由大量数据处理层组成，其通过大量先验数据的学习自动调整模型参数，得到适应目标任务的网络模型。训练成熟的模型可以将输入数据(如图像)转换为目标输出信息(如疾病有无)。深度学习与传统机器学习方法不同，深度学习技术基于大量标签数据的自动学习，并自动提取数据特征，而不需要人为指定规则，因此深度学习可以实现更高级别的抽象分析[7]。在医学影像应用中，深度学习技术并不依赖图像中低级视觉特征的预定义，而是通过自主学习发现不同类别图像中的典型视觉特征。当前，用于图像分析的深度学习模型大多基于卷积神经网络(convolution neural networks，CNNs)，卷积神经网络首次成功应用是基于LeNet实现手写数字的识别。一般认为，卷积神经网络在图像分割、图像分类等任务中的准确性远高于其它神经网络模型[8]。随着任务的复杂化及新方法的不断涌现，网络结构不断加深，神经网络模型已可达近千层，使得深度学习可以实现更为复杂的解释与决策任务[9]。当前，深度卷积神经网络日益受到研究者的青睐，其中应用较多的模型包括AlexNet、VGG(Visual Geometry Group)以及GoogleNet等[5]。

深度学习与骨骼影像的智能处理

深度学习技术已应用于医学影像中多个领域，如皮肤癌的分类、糖尿病视网膜病变检测及胸部CT中肺结节的评估等，其诊断能力可达到高年资专科医师的水平[5]。目前，深度学习在骨骼影像中的应用相对较少，但骨骼系统疾病种类多，患者数量多，影像学检查对于骨骼系统疾病的诊断发挥至关重要的作用，因而骨骼影像的自动化处理具有光明前景。近年来，深度学习算法在骨骼影像领域的的主要研究进展如下。

1.骨龄检测

骨龄检测广泛应用于儿童内分泌疾病、成长和遗传性疾病的诊治过程中。检测骨龄时，医师通常对受检者左手行放射学检查，根据检查结果判断骨化阶段并与实际年龄进行对比，从而提示骨龄是否存在异常。通过左手X线图像判断骨龄具有操作简便、辐射量小、可同时观察多个骨化中心等优点。在临床应用中，通常基于X线图像并使用Greulich-Pyle(G&P)法或Tanner-Whitehouse(TW)法对骨龄进行评估[10]。G&P法将整张X线图像同参考图集进行对比，由于简便和高效而被广泛应用，但其观察者内及观察者间差异较大[11]；TW法通过分析多个骨骼兴趣区，分别判定骨化阶段，整合所有数据后确定骨骼成熟度。TW法虽然耗时长，但较G&P法的检测结果更为准确[12]。同时，这种模块化结构也使其更适合于机器学习。近年来大量研究将深度学习技术应用于骨龄的自动检测，近期的一项研究中评估了几种深度学习方法在骨龄检测中的表现，结果显示人工检测与机器检测的骨龄平均差值仅为0.8岁[10]。另一项研究结果也表明深度学习模型在骨龄判定中的表现与放射科专家的水平接近[13]。

虽然人工智能在骨龄检测的研究开始时间早、成熟程度高，但研究人员仍然致力于深度学习技术在骨龄检测的不断完善。在2018年北美放射学会(Radiological Society of North America，RNSA)年会上举办了一场儿童骨龄机器学习挑战赛(Pediatric Bone Age Machine Learning Challenge)，此次比赛较全面地评价了不同算法在骨龄检测中的表现。这一挑战赛不仅使研究者更加了解人工智能技术在医学影像领域的应用进展，其间出现的新工具及新方法也将促进诊断效能的进一步提升[14]。有趣的是，最近的一项研究中使用了一种基于深度卷积神经网络技术的AI模型，基于MRI对儿童进行骨龄检测，其检测的平均绝对误差仅为(0.37±0.51)岁，使MRI检测骨龄成为可能，避免了X线检测骨龄对儿童造成辐射的问题[15]。

另外，既往的骨龄检测相关研究中多选取18岁以下儿童，无法满足法医学临床的需求。近期的一项研究中选取10～25岁个体的骨盆X线图像为研究对象，应用深度学习模型进行骨龄检测，结果显示其平均绝对误差(mean absolute error，MAE)和均方根误差(root-mean-squared error，RMSE)分别为0.94和1.30岁[16]。这一研究拓展了人工智能检测骨龄的应用范围，为深度学习技术在法医学的应用提供了良好的参考。

2.骨折诊断

虽然CT及MRI应用日益增多，但X线由于易获取、检查速度快、辐射量小和价格低等优势仍在骨骼疾病诊疗中发挥重要作用。尤其在创伤救治中，X线是门急诊医生诊断骨折最重要的手段。骨折的漏诊会给患者带来严重后果，如增加痛苦、错过最佳治疗时间和预后不佳等，同时也容易发生医疗纠纷。但是，在急诊工作中，由于医师工作强度大、专科知识相对不足等原因，急诊科的错误诊断绝大多数来自对骨折的漏诊[17-18]。因此研究人员试图将人工智能应用于骨折的诊断中，旨在减少对骨折的漏诊。

既往研究大多应用传统学习手段诊断骨折，研究人员通过人工提取图像中骨骼纹理和形状等特征，应用K-NN、SVM、随机森林(random forest)、logistic回归以及整合学习等方法检测骨折。近期的一项研究将5种深度学习网络应用到X线图像进行骨折诊断，其符合率最高可达83%，同时，所有模型对于拍摄部位、视窗、体侧和体位判断的准确率均达90%以上[9]。该研究中所用模型虽然可以诊断有无骨折，但不能明确标识骨折范围，不利于医师进行复核。Lindsey等[19]近期于《美国科学院院报》(proceedings of the national academy of sciences of the United States of America，PNAS)发表了一项开创性研究，该研究团队构建了一种深度学习模型，不但可以提示有无骨折，还可以通过热力图标识出可疑骨折范围。结果显示，该模型在诊断骨折及标注骨折范围时，敏感度及特异度分别达93.9%和94.5%。急诊科医师应用该模型辅助骨折诊断，误诊率下降47%，诊断准确性显著提高。同时该系统已获得美国食品药品监督管理局批准应用于临床，成为首个正式获批的人工智能骨折诊断临床工具。这项研究将人工智能技术在骨折领域的研究和应用向前推进了重要的一步。当前越来越多的研究者投身到人工智能在骨折领域的研究。近期台湾的两项研究，分别通过X线及CT图像识别股骨颈骨折及跟骨骨折，同样实现了对骨折范围的标注，且诊断符合率分别达95.9%及98.0%，提示人工智能或可应用于多模态图像中对不同部位的骨折进行诊断[20-21]。

3.骨关节炎诊断

骨关节炎是中老年人常见的骨退行性疾病，表现为关节软骨或软骨下骨的炎性损伤。由于患者工作和生活能力的受限，骨关节炎已经成为一个严重的公共健康问题，为社会带来巨大的经济负担[22]。因此，对于骨关节炎的及时诊断、评估以及干预尤为重要。通常，骨关节炎的诊断有赖于临床症状及X线图像，医师通过骨赘形成、关节间隙变窄等影像学特征进行诊断[23-24]。随着人口不断老龄化，对于骨关节炎诊断的需求不断增加，影像数据增加的速度远高于医生的增长速度。因此，能够利用人工智能技术快速准确地对骨关节炎进行自动诊断显得十分必要。近期一项针对髋关节炎的研究，将深度学习应用于髋部X线图像自动诊断骨关节炎，其敏感度为95.0%，特异度为90.7%，模型的诊断表现达到拥有10年经验的主治医师水平[25]。在另一项对膝关节炎的研究中，研究者除了诊断有无关节炎外，还在膝关节正位片通过热力图标识出可疑骨赘，并提供膝关节Kellgren-Lawrence(KL)分级的参考范围，使得骨关节炎的诊断更为客观[26]。与X线相比，MRI能够提供更为丰富的关于骨质结构及功能的特征，因而在骨关节炎大规模流行病学观察研究中发挥重要作用。Valentina等[27]应用深度学习算法对比膝关节炎患者及健康个体的膝关节在MR T2WI序列上的表现，进而进行基于T2WI图像的骨关节炎诊断，敏感度为74.53%，特异度为76.13%。该研究展示了应用深度学习技术提取MR图像特征进而诊断骨关节炎的可行性，但由于该研究没有对神经网络模型进行优化，没有对样本进行逐一质控，因此其诊断效能仍有较大改进空间。

4.骨质疏松和骨密度检测

骨质疏松是中老年常见的代谢性骨疾病，其临床表现为骨密度降低及骨折风险增高，严重影响患者的生活质量。随着人口的不断老龄化，我国骨质疏松的发生率逐年提高，国家卫健委2018年公布的数据显示50岁以上人群中骨质疏松的患病率为19.2%，其中女性达32.1%，65岁以上女性患病率高达51.6%[28]。因此，实现骨质疏松的自动诊断具有重要的社会意义。已有研究者应用深度学习技术在CT图像上对腰椎的骨密度进行自动判定，以骨密度仪为参照标准，其受试者工作特征曲线下面积为0.888[29]。另外，也有研究者通过牙齿、髋关节X线片和MRI图像来诊断骨质疏松及预测骨质疏松性骨折的发生，均取得了较好的效果[30-32]。

5.脊柱退变

脊柱具有支撑人体、保护脊髓与内脏器官等作用。由于年龄、发育和外伤等因素，脊柱不断退变，导致椎间盘变性、骨赘形成等病理改变。脊柱退变也是下腰痛的最主要病因，严重影响患者的生活。近年，有研究者开发了一套SpineNet系统，可以在MR图像上自动对腰椎进行Pfirrmann评分，判断有无椎间隙狭窄，从而对腰椎退变进行评估，并能够将可疑病变进行标识[33]。这一深度学习模型对于脊柱退变的早期发现和评估具有重要意义。

6.骨肿瘤

骨肿瘤可以分为原发肿瘤和转移性肿瘤，目前深度学习技术主要应用于CT图像上对脊柱转移瘤的自动检测[34-35]。但对于成骨性骨转移，其诊断敏感度仅为79.0%，特异度为89.1%，而且该研究中纳入的病例数较少(59例)，该系统仍需要继续提高诊断效能[35]。值得注意的是，目前人工智能在骨肿瘤方向的研究较少，需要更多更深入的工作。

7.其它

由于骨骼疾病的诊治有赖于图像中骨及相关结构的正确识别，除了上述骨骼疾病，大量研究将人工智能技术应用于骨、关节及相关结构的自动识别与分割[5]。最近一项研究实现了在全身CT图像上自动分割骨组织，并能够进一步区分皮质骨、松质骨及骨髓结构[36]。也有研究中利用人工智能模型实现了在颈椎侧位X线图像上对颈椎进行自动分割[37]。近期的两项研究应用神经网络知识，在MRI图像上成功实现膝关节骨与软骨的自动分割，即使在关节结构破坏严重的图像中也能成功识别[38-39]。这些研究成果，为下一步病变的定位、疾病的分级分期和治疗方案的选择奠定了良好的基础。

总结与展望

综上所述，近年来深度学习在医学影像领域的应用发展迅速。深度学习取代以往传统机器学习，逐渐成为主流的图像分析方法。而一个深度学习模型的成功构建有赖于大量正确标记的数据、合适的深度学习模型，以及研究者出色的架构设计及数据处理能力[5]。同时在医学影像分析，深度学习还面临特有的挑战，其中最主要的是医学训练数据的缺乏。足量的数据是保证深度学习网络多个参数得到充分训练的前提。虽然PACS系统在医院的广泛使用、以及不断出现的公共数据集，使得原始数据的获得更为简便，但对于大量数据的正确标注需要相关领域的专家耗费大量的时间[5,40]。此外，人体解剖的正常变异、同种疾病不同的影像表现、图像质量欠佳等问题也成为制约诊断效能的重要因素[41]。

骨骼影像与其它系统影像有所不同，疾病的诊断及治疗更为依赖影像学检查。应用深度学习方法对骨骼影像进行自动分析，具有重要的意义及光明的前景。然而，目前人工智能在骨骼影像的应用尚处于起步阶段，大量疾病尚无研究，许多方面亟待改进。当前大部分研究仍局限于简单二分类研究，如疾病的有无，对临床指导意义有限。成熟的人工智能模型应当能够准确判断疾病有无，并进一步对疾病进行分级、分期或分型、分类，同时提供针对性、个体化的治疗方案；另外，当前研究多由计算机研究人员主导，急需更多的临床医师参与其中，提出临床工作中需要解决的问题，以期更好的实现精准诊疗。