卷积神经网络在骨骼肌肉放射学中的研究进展

王春杰，袁慧书

(北京大学第三医院放射科，北京 100191)

卷积神经网络(convolutional neural network, CNN)是人工智能(artificial intelligence, AI)的一个快速发展的子集，为放射学领域的最新技术之一，适用于解决图像识别和分类问题[1-2]，目前在分析某些医学图像方面已达到媲美放射科医师的水平[3]，如检出肺结节[4]、对胶质瘤进行级别分类[5]和诊断骨折[6]等，对放射学的未来发展产生了深远影响。本文就CNN在骨骼肌肉放射学中的研究进展进行综述。

1 CNN相关概念及发展

AI是计算机科学的子领域，是为计算机编程，便于其学习和执行复杂任务的学科。机器学习(machine learning, ML)是AI的一个子集，通过计算机模拟人类的学习过程，使计算机能够在数据中学习。传统ML算法虽可随着执行任务积累经验而逐步改善，但对于图像问题通常仍需人类专家手动进行特征选择，进而确定哪些图像特征更为重要。深度学习(deep learning, DL)是ML新发展的子集[7]，其最大优点在于计算机不再需要人类专家手动进行特征选择，算法本身可以确定最佳图像特征，进而回答针对图像的各种问题。

CNN是实现图像DL最常用的算法模型，由输入层、卷积层、池化层、全连接层及输出层组成[8]，经输入层输入数据，由卷积层和池化层对输入数据进行特征提取，全连接层将提取的特征进行组合分类，最后由输出层输出分类结果。

对CNN的研究可追溯至20世纪90年代。1989年LECUN在论述中首次使用“卷积”一词对算法结构进行解释，其构建的LeNet-5模型定义了CNN的基本结构，成功用于解决识别手写数字的问题。2012年KRIZHEVSKY等[9]使用CNN模型获得了ImageNet大规模视觉识别挑战赛的胜利。此后，快速发展的图形处理器和多个开源库[10]的建立使得CNN取得了突破性进展,涌现出一些CNN经典模型，如VGG16/VGG19[11]、GoogLeNet[12]、ResNet[13]和U-Net[14]等。伴随硬件设备更新和数据样本不断扩增，CNN模型的图像识别与分类精度不断提高。时至今日，CNN图像分析结果代表图像分析的最高水平[15]。

2 CNN在骨骼肌肉放射学中的应用

目前CNN在骨骼肌肉放射学中的应用主要包括骨骼肌肉病变的检出、分级和分割解剖结构三个方面。

2.1 检出病变 2017年RAJPURKAR等[16]在包含36 808幅图像的骨骼肌肉影像(musculoskeletal radiographs, MURA)数据集上训练CNN模型DenseNet，以检测包括肩部、肱骨、肘部、前臂、腕、手掌和手指在内的上肢骨折。针对556幅图像的测试集，DenseNet模型的AUC为0.92，其检测腕部骨折的能力与放射科医师相当，二者检测结果与诊断金标准之间的一致性较高(Kappa系数均为0.93)；而对于上肢骨折，该模型的总体表现比放射科医师略差，二者与诊断金标准之间的Kappa系数分别为0.71与0.78。该研究将大型数据集MURA公开发布，以推动骨折自动检测领域的发展。截至2019年12月，排名前8的CNN模型Kappa系数介于0.80～0.84，均优于原始研究中放射科医师的表现(Kappa系数0.78)。同样，在检测脊柱和下肢骨折方面，CNN模型也展现出可以比拟放射科医师的诊断能力。

TOMITA等[17]应用CNN模型检测椎体压缩性骨折，其准确率为89%。PRANATA等[18]以基于CNN的ResNet模型在CT图像中自动检测跟骨骨折，诊断准确率高达98%。CNN亦可用于髋部骨折[19-20]。 2019年CHENG等[20]在25 505幅四肢X线片上对CNN模型进行预训练，而后在3 605幅骨盆正位X线片上进一步训练，最后对100例髋部骨折患者进行测试，结果显示其在X线片上检测髋部骨折的准确率为91%，AUC为0.98。BIEN等[21]在包含1 130幅图像的训练数据集上训练基于CNN的MRNet模型，以检测半月板撕裂，并在120幅图像上进行测试，得到该模型的AUC为0.85。2019年ROBLOT等[22]及LSSAUA等[23]应用CNN模型检测半月板撕裂，其AUC分别为0.90、0.91。LIU等[24]报道了基于CNN的软骨损伤自动检测模型，使用660幅图像组成的训练集和1 320幅图像组成的测试集，该模型检测软骨损伤的AUC高达0.92。2019年PEDOIA等[25]建立了基于CNN的DenseNet模型，用以检测软骨异常并诊断骨关节炎，其AUC为0.83。

CNN用于脊柱退行性病变领域包括自动检测椎间隙狭窄、椎管狭窄及椎体滑脱，准确率分别达75%、94%及95%[26]。此外，基于CNN的骨龄自动检测在DL领域已有较多研究[27-31]。北美放射学会儿童骨龄ML挑战赛共收入105种竞赛模型，根据骨龄估计值与真实参考值之间的绝对差值的平均值对提交模型进行排序，其中BILBILY和CICERO开发的CNN模型最终以平均绝对差值为4.27个月取得挑战赛冠军[29]。YUNE等[32]报道了一种基于CNN的VGG16模型，可通过手掌和手腕部X线片评估性别，准确率可达96%；类激活图显示，该模型主要通过集中于桡骨远端、第二和第三掌骨基底部及第三掌指关节的特征实现性别区分。

2.2 病变分级 ANTONY等[33]利用CNN模型创建了膝关节骨关节炎自动量化系统，将膝关节骨关节炎分为轻度、中度和重度。2018年TIULPIN等[34]使用Siamese CNN模型在多中心骨关节炎研究(multicenter osteoarthritis study, MOST)数据集共18 376幅图像上进行训练，并在骨关节炎创始(osteoarthritis initiative, OAI)数据集5 960幅图像上进行测试，结果显示，根据骨关节炎凯尔格伦-劳伦斯(Kellgren-Lawrence, K-L)分级，CNN模型的AUC为0.93，提示该模型具有学习相关骨关节炎特征的能力。上述报道中同样包括了类激活图，可显示模型做出决策的依据主要来自于哪些区域，使得模型的自动决策过程具有一定透明性。

JAMALUDIN等[35]开发了用于退变椎间盘自动分级的CNN模型，模型使用包含12 018幅图像的数据集，根据Pfirrmann分级标准，准确率可达70%。LU等[36]报道了一种用于椎间孔狭窄和椎管狭窄自动分级的ResNeXt-50模型，使用22 796幅图片作为训练集，对椎间孔狭窄分级的平均准确率达78%，对椎管狭窄分级的平均准确率可达80%。

2.3 分割解剖结构 在2018年国际医学图像计算和计算机辅助干预协会(medical image computing and computer assisted intervention society, MICCAI)椎间盘分割挑战赛中，GEORGIEV等[37]使用二维集成算法的CNN分割模型以戴斯相似系数(Dice similarity coefficient, DSC)0.91获得挑战赛冠军。在此基础之上，2019年DOLZ等[38]使用MICCAI提供的公开数据集开发并训练了CNN模型IVD-Net，利用多模态图像信息进行椎间盘分割，最佳DSC可达0.92。

2018年LIU等[39]开发了一种基于CNN模型SegNet的膝关节骨与软骨自动分割方法，利用膝关节影像分割2010(segmentation of knee images 2010, SKI10)数据集进行训练和验证，获得的标准化SKI10评分为64.1分，表明其性能优于U-Net分割模型(SKI10评分为53.0分)。

3 小结与展望

CNN是一种具有优秀图像分析能力的AI算法[40]，在骨骼肌肉放射学中主要用于检测病变、进行分级和分割解剖结构。目前CNN应用研究尚仅限于部分器官和组织，未能用于全身影像学检查，但过去数年中的多项研究结果表明，CNN在评估医学图像某些方面已具有专家级表现。随着研究的不断深入，相信在不久的未来，CNN将变革放射科现行工作模式，对放射学发展产生划时代的影响。