基于卷积神经网络的骨折超声图像识别初步研究

冯自立，康其传，张 涛，章伟睿，叶健安，张云飞，罗 文，徐灿华

(空军军医大学： 1军事生物医学工程学系医学电子工程教研室， 4西京医院超声科，陕西 西安 710032； 2军事医学科学院军事医学研究院辐射医学研究所，北京 100850； 3空军军医大学唐都医院骨科，陕西 西安 710038)

四肢闭合性骨折为战场一线的高发伤情，闭合性骨折伤情的快速诊断、准确分诊救治对减少战斗伤亡和提高战场救治率具有重要意义。然而，战术一线环境特殊，CT、X线车等大型仪器设备难以到达战术一线区域，极易发生闭合性骨折伤情的漏诊和误诊。随着超声技术的发展，因其无辐射、实时、便携等特点，在一线救治诊断中应用越来越广泛，目前已用于战时心脏创伤、气胸和腹部创伤诊断[1-2]。此外，超声还能在战时探查骨皮质表面的连续性中断情况，及时探查四肢闭合性骨折伤情，有助于第一时间固定骨折部位，改善预后，减少伤亡。

在临床骨折超声诊断中，诊断准确率在很大程度上取决于超声科医生的临床经验，对于一线救治诊断的卫生员而言，难以使用超声设备完成伤情检查。近年来，随着人工智能的快速发展，以深度学习为代表的机器学习方法在医学图像识别方面取得了极大的进展，为辅助医生做出准确诊断提供了新的途径[3-7]。在超声领域，通过深度学习技术在甲状腺结节的智能诊断[6]、乳腺超声诊断[7]、血管内超声图像序列分割[8]等方面已开展广泛研究。基于此，本研究采用卷积神经网络技术，构建了一种用于智能判别超声骨折图像的模型，模型通过自动提取骨折超声图像特征，实现对骨折伤情的自动判别。结果表明所构建的模型可以实现骨折超声图像的准确判别。

1 材料与方法

1.1 材料

新西兰大白兔50只，由空军军医大学动物实验中心提供，体质量2.5 kg左右；超声仪器采用聚融医疗便携式彩色多普勒超声诊断设备[型号DC-1，聚融医疗科技(杭州)有限公司]；探头采用8～12 MHz高频探头[型号L12-4，聚融医疗科技(杭州)有限公司]。

1.2 方法

1.2.1 数据来源及预处理 将新西兰大白兔固定于实验台，使用异氟烷通过小动物呼吸麻醉机进行麻醉，分别制作三种不同的胫骨骨折模型：①切开皮肤、皮下组织，暴露骨质，用骨钳夹压制造粉碎性骨折；②采用骨锯切断骨质来制造缺损型骨折模型；③采用自制撞击仪器，自皮外撞击双下肢骨质，制造闭合性移位型骨折模型。利用便携式彩色多普勒超声，将探头置于胫骨长轴方向，侧动扫查，置于短轴方向，连续扫查，获得骨皮质表面的超声图像。

从超声设备采集到的骨皮质表面不同角度下的连续视频数据中，截取800×800像素的jpg格式图片，共包括1 382张有效图片。经过专业超声医生标注，其中1 152张判定为胫骨骨折超声图像，230张为正常胫骨超声图像。按照标注结果，将胫骨骨折超声图像设置为标签0，正常胫骨超声图像设置为标签1。由于实际采集到的超声图像中存在大量的无效区域，考虑到卷积网络读取图像的效率，本研究从800×800像素的图像中，通过边缘裁剪、放缩等操作将图像调整为112×112像素作为最终的卷积神经网络输入数据。为提高模型的泛化能力和鲁棒性，对图像进行上下、左右和沿对角线翻转操作，作为数据增强处理。本研究训练集包含922张(67%)超声图像，测试集包含460张(33%)超声图像。数据处理的完整流程见图1。

图1 数据处理过程

1.2.2 模型建立 经典的卷积神经网络LeNet-5，其结构为7层，除去输入层，包括3层卷积层、2层降采样层、1层全连接层和输出层，卷积核大小为5×5[9-10]。因本研究仅考虑骨折超声图像和正常超声图像两种情况，因此采用优化的LeNet-5系统，数据经过卷积层、池化层、全连接层，通过dropout处理过拟合问题，最后经过softmax层输出[11-14]，避免过多的参数学习过程，同时保留对图像位移、扭曲的鲁棒性，既能满足对超声骨折图像的识别，又缩短对骨折伤情识别时间。本研究基于Python语言的TensorFlow框架[15-17]来实现相关模块和整体的计算，并完成对单张超声图像的骨折识别。研究使用的计算机服务器配置如下：CPU，Intel Xeon Silver 4110八核双芯；GPU，GEFORCE RTX 2080 Ti；RAM，64 GB。研究使用的主要软件模块为TensorFlow 1.9.0和Anaconda 4.2.0。

1.2.3 模型训练与测试 本研究模型训练流程见图2A。首先，在训练过程中从数据集中每次抽样输入16个数据进行前向传播的计算，获得前向传播预测值。其次，选择交叉熵损失函数来判断真实值和判断值间的差距，利用Adam优化器来计算模型网络参数。最后，由Bernoulli分布来设置一个丢弃概率，随机丢弃一部分神经元避免过拟合，增加模型的鲁棒性。每经过25次训练，调用测试集进行数据测试，计算在测试集上的识别率。

在模型测试过程中，首先从测试集中随机抽样进行数据输入，然后利用训练的模型获得预测值，最后通过预测值与标记值判断识别情况，计算识别率。整体模型测试过程见图2B。

A：网络训练流程 ；B: 网络测试流程。图2 网络训练与测试流程图

1.2.4 模型参数优化 本研究利用实验获取的1 382张有效超声图像对整个模型进行参数优化。参数优化分为3个方面：一是基于网络层数的特性优化。实验选定输入层、卷积层、池化层计入计算范围，选取卷积核大小为 5×5，特征维数保持1 024维左右，选取层数为1、3、5、7、9，分别测试模型性能。二是基于卷积核大小的特性优化。实验设定网络层数为5层，其中卷积层 2 层，池化层 2 层，特征维数保持1 024 维左右，选取卷积核大小为 5×5、7×7、9×9、11×11、13×13，分别测试模型性能。三是基于特征维数的特性优化。实验选取 5 层网络，其中卷积层2层，池化层 2 层，卷积核大小为7×7，选取不同特征维数512、1 024、1 536、2 048、2 560、10 240，分别测试模型性能。

2 结果

2.1 模型参数优化结果

不同网络层数的模型训练和测试情况见图3。当网络层数为1和9层时，目标函数在训练过程中震荡十分明显，在网络层数为5和7层时表现良好，目标函数下降较快，训练效率较高，能在训练过程中较为稳定地得到最小loss值。从识别率方面来看，网络层数为5层时识别率最高。故网络结构确定为5层。

图3 神经网络层数对网络性能和识别率的影响

不同卷积核大小的模型训练和测试情况见图4。当卷积核大小为7×7和9×9 时，网络收敛最快，当卷积核大小在9×9以上时，网络有着不同程度的震荡，说明网络结构的稳定性不足。且卷积核大小为7×7 时，测试识别率最高。因此，在最优化的卷积神经网络参数选取中，卷积核大小确定为 7×7。

图4 卷积核对网络性能和识别率的影响

不同特征维数的模型训练和测试情况见图5。当特征维数过大(如10 240维)时，训练速度缓慢，但当特征维数较小(如512维)时，收敛时可能产生不同程度的震荡问题，导致模型不够稳定。中间1 024、1 536、2 048、2 560维特征向量对网络的训练效果影响不大。从识别率方面来看，特征维数为 2 048时识别率最高，故特征维数参数选取2 048。

因此，本研究中骨折超声图像识别模型参数选取为网络层数为5层，卷积核大小为7×7，特征维数为 2 048。

图5 特征维数对网络性能和识别率的影响

2.2 骨折超声图像识别结果

通过上述方法进行模型参数优化后，用模型读取单张超声图像进行识别，识别结果见图6。其中图6A为骨折情况的识别结果，结果判定该超声图片为骨折，其概率为99.997%；图6B为正常情况的识别结果，结果显示该超声图片为正常，其概率为99.998%。对测试集所有超声进行识别，识别率达到97.8%。

A：骨折图像识别结果；B：正常图像识别结果。图6 超声图像识别结果

3 讨论

四肢闭合性骨折伤情在战场上发生率高，若处置不善极易导致受伤战士致残。战场一线环境恶劣，医疗条件差，超声专业人员少，无法大规模将便携式超声运用到战场，而人工智能的辅助诊断技术良好地解决了这个问题。现有的超声人工智能研究大多倾向于常规疾病的诊断筛查，如针对甲状腺[6]、乳腺[7]等，针对战场伤情的研究较少。因此，本研究基于TensorFlow框架构建了一个用于超声骨折图像识别的模型，基于浅层卷积神经网络，参数少，整个训练识别过程耗时短，符合一线战场使用要求。并通过对模型进行优化测试，获得最佳网络层数、卷积核大小以及特征维数等模型参数，最终优化后的模型在测试集上的识别率达到97.8%，具备较好的识别性能。

LeNet-5卷积神经网络结构，底层由卷积层和池化层交替组成，顶层为全连接层，随着卷积神经网络研究的发展，结构亦在不断优化，如激活函数由Sigmoid函数变为ReLU函数，引入dropout处理过拟合问题等。LeNet网络结构简单，无需复杂参数，完全适用于处理简单的二分类骨折识别。

本研究所构建的骨折超声图像识别模型，虽然能够较好地识别出骨折超声图像，然而本研究还存在一定不足：首先，训练和测试数据来自于动物实验图像，与真实人体的骨折图像还具有一定差距，该模型对于人体骨折超声图像的识别效果尚不能确定；其次，本研究训练数据较少，骨折种类覆盖面较小，可能导致模型泛化能力不足，后期的研究还需要更为真实的临床超声图像以及更多的骨折超声图像数据。

总之，本研究构建的卷积神经网络模型为骨折超声图像的智能识别提供了一种良好的方法，为建立快速识别闭合性四肢骨折并准确分诊的便携式智能超声系统提供了模型支持，为下一步实现战术一线救治快速分诊的智能超声系统提供技术基础。