基于卷积神经网络的骨龄辅助评测技术

2021-03-06管骏

科学技术创新 2021年4期

管骏

（四川大学视觉合成图形图像技术国防重点学科实验室，四川成都610064)

1 骨龄评估方法

1.1 现状

目前, 国内主流的骨龄预测方式还是主要依赖于人工对于X 光照片的解读，根据骨骼生长的一般规律进行分析，临床医学上用于骨龄评价所依据的方法主要有两种，分别是图谱法和计分法。而目前国内，中华05 计分法相比于其它的骨龄评价方法，具有更高的使用率，计分法分期具有明确的量化概念，相对于其他骨龄评估方法准确度更高，可重复性较强。但缺点是需提前掌握相关知识并需要进行繁琐的操作。

1.2 计数法

计数法是人为估计骨龄的一种方法，其通过观察骨化中心随时间在一定年龄出现的数目、测量骨化中心面积以及骨与骨之间的比例，同时观察骨骺的融合时间来进行骨龄的判断，但是这种系统误差较大，又会导致x 射线对人体的照射量大从而导致对人体的损害，现在已很少出现在临床。

1.3 图谱法

图谱法是将手骨x 射线照片与医学骨龄标准照片进行逐项比对的方法，由Todd 制定了较为完善的骨骼成熟图谱后开始进行流传，主要依据青少年不同年龄手腕部骨化中心和干骺的出现，消失顺序，建立男女骨龄标准的图谱[7]，手骨射线图谱包括男子31 张标准片，年龄范围0-19 岁；女子27 张标准片，年龄范围0-18 岁。评价时只需将手骨图片与图谱对照，找出其中最相近者，如果结余两个相邻年龄谱之间，取均值进行估算，即可确定未知片的骨龄。G-P 图谱法简便明确，在国际上广泛使用。

1.4 计分法

TW 计分法，它通过将左手腕的20 块手腕骨的发育过程进行分级，根据各骨按不同的发育状况分为8-9 期，赋予不同的分值，最后将各个评分进行相加得到总分，最后依据各个年龄的骨成熟度得分中位数曲线得出评估结果[4]，制定出判定骨龄的计分方法。在1972 年正式制定TW2 标准，TW2 与TW1 的不同之处在于各骨龄等级和性别的计分方面，TW2 方法共有20 个感兴趣区，每个感兴趣区包括骨骺、干骺端、骨干3 个部分，并根据成熟程度划分成不同的等级。此外，男性和女性采用不同的权重计分。

2 研究材料与方法

2.1 研究材料

该研究采用的是2017 年由RSNA 北美放射学会举办的儿童骨龄挑战赛比赛的公开集，这来自于斯坦福儿童医院和科罗拉多儿童医院的无偿提供[6]，这些手骨图片是在不同的时间、不同的条件下拍摄到的关于Kaggle 的数据集，为使其更容易实验和做教育演示，整个RSNA 数据集选用6823 例男性、5767 例女性共12590 例手骨图片数据进行训练，而RSNA 数据测试集包括男性、女性分别100 例共计200 例额外手骨图片，不包括在训练集内，无需从训练集中进行选取。

2.2 研究方法

2.2.1 目标检测预处理

在使用深度学习方法的过程中，数据预处理是所有后续步骤的重要基石。而该方案的第一步则是对目标检测的部分数据进行标注并训练，目标检测的准确性关乎后续分类训练所需数据的完整性，在目标检测网络训练开始之前需要耗费一定的时间去标注数据。

数据处理:

图1 数据标注

数据标注主要参考了中华05 法和TW2 法，将两种方法中重要的关键部位进行标注，最终统计有16 个具体框体，并且分为七个类，分别包含手掌数据，桡骨，尺骨，掌骨，近节手骨，中节手骨和远节手骨等，其中数据标定如图1 所示, 利用YOLOv3-SPP 训练已有的手骨数据集检测手骨的关键区域并进行截取，将这些关键区域进行姿态调整后进行融合。目标检测的框架为YOLOv3-SPP，整个框架使用的是python 语言。总共进行随机标注了1000 例手骨图片，训练时按照9：1 的比例进行划分训练集和验证集。

2.2.2 骨龄评价网络设计

骨龄评价使用的网络为改进的reanet18，ResNet 网络提出残差结构，并且使用Batch Normalization 加速训练。相比于传统的卷积神经网络，Resnet 可以搭建超深的网络结构，可以突破1000 层，传统的卷积神经网络都是通过将一系列卷积层与池化层进行堆叠得到的，但是网络堆叠到一定深度时，会出现两个问题：a.梯度消失或者梯度爆炸，也就是当每一层的误差梯度小于1，反向传播时，网络越深，梯度越趋近于0；反之，若每一层的误差梯度大于1，反向传播时，网络越深，梯度越来越大。b.退化问题，解决了梯度消失、爆炸问题后，仍然存在深层网络的效果可能比浅层网络差的现象。

解决梯度消失或者梯度爆炸的方式可以通过数据的预处理以及在网络中使用Batch Normalization 层来解决，而残差结构人为地让神经网络某些层跳过下一层神经元的连接，隔层相连，弱化每层之间的强联系，可以用于减轻退化问题，所以在进行骨龄评价的网络设计中，选用ResNet 网络相较于其它传统卷积神经网络能得到更好的效果。

而关于传统的ResNet 网络，本文在训练过程中修改了其中的Relu 激活函数为随机纠正线性单元（RReLU），ReLU 是将所有的负值都设为零，而RReLU 是给所有负值赋予一个非零斜率，而且负值的斜率在训练中是随机的，在之后的测试中就变成了固定的，RReLU 的亮点在于，在训练环节中，aji是从一个均匀的分布U(I,u)中随机抽取的数值，RReLU 从数学的形式表示为以下公式：

使用RReLU 后，训练结果的准确率提高了3 个百分点。

2.2.3 评估结果

将预测结果进行回归预测，按性别分别统计测试集所有数据误差在±1 岁以内的准确率，并计算平均绝对误差(MAE)[2]。公式如下:

表1 RSNA 不同性别训练结果

3 骨龄识别系统设计

本文利用opencv 计算机视觉库和目标检测算法以及深度学习框架封装的接口,且同时利用了QT 编程框架实现了集成本文检测组合ROI 和骨龄评价方法的端到端的桌面应用软件，相较于国内其他同类研究，本软件环境更加易搭建、易使用。

3.1 运行流程

3.1.1 通过点击QT 应用软件主界面按钮选择并打开手骨X光图像所在文件夹并显示手骨X 光图像在程序主界面中。

3.1.2 选择待检测图像的性别并点击检测按钮，程序加载运行封装好的目标检测算法接口和模型，对输入的手骨X 光图像进行ROI 检测，并在软件界面中显示检测出的ROI 框体。

3.1.3 程序根据上一步检测出的ROI，自动提取归一化并合成三通道的数据在本机缓存文件夹中。

3.1.4 加载封装好的接口和骨龄识别网络模型，将合成数据输入网络中得出模型预测的骨龄并显示在软件界面中，程序检测识别骨龄的流程图如图2。

图2 程序识别骨龄流程

3.2 程序展示

如图3 所示为集成本研究方法的桌面应用软件UI，该桌面应用软件UI 十分简洁，在主界面左上角为选择检测文件夹按钮和路径显示标签。用户首先通过点击该按钮进行待检测手骨图像所在文件夹选择，程序会将文件夹包含的图像数显示在按钮紧邻的右侧，同时将文件名列表显示在主界面左侧。在主视图中会显示当前文件夹的第一张图像，在图片个数显示框右侧为两个性别的选择按钮，选择性别后点击检测即可自动检测全部ROI 并标注在图像上，同时检测下方的textlabel 将会输出预测的骨龄。图3 所示的骨龄为使用了混合性别训练的MultiBoneNet 回归模型预测出的结果转换为年为单位的年龄。

图3 骨龄评价系统

本算法应用中的检测算法接口和深度学习框架接口均有CPU 和GPU 两种版本，可视具体应用场景选择软件所需要的接口版本。检测算法和接口中均包含了加载模型，预测结果的功能函数。经测试，本软件使用的两种版本接口在配置GPU 为20708G、CPU 为i58300H、内存8G、操作系统为WIN10 的PC 上能够流畅运行。CPU 版每个样例检测识别速度平均在0.8 秒左右，而GPU 版每个样例检测识别速度平均在500 毫秒左右。