深度学习算法在腭中缝成熟度分期中的应用

陈宇彤 焦庆磊 朱 明 李青奕

牙弓及上颌骨的横向发育不足是常见的口腔问题，上颌骨的横向发育不足会导致反合、偏合等多种错颌畸形，进而导致口腔功能失调，严重影响美观。目前，上颌快速扩弓器（rapid maxillary expansion， RME）常用于纠正上颌骨宽度不调，而且，在多数病例中，正畸医生希望获得更多的骨性扩弓效应并减少牙性扩弓效应，以避免牙齿的过度唇倾及并发症的产生。

腭中缝的成熟过程实际上是个体在生长发育过程中所经历的骨缝逐渐钙化融合过程中的一种。腭中缝两侧在钙化初始阶段出现骨针状骨化，随着骨针的增多及交叉融合，腭中缝逐渐从后向前钙化[1]。然而，生理年龄并不能准确对应腭中缝钙化的阶段，仅以生理年龄也无法准确判断生长发育期。有文献表明，腭中缝钙化情况存在个体差异，甚至在40岁以上的病例中发现了仍未完全钙化的腭中缝[1-2]。

Angelieri等[3]依据CBCT图像提出了一种判断腭中缝成熟度分期的方法，将腭中缝成熟度情况分为A、B、C、D、E期，认为以C期为分界，腭中缝成熟度分期处于A、B、C期的患者可以通过传统RME打开腭中缝，扩大上颌牙弓，然而由于腭中缝分期处于D、E期的患者的腭中缝已经融合，使用传统RME难以获得需要的骨性效应，所以对于此类患者更推荐使用骨支持式或外科辅助RME。

准确判断患者的腭中缝成熟度分期成为制定正畸治疗方案的关键。虽然依据CBCT图像中的腭中缝形态判断腭中缝成熟度已经有了明确的分期标准，但在实际的临床诊断中，CT图像常具有多期特征，若完全依赖于医生的判断，有时会出现多次分期结果不一致的情况，对最终的诊断带来一定的不确定性。而正畸医生会倾向于使用骨支持式或外科辅助RME以获得更多的骨性扩弓效应以保证疗效。但是，这对于一些原本并不需要此类措施的患者来说，不仅增加了其经济负担，更增加了其在正畸过程的不适甚至是痛苦体验。

为了能够在临床诊断工作中给医生提供一致性的评估结果作为参考，本文改进了一个深度学习模型，用于判断腭中缝的成熟阶段。该模型将CBCT截图作为输入，输出所属每个分期的得分，以及由梯度加权的类别激活映射（gradient class activation mappings， Grad-CAM）[4]方法得到的卷积特征可视化结果。该模型由Xception[5]网络作为基础模型，在此基础上加入注意力机制，Grad-CAM计算得到的类别激活特征图为神经网络提供了特征分布的位置信息，使模型能够捕捉到腭中缝区域在不同分期下的细微区别。此外，深度学习模型将患者的年龄信息与图像特征融合，综合做出预测。

方 法

1.患者资料

回顾性分析南京医科大学附属口腔医院正畸科2014年1月至2019年6月的729例病例数据。准入标准为：在正畸治疗前获取的清晰的CBCT图像；排除标准为：唇腭裂病史，全身系统性疾病史等。

2.CT扫描技术

CBCT设备为锥形束CT机（NewTom SG，意大利），受试者采取平卧位，采集过程中保持眶耳平面与地面垂直，焦点0.3mm，曝光时间18秒，层厚0.3mm，扫描角度360°。

3.腭中缝成熟度分期判断方法

利 用 Dolphin imaging 软 件 11.0（Dolphin Imaging & Management Solutions， Chatsworth，CA， USA），将患者的CBCT数据导入Dolphin软件后，根据Angelieri等人提出的腭中缝成熟度分期方法，对腭中缝区域进行截图，典型分期截图如图1所示。对于腭平面弯曲的患者，同时需要腭平面前后两个位置的截图，如图2所示。

4.数据集划分

4.1 第一阶段数据：选自南京医科大学附属口腔医院正畸科2014年1月至2018年12月的病例数据。由3位正畸医生对这些截图进行分期标注，间隔2周之后，对这些数据进行第二次标注。其中，3位正畸医生6次标注结果全都一致的病例共631例，可以认为，此631例样本具有各个分期的显著特征。另有38例病例样本，虽然3位正畸医生最初的分期结果不一致，但经过共同讨论后达成一致，可以认为，此38例样本为临床工作中腭中缝成熟度分期较为困难的病例。

(1)验证集：在631例样本中，从每个分期中挑选出4个典型分期样本，此20例样本为训练的验证集。

(2)训练集：631例样本除去20例验证集样本外，剩余611例样本。对于弯曲腭平面，同时需要两个位置的截图，这样的病例样本共有50例，在训练时它们被视为两个孤立的样本，因此训练集共有661例样本。

(3)测试集A（困难病例）：38例在临床工作中判断腭中缝成熟度分期较为困难的病例样本。

4.2 第二阶段数据：从南京医科大学附属口腔医院正畸科2019年1月至2019年6月的病例中，随机选出60例病例，由相同的正畸医生利用与第一阶段数据同样的方法进行标注，对于分期结果不一致的病例，由医生共同讨论得出最终分期结果。可以认为，此60例病例代表了在临床工作中判断腭中缝成熟度分期的平均难度。

测试集B（平均难度病例）：60例在临床工作中判断腭中缝成熟度分期的平均难度样本。

5.深度学习算法与图像分析

5.1 实验数据处理：腭中缝成熟度情况有A、B、C、D、E共5个分期，对标签采用独热编码，将医生的标注转换成为五维的0/1向量作为每一例样本的标签。另外，对实验数据进行扩充：图像经过锐化之后，进行随机的平移、放大以及水平镜像，然后从图像中间裁剪出边长为0.8×H大小的正方形区域，其中H为CBCT截图的高度。最后将裁剪出的图像缩放到512×512的像素大小。

5.2 网络结构：本文针对腭中缝成熟度分期问题，在图像分类网络Xcepiton 模型的基础上，将图像特征与结患者年龄属性结合，并引入注意力机制辅助判断。具体的网络结构如图3所示。腭中缝成熟度分期是一个多分类问题，输出层使用softmax函数，使得5个分期的概率和为1。然后使用交叉熵损失函数量化模型输出与标签之间的误差。

5.3 特征可视化：Grad-CAM方法[4]为模型的预测生成一个简单的热图。颜色越红，表明模型在分类的时候越依赖此区域的图像特征。

结 果

1.训练过程与结果

本文按照设计的先后顺序训练了3个模型：模型1是现有Xception模型；模型2加入了注意力分支；模型3将图像特征、个人信息和Grad-CAM评分结合，得到最终结果。

模型1时使用迁移学习的方法训练，将在ImageNet上训练的Xception模型作为初始权重。优化器选用Adam梯度下降算法计算梯度并更新权重，初始学习率设为5e-5，学习率衰减因子为0.2，当连续两个周期验证集的损失不再减少时，学习率衰减。总共训练30个周期，选择验证集损失最小的模型作为最优模型。

模型2的训练分为两步，第一步首先用模型1的训练结果初始化，然后将Xception模型的所有参数固定，只训练Grad-CAM分支，在此初始学习率设为1e-3，训练5个周期。第二步取消固定Xception网络参数，学习率为1e-4，学习率衰减机制同上，训练20个周期，从中选择最优模型。

模型3以训练完成的模型2作为训练的初始参数，然后将模型2部分的参数固定，初始学习率设为1e-3，同样的学习率衰减机制，训练周期为20，从中选择最优模型。

3个模型在验证集上的表现见表1。

2.测试过程与结果

在测试时，对于腭中缝弯曲的病例，需要综合考虑前后两个位置的截图，分别输入模型，最后取模型输出平均值作为此病例的最终判断结果。

2.1 测试集A（困难病例）和测试集B（平均难度病例）测试结果：选取一例样本展示可视化输出与模型预测输出（图4）。这一例样本的腭中缝成熟度正确分期为E期，模型输出E期的概率为0.985。图4中可以看出，E期对应的特征映射热图的高亮区域也正是腭中缝的位置，解释了模型的分期依据。在测试集A和测试集B上，各个模型的测试结果及医生的平均准确率见表2，其中，医生的准确率由3位正畸科医生多次标定的结果与最终讨论结果对比产生。

表1 验证集结果

表2 测试集A和测试集B的测试结果

图1 腭中缝成熟度典型分期。A.A期：腭中缝呈一条较直的高密度线，没有或只有很少的弯曲；B.B期：腭中缝形状不规则，呈一条锯齿状的高密度线，局部可能有两条平行的高密度线，或低密度团块；C.C期：腭中缝呈两条平行的，直的或锯齿状的高密度影像，局部可能被小的低密度团块分隔；D.D期：腭骨部分的腭中缝已不可见，上颌骨部分的腭中缝仍为两条锯齿状高密度线；E.E期：腭横缝以前的腭中缝已不可见，密度与周围骨质一致。

图2 弯曲腭平面截图。

图3 网络结构图。其中：第1部分表示基础网络，第2部分表示引入的注意力机制，第3部分表示综合年龄信息辅助判断，这里年龄除以100后，放缩到（0，1）区间内。最后两个分支的结果经过平均后输出。

讨 论

在医学领域，许多研究者已将图像处理、传统的机器学习和深度学习等相关算法运用到肿瘤预测以及临床诊断等问题中[6-8]。腭中缝成熟度分期任务与一般的图像分类任务不同，因为腭中缝区域在CBCT截图中仅占小部分，切片中还会有牙齿、腔窦等组织结构的成像，导致背景复杂多样，传统的图像特征提取方法会因此受到干扰。卷积神经网络能自动关注感兴趣区域，筛选有用信息自动建模，忽略不相干的背景信息。另外，Xception网络使用深度可分离式卷积，不仅能提升模型性能，还能大幅减少模型参数量，降低计算量。

长期以来，神经网络经常被视为黑盒模型，输入数据然后得到结果，但难以获得其中的依据。为了提升模型的可解释性，本文采用Grad-CAM方法，为模型的预测生成定位热图，突出图像中用于预测的重要区域，以解释模型所做的决策依据。为了能够让模型对位置信息敏感，CAM热图也被作为分类依据加入卷积神经网络中。此外，年龄作为生长发育程度的一个重要信息，在模型决策时一并考虑，与图像特征共同得到分期预测结果。

实验结果表明，不论是在测试集A还是测试集B上，深度神经网络的表现都优于临床医生。这是因为临床医生在处理具有多期性的病例截图时主观性较强。在这种情况下，深度学习算法显现出优势。因为模型由具有明确分期特征的样本训练，对于多期性样本，深度学习网络能够通过图像特征和患者信息计算出属于每个分期的得分，选取最高得分的分期作为分期结果，多次计算结果也不会改变。

此外，医生在核查深度学习模型给出的结果时，能够明确指出在个别病例的判断上，模型给出了错误

图 4 模 型 可 视 化 输 出。 模 型 输 出 所 属 各 分 期 概 率：Stage A=0.00317319，Stage B=0.00313581，Stage C=0.00167497，Stage D=0.00723078，Stage E=0.9847853。

分期。也就是说，深度学习模型在医生的监督下，能进一步提高预测准确率。对于困难的腭中缝成熟度分期情况，深度学习模型能给出概率值供医生参考，大大提升了医生的工作效率和诊断准确率。因此，医生可以将宝贵的时间放到对于病例的全面诊断与治疗方案的制定中，而不必过多纠结于患者的生长发育期。