基于卷积神经网络的种植体周围牙槽骨关键点识别方法研究

郭亚霖，牛群文，代 维，盛 晨，侯文杰，乐昊雯，王家柱，许来青，汪 林*

（1.解放军总医院第一医学中心口腔科，北京 100853；2.解放军医学院，北京 100853；3.解放军总医院第一医学中心神经内科，北京 100853；4.北京市丰台区妇幼保健院口腔科，北京 100067）

0 引言

近年来，随着医疗卫生事业的不断进步，种植牙技术愈加完善，当前已成为患者修复缺失牙齿的首选[1]。牙种植体是依靠周围的牙槽骨来保持其稳定性和功能的持久性[2]，因此一种植体周围边缘骨吸收是术后检查需要监测的一个重要参数。在临床实践中，种植体周围骨高度的检测依赖于影像学检查。拍摄全景片和根尖片是常见的检查手段，其具有操作简单、费用低和放射量小的优势，但是这些二维影像学检查存在严重的局限，即不能提供有关种植体颊侧和舌侧牙槽骨的信息，而这会影响临床医生的判断[3]。随着影像学技术不断的完善和进步，为牙齿颌面成像开发的锥形束CT（cone beam CT，CBCT）能为临床医生提供三维信息，且比CT 设备价格更实惠，设备尺寸更小，而且还能以较低的辐射剂量和较短的扫描时间提供高质量的图像，目前正逐步代替二维影像学检查[4]。

通常通过影像学评估牙槽骨吸收情况[5]，尽管在某些情况下，影像片的评估判读可能由口腔影像科医生进行，但在许多临床实践中口腔医生经常自己阅片。而医生正确解读医学影像是需要进行培训的，尤其在口腔领域，牙科专业人员对放射图像评估的一致率在一定程度上因个人知识、技能和习惯而有所不同[6]。缺乏经验的临床医生可能会诊断错误，从而导致误诊或误治。此外，口腔医生的紧缺和医疗资源分布的不均也加大了居民接受口腔健康服务的阻力，使口腔保健工作面临严峻考验[7]。因此，开发一种高效、客观、精确的种植体周围骨智能测量工具是临床的迫切需求。

计算机辅助诊断（computer-assisted diagnosis，CAD）逐步演变为医生的“第三只眼”被逐渐引入口腔各个领域。人工智能是计算机科学的一个领域，旨在执行各种需要人类智能的特定功能。它模仿人类的智能，并使用深度学习方法改进其随着时间的推移获得的这些特征[8]。随着计算机视觉技术在医学图像上的不断应用，深度学习由于具有良好的特征提取与学习能力被广泛应用于医学图像分析中，例如使用深度学习方法进行医学图像器官分割[9]。深度学习通过将算法分层到人工神经网络中，模仿人脑，进一步提高了计算机的自主性。通过这种分层，深度学习网络变得更加强大[10]。卷积神经网络（convolutional neural networks，CNN）是一种基于卷积结构的深度神经网络，是深度学习领域的代表算法之一，被广泛用于图像的分类、检测、分割等领域[11-12]。CNN还可以用于处理复杂的图像，近年来已被用于口腔各个方面，如牙齿编号、根尖周病变和下颌神经管检测等[13-15]，并取得了令人满意的结果。然而CNN 在自动测量种植体周围牙槽骨高度领域很少有研究，为了在同一标准下测量牙槽骨高度、减少观察者之间的误差，本研究提出一种基于CNN 的种植体周围牙槽骨关键点识别方法，用于在CBCT 图像中识别种植体周围边缘骨丢失，并通过平均精度的均值（mean average precision，mAP）对该方法的识别能力进行评价。

1 资料与方法

1.1 一般资料

回顾性收集2022 年3—8 月于解放军总医院第一医学中心口腔放射科拍摄的成人患者（158 例）种植牙术后CBCT 影像学资料，从CBCT 影像资料中选择436 张种植体的冠状位、矢状位切片图像。本研究通过解放军总医院伦理审查会审查，并对所有数据进行匿名处理。

1.2 纳入、排除标准

纳入标准：（1）基本资料、检查及诊断情况、病史等资料完善；（2）CBCT 图像能清晰显示重要解剖结构，种植体影像无明显伪影；（3）患者使用的是ITI种植系统（StraumannAG 公司，瑞士）和NobelActive 系统（Nobel Biocare 公司，瑞士）；（4）同一个患者的一个区域中只选择一个种植体，如果该患者的对侧区域存在种植体，则对称选择。

排除标准：由于体位或拍摄标准不符造成CBCT影像质量不佳者。

1.3 数据收集与处理

CBCT 检查与处理：（1）CBCT（朗视HiRes3D，北京朗视仪器股份有限公司）检查：患者取坐姿，眶耳平面与水平面平行，矢状面与水平面垂直；患者口腔在扫描期间保持静止，且上下牙列处于咬合状态；曝光电压为100 kV，电流为4 mA，时间为13 s，视野大小为16 cm×8 cm；扫描数据以DICOM 格式导出，没有丢失的数据。（2）图像处理：患者CBCT 图像由2名放射科医生进行分析，调整容积数据图像的灰度、对比度及锐化度后获取图像。CBCT 关键点标注图像采集示意图如图1 所示，调整后截取冠状位视图和矢状位视图。

图1 CBCT 关键点标注图像采集示意图

采用Mimics Medical 软件（版本21.0）使用多平面重建进行关键点标注。在水平位窗口上定位种植体，让绿线与黄线交点位于种植体的横断面中心处，如图1（a）所示。在矢状位视图中，旋转图像使种植体的长轴平行于黄色线，并在种植体的平台水平绘制另一条垂线（红线），如图1（b）所示。在冠状位视图中，旋转图像使种植体的长轴与绿色线平行并对等，如图1（c）所示。对图像对比度进行调制，以区分不同组织密度。

1.4 图像标注

采用Labelme 软件对种植体使用边界框进行标注，边界框必须完全包含种植体，并标注图像中的牙槽骨与种植体颈部的接触点a、b，以及与种植体底部的接触点c，如图2 所示。由2 名放射科医生对关键点进行标注，并由1 名高级职称口腔医生（20 a 工作经验）进行最终标注结果的确认。

图2 图像标注示意图

1.5 网络模型

本研究针对种植体周围牙槽骨关键点定位展开研究，采用高分辨力网络（high-resolution network，HRNet）[16]作为骨干网络进行特征提取。在HRNet 中，不同类型的卷积分辨力网络以并行的方式链接在一起。HRNet 具有丰富的低分辨力和高分辨力交互，增强了其内部表示能力。此外，在训练过程中保持网络的特征表示，可以防止小目标信息在特征图中丢失。HRNet 由微软亚洲研究院和中国科学技术大学提出[16]。HRNet 的主要特点是在整个过程中始终保持高分辨力的特征，并通过融合不同分辨力特征增强特征的语义信息，这与大多数传统的CNN 设计思路有很大区别，更加适用于关键点定位任务。本研究提出的模型由骨干网络（HRNet）和用于关键点定位的网络头组成，其中网络头由3 层卷积层组成，用于输出关键点的概率图，所采用的骨干网络HRNet 通用结构如图3 所示。关键点定位需要很高的精度，而深度网络输出的特征图分辨力往往低于输入图像，导致关键点的定位存在量化误差。因此，本文进一步提出一种基于局部估计的关键点矫正算法，以更加精准地预测关键点的位置。

图3 HRNet 通用结构图

2 检测方法

本研究提出了一种新的单阶段关键点检测方法，简化了现有方法中的两阶段复杂计算，另外，还提出了一种局部估计精化（refinement with local estimation，LE Refinement）方法，以减少低分辨力引起的量化误差。

2.1 关键点计算

牙齿关键点检测任务旨在检测每颗种植体的牙槽骨边缘与种植体接触的位置。具体来说，牙齿关键点P 可以表示为

式中，k 为每个种植体的关键点数量；pi=（xi，yi，vi），其中（xi，yi）表示第i 个关键点的2D 坐标，vi表示第i个关键点的可见性。本研究定义了3 个牙齿关键点，包括种植体周围骨水平a、b 和种植体顶点c。

为了获得每个种植体的P，基于概率热图的方法将关键点定位表示为一个像素分类任务，该任务为每个像素确定2 个属性，即关键点类型和牙齿身份。

对于包含n 个种植体的图像，关键点检测结果可以编码在一组实例级关键点热图Hinst（Hinst∈Rn×k×h×w）中，其中，n、k 为种植体和关键点的数量，h、w 为热图的高度和宽度。种植体关键点的计算在概念上表示为

式中，θ 为关键点检测模型M（·）的可学习参数；I 为输入CBCT 图像。Hinst中的每个元素表示特定种植体的关键点在其位置处的概率。通过寻找k 个通道中的最大值可以获得每个种植体的关键点坐标。

对于包含n 颗种植体的图像I，其真实标签实例级关键点热图Hinst是通过在每个种植体的k 个二进制关键点位置图上应用2D 高斯核来构建的。整体训练目标Loverall可以表示为

式中，Lcen表示种植体锚点检测的焦点损失；Lkpt表示关键点预测的像素级损失。

现有方法[17]中的关键点检测模型是一个两阶段模型。与这些方法不同，本研究通过将Hinst解耦为多个属性热图，并在并行架构中学习这些热图，从而将关键点检测模型改进为一个单阶段模型。更具体地说，Hinst可以分解为2 个热图：一是关键点归属热图Hid（Hid∈Rn×h×w），以区分不同种植体的关键点；二是关键点类型热图Htype（Htype∈Rk×h×w），为每个关键点提供类型标签。Hinst可以通过融合Hid和Htype来生成，即

式中，F（·）为融合模型，可以简单地通过将Hid和Htype扩展为n×k×hw 大小的矩阵后相加来实现。

本方法将Hinst复杂计算分解为对Hid和Htype的2个简化预测计算。Hid和Htype可以用类似的体系结构进行预测，因为二者都对应于热图预测任务。另外，可以在统一的框架中联合优化Hid和Htype的计算。

2.2 属性分解热图（attribute-disentangle heatmap，ADH）

如图4 所示，ADH 由1 个网络骨干特征提取器和3 个头部分支组成，分别用于预测种植体锚点、身份嵌入和空间嵌入。ADH 通过将身份查询和关键点类型查询与空间嵌入分别进行比较来计算Hid和Htype。

首先进行种植体锚点预测，从I 中定位每颗种植体。对于I 中的种植体，通过锚点分支检测其锚点，该分支使用焦点损失训练锚点分类，即

式中，Hc和分别为预测和真实标签中心热图，其中每个像素表示在其位置存在种植体的概率；n 为I中牙齿锚点的数量；参照前人的工作[18]，将平衡因子α 和β 的值设为2 和4。

通过将身份查询与每个空间嵌入位置的特征进行比较，计算关键点身份热图，如图4 所示。由于不同种植体的外观和朝向是多样化的，因此身份查询应该是每颗种植体的代表性特征。本研究生成一个身份嵌入特征映射Fid（Fid∈Rd×hw），用于存储n 颗种植体的身份查询。假设中心热图检测到第i 个种植体的中心位置（xi，yi），根据空间位置（xi，yi）从Fid中提取该牙齿的身份查询fi，即

式中，fi∈R1×d，表示第i 颗种植体的身份查询；d 为查询嵌入维数。

对于包含n 颗种植体的图像，其身份查询可以定义为

因此，本研究将身份查询f 与空间嵌入Fs（Fs∈Rd×hw）的每个空间位置的特征向量进行匹配，得到身份热图Hid。通过余弦相似度计算Hid每个位置的响应：

其中，f 和Fid中的每个d 维向量都是L2 归一化的。Hid∈Rn×hw，为图像I 中关键点的标识标签，它由n 个通道组成，每个通道表示一颗种植体关键点的位置。

关键点类型热图是通过将关键点类型查询与空间嵌入Fs中每个位置的特征进行比较来计算的。由于不同种植体具有相同类型的关键点，本研究将关键点类型查询视为可学习参数q（q∈Rk×d）。换句话说，以一个通用的d 维特征向量来表示每种类型的关键点，并在推理时使用它来定位不同种植体的关键点。与Hid的计算类似，可以通过q 与空间嵌入Fs匹配来计算关键点类型热图：

式中，Htype为图像I 中关键点的类型标签，它由k 个通道组成，其中第i 个通道表示第i 个类型的关键点的位置。

实例级关键点热图Hinst是根据公式（4）中的Hid和Htype计算的，具体来说，将Hid的第i 个通道和Htype的第j 个通道相加，可以很容易地计算出的第i个种植体的第j 个关键点的热图，即

关键点预测损失Lkpt可以通过比较Hinst和真实标签来计算。本研究利用交叉熵（cross entropy，CE）损失与单热标签进行训练。假设热图上第i 个种植体的第j 个关键点的真实标签为（xi，j，yi，j），则其单热真实标签li，j计算公式为

式中，w 为热图的宽度。利用每个关键点的单热真实标签，可得到Lkpt计算公式为

式中，τ 为温度系数，设为0.02。

2.3 LE Refinement 方法

由于CNN 主干中的跨卷积和池化层等下采样操作，热图的分辨力低于输入图像的分辨力，直接基于热图中的最大值定位关键点会受到量化误差的影响，如图5（a）所示，导致输入图像在HRNet 中的性能下降[19]。最大量化误差是输入图像上的2 个像素。本文提出一种LE Refinement 方法细化输入图像上关键点的子像素位置，而不是使用额外分支来回归子像素偏移[20]，或用反卷积上采样热图[21]。该方法受到尺度不变特征变换（scale invariant feature transform，SIFT）[22]匹配算法的启发，目的是通过参考热图上的相邻点来定位插值子像素最大值，如图5（b）所示。

图5 热图预测中的量化误差和通过LE Refinement 方法计算的子像素最大值

对于热图H 上的空间位置最大值以矩阵表示，即s0=（x0，y0）T，用相邻点的插值来估计其子像素最大值s*的位置，表示为s*=s0+，其中是相对于s0的偏移量。本研究通过基于热图H 的泰勒展开插值估计。s0处的泰勒展开为

式中的后2 项可以基于关键点s0及其相邻点计算。s=（δx，δy）T，是相对于s0的偏移量。该公式舍弃了高阶分量来简化计算。

图5（b）中表示了一维空间中的H（s）、s0和s 的偏移量。显然，子像素极值s*的位置是通过找到H（s）相对于s 的导数为零的位置来确定的。因此，相应的偏移量的计算公式为

H 的导数用相邻点的差值近似。将计算得到的s^添加到s0中，得到s*的插值估计，如图5（b）所示。

3 评价指标与结果

3.1 评价指标

与姿态估计任务类似，本研究定义基于牙齿关键点相似度（teeth keypoint similarity，TKS）的平均精度（average precision，AP）作为本研究的牙齿关键点检测任务的评估指标。对于一对牙齿关键点P1和P2，TKS 定义为

在TKS 的基础上，定义了不同阈值下的AP 和平均召回率（average recall，AR）。对于数据集中第j 张图像，对应的正确率P 和召回率R 的定义为

式中，τ 为阈值；TP 为真阳性数量，表示在任何真实关键点中TKS 大于阈值τ 的预测关键点的数量；FP为假阳性数量，表示在任何真实关键点中预测的关键点的TKS 小于阈值τ 的数量；FN 为假阴性数量，表示在任何预测的关键点中TKS 小于阈值τ 的真实关键点的数量。

基于TP、FP 和FN，整个数据集上的AP 和AR 定义为

式中，M 为数据库中的样本数量。

3.2 结果

通过对比不同方法下的mAP 对模型识别关键点的能力进行评价。实验结果表明，None、Upsample、Offset regression 和LE Refinement（本文方法）的mAP分别为82.1%、83.3%、84.2%和85.6%。其中，None 表示没有应用任何细化，Upsampling 表示对预测的热图进行上采样使其达到输入分辨力，Offset regression表示额外分支回归的子像素偏移。由上述结果可知，LE Refinement 方法平均精度最高，该方法可将mAP从82.1%提升到85.6%。在规模相对较小的实例上可以观察到显著的提升。同样，LE Refinement 方法也优于Offset regression 方法，原因是在无约束的2D空间中回归可能很困难，引入额外的回归损失可能会干扰模型训练。综上，说明了LE Refinement 方法在减少量化误差方面的有效性。另外，从图6 可以看出，人工智能标注结果与医生标注图结果基本一致，显示该方法能够较好地识别种植体周围牙槽骨关键点。

图6 种植体周围牙槽骨关键点标注效果图

4 讨论

数据库的不断完善、算法的不断优化和模型的不断修正，推动着人工智能的不断发展，目前口腔医生可以将人工智能系统作为辅助工具，用于提高诊断、治疗计划的准确性，并预测治疗结果[23]。虽然目前人工智能还只能从事“程序化”的特定工作，不能真正意义上像人脑那样对信息进行关联和综合分析，但人工智能的出现和发展无疑为口腔医学的发展提供了新的方向和动力,势必会成为未来口腔医学的发展趋势之一[24]。

本研究需要检测种植体周围骨水平关键点和种植体顶点的位置。关键点检测是计算机视觉中的一项基础技术，旨在检测输入图像中感兴趣的点，可用于人体姿态估计[21]、人脸关键点检测[25]和目标检测任务[26]。近年来，关键点检测技术得到了迅速发展，现有的方法是通过设计各种深度模型来检测关键点。由于每个关键点具有2 个要预测的属性（关键点类型和身份查询），现有方法设计基于概率热图的两阶段模型来分别预测每个属性。根据预测关键点类型和所属的顺序，这些方法可以归纳为2 类：自上而下[27]和自下而上[28]的方法。这2 类方法都使用单独的步骤来预测关键点类型和标识标签，并且已经证明了具有良好的准确性。然而，采用单一的步骤导致端到端优化困难，限制了模型的效率和紧凑性。由于在无约束的二维假设空间中进行长程偏移回归是困难的，这些方法通常表现出低于两阶段方法的性能。

与现有方法不同，本研究提出了一种单阶段牙齿关键点检测方法。该方法采用ADH 并行结构对每个属性进行预测。ADH 将每个属性表示为一个查询特征，并将其与特征映射进行匹配。关键点身份查询由从输入图像中提取的物体特征表示。由于不同对象具有相同类型的关键点，因此将关键点类型查询作为可学习的参数。换句话说，即学习每种类型关键点的一般特征，并在推理过程中使用它来定位所有对象的关键点。ADH 中2 个属性的热图具有相似的结构并共享相同的主干，使得它们的计算可以在一个紧凑的单阶段模型中联合优化。

ADH 通过预测热图来定位关键点，因此其精度与热图分辨力有关。本文提出一种LE Refinement 改进方法，以减小低分辨力引起的量化误差。对于热图上的每个预测关键点，LE Refinement 方法通过无参数的泰勒展开细化其在原始图像上的位置。与以往的基于深度学习的算法相比，该方法易于实现，在效率和精度上都有显著提高。

口腔种植适用于牙齿缺失患者的治疗，将种植体和牙冠植入患者牙槽骨来替代缺失牙齿以恢复咀嚼功能和美观。口腔种植过程一般包括3 个阶段：术前评估与规划、围手术期和术后维护。术后维护阶段涉及定期审查植入物本体的骨整合完整性以及维持治疗的应用。因此，早期发现边缘骨丢失对牙齿和种植体的治疗计划和预后至关重要。到目前为止，许多研究已经证明了放射影像学对于诊断骨缺损的重要性[29-30]。对种植体周围骨缺损的形态和大小进行准确的影像学评估具有重要的临床意义，因为它直接影响到种植体的存活率以及手术和非手术缺损治疗的疗效[31]。我国口腔医师和口腔助理医师数量严重不足，尤其是口腔放射专科医师少之又少。与此同时，优质医疗资源的分配不均也不容忽视。许多专科医生和全科医生未受过全面的放射影像评估训练，对于种植计划和解剖组织不能进行很好地解释。这种情况给种植体周围骨量丢失的诊断及测量带来了挑战。人工智能检测关键点从而得到牙槽骨高度，并比较种植体周围骨组织高度变化情况，可以排除人为干扰因素，得到的是相同测量标准下的相对高度。未来人工智能可应用于口腔临床中牙槽骨动态评估，包括但不限于牙槽骨吸收评价及骨粉植入后的牙槽骨动态进展的变化，以期在临床上可以辅助医生进行种植术后预后的追踪和维护，为临床医生提供参考。目前由于本研究收集的病例数有限，后续将继续完善增加数据库，以期不断优化模型，为今后提高关键点检测结果的准确性打下坚实基础。