深度学习算法辅助数字化牙模三维牙齿分割的研究进展

周郁葱，谭煜雯，项翔，薛超然，徐晖

1.口腔疾病研究国家重点实验室国家口腔疾病临床医学研究中心四川大学华西口腔医院正畸科，四川 成都（610041）；2.华中科技大学，人工智能与自动化学院，图像信息处理与智能控制教育部重点实验室，湖北 武汉（430074）

数字化牙模是指利用口内扫描仪、模型扫描仪等获取的患者牙列数字化三维重建模型。与传统石膏模型比较，数字化牙模具有临床获取容易、存储传输便捷、浏览评测直观等优势，且能够直接用于口腔医学多学科数字化诊断设计及制造加工［1-2］。三维牙齿分割任务，是指利用计算机算法在数字化牙模中将不同牙冠分离成独立的3D 牙齿模型，该步骤是正畸数字化拥挤度诊断、排牙方案设计、牙齿移动监测、无托槽隐形矫治器及个性化唇/舌固定矫治器制造的前置步骤，具有重要的临床意义［3-5］。近年来，随着人工智能技术与口腔医学大数据的深度融合，利用深度学习算法辅助三维牙齿分割任务，逐渐成为主流［6-18］。与传统机器学习算法［19-22］比较，深度学习算法在辅助三维牙齿分割方面具有更强的鲁棒性，能够处理特征更加复杂的数字化牙模。而在效率方面，根据在商用芯片上的研究结果，深度学习算法分割牙齿比人工要快至少1 个数量级以上［17］。此外，基于深度学习算法的三维牙齿分割还在流程自动化、临床应用广泛性等方面具有优势［10-11］。

因此，为了解深度学习算法辅助三维牙齿分割任务的研究现状，本文汇总了相关英文对照研究［6-18］。纳入标准为以三维光学口腔模型为对象，使用深度学习算法完成单颗牙齿分割任务，并且包含必要的准确度评价指标。本文围绕临床需求，从数据集建立、深度学习网络设计、算法性能、算法创新与优势、现有研究不足与展望5 个方面对该领域进行回顾，以期为深度学习算法辅助三维牙齿分割任务的进一步创新研究、临床应用及技术推广提供借鉴。

1 数据集建立

优质数据是深度学习算法的重要驱动力。目前用于深度学习的数字化牙模按来源可分为专科医院、民营口腔诊所以及正畸医疗服务企业。首先需要获得原始数据，由专业人员使用口内扫描仪进行光学扫描得到。具体数据格式包括三角形网格与点云两种。三角形网格是由具有不同属性的顶点、面及边组成，而点云是由点构成的数据集，点由其三维坐标表示，还可以包括颜色等其他属性。尽管两种数据特性有所不同，但相互之间可以进行转换，以点云作为输入格式的数据常会在运算完成后被转换成网格输出，从而完成可视化［23］。

数据集建立还需要对于原始数据进行预处理，包括数据简化、数据标记、特征提取、归一化、去噪、映射等任务。数据简化的目的是在减小数据量的同时保存特征信息，在运算量和准确度之间取得平衡。简化后的单颌模型包括6 000～40 000 个网格［7，9，12，16］。也有研究不进行数据简化［13］。给数据赋予标签这一任务主要是由专业口腔医生完成的，在扫描之后，根据需要导出多边形档案（polygon file format，PLY）或立体光刻（stereolithography，STL）格式的数据，使用相关软件在合适的分辨率下进行单个牙齿边界的标记。完成预处理后的数据才可以输入相应的深度学习算法模型。

通常而言，深度学习算法的性能会随数据量的增多而提升，但是，在辅助三维牙齿分割任务中，深度学习所需数据集却与网络设计密切相关。例如，Xu 等［7］认为1 000 组的训练数据对于牙齿分割是足够的，这可能因为其输入数据中每个三角形网格转换出的特征向量为600 个，远多于其他研究的30 个以内的向量。Zhang 等［10］巧妙地将3D 数据投影到2D 平面上进行分割，仅纳入100 组训练数据即达到一个较好的水平。

2 深度学习网络设计

网格或点云数据被输入后，深度学习网络需要对每一个单位数据输出类别标签，从而完成分割任务。

用于三维牙齿分割的深度学习网络设计包括处理网格数据的卷积神经网络（convolution neural network，CNN）与可以直接处理点云数据的网络设计。CNN 的起源是Neocognitron 模型［24］，它将神经生理学理论应用于人工神经网络，可以自动逐级提取数据越来越抽象的特征。基于CNN 的网络设计可分为两种，一种是将3D 数据投影到2D 空间，像图片一样用卷积神经网络处理，另一种是将3D数据转换为规则3D 体素网格再用卷积网络。CNN 在处理图像方面表现优异，因此它也被广泛应用于三维模型处理，其优势在于能够在不影响结果的前提下有效减小数据量，并保留图像特征。在CNN 的基础上还发展出了处理拓扑图数据的图卷积神经网络（graph convolution network，GCN）［25］。然而CNN 架构不能用于直接处理具有不规则性和无序性的点云数据。PointNet 是第一个可以直接处理点云格式数据的深度学习架构，但是它不能很好地提取局部精细的特征［26］。为了解决这个问题，PointNet++添加了分层次的结构，进而提取不同尺度下的特征，该架构先对点云进行采样和划分区域，继而在各个小区域内用基础的PointNet 网络进行特征提取，不断迭代［27］。PointCNN 架构需要较少的训练参数就能达成同样的效果［28］。Dynamic Graph CNN 则提出了一个EdgeConv 层来实现局部特征获取，性能优异［29］。研究者们可以根据这些深度学习架构的优势与不足，结合牙齿分割或其他任务的具体需求，选择合适的基本架构。

此外，对于牙齿分割任务而言，研究者们还会对网络预测得到的结果进行后处理，如使用边界感知简化方法、条件随机场模型、模糊聚类算法等进行边界平滑，以及将预测结果转换为网格格式以可视化等，从而进一步细化分割结果并提升算法分割牙齿的自动化程度。

3 算法性能

深度学习方法进行牙齿分割的准确度评估指标包括正确标记面积占总面积的百分比，正确标记面数量占总数的百分比，均交并比（mean intersection over union，mIoU），Dice 相似系数（Dice similarity coefficient，DSC），F1 分数（F1-score，F1），Hausdorff 距离（Hausdorff distance，HD）［30-31］。除HD外，这些评估指标的数值范围都是0 到1，越靠近1 表示准确度越高。mIoU 是标准的准确率度量方法。IoU 指真实结果和预测结果二者的交集与并集之比，mIoU 是所有类别的IoU 的平均值。DSC和F1 在牙齿分割模型评价中实际上计算是一样的，评价了真实情况和预测情况的相似程度。HD是指度量空间中真实情况与预测情况两个子集之间的距离，对分割出的边界比较敏感。通过对整个牙列模型以及单颗牙齿准确度指标的分析，研究者们可以评估算法的分割效果。准确度是分割模型最重要的评价指标，主要取决于不同的网络设计。大部分算法的准确度在90%以上。例如，Cui 等［11］分别分析了组成表面和整个牙的点的DSC，其中又区分了切牙、尖牙、前磨牙和磨牙，DSC 数值均在95%以上。Zhang 等［10］的研究显示标记正确的网格所占比例为0.988 7。Xu 等［7］、Hao等［17］以及He 等［18］的研究显示，上颌牙齿分割的准确度比下颌稍高。

算法的运行时间也是重要评估的指标，过长的运算时间会降低算法应用价值。除受算法本身影响，运行时间还受硬件性能影响，在商用CPU 和GPU 芯片上得出的研究结果更具参考价值［31］。多数利用深度学习算法辅助三维牙齿分割任务的耗时都表现出优异的性能，对于单颌牙列三维牙齿分割，Cui 等［11］需要0.8 s 算法运行时间，Zanjani等［13］需要14.6 s，在集成了后续处理模块以增强准确率的Hao 等［17］的研究也只需要24 s，而人类专家则需要超过10 min。

就鲁棒性而言，现有算法主要在分割第三磨牙［9，11，17］、缺损或未完全萌出的牙齿［11］、牙列缺失［9，14］、拥挤牙列［10，17］等方面准确率较低。以第三磨牙为例，该类型牙齿存在形态多变、萌出状态不一、未萌牙牙冠可见面积小等特点，而口扫第三磨牙区采集难度大、数据质量不一，由此可能导致相关训练量不足，影响算法性能［32］。值得注意的是，尽管对于第三磨牙的识别以及极少数复杂模型的分割存在问题是难以避免的，但如果这种情况发生的概率足够低的话，仍是可以接受的，根据Hao等［17］的方法，需要返工进行手动牙齿分割概率是0.2%。

4 算法创新及优势

除使用不同的网络设计外，还可以通过优化架构流程提升算法性能，这是深度学习在三维牙齿分割任务中最常见的创新方式。在简化数据方面，Xu 等［7］提出了边界感知简化方法，先区分出对于准确性影响较大的牙齿之间的边界以及牙齿牙龈边界，再对各个区域赋以不同的简化比率。相似的，Zanjani 等［8］也提出了进行非均匀采样的数据简化方法。在具体架构方面，对于网格数据，Tian等［6］先对模型上的各个牙位进行识别，然后在此基础上完成分割任务，但对于牙位识别的要求较高，鲁棒性不足。Zhang 等［10］采用了将3D 模型同构映射到2D 谐波参数空间，再将其转换为图像的方法，这大大降低了特征维度，能够在降低数据量的同时保证准确性。Zhang 等［14］将数据输入两个不同的分支，分别处理坐标特征和几何特征，增强了网络对不同信息的特征提取能力。对于点云数据，Zanjani 等［13］通过预测其三维边界框来定位每个牙齿实例，并同时分割属于每个单独的牙齿实例的点。Cui 等［11］则开发了一个距离感知牙齿质心预测模块，即在获得准确的牙齿质心后，选取输入点云数据中距离质心最近的一定数目的点，以保证整个牙齿被包含在内，分割效果较好。He等［18］先使用无标记的数据进行预训练，只需要40%的训练数据带有标记，算法就能展现出比使用完全标记数据训练更好的性能，这对于减少人工标记工作量十分有意义。

另外，研究者们还开发了一些新的辅助模块以提升算法性能。Xu 等［7］对于结果中相邻牙齿粘连的情况，根据牙齿的平均近远中径、颊舌径数值进行再次分割。Zhao 等［16］提出使用注意力模块来丰富特征信息，这项算法在牙齿错位区域，以及牙齿与牙齿相邻的区域展现出了较好的性能。Hao等［17］将标签预测结果再输入测试模块，进行置信度评估和自动校正，得到了更高的准确度，并且增加的运算时间在可接受的范围内。

在三维牙齿分割任务的基础上，进一步开发数据的正畸应用场景也十分有意义。例如，Ma等［33］提出了基于完成牙齿分割点云数据的自动牙位识别深度学习算法，得到了令人满意的结果。Woodsend 等［34］开发了自动标志点识别方法，通过参考正畸治疗需求指数，在分割出的单个牙齿上识别牙齿的特征点。同样，Wu 等［12］使用PointNet在分割出的牙齿上自动识别正畸相关标志点，标志点定位的平均绝对误差为（0.597 ± 0.761）mm，这在临床上是可以接受的。Deleat-Besson 等［35］和Qian 等［36］对于联合锥形束CT（cone beam computerized tomography，CBCT）和口扫数据的牙齿分割任务进行了探索，他们在完成CBCT 和口扫数据的牙齿分割后，使用口扫数据替代CBCT 数据上的牙冠部分。此外，也有研究探索了使用深度学习，自动完成CBCT 和口扫数据匹配的方法［37］。

5 现有研究不足与展望

目前研究尚存在问题如下。首先，数据质量问题普遍存在。符合真实分布情况的海量优质数据对于开发有效的深度学习模型至关重要。数据量不足会影响算法鲁棒性，导致难以处理非典型牙列、牙齿异常形态等问题［9，10，13］。此外，大部分研究都是使用单一中心的数据，这样训练出来的算法往往在局域性数据库中表现较好，而在其他数据库中表现明显下降［17，31］。同时，训练量不足将影响牙齿分割方法的最终表现，这限制了对于算法性能的评价。上述问题可能是导致现有算法对异常牙列和非正常牙齿分割的鲁棒性不足、不适用于早期矫治等应用场景的原因。

此外，高质量的标注对于保证算法性能意义重大［38］。目前，分割的参考标准主要由专业医生完成，但是缺乏对于不同标注者分割结果一致性的检验，还有许多研究未报导参考标准相关信息。此外，实验数据记录与指标设置也有改进的空间，部分研究未给出实验数据人群构成、不同牙位的准确率、运行算法的硬件参数等。

不可否认的是，使用深度学习完成全自动三维牙齿分割任务的算法已具有较高的临床实用价值。但是，如何进一步提升算法性能、真正实现算法的临床应用，还需以下方面改进。第一，建立基于多中心的数据样本库，完善数据管理机制，在隐私保护和维护数据效用之间取得平衡［39］，以促进数据的权威性、科学性、规范性、多样性及动态性。第二，进一步释放数据红利，进一步开发数字化牙模数据以服务口腔临床需求，并与关联数据进行有机整合，拓宽数据应用的深度与广度。第三，“减耗强芯”齐驱，即一方面优化深度学习算法，减少矩阵运算、提升运行速度，另一方面推动计算机芯片等硬件设备研发，优化硬件处理性能。相信随着人工智能技术与口腔医学的紧密融合，深度学习算法辅助三维牙齿分割任务将有更加广阔的应用前景。

【Author contributions】Zhou YC, Tan YW wrote the article.Xiang X, Xue CR, Xu H reviewed the article.All authors read and approved the final manuscript.