三维颜面解剖标志点自动确定算法的研究进展

高梓翔 朱玉佳 温奥楠 赵一姣 王 勇

解剖标志点对人颅颌面解剖形态特征的测量、评价、分析有重要意义，也是口腔医学临床工作中诊断分析、治疗设计、疗效评价的重要参考和依据。颜面及颅颌面解剖标志点在口腔修复治疗中可辅助排牙[1]、确立咬合垂直距离[2]及确定三维正中矢状平面[3]；在颌面缺损外科手术中，可辅助用于颌面部不对称性分析[4]；在正颌外科手术中，可辅助术前分析、手术设计、术后预测及疗效评价[5]。上述应用领域中，颅颌面解剖标志点的确定都是必不可少的环节，标志点确定的准确性与临床治疗效果密切相关。随着近年来光学三维彩色颜面扫描技术的发展和普及，基于无创、无辐射扫描技术获取的三维颜面数据进行三维颜面形态测量分析成为人体测量学、人类生物学和医学领域的首选工具[6]。相比基于放射影像确定颜面软组织解剖标志点的技术，三维颜面光学扫描数据的诊断分析可避免解剖结构重叠、图像变形和投射放大率等问题[7]，备受口腔修复、正畸和颌面外科等领域的关注。

既往研究在三维颜面数据上确定颜面部解剖标志点常采用人工标注方法。人工标注的局限性在于：①操作者熟悉三维软件的训练和时间成本高；②大量数据的人工标注时间成本高；③不同操作者间解剖标志点确定的一致性和可重复性欠佳。由自动化的软件算法实现三维颜面数据的解剖标志点确定，可有效提升解剖标志点确定结果的稳定性，降低标志点确定对人经验的依赖性，并提高解剖标志点确定的效率和效果[8]。既往报道可见，基于二维颜面照片自动确定颜面解剖标志点的算法较为成熟，已成功应用于人脸识别、表情分析、疾病筛查等领域[9]。在三维颜面数据上自动、准确、快速、批量地确定颜面解剖标志点是目前算法研究关注的焦点，前期研究集中于中性表情的简单三维人脸模型分析，目前报道研究已更进一步针对解决姿态变化、情绪表情和有遮挡情况的复杂三维人脸模型分析。

本文将系统回顾近年来针对三维颜面数据确定解剖标志点的自动化算法研究，根据其算法原理分为几何信息算法、模型匹配算法和深度学习算法三类进行阐述，分析和评价上述方法的特点，以期为口腔临床应用提供参考。

一、几何信息算法（Geometric information algorithm）

基于几何信息的算法是指基于颜面解剖标志点的几何特征描述（如峰值、最凹点等），在三维颜面数据上通过数学算法计算解剖标志点位置的一类算法。这类算法主要针对的是人脸上有显著几何特征的标志点，可确定的标志点位置精度较高，但可自动确定的标志点数量有限。

2004年L u等[10]提出一种基于“形状指数”与曲率特征确定三维颜面解剖标志点的算法，原理是对重采样为均匀网格的三维颜面数据，计算其各数据点的“形状指数”，并结合曲率特征确定人脸解剖标志点。该算法仅能确定3个标志点（左右内眦点及鼻尖点），定点误差约为10±17 mm，优点是允许人脸数据水平向转动而不影响定点效果，但对三维人脸数据网格分布的均匀性有一定要求。2010年G u p ta等[11]提出一种可以确定10个三维颜面解剖标志点的算法，采用包含高斯表面曲率、平均表面曲率和两个主曲率的几何描述符确定鼻尖和左右鼻翼点，使用二维结合三维弹性束图匹配算法确定内外眦点、鼻根点和口角点。该算法的定点误差约为2.09 mm，适用于中性表情和正向的三维人脸。2010年Se g u ndo等[12]提出一种基于深度信息确定三维颜面标志点的算法，原理是从人脸图像的深度信息中获取表面曲率图像，进而生成组合曲线用来确定三维人脸上的5个标志点：眼角点与鼻尖点通过评估面部相关区域的高斯曲率与平均曲率，由算法判定的“凹”与“峰”确定；鼻翼点通过计算水平轮廓曲线上深度信息x和y投影变化量的最大位置确定。该算法针对开源三维人脸数据集（F R G C v2，B U-3D F E）的测试效果显示定点误差在1.87±1.12 mm和6.33±3.40 mm之间。2013年Ve zz ett i等[8，13]提出一种基于微分几何确定三维颜面解剖标志点的算法，该算法通过计算三维颜面数据的导数、曲率、切映射、弯曲指数等形态描述符，可以确定9个颜面标志点（鼻尖、鼻根、鼻底、鼻翼、内眦、外眦），定点误差均小于1 mm，鼻尖点定点误差仅为0.3 mm，可满足整形外科手术对兴趣点定点误差的需求。

二、模型匹配法（Models matching algorithm）

基于几何信息确定三维颜面解剖标志点的方法，其特点是对颜面部各个解剖标志点的定点算法策略具有独立性，而基于模型匹配的这类算法则是通过建立标志点的候选组合，利用标志点之间的拓扑结构关系来确定标志点组合的位置。基于模型匹配的算法包含基于统计特征模型、基于三维人脸模板匹配两个子类。

1.基于统计特征模型的算法（T ra i ned s tat i s t ic al f eat u re model s-ba s ed）

基于统计特征模型的算法原理是预先训练一个三维人脸解剖标志点集的统计特征模型，该模型可以反映标志点集所蕴含的标志点相对布局信息[14]，包括标志点坐标位置之间的变量信息和每个标志点周围纹理与几何信息的局部变量信息。通过计算该人脸标志点集统计特征模型与目标人脸之间的标志点变换关系，最终在目标人脸上定义各解剖标志点[15]。

2009年Na i r等[16]提出一种基于人脸点分布模型（p o i nt d i s tr i b u t i on model,PD M）匹配的三维颜面解剖标志点确定算法，通过构建颜面部兴趣区域的统计形状模型，统计模型中包含需要确定的标志点及在整个训练集中形状变化的统计信息。标志点的确定是通过统计模型与目标人脸模型的匹配实现，即将统计模型点与目标人脸网格上候选点之间进行转换，使统计模型与目标人脸之间的偏差最小化，从而实现目标人脸上标志点的确定。这种算法可确定左右内、外眦及鼻尖点共5个标志点，定点误差最小为鼻尖点（8.83 mm），最大为内眦点（20.46 mm），且算法不要求特定人脸方向或姿态。2013年P era k i s等[17]提出一种结合使用面部标志点模型（f a ci al landmar k model,F L M）与三维局部形状描述符确定三维颜面解剖标志点的算法，先通过三维局部形状描述符提取候选标志点，再将候选标志点与面部解剖标志点模型（F L M）进行匹配定位标志点。该算法可以确定左右内外眦、鼻尖、左右口角及颏点共8个标志点，平均定点误差约为4.5～6.3 mm，并对有姿态或表情变化的颜面数据具有一定的鲁棒性。2015年S u k no等[18]提出一种基于不完整形状特征的形状回归算法（sh a p e re g re ss i on f rom i n c om p lete lo c al f eat u re s,S R I L F）确定三维颜面解剖标志点，原理是从特征检测器中为每个标志点检索一个三维候选点集，然后执行一个由可变形形状模型约束的组合搜索步骤。该算法可确定11个人脸标志点，定点误差小于3 mm，且能够在不完整的三维颜面扫描数据上确定标志点。

2.基于三维人脸模板匹配的算法（T h ree d i men s i onal tem p late mat c h i n g-ba s ed）

基于三维人脸模板匹配确定三维颜面解剖标志点的算法原理是：预先建立一个由专家标记人脸解剖标志点信息的三维人脸参考模板（三维颜面数据），使用非刚性配准算法（Non-r i g i d R e g i s trat i on A l g or i t h m）将三维人脸模板与目标三维人脸数据（患者人脸数据）进行形状匹配，此过程中三维人脸模板数据发生非刚性变形直至达到与目标三维人脸数据形状逼近，最终基于变形后三维人脸模板上的标志点信息确定出目标三维人脸数据上的解剖标志点信息，实现标志点信息的“转移”。此类算法确定三维颜面标志点的优势在于可以批量确定数目较多的解剖标志点，精度和效率均较好。

2013年L i an g等[19]提出一种结合几何特征与模板匹配确定20个三维颜面解剖标志点的算法，该算法通过既往文献[20]选择一例三维人脸模板数据，并由专家标注20个解剖标志点位置，参考目标三维人脸与三维人脸模板上由几何方法自动确定的17个初始位置点，对三维人脸模板进行变形配准[21]，实现其与目标三维人脸点集的密集对应，实现人脸模板上20个标志点信息的转移，获得目标人脸20个解剖标志点。该方法20个标志点的平均定点误差约为2.64mm，其优点在于可确定的标志点数目不限数量，可由三维人脸模板上预先定义的标志点数目决定。2015年G i lan i等[22]提出一种结合自适应函数提取种子点与模板匹配确定三维颜面解剖标志点的算法，该算法使用自适应几何速度函数自动提取三维人脸数据上密集对应的种子点，基于最小化弯曲能量函数建立目标三维人脸数据与参考人脸（三维人脸模板）上种子点集间的密集对应关系，进而通过模板匹配将人脸模板标志点信息“转移”到目标三维人脸。该算法也可确定任意数量的预定义标志点，在F R G C v2数据集测试18个常用标志点平均定点误差约为3.69±2.44 mm，在B U-3D F E数据集测试15个常用标志点的平均定点误差约为4.38±2.98 mm，且在有表情变化的三维颜面数据上确定标志点的效果也较好。2017年L i等[23]基于50例三维人脸样本获得解剖标志点平均位置信息和控制点阈值参数建立一个平均三维人脸模板，通过控制点引导的薄板样条（t h i n-p late sp l i ne,TP S）算法将三维人脸模板变形到目标三维人脸数据上，获得目标三维人脸上的最近点信息确定解剖标志点。该算法确定人脸29个标志点的平均定点误差小于等于4mm。2019年W h i te等[24]报道一个开源软件工具箱Me sh mon k，可对三维颜面数据进行可重复、高通量的密集表型分析，尤其适合三维颜面解剖标志点的确定，该开源工具箱算法主要包括刚性配准和非刚性配准两个算法步骤，其刚性配准步骤是基于迭代最近点算法（i terat i ve c lo s et p o i nt,I CP）实现三维人脸模板与目标三维人脸的匹配，其非刚性配准步骤是基于粘弹性模型的非刚性变形将三维人脸模板变形匹配至目标三维人脸的特定形状。作者应用该工具箱程序对41例正常三维人脸数据样本的标志点定点效果进行验证，19个标志点的平均定点误差约为1.26 mm，这种方法的局限性在于变形计算过程较为费时，且对畸形或有缺损的三维人脸数据定点效果不佳。

三、深度学习算法（Deep learning）

近年来，随着计算机硬件和神经网络理论的发展，深度学习算法逐渐成为面部解剖标志点自动确定方法研究中发展较快的一个创新分支。深度学习在二维图像特征识别方面的研究目前已较为成熟[25]，其在三维颜面解剖标志点确定方面的应用开始起步，因此，有学者[26]的研究采用将三维人脸数据转换为某种二维图像（如灰度图、R G B图、几何图、曲率图等），应用现有较为成熟的二维人脸图像特征识别算法（如级联卷积神经网络、堆叠沙漏网络、深度多任务学习等）确定二维图像的标志点信息，再将二维特征映射回三维人脸数据获得三维标志点信息，这些算法具有一定可行性。

2017年Z ade h等[27]提出一种具有新型局部检测器—卷积专家网络（c onvol u t i onal e xp ert s net w or k,C E N）的C E-CL M算法（C onvol u t i onal E xp ert s-C on s tra i ned L o c al Model）确定三维颜面解剖标志点，该深度学习算法确定三维人脸49个标志点的平均定点误差约为1.74 mm，对局部遮挡和姿态变化的人脸数据具有一定鲁棒性。2017年G i lan i等[28]提出一种基于深度标志点识别网络（dee p landmar k i dent i f ic at i on net w or k,DL I N）的算法确定三维颜面解剖标志点，该深度学习算法的网络架构是在S h el h amer等[29]提出的完全卷积网络（f u ll y c onvol u t i onal net w or k,F C N）基础上建立的，能够更好地适应三维深度数据。DL I N相比F C N具有参数少、训练数据量少、速度快的优点，能够实现0.5 s确定11个三维颜面解剖标志点，标志点定点误差约为2.95 mm，对有表情、姿态变化或遮挡的人脸数据具有一定鲁棒性。2018年W an g等[30]提出一种基于三维颜面几何数据深度融合特征的深度学习算法确定三维颜面解剖标志点，该算法将三维人脸数据转换为5个二维属性图（包括一个范围图、三个曲面法线图和一个曲率图），使用V GG-16神经网络模型提取数据的全局和局部特征，并采用由粗到精的算法策略实现解剖标志点的精确定位。该算法应用于B o sph or u s三维人脸数据集确定22个颜面解剖标志点的定点误差约为3.37±2.72 mm，应用于B U-3D F E三维人脸数据集确定14个颜面解剖标志点的定点误差约为3.96±2.55 mm。该算法计算复杂度较高，只适用于正面无遮挡的三维颜面数据，针对有姿态变化或遮挡的人脸数据难以准确确定标志点。2019年汪亮等[31]提出一种基于降噪自编码网络的深度学习算法确定三维颜面解剖标志点，该算法的降噪自编码器具有从损坏数据中恢复原始数据的能力，以提高神经网络的鲁棒性，提高对遮挡人脸数据解剖标志点定位的准确率，由粗到精的算法策略可使定点结果更加逼近真实位置。该算法确定22个三维颜面解剖标志点的定点误差约为3.71 mm，对有遮挡的三维颜面数据具有一定的鲁棒性。笔者关注到深度学习算法中一类将三维数据体素化进行学习的研究[32]，可实现对物体特征的有效识别，但尚缺乏应用于三维人脸数据的特征识别，具有一定研究潜力。

四、讨论与展望

数字化口腔诊疗技术的发展促使自动确定三维颜面解剖标志点的算法研究备受关注，此类算法的发展可使口腔临床三维颜面数据的诊断分析变得高效、自动、便捷和准确，是本领域的重要发展方向。本文系统梳理和归纳了各种三维颜面解剖标志点的自动化确定算法，主要包括几何信息算法、模型匹配算法和深度学习算法三类。几何信息类算法适合于确定少量具有典型几何特征的解剖标志点，对于几何特征不明显的标志点定位效果不佳；模板匹配类方法考虑到标志点之间几何拓扑的关系，从而增加了所能确定标志点的数量，但不适用于畸形颜面数据或有缺失的颜面数据；深度学习类方法能够克服前两种方法的不足，能够自由、快速、准确、灵活地确定各类标志点，但依赖于前期模型的搭建和训练集数据的质量。

目前大多数自动确定三维颜面标志点研究的算法仅在少数三维人脸数据集上进行测试，仍缺少在大规模数据集上的应用和测试，算法稳定性和鲁棒性是本领域研究的难点，开源的高精度三维人脸数据集资源缺乏是限制本领域当前研究的主要瓶颈。突破当前研究瓶颈问题的解决方案，一方面在于三维光学扫描硬件设备在医疗机构中推广普及使用，另一方面在于人工智能技术对现有二维人脸数据进行高精度三维重建。