基于三维动态照相机的正常人面部表情可重复性研究

邱天成，刘筱菁，薛竹林，李自力

(北京大学口腔医学院·口腔医院，口腔颌面外科 国家口腔疾病临床医学研究中心 口腔数字化医疗技术和材料国家工程实验室 口腔数字医学北京市重点实验室，北京 100081)

面部表情是人与人之间交流的重要途径，约55%的交流是依赖于非言语的面部表情完成的[1]。面部表情最早且最广泛被应用于评价面神经功能，House-Brackmann系统是一种应用最广泛的面神经功能评价系统，其按照面部表情肌的运动情况分为6级，较好地评价了面神经功能，但是该分级较为主观、适用范围较窄，且组间及组内差异均较为显著[2]。近年来，二维乃至三维运动分析系统的出现有效增加了面部表情运动评价的客观性，被用于正常人群、唇腭裂患者、正颌手术患者、面部肿瘤及创伤患者的表情对称性和治疗前后变化的研究[3-8]。

正常人群面部表情的可重复性是评价治疗前后表情变化的基础，但近年来国内外报道较少[9]。本研究采用动态三维摄像系统，探索正常人群做不同口周表情时面部软组织运动的可重复性，以期为后续的研究奠定基础。

1 资料与方法

本研究为前瞻性研究，所有研究对象在研究进行前均获知情同意，本研究获得北京大学口腔医院生物医学伦理委员会批准,并获得肖像权人的肖像权使用书面授权。

1.1 研究对象

征集面部结构大致对称、无面部运动及感觉神经障碍病史的志愿者共15名，男性7名，女性8名，年龄23～30岁，中位年龄25岁。

1.2 面部表情记录方法

研究对象反复练习闭唇笑、露齿笑、撅嘴、鼓腮动作(图1)。通过面部表情动作指导，使研究对象的表情动作肉眼观具有可重复性后，进行表情动作的录制。

使用3dMDfaceTMDynamic System录制面部表情，该系统由4台黑白、2台彩色分成左右两个部分记录面部彩色纹理，采用红外线发射装置辅助记录三维面部数据。录制前，先使用校正板校正各个相机参数。研究对象处于自然头位，眼睛平视前方并调整位置，使研究对象面部处于镜头正中，头颈部保持不动。开始录制后，语言提示研究对象依次完成闭唇笑、露齿笑、撅嘴、鼓腮动作，至少间隔1周后再次重复上述录制步骤。

1.3 数据处理

挑选每个面部表情中最有特征的6帧图像，分别为静止状态时图像(T0)、从静止状态至最大运动状态时的中间图像(T1)、刚达到最大运动状态时的图像(T2)、最大运动状态将结束时的图像(T3)、最大运动状态至静止状态时的中间图像(T4)及动作结束时的静止图像(T5)，见图2。以T0静止状态为参考，将同一研究对象同一动作前后两次录制的T1～T5图像与T0时刻图像按照额部等面部表情过程中几乎不运动的部分进行图像配准融合，得出T1～T5时刻图像与T0时刻图像所有对应采集点的均方根(root mean square，RMS)，见图3和表1。

表1 闭唇笑表情的T3时刻所有研究对象前后两次测量对应的RMS值Table 1 Corresponding RMS values of all subjects at the T3 frame of smile lip closed motion

1.4 统计学分析

将同一研究对象同一动作前后两次对应时刻的RMS值进行配对，利用Wilcoxon符号秩检验分析前后两次录制对应时刻面部表情图像是否存在差异，以双侧P<0.05为差异有统计学意义。

2 结果

15名研究对象均完成前后2次面部表情录制，且两次录制的间隔均大于1周。将同一研究对象同一面部表情T1～T5时刻图像与T0时刻图像按额头区域进行配准融合，额部配准区域的RMS均小于0.25 mm。

从图像总样本中(T1～T5)随机选取15帧图像，与对应的T0图像进行2次RMS值测量，并将两次的测量值进行配对t检验，结果表明前后两次RMS的测量值差异无统计学意义(P<0.05)。

前后两次采集的动态数据中，闭唇笑、露齿笑以及鼓腮表情的前后两次相对应时刻(T1～T5)捕捉的面部图像差异均无统计学意义；撅嘴动作过程中，前后两次T2时刻对应的面部三维图像差异有统计学意义(P<0.05)，其余时刻的图像差异无统计学意义(表2)。

表2 面部表情的可重复性Table 2 Reproducibility of facial expressions

3 讨论

面部表情是人类情绪的重要表达方式，是口腔颌面部的重要生理功能，也是口腔颌面部畸形整复、缺损重建的重要评价指标。面部运动的研究始于面瘫的治疗评价，最早，House-Brackmann系统将面部表情肌的运动状态分为6级，在一定程度上评价面神经功能[2]，但由于评价方法较为主观，应用范围局限于面神经功能损伤的患者，结果因观察者的主观经验而变化。与分级评价方法相比，定量评价能够获得面部具体标志点或某区域前后两次测量位置的差异。采用相机拍摄的二维图像进行表情分析是最早的定量评价方法。Johnson等[10]将直径为5 mm的红点(中心为直径1 mm的黑点)粘贴在患者面部的特定标志点上，拍摄患者静止时及最大程度面部动作时的图像，用计算机分析计算不同动作时标志点的位置及移动的幅度。Gross等[11]使用多台相机及单台相机拍摄研究对象的面部表情，获得静止状态及最大面部表情状态的图像，并分析相同标志点在三维及二维条件下运动幅度测量值的差异，该研究发现与三维图像相比，二维图像上标志点移动距离的测量值明显减小，两者差异有统计学意义，面下1/3标志点尤为明显。在进行微笑动作时，二维图像上口角点及鼻小柱基底点的移动距离仅为三维图像中测量值的 57.1%±14.1%。使用二维方法研究面部表情，因忽略了面部区域(面部标志点)矢状向的运动，会对整体的研究结果产生影响。Trotman等[12]使用三维相机记录面部肌肉运动并定量评估，将直径4 mm的标记点粘贴在患者脸部、头帽及与上颌相连的复合印模材上，使用4个摄像机及Motion analysis软件分析面部运动时各个标记点的运动情况。随着三维成像技术和计算机技术的进步，动态三维照相成为记录和评价面部表情运动的新方法。

动态三维照相系统的基本原理是通过不同位置多台相机获得人面部不同角度的二维图像，并由计算机将多个二维图像整合处理，获得面部三维图像。若连续拍摄，可获得代表面部整体运动系列的三维图像。目前报道的基于动态三维图像进行面部表情分析的方法大致分为两种：(1)标记点法：利用面部明显解剖特征点，分析系列图像相同标志点三维空间的位置变化及标志点移动速度变化。Hallac等[4]利用双侧口角点、唇峰点等易辨认标志点在运动过程中三维空间位置的变化，测量标志点运动距离、轨迹及时刻运动速度，分析唇腭裂患者术后口周标志点运动的对称性情况。Shujaat等[7]计算了口周标志点在整个运动过程中的平均速度，比较左右两侧标志点运动速度的差异，研究了下唇正中切开下颌骨截骨术后口周运动的对称性。(2)区域分析法：无需选定特定的解剖标记点，而是圈定一个感兴趣区域，基于点云分析方法，对比区域内所有点在表情不同时刻的群体差异。Alagha等[13]选取面部表情过程中具有代表性时刻的三维图像，将各个时刻三维图像与静止时刻面部三维图像利用部分普氏分析方法重叠，分析面部整体运动过程中代表性时刻三维图像的形态变化，研究面神经功能损伤患者表情运动的可重复性。Al-Hiyali等[5]利用面部区域性分析方法研究面部不对称患者正颌手术后面部表情运动对称性情况。

标记点法观察的是运动中的“个体行为”，而区域分析法关注的是“群体行为”。标志点法具有数据量小、处理容易、结果突出的优势，但是存在以下缺陷：面部具有特征性的标志点，多分布于眼部、鼻部、唇部等位置，额部、颊部缺乏特征性的标志点，故使用标志点法会忽略一部分面部区域；鼻、唇等区域结构较为复杂，使用个别标志点来代替鼻、唇等区域显得较为片面、粗糙；标志点位置的确定会存在人为的误差，Alqattan等[14]进行了标志点选取的一致性检验，发现男性研究对象中鼻根标志点及颏前标志点的坐标，以及女性研究对象中鼻根标志点、颏前标志点及额部标志点的坐标在由不同研究者定点时，存在2.0 mm以上的误差。区域分析法分析全面但混杂因素较多，个别点的运动特点容易被其他干扰点的运动规律所掩盖，用于不同患者之间面部运动的比较时，需要考虑区域形貌固有的差异对计算结果的影响。在具体的研究过程中，往往需要结合具体需求进行选择。

由于本研究的目的主要是评价口周运动的可重复性，且口周运动牵动的面部解剖点众多，若一一设计标记点进行分析，结果过于繁杂，且标志点定位的组间一致性较差，因而区域分析法更加适合。本研究结果发现，闭唇笑及鼓腮动作具有较高的可重复性，露齿笑动作的可重复性稍差，而撅嘴动作前后两次录制的差异有统计学意义，这与Sawyer等[9]的研究结果类似，但与Ju等[15]的研究结果有差异，其使用3D Motion Capture System间隔15 min记录2次动态面部运动，选取面部具有代表性标志点，评价整体运动过程中同一面部动作、同一标志点前后两次运动幅度及运动速度的差异，得出露齿笑具有较好的可重复性，鼓腮运动次之，而撅嘴动作的可重复性较差的结论。造成两研究结果差异的原因可能在于：本研究前后两次测量间隔了1周以上，且分析了运动过程中的多个关键图像整体三维区域，而非个别标志点三维空间位置的比较。研究对象撅嘴动作前后存在差异的原因可能为：(1)嘴唇可向前或向上朝向鼻底并伴有一定程度耸鼻动作，嘴唇运动方向的差异可能对研究结果造成影响；(2)撅嘴时，嘴唇处于收缩状态，恢复至静止状态时，我们观察发现多数受试者的嘴唇仍存在不同程度的收缩。与闭唇笑相比，露齿笑运动过程中涉及的面部表情肌更多、动作更加复杂，且尽管进行动作录制前向研究对象反复说明，个别研究对象仍在露齿笑过程中伴随不同程度的张口运动，会对前后两次运动的重复性产生影响。此外，闭唇笑和露齿笑受研究对象心情的影响较大，于不同心理状态下，前后两次做面部表情时运动幅度可能存在差异。

本研究使用三维动态运动分析系统分析面部表情的可重复性仍存在局限性，如研究对象纳入较少，研究对象基本情况较为相似可能对研究结果产生影响。闭唇笑、露齿笑、撅嘴及鼓腮运动均只涉及面部中下1/3表情肌运动，研究未涉及面上部表情运动的动作，故存在片面性。今后需要进一步扩大样本量，研究更多面部表情的可重复性，为将来的研究奠定基础。