基于红外结构光的三维人脸建模

唐诗扬，朱江平，张建伟,

基于红外结构光的三维人脸建模

唐诗扬1，朱江平2，张建伟1,2

（1. 四川大学 视觉合成图形图像技术国防重点学科实验室，四川 成都 610065；2. 四川大学 计算机学院，四川 成都 610065）

在基于结构光的双目三维人脸重建中，容易丢失细节处数据和建模精度较低，导致三维人脸数据完整度不高，对三维人脸识别较差。本文研究了基于红外条纹的双目三维照相机系统，通过投射红外条纹结构光，根据相移法将生成包裹相位，利用三频法得到绝对相位，生成视差图，得到三维人脸模型。实验表明，基于红外的哑铃规球心测距误差在0.1%以内，人脸精度在0.1mm内。在眼睛，眉毛等弱纹理区数据缺失较少，优于基于可见光的三维建模，并且人脸模型更平滑更能反映人脸的真实三维形状。通过对比投射红外与可见光的性能，为三维人脸重建未来研究分析提供技术和算法上的参考。

红外条纹；结构光；双目视觉；三维人脸建模；

0 引言

近年来三维人脸技术在计算机视觉中扮演着重要角色，可识别不同性别、年龄的面部细节，因此在生物识别领域也有着广泛的应用[1-2]。目前常见的三维人脸重建方法主要有飞行时间、立体视觉和结构光扫描3种，而结构光具有侵入性与外部刺激性更小、更隐蔽的优点。结构光可将编码的图案投影到被测物体的表面上形成一系列编码的特征点，然后用相机捕获编码图案信息覆盖的表面图像。所述编码图案通过对所述对象的表面形状进行调制而变形。编码图像可根据标定参数解码得到三维物体的表面信息，无需通过几何约束条件就能得到三维点云，从而实现三维重建[3]。立体视觉三维重建方法对于平滑、特别是缺少特征的区域容易产生孔洞，而结构光可重建均匀的点云，因此越来越多研究开始采用结构光进行三维重建[4]。根据结构光重建的原理，惠宏超等人[5]提出一种基于数字光栅的三维测量系统，通过采集不同频率的变形相移条纹图，利用相移法和多频外差法得到绝对相位，结合相位匹配重建出复杂异构铸件的三维模型。

为研究散斑结构光和条纹结构光对三维人脸模型的完整性和光滑度影响，本文通过使用一种基于结构光和双目相机的三维人脸重建系统，即利用双目相机系统中的投影仪投射出结构光[6-7]，并采集每种结构光图像打在人脸的图片。通过计算对双目体系中的左右相位图进行三维重建[8]，得到深度图。最后转换为点云数据，生成三维人脸模型。

1 本文方法

1.1 双目条纹结构光建模

本文算法流程如图1所示。投影机在物体表面投射条纹光栅，左右红外相机同时抓拍储存带有变形光栅的人脸图片。采集到的图片经过计算条纹被物体高度调制以及四步移相法得到该处的包裹相位值。之后使用三频外差法求解出绝对相位。将其输入进立体匹配中计算视差图，求出深度图，最后转为点云图获取平滑的人脸三维数据。

图1 建模流程图

1.2 相移法

使用投影仪投射条纹图在物体上时，相机可以采集到物体三维漫反射表面，之后使用正弦最小二乘拟合。在理想状态下，条纹可由下式表示：

式中：(,)是条纹图像的背景灰度值，取决于物体表面各向异性的折射率。(,)为调制强度，即光强差，取决于投影仪投射的条纹图像亮度差。(,)是条纹变形的相位函数，包含了物体的表面三维信息。由于以上3个变量都是未知量，虽然当≥3的时候理论上可解，但为使精度得到保证，一般采取≥4，将方程组转换为超定方程组。通过三角函数展开，待求方程组可转化为如下的矩阵：

通过最小二次乘法求解超定方程组可得方程最优解可由下式表示：

对应的条纹相位值可由下式得到：

通过公式(3)，(4)，(5)可以求得各种相移法，根据相应的使用场景选用不同的方法。本文选用的是四步相移法如图2所示。由于发射的条纹相位不同，会有四幅不同阴影的人脸图像用于计算相位值。在不损失重建速度的情况下依旧能保证良好的精度。

由于之前根据相移法求出的相位差具有非周期性，所以需要使用解包裹来建立具有周期性、连续性的相位图。一般使用空间相位展开或时间相位展开。空间相位展开即当移动到新的周期时，通过比较像素点的截断相位值，对下一周期的相位进行补偿，使之前跳跃的周期变为连续的周期。但该方法精度不高，容易产生误差。时间相位展开可以通过投射不同的条纹图在辅助定位，从原理上避免了误差传播，其优越的精确性得到了更多人的认可。常用的时间相位展开方法有格雷编码法[9]和多频法[10]。由于格雷编码法在较大场景应用时需增加格雷编码的位数，即增加采集成本。所以本文采用三频法，通过投射3种频率的条纹图，利用之前的相移法求解出相位值，然后计算出绝对相位值。

1.3 三频外差法

三频外差法就是使用两次双频外差法推导出相应的绝对相位。而双频外差法根据外差原理叠加两种不同频率的相位函数，得到一个频率相对更低的相位函数，如图3所示。根据上文介绍的四步相移法得到的相位值1，2以及对应的波长1，2。

相位值为：

图3 外差法

波长（相位差周期）为：

绝对相位为：

根据公式(3)推出1,2，2,3再次利用双频外差法计算出最终的绝对相位值1,2,3。

1.4 三维重建

三维重建可以分为两步：第一步找出两幅图像的对应点；第二步根据对应点的绝对相位值和标定参数计算得到该点深度值建立视差图。而双目立体视觉方法通过模拟人眼建立模型，从左右眼球接收空间点上同一位置，在视网膜上成像出不同的位置，再根据人脑对图像进行融合重建得到深度感知。第一步的对应点可以利用左右相机得到的条纹图像生成相位图得到绝对相位，然后使用极线约束原则计算出视差图完成第二步，如图4所示。

由于相机的外部参数即公式(9)，(10)中的相机焦距，物距，平移参数，旋转平移矩阵已知。可根据标定[11]轻松得到相机的几何关系。

(10)

2 实验结果

2.1 实验平台

本文实验算法实现基于C＋＋语言与Visual Studio 2013。硬件使用分辨率为1280×1024（像元4.8mm）；靶面为1/2in；焦距为＝8mm；单帧曝光时间为2ms；频率为60fps的2个红外相机，照明波长为730nm；条纹模板切换时间为10ms的2个彩色光机作为两套系统的双目采集相机。具体系统参数有基线距离100mm，视场范围384mm×307mm，人脸区域像素470×650（约30.5万）。彩色光机作为系统的纹理光机用于投射条纹。捕获结构光条纹帧数为12帧，其中红外系统投射红外条纹，可见光系统投射可见光条纹。在进行实验前通过相机标定法对双目相机进行标定，从而获取图像的校正参数如图5所示。

2.2 实验结果与讨论

首先使用哑铃规作为测试标件对其半径及球心距（左右球直径分别为50.783mm和50.776mm，球心距为100.005mm）进行三维测量，通过对哑铃规表面球体的点云数据进行最小二乘球面拟合，得到各个球的半径，之后再利用球心坐标计算得到标准哑铃规的球心距。比较拟合后的双球哑铃规的A球直径、B球直径、A-B球心距与实物的差值，评价测量精度。从表1中可以看出球心距误差在0.1%以内。

图5 红外设备系统图

表1 条纹测量结果

之后进一步地，选择一个人脸模型（精度0.001mm）作为测量物体进行测量。图6展示了人脸模型以及使用了Geomagic Studio软件重建得到的三维人脸模型。对人脸模型图像重建模型的点云数据与用groudtrudh（超高精度设备）重建的三维标准数据进行对比分析，利用Geomagic Studio软件求得各点测量值与真实值相减得到的绝对误差值后再求平均值得到平均绝对误差，结果如表2所示。

此外，图7还展示了分别使用两种方法对真实人脸重建的结果。其中可见光重建人脸的眼睛、鼻翼、眉毛处存在比较严重的空洞，其表面较为粗糙。而条纹重建的人脸模型具有较强真实感，平滑度较高，空洞相对较小。

图6 人脸模型对比

3 结语

本文通过投射红外条纹，利用四步相移法计算出包裹相位，然后使用三频外差法解包裹相位，同时用双目视觉计算视差图，最终得到高精度的三维人脸模型。根据实验结果证明：红外条纹结构光对三维物体的测量误差在0.1%以内，人脸精度在0.1mm内，在眉毛、眼珠、头发处等弱纹理区数据缺失相比可见结构光较少。可以看出三维人脸模型面部真实感较强，平滑度较高，但在环境光照多变的场合下，容易造成人脸数据的缺失。此外，在采集图像时，人脸一旦出现一些动态变化，也会对三维数据精度产生较大影响。这也是本文之后的研究方向。

表2 人脸模型测量结果

图7 真实人脸重建对比

[1] Sahil Sharma, Vijay Kumar. Voxel-based 3D face reconstruction and its application to face recognition using sequential deep learning[J]., 2020, 79(25-26):17303-17330.

[2] WANG Zhenzhou. Robust three-dimensional face reconstruction by one-shot structured light line pattern[J]., 2020, 124: 105798.

[3] CHEN Hui, CUI Wen. A comparative analysis between active structured light and multi-view stereo vision technique for 3D reconstruction of face model surface[J]., 2020, 206: 164190.

[4] 何文杰, 贺赛先.双目线结构光测量系统三维数据融合研究[J].激光杂志, 2020, 41(6): 10-16. HE Wenjie, HE Saixian. Research on 3D data fusion of binocular structured light measurement system[J]., 2020, 41(6): 10-16.

[5] 惠宏超, 严小军, 罗凯元, 等. 基于三频外差法的异构铸件三维测量系统[J]. 导航与控制, 2019, 18(6): 114-120. HUI Hongchao, YAN Xiaojun, LUO Kaiyuan, et al. Three-dimensional heterogeneous castings measurement system based on tri-frequency heterodyne principle[J]., 2019, 18(6): 114-120.

[6] Turski Jacek. On binocular vision: the geometric horopter and cyclopean eye[J]., 2016, 119: 73-81.

[7] ZHOU P, ZHU J, SU X, et al. Experimental study of temporal-spatial binary pattern projection for 3D shape acquisition[J]., 2017, 56(11): 2995.

[8] JIE Z, WANG P, LING Y, et al. Left-right comparative recurrent model for stereo matching[C]//2018, 2018: 3838-3846, Doi: 10.1109/CVPR. 2018.00404.

[9] 张启灿, 吴周杰. 基于格雷码图案投影的结构光三维成像技术[J]. 红外与激光工程, 2020, 49(3): 70-82. ZHANG Qican, WU Zhoujie. Three-dimensional imaging technique based on Gray-coded structured illumination[J]., 2020, 49(3): 70-82

[10] Fan R, Ai X, Dahnoun N. Road surface 3D reconstruction based on dense subpixel disparity map estimation[J]., 2018, 27(6):1-1.

[11] CHEN Y C, LIU B Q, HUANG F Y. Ultra-wide field infrared binocular vision epipolar constraint and spatial positioning[J]., 2019, 48(2): 211003.

Infrared Structured Light for 3D Face Reconstruction

TANG Shiyang1，ZHU Jiangping2，ZHANG Jianwei1,2

(1. National Key Laboratory of Fundamental Science on Synthetic Vision, Sichuan University, Chengdu 610065, China;2. School of Computer Science, Sichuan University, Chengdu 610065, China)

In structured-light 3D face reconstruction, it is easy to lose detailed data and obtain reduced modeling accuracy, which leads to low integrity and poor recognition of 3D faces. In this study, a binocular three-dimensional camera system based on an infrared fringe is developed. The wrapped phase is generated using the phase-shift method by projecting infrared fringe-structured light. The absolute phase is obtained using the three-frequency method, and a parallax diagram is generated to obtain a three-dimensional face model. Experiments reveal that measurement errors for the distance of sphere centers are less than 0.1% when measuring standard spheres, and face accuracy is within 0.1 mm. For the eyes, eyebrows, and other areas with weak texture, data loss is reduced, which is better than visible light. The face model varies more smoothly and is more consistent with the real face. This preliminary analysis of the performances of the two proposed techniques can be used as a reference for further comparisons in the analysis of various techniques and algorithms.

infrared fringe, structed-light, binocular vision, 3D face modeling

TP391.41

A

1001-8891(2022)01-0028-05

2020-11-17；

2021-01-25.

唐诗扬（1997-），男，贵州省贵阳市人，硕士研究生，主要研究领域为计算机视觉。

朱江平（1984-），男，四川省成都市人，博士，副教授，硕士生导师，主要研究领域为基于深度学习的光学图像处理方法、计算机视觉3D显微在线检测、光学三维无损检测、光学三维成像装置与仪器开发。E-mail: 1149780222@qq.com。

国家自然科学基金（61901287）；四川省重点研发专项（20ZDYF0306，20ZDYF0112）；四川省重大科技专项（2019ZDZX0039，2018GZDZX0029）。