基于红外和白光结构光三维建模的对比研究

肖宁

（四川大学计算机学院，成都610065）

0 引言

目前，三维人脸建模成为计算机视觉领域的一个研究热点，人脸建模技术可被应用在虚拟现实、影视制作、人机交互、可视电话、视频会议等诸多领域中[1]。基于结构光照明的三维表面测量，特别是最流行的数字正弦条纹投影，已在许多应用中得到应用[1-3]。在基于可见光的正弦条纹投影的三维测量系统中，测量的速度与精度都得到了很大的提高[4-6]。但由于一般人脸上头发、眉毛、眼珠均是黑色，投射的在人脸头发、眉毛、眼珠处的黑白正弦条纹呈现出对比度较差的现象，如图1 所示。

图1 细节处（眉毛、眼珠）较差的对比度

因此，为了研究不同波段光照对条纹对比度的影响，且由于红外光照具有人脸采集具有隐蔽性、安全性[7-8]等特点的特点本文搭建了一套基于红外的三维测量系统，用于研究和分析红外结构光投射下人脸细节处的建模情况。通过对比红外三维正脸照相机与白光三维正脸照相机未补洞的原始数据，分析基于红外的三维人脸照相机在眉毛、眼珠、头发处的数据情况。比较在相同的光照强度下，红外人脸照相机在人脸细节部分相比于白光否有所改进，从而对三维人脸建模的数据完整性及增加三维人脸识别的准确性提供工程性实践指导。

1 原理

在整个三维人像感知单元中，使用双目立体视觉与相移结构光三维感知技术相结合的方式，并由展开后的相位辅助双目立体的视觉匹配过程，提高双目立体匹配精度，降低误匹配率。由双目立体视觉辅助正弦结构光实现三维人像感知流程如下：

Step1：使用四步相移的三频法对采集的条纹图像进行相位展开，分别得到左右图像的绝对相位图；

Step2：由已标定的双目立体相机的内外参数对左右相位图进行极线校正，使后续的立体匹配计算上在极线上进行；

Step3：在左相位图像上逐行选取各像素点，在右相位图上搜索相位值相同的最近邻像素点坐标值，并利用有限视差约束、左右一致性、顺序约束、连续性约束等约束条件，去除误匹配点以得到左图像对应的视差图；

Step4：根据双目立体视觉成像原理，由视差图进行三维数据计算以获得三位人像。

1.1 相位展开

当正弦条纹投影于三维物体表面上时，拍摄到的变形条纹为：

其中R(x,y)是物体表面反射率的分布，A(x,y)为背景光强，B(x,y)/A(x,y)表示了条纹的对比度，φ(x,y)是表示条纹的变形的相位函数，其中包含了物体的三维面形信息。

相移算法有很多种，如3 帧平均算法、N 帧满周期等间距法、Carre 法、N+1 帧算法、次采样算法等。其中，N 帧满周期等间距法应用比较广泛，该方法在一个条纹周期内，将投影光栅均匀地移动N(N ≥3)次，每次移动的相位是2π/N ，从而产生新的强度函数In(x,y)，利用获得的N 帧图像，就可以根据下式计算出φ(x,y)：

例如在标准四步相移中，相位每次移动π/2，则产生的四幅条纹图可以表示为：

则相位函数为：

由于反正切函数计算出的相位在-π 到π 之间，因此相位被截断在(-π,π]内，不再连续，为了得到被测物体的真实面形，必须对截断相位进行相位展开。

所有的以相位测量为基础的条纹分析技术都面临相位截断的问题，由于反正切运算求得的相位值被截断在(-π,π]内，必须先进行相位展开以得到真正的连续相位值，才可以得到绝对相位从而将物体表面的高度分布计算出来。

图2 相位展开图

图2 表示了相位展开的原理，其中图2（a）是截断在(-π,π]的相位，相位展开将这一不连续的相位展开成为图2（b）中所示的连续相位。

为了减少噪声以及边界的影响，本文采用时间相位展开的算法。在时间相位展开算法（如图3 所示）中，沿时间轴的一组相位图形成了三维空间内的相位分布。当不存在噪声与边界时，沿着任何三维路径展开都可以得到正确的连续相位；当存在噪声与边界时，沿时间轴进行相位展开可以避免跳变、边界以及噪声等因素而导致的误差传播问题（如P 到Q）。

图3 时间相位展开算法

时间相位展开可以分为以下三步进行：

（1）解出测量后每套条纹的截断相位φw(m,n,t)

（2）求在同一点的相邻两幅截断条纹图的展开相位差与2π 的整数倍数：

根据三维相位展开方法的相关理论，时间相位展开只是其以时间作为第三个维度时的特例，由于时间轴可根据需要自动且精确的控制的特性，使得它从原理上比空间相位展开方法简单的多。但是时间相位展开方法中需要获取和处理的数据量经常比较大，为了减少展开过程所需数据并提高展开效率，人们研究了很多算法。比较典型的算法有：时间轴上的序列按线性增长、指数增长、负指数增长等，和以这些算法为基础的拟合算法；使用三套条纹（为最大投影条纹数目）的三频相位展开法；以及基于外差的方法。

1.2 基于相移的调制度分析法

调制度是一种评价条纹图质量好坏的一个重要指标，调制度的值影响着图片质量的好坏以及实验结果。调制度越大，条纹的质量就越好，其相位的误差就越小。而基于相移的调制度分析法需要投影和拍摄多幅光栅条纹图片，且这些图片需要满足一定的相位关系。以N 步相移法为例，投影到被测物体表面的第n幅相移条纹的强度分布可以表示为：

其中I0(x,y)为背景光强，C0(x,y)为条纹的对比度，( x,y )为条纹相位分布，2πn/N 为相移量，那么条纹的调制度定于为：

将式（7）代入式（8）后，可以得到：

由式（9）可知，条纹的调制度M(x,y)和条纹对比度C0(x,y)成正比，即条纹对比度越好，其条纹的调制度也越好。

2 实验与结果

2.1 实验平台

本文实验算法实现基于C++语言与Visual Studio 2013。为了验证采用红外结构光建模的效果优于白光的效果，本次实验搭建了一套基于红外结构光的照相机系统，系统主要由两个1280×1024 分辨率的红外相机、一个912×1140 分辨率的红外光机和一个同步控制电路板组成。相机和光机都是120 帧，每个相机都配套了一个f=8mm 的镜头。两个红外相机组成立体相机，而彩色相机为纹理相机。红外光机投射12 帧正弦条纹（相移法）到人脸上，立体相机和纹理相机在同步控制电路板的控制下同步采集图像。本次实验搭建的红外系统平台如图4 所示。

图4 红外照相机系统图

2.2 实验结果与讨论

由于红外相机存在噪点较多的特征，投射条纹的密集程度直接影响了条纹对比度，从而影响建模的精度；密条纹对于建模表面的细节有较大的影响，条纹越密，建模后的表面平滑度越好。因此，选取合适的条纹对于本试验具有重要的意义。

为了选取合适的条纹，将重建结果与对应的标准值进行比较。本文采用工业标准件双球哑铃规（规格如表1 所示）进行重建，将其放在距离设备80cm 视场范围的正中、左中和右中三个位置上进行拍摄完成三维建模。将建模后的数据放到Geomagic 软件进行球形拟合，比较拟合后的双球哑铃规的A 球直径、B 球直径、A-B 球心距与实物的差值，评价测量精度。本试验分别采用了1-7-49 和1-8-64 的条纹进行重建。其重建误差对比结果如表1 所示。

图5

表1 哑铃归规格表

表2 标准双球哑铃规误差结果对比

从表2 中数据可以看出，1-7-49 比1-8-64 测量精度的一致性较好，因此在接下来进行建模时，选择1-7-49 的密条纹进行投射。

在本实验中，分别选用了黑色头发的男生和棕色头发的女生进行建模。在光机投射光照强度的情况下，通过对比在不同的调制度下，红外三维正脸照相机和白光三维照相机未补洞的原始数据，分析基于红外的三维人脸照相机在眉毛、眼珠和头发处的数据情况，看其是否在人脸细节部分相比于白光是否有所改进。表3 和表4 分别展示了黑发男性和棕发女性在红外和白光正脸照相机下的数据对比图。

将红外三维正脸相机与白光三维正脸相机进行对比，可以得出以下结论：

（1）在眉毛处：红外效果明显优于白光，当调制度等于7 时，红外正脸采集的眉毛处数据只有少量数据丢失，调制度等于1 时，红外数据上基本没有数据丢失；

（2）在眼珠处：红外效果明显优于白光，当调制度等于7 时，红外正脸采集的眼珠处数据只有少量数据丢失，调制度等于1 时，红外数据丢失数据更少；

表3 黑发男性对比图

（3）在头发处：对纯黑色男生头发，调制度不管等于1 或7，红外效果和白光效果基本一致，头发数据都建不出来；对于棕色女生头发，红外效果要优于白光，有部分头发能建出来。

3 结语

通过投射相同光照强度的红外条纹和白光条纹在人脸表面，采用时间相位展开的方法获取左右相位图进而获取人脸的三维信息。实验结果表明：在相同的光照的强度下，采用红外结构光在人脸的眼珠、眉毛和头发等处的三维数据相比于白光较好。对人脸采集的安全性、完整性具有重要的意义，对科研实验具有较好的指导作用。

表4 棕发女性对比图