基于结构光场的目标三维重建技术研究∗

王韶格 刘 宾 苏新彦

（中北大学信息与通信工程学院 太原 030051）

1 引言

目标三维表面重建技术，是通过进行二维投影恢复三维形态特征的计算机技术［1］，能够真实反映目标表面形态，被广泛应用于人机交互、工业测量、文物保护等领域［2］。随着技术的发展，为了适应不同的领域，出现了各种各样的方法，例如时间飞行法（TOF），立体视觉方法，结构光照明等方法，随着光场成像的兴起，出现了一些基于光场的表面重建方法［3］。光场成像技术记录了光线的方位和高度数据，将传统意义上由二维数据恢复三维数据提升到了由四维数据恢复三维空间数据的高度［4］。结构光测量技术是一种主动式三维测量技术，利用投影装置主动投影结构图案［5］，记录经目标表面不同物点深度调制的变形条纹投影图案，求解相位信息从而得到三维深度信息［6］。

黄培森等［7］使用三种图案的彩色编码条纹投影技术，可以从物体表面的单个图像快照中检索三维表面轮廓信息。詹玮琪［8］利用条纹投影获得的绝对相位差引导左右图像的匹配，提高三维测量结果的精确度。陈文静等［9］提出利用颜色信息，只投射一帧携带π相移的正弦条纹图，完成从一帧条纹图中消除零频对包含有用信息的基频的影响。宋雷等［10］利用点阵图像测得的采样点处绝对相位值来控制正弦条纹截断相位的正确展开，有效克服相位展开困难。蔡泽伟等［11］对结构光场的正弦分布进行处理和变换，计算局部辐射差的角度方差获取深度信息。陈佳伟等［12］利用结构光场包裹相位得局部角方差为相位模糊提供约束条件，避免了系统标定。

基于以上方法，本文提出了一种基于结构光场的目标三维重建方法。通过结合结构照明和光场成像的技术优势，利用复合条纹投影图案作为结构化照明记录光场信息，即结构光场［13］，同时提供空间角度和相位编码信息。通过傅里叶分析法得到每个颜色通道的包裹相位；通过计算包裹相位得角度方差确定光场深度，以得到深度图；最后，进行三维坐标信息转换，得到待测物体的三维信息。

2 光场成像模型

2.1 四维光场的双平面模型

光场描述了空间中光线的辐射特性，包含光线在空间中的位置和角度信息［14］。通常利用双平面模型来对光场进行参数化表征，如图1所示。

图1 光场双平面模型

利用光线与两个平行平面的交点，四维光场可以参数化为L(u,v,s,t)［15］，其中L表示记录的辐射强度，→=(u,v)T表示光线的角度信息，=(s,t)T则表示光线的位置信息［16］。在(u,v)平面安装微透镜阵列进行对光场的记录。每一个微型透镜单元都可以在传感器上产生一组宏图像，每一宏图像中都含有若干个子像素每个子像素都代表主镜头的一个采样，从而同时获取光线位置信息与角度信息［17］。

通过执行四维剪切，可以在所需图像平面上对记录的光场进行数字重采样，如式（1）：

其中，Lα表示剪切光场，式（1）中sα=s+u(1-1α)表示剪切值为α的位置坐标剪切。剪切值α反映了目标表面深度变化，故可标记为图像空间中的深度。该深度值通过光场剪切操作与角度信息耦合。

2.2 结构光场成像模型

由于传统的光场三维成像技术为被动式三维成像，依赖于物体表面自身纹理结构，对于低纹理物体成像时，存在鲁棒性和精确度低等问题。为此，本文引入结构照明，通过将标准复合投影图案投射到场景上，条纹投影图案的相位信息被场景深度调制，接着使用光场相机记录多个方向的调制投影信息。

结构光场成像系统由投影仪和光场记录设备组成，如图2 所示。利用投影仪向场景表面投射标准投影图案，从物点反射的光束被微透镜分割并记录在不同的像素上。能够记录光线的方向，从而可以区分和独立处理从不同方向反射的光线。在结构光照明下，探测器记录的光线携带与目标深度相关联的调制相位信息［18］。

图2 结构光场三维成像系统示意图

图3 显示了结构光场三维成像模型在世界坐标系XOZ下的二维示意图，其中平行平面对表示光场坐标系中的参数化光场，点P 表示投影仪的投影中心，Z=0 设置为参考平面。因此，记录光线上的点的世界坐标可以描述为和的函数。图3 中的虚线表明，不同方向的光线可以用不同的相位值调节场景深度［19］。因此，可以从多方向估计场景深度。

图3 结构光场三维重建模型在世界坐标系XOZ 下的二维示意图

3 基于结构光场的三维重建模型

3.1 设计复合条纹投影图

由于传统结构光正弦条纹投影需投射多幅相移条纹或多频率条纹进行相位估计，本实验将RGB三个彩色通道作为载体，分别对应三种不同条纹频率的载波，利用一帧复合条纹投影图来对物体表面进行调制。由于投影仪的视野确定，正弦条纹频率只与投影的条纹数量有关，利用最佳频率选择过程确定相应通道的投影条纹数量［20］，如式（2）：

其中Nfm和Nfi分别是最大条纹集的条纹数和第i个条纹集中的条纹数。n=3，三个投影条纹频率分别对应R、G、B 三个颜色通道，以此获得条纹数据的并行采集。

3.2 分离各颜色通道

由于红色、绿色和蓝色通道被用来保存独立信息，因此它们之间的串扰最小，但各通道之间难免会产生干扰，引入耦合系数来得到各通道编码图像的修改强度，以此解决三个通道之间的干扰问题。其中，经被测物体调制的编码图像di(m,n) 表示第i颜色通道传感器所记录的编码图像，可以表示为式（3）：

其中，(m,n)表示图像在传感器上的像素坐标，ai表示正弦条纹强度的直流分量，bi表示调制深度，pi表示条纹的周期，以像素为单位，Δφi为物体表面产生的相位变化；aj表示耦合通道的正弦条纹强度的直流分量，bj表示耦合通道的调制深度，pj表示耦合通道的条纹周期，Δφj表示物体表面高度引起耦合通道正弦条纹的相位变化，cij为各通道之间的耦合系数。

当求红色通道d1(m,n)时，如式（4）：

为计算耦合系数cij，首先将纯红色、绿色和蓝色条纹图案按顺序投影到白板上，对于每种颜色，投射三幅相移图像、0 和，共9 张图片。然后，将这些图像分离为R，G，B 分量，共得到27 幅灰度强度图像。以红色通道为例，求红色通道即i=1 时与其他两通道之间的耦合效应强度为式（5）：

从而可求得各颜色通道之间耦合系数矩阵为式（6）：

其中，c11、c22、c33均为1。

利用耦合系数矩阵，求第i个通道的修改强度为式（7）：

3.3 结构光场信息的相位深度映射

本文采用彩色相机在多个方向对物体表面调制变形条纹进行记录，加入了方向信息，记录的四维光场可表示为通过将式（7）中的替换为，对每个通道的结构光场作傅里叶变换，可得三部分组成的空间频谱：零阶，以及旁瓣如式（8）：

利用中心频率为fi,0的带通滤波器分离出旁瓣信息，如式（9）：

对分离出的旁瓣信息进行逆傅里叶变换，如式（10）：

对式（10）进行反正切计算，可得第i个颜色通道的

对第i个颜色通道的相位信息进行剪切操作得到数字重聚焦后的相位编码场，如式（12）：

对数字重聚焦后的相位编码场在角度维度积分，获得特定深度即剪切值α下的重聚焦的相位图为式（13）：

其中，Nu表示光场的角度分辨率。

对于数字重聚焦下的相位编码场，其相对于式（13）重聚焦的相位图的加权角度方差为式（14）：

由于该角度方差在整个深度范围内显示出单峰分布趋势，当目标表面深度与重聚焦深度一致时，对应的角度方差在整个深度范围内最小。剪切光场的角度方差随着剪切值α而变化，通过不断迭代，在对应正确深度的剪切值处具有极值，即找到峰值所在位置对应的α值，从而定位对应物点的深度。

4 实验与分析

由于传统光场成像为被动式三维成像，针对低纹理目标重建精度差，为了验证本文提出的基于结构光场的目标三维表面重建方法的可行性，本文选取非透明低纹理物体白陶瓷瓶进行试验验证。

4.1 实验设备

实验设备由工业相机、数字式投影仪以及位移系统组成。工业相机为维视公司的MV-EM200C相机，分辨率为1600*1200，传感器尺寸为1 1.8''，最大帧率40fps；数字式投影仪的型号为坚果JMGC-JHC700；位移平台用电脑控制，可在水平和竖直方向定量移动。算法均在一台电脑上运行，电脑的具体配置为CPU 2.9GHz，内存8GHz，操作系统是Windows10，运行环境为Matlab。

4.2 实验及实验数据

图4 是本实验搭建的系统平台，在Matlab 中生成RGB 分量为三种不同空间频率的条纹图案彩色图像，并通过投影仪投射到物体表面。彩色相机放置在位移平台上，在9 个位置分别对目标表面变形条纹进行记录。数字投影仪固定在工业相机的下方进行斜投影，相机的光轴垂直于参考平面。

图4 系统平台

详细的实验过程将以图5 所示的白陶瓷瓶进行展开。成像场景中心视角如图6（a）所示，提取R，G，B 三个通道的正弦条纹图案，如图6（b）～（d）所示，使用式（7）引入耦合系数提取R，G，B 通道中编码的三个正弦条纹图案，如图7所示。

图5 实验所用白陶瓷瓶

图6 提取R，G，B三个通道的正弦条纹图案

图7相对于图6引入耦合系数得到各通道的修改条纹强度，对图7 以及图7 第257 行分别进行二维傅里叶变换以及一维傅里叶变换，其频谱如图8所示。由图8 可知，条纹投影的频谱在一维和二维都可以较好地进行分离，利用切比雪夫Ⅱ型滤波器获得其旁瓣信息，如图9所示。如图10为包裹相位图，图11 为用包裹相位最终得到的三维目标模型。本文的算法不依赖于目标物表面的自身纹理特征，通过投影复合条纹图求取相位信息，在提取RGB通道条纹图时，加入耦合系数得到的修改强度有效改善了各通道之间的串扰问题。利用包裹相位的角度方差求取深度图，从而达到比较好的三维重建效果。

图8 频谱图

图9 获取旁瓣信息

图10 包裹相位图

图11 三维目标重建

5 结语

传统的被动光场成像在对低纹理物体进行测量时，由于缺少物体自身表面纹理结构信息，精确度不高，所以本文结合结构照明和光场成像，以彩色通道作为载体，利用一帧复合条纹投影图案作为结构化照明记录结构光场，同时获得空间角度和相位编码信息。首先通过傅里叶分析法得到每个颜色通道的包裹相位，由于包裹相位的角度方差在整个深度范围内显示出单峰分布趋势，当目标表面深度与重聚焦深度一致时，角度方差最小，以此来确定目标深度信息，相比于传统三维成像技术，提高了重建精度，且易于工程实现。