提高形状测量精度的直接与间接反射分离方法

王小磊

徐州工程学院 信电学院，江苏 徐州 221111

1 引言

光学三维形状测量具有非接触、高准确度和高分辨率等特点，广泛应用于CAD/CAM、逆向工程、产品质量检测、医疗诊断、机器人视觉、数字化文物保护、虚拟现实等诸多领域[1-2]。

在光学三维形状测量方法中结构光投影法具有成本低、分辨率高和测量速度快的优势，日益得到广泛应用[3]。该方法利用结构光投影装置向被测物体投射有一定规律的结构光，由摄像机获取被测物体表面信息的调制而发生形变的结构光条纹图像，并加上系统结构参数计算获得被测物体的三维形状信息。该方法的测量前提是结构光投射后必须在被测物体的表面上形成反射光。但这些反射光中含有两种成分：一种是投射结构光到达被测物体表面后直接反射所形成的，也是三维形状测量所需的理想反射光（图1（a））。另一种是投射结构光进入到被测物体内部产生散乱或反射，与投射结构光所到达位置不同的点射出而形成的反射光（图1（b）和（c）），比如皮肤等；或者是投射结构光与被测物体和另外物体间相互反射所形成的反射光（图1（d）），如镜面等。本文把内部散乱、内部反射以及相互反射统称为间接反射。

图1 直接反射和间接反射示意图

由图1可知间接反射是降低三维形状测量精度的主要因素，因此分离或者消除间接反射就可以提高三维测量精度。为此，本文提出了一种分离或消除间接反射的改进方法。

2 提出的方法

结构光投影法是由摄像机获取被测物体表面信息的调制而发生形变的结构光条纹图像。此时该条纹图像包含了两种反射光，即直接反射和相互反射。假设投射结构光是沿着时间轴方向的一定初相位的调制结构光（图2（a）），那么如果摄像机观测到直接反射，认为投射结构光的相位与摄像机所观测到的结构光条纹图像的灰度值相位是相同的（图2（b））；反之由于相互反射的投射路径不同，与直接反射存在着一定的相位差异（图2（c））。

图2 投射结构光和反射光之间的相位关系图

结构光条纹图像中分离直接反射和相互反射的相位差异是一种复杂的数学解析过程[4]。为了避免数学解析过程，本文反向利用了直接反射和相互反射的相位差异，在投射结构光中设置不同相位的调制结构光。该调制结构光是以格雷码结构光为基础，将初相位为0°和相移为90°的格雷码结构光相结合而形成的改进投影结构光，如图3所示。

图3 提出的改进投影结构光

利用上述改进结构光，分离或消除相互反射的具体步骤如下：

（1）通过摄像机获取一系列格雷码结构光和改进结构光正-反投影的条纹图像A、B、C。

（2）A和B的差分获得D-1条纹图像，以此分离或消除直接反射对相互反射的影响；同样A和C的差分获得D-2条纹图像，以此分离或消除直接反射对相互反射的影响。

（3）合成条纹图像D-1和D-2，便可得相互反射已被分离或消除的新条纹图像D（如图4所示）。

图4 直接反射和相互反射的分离方法

采用了上述方法，在有效地分离或消除了相互反射影响的同时，提高了被测环境变化时的鲁棒性。并且采用改进投影结构光的正-反投影方法，将实现结构光条纹图像中的结构光边缘的亚像素定位。

3 边缘检测

利用结构光三维形状测量方法来获取被测物体的三维坐标信息时，应满足投射结构光和摄像机所获得的结构光条纹图像之间的一一对应关系。但是由于结构光条纹图像是离散数据存在着量子化误差等原因，未能实现被测物体三维坐标的高精度计算。此外，实际所获得的结构光条纹图像都存在着不同程度的扩散，因此采用Otsu、Canny边缘检测等图像处理算法很难达到预期的效果。为此，本文采用了投射结构光的正-反投影方法来实现结构光条纹图像中的结构光边缘的检测及亚像素定位[5-6]。具体定位过程如下：

步骤1利用结构光投影装置投射调制结构光的正-反投影的同时，通过摄像机获得形变后的调制结构光正-反投影的结构光条纹图像，如图5所示。

图5 正-反投影结构光条纹图像示意图

步骤2利用格雷码的解码方法对获得的正-反投影的结构光条纹图像进行解码，并对各像素点进行排序确定相同投射结构光的像素点。然后，获取相邻投射结构光的沿时间轴方向、同一条纹S下的像素点的灰度值AS、BS、CS、DS。

步骤3根据相邻结构光的正-反投影中的同一个像素点的灰度值AS和BS、CS和DS，以及线性补偿方法来确定在结构光条纹图像中的结构光边缘位置PS，如图6所示。其中边缘位置PS的亚像素定位表达式为：

图6 边缘检测算法

4 三维信息计算

根据投射结构光装置和摄像机的几何坐标变换来计算被测物体的三维坐标信息[7-9]，计算步骤如下所示。

步骤1建立摄像机坐标系和图像坐标系之间的对应关系，可写为：

式中，Cij为摄像机坐标系的三维坐标[Xc,Yc,Zc]到图像坐标系的二维坐标[xc,yc]的变换矩阵。

步骤2根据投射结构光装置的一维投射结构光的特点，建立摄像机坐标系和结构光投射装置的投射面坐标系之间的对应关系，可写为：

式中，pij为摄像机坐标系的三维坐标[Xc,Yc,Zc]到结构光投射装置的投射面坐标系的一维坐标[xp]的变换矩阵。

步骤3 消去上式（2）、（3）中的参数hc、hp，则可得的矩阵方程式为：

式中：

因此式（4）中只要Q-1存在，就可以计算被测物体的三维坐标V,其表达式为：

式（2）～（5）中，变换矩阵Cij和Pij是通过系统标定来确定的。为了简化标定过程，本文采用传统标定方法，即利用空间坐标已知的三维标定体，由摄像机获取图像中标定变换矩阵Cij；另外向标定体的指定位置投射光标，来标定变换矩阵Pij。

5 实验及结果分析

图7（a）为本实验的结构光投影三维形状测量系统；系统所采用的主要实验设备如表1。

表1 主要实验设备一览表

图7（b）为本实验被测环境，其被测对象采用足部关节，并利用镜面形成间接反射。利用VC++编程生成投射结构光，并从投影仪投射正-反结构光，共计20幅，其空间分辨率为210=1 024。

图7 结构光投影三维形状测量系统示意图

结构光投影三维形状测量中采用Online测量（含结构光投射、采样图像）和Offline计算（含三维坐标计算、三维重建）的两步骤处理方法，以此提高三维形状测量速度。其测量流程如图8所示。

图8 结构光投影三维形状测量流程图

5.1 直接反射和相互反射的分离结果

图9所示为基于本文方法的边缘检测及直接反射和相互反射的分离结果。其中图9（a）为直接反射的检测结果，图9（b）为相互反射的检测结果。检测结果可知，本文方法不仅有效地分离出了直接反射和相互反射，并且有效地检测出了投射结构光边缘，消除了相互反射对测量精度的影响。

图9 直接反射和相互反射分离结果图

5.2 三维重建结果

根据5.1节所得的直接反射和相互反射的分离结果，以及正-反结构光投影法获得投射结构光排序结构和边缘的亚像素定位结果，计算出被测物体的三维坐标信息，并结合VC++和OPENGL的编程方式进行了对被测物体的三维重建[10-11]。其重建结果如图10所示，图（a）为两种反射分离后的各反射光的三维重建结果，图（b）为两反射光的三维重建合成结果。重建结果表明了该改进结构光投影方法的有效性，同时也扩大了三维测量范围。

图10 足部关节的三维重建结果图

6 结论

通过镜面所形成的间接反射和足部关节的三维形状测量来验证提出的直接反射和相互反射的分离方法；利用格雷码结构光和改进结构光的正-反投影方法来检测结构光条纹图像中的边缘亚像素定位。实验结果表明，本文方法不仅有效地分离出直接反射和间接反射，并且精确地计算出了足部关节的三维坐标，并实现了三维重建。本文方法不仅能改善间接反射对形状测量精度的影响，而且根据实验环境设置便可扩大被测物体的三维测量范围。

[1]Sang X Z.A method on 3D shape measurement and its trend in development[J].Measurement Transaction，2001，2：36-37.

[2]Salvi J，Pages J，Batlle J.Pattern codification strategies in structured light systems[J].Pattern Recognition，2004，37（4）：827-849.

[3]张广军.视觉测量[M].北京：科学出版社，2008.

[4]Nayar S K，Krishnan G，Grossberg M，et al.Fast separation of direct and global components of a scene using high frequency illumination[J].Transaction on Graphics，2006，25：935-943.

[5]Ikuchi S，Satou G.3D imaging techniques for measurement[M].Tokyo：Shoko-do，1992.

[6]于晓洋，董秋玲，张加海，等.基于正反图案的亚像素条纹边缘检测方法[J].测试技术学报，2008，22（2）：231-235.

[7]David A.Forsythandjeanponce[M]//ComputerVision：A Mordern Approach.[S.l.]：Printice Hall，2003.

[8]Rocchini C，Cignoni P.A low cost 3D scanner based on structured light[J].Proc Euro Graphics，2001，20：299-308.

[9]TsaiR Y.A versatile camera calibration techniquefor high-accuracy 3D machine vision metrology using off-theshelf TV cameras and lenses[J].IEEE Journal of Robotics and Automation，1987，RA-3（4）：323-344.

[10]肖健，孙杰，李明媚，等.三维形貌测量系统的数据处理与显示技术实现[J].天津理工大学学报，2009，25（3）：40-43.

[11]Bernardini F，Rushmeier H E.The 3D model acquisition pipeline[J].Computer Graphic Forum，2002，21：149-172.