基于结构光的反光工件在机三维重构

王中任，张 明，梅顺齐

WANG Zhong-ren1,2 , ZHANG Ming1,3 , MEI Shun-qi3

（1.湖北文理学院 机械与汽车工程学院，襄阳 441053；2.汽车零部件制造装备数字化湖北省协同创新中心，襄阳 441053；3.武汉纺织大学 机械工程与自动化学院，武汉 430200）

0 引言

智能制造的普及让现代制造业趋于工业自动化，基于机器视觉的在机三维重构能够在一定程度上实现在机工件检测的自动化。对工件进行在机三维非接触测量避免了在加工过程中出现的二次装夹误差，同时也减少了工件的检测时间，降低了人力劳动。在数控加工中心上，对工件采用快速、有效的三维重构方法，对于提高工件的加工效率，降低加工成本具有广泛的应用前景和重要的研究意义[1～4]。

全燕鸣等基于双目视觉原理，搭建了一套在机测量的双目视觉系统，工件三维空间线性尺寸的检测精度达±1.3%以上，但该方法需要贴标志点，要求工件不反光且效率偏低[5]。结构光投影三维测量技术是近年来迅速发展起来的一种主动式非接触测量技术，以其高的测量速度、较高的测量精度和实用价值成为主动式视觉的主要技术之一，同时也是国内外视觉测量问题研究的热点[6]。不同于双目立体视觉，结构光测量系统通过投影仪投射编码条纹图案到待测物表面，条纹图案由于物体表面的起伏而发生变形，最终由相机获取变形条纹，从而进行解码。

文献[7]基于结构光投影，针对航空零件设计了一种转台系统测量，该机构能够实现对零件的快速、方便测量，但不能用于在机测量。文献[8]利用组合格雷码解码技术对物体模型进行三维重构，效果明显。在反光工件测量方面，文献[9]利用漫反射光和镜面反射光线偏振特性的不同，在测量物体形貌时，将工业相机前加装偏振片，利用偏振片滤除具有偏振特性的镜面反射，只让漫反射光进入工业相机，从而实现对反光物体表面的测量。文献[10]基于投影栅相位法，用于开发处理从光亮表面反射的条纹图像，通过获取具有不同的相机曝光时间和投影条纹强度，将条纹图案进行融合，生成合成条纹图像，该方法还解决了环境光对测量的影响。本文针对在机工件，设计了一种安装于数控立式加工中心外部的相机和投影仪夹持机构。在现有算法的基础上，进行了在机反光工件的表面三维重构。

1 视觉检测系统原理及搭建

结构光投影测量系统将双目视觉中的一个相机换成投影仪，其基本结构由相机，投影仪及计算机等几部分组成，其原理如图1所示。对于空间中相机与投影光平面的任意交点P，在相机成像面显示为点p，P'物点P在参考平面上的投影。

图1 结构光测量原理

本文设计的在机三维形貌重构的夹持机构，固定于数控立式加工中心外，无需拆卸工件即可对其进行快速、有效的三维重构。整个检测系统设计如图2所示。相机投影仪分别固定于支撑板的两端，在支撑板上，相机和投影仪可旋转及沿支撑板移动。支撑板可做俯仰角度调节，连接杆上的滑块可带动支撑板沿支撑柱上下移动，即作测量高度的调节。

图2 单目视觉检测系统示意图

在机重构的方法流程为：

1）根据加工工件的大小及位置调整投影仪投射角度以及与工件的距离，使得投影仪的投射区域覆盖整个工件，然后调整相机与投影仪的间距及角度，让相机捕获包含工件在内的整个投影区域。

2）对相机-投影仪系统进行标定，确定相机与投影仪的内外参数。标定使用普通的11×8的棋盘格标定板，每个方格的大小为20mm×20mm。相机拍摄被一组格雷码条纹完全覆盖的标定板，改变标定板的空间姿态，相机再次拍摄被条纹覆盖的标定板，如此拍摄3～4组，进行测量系统的标定。

3）移去标定板，向加工工件投射该组格雷码条纹图案，采集投射在工件表面的条纹图像，完成前期的图像提取，共需要拍摄42幅图像。图像拍摄可以采用遥控连续拍摄，以节省时间。

4）导入3）中得到的标定参数，将提取的图像进行解码，最终生成三维点云数据，完成对反光工件的三维形貌重构。

2 检测系统标定及工件反光处理

结构光三维测量能够实现物体型面的快速精准重构，标定的精度决定了最终重构结果的准确度，因此系统标定是三维测量最基本和重要的环节。本文基于张正友的自由平面靶标的方法，改进现有算法进行系统标定。

2.1 相机-投影仪模型

该测量系统使用扩展了相机和投影仪径向和切向畸变[11]。设X∈R3是世界坐标系的一点，令u∈R2为相机平面中，点X在图像的像素坐标，X与u的关系可用以下方程表示：

Kc为相机的标定内参，k1和k2为径向畸变系数，k3和k4位切向畸变系数。同样，如果R和T分别为旋转矩阵和平移矢量，编码投影仪光心在世界坐标系的投影。令v∈R2为投影仪平面中，点X在图像的像素坐标：

Kp为投影仪的标定内参，（R，T）为立体视觉系统标定外参。

2.2 相机-投影仪标定

标定涉及到采集平面标定板的图像。如图3所示为四种不同位姿的标定板，通过投射一组编码条纹图案到标定板表面，进行数据采集，将数据导入算法从而完成相机-投影仪标定。

图3 相机-投影仪标定

2.3 反光抑制

在数控加工中心上对工件的高精度加工，致使金属工件表面具有类镜面特性，此类表面也被称为非朗伯表面。非朗伯表面的反射光由环境光、漫反射光和镜面反射光三部分组成。

机器视觉的测量精度与物体表面的光学性质有关，投影仪投射结构光时，加工工件表面的局部会产生镜面反射。反光区域的“高光”会造成局部信息的缺失，影响最终的检测精度。针对反光，利用水平方向和竖直方向的编码条纹图像序列来计算图像的直接光分量和间接光分量，设L={I1,I2,…,Im}为输入的编码条纹图像序列，p为图形上的某个像素点，点p的直接光分量和间接光分量分别为Ld(p)和Lg(p)，则有：

其中b∈[0,1)，表示环境光占投影仪直射光的比例系数，是由投影仪投射的暗条纹灰度值决定的。

利用图像每个像素点的Ld(p)和Lg(p)，对图像中的编码条纹进行阈值分割，然后用编码的逆过程对阈值分割后的图像进行解码，得出每个投影仪图像上的每个像素点坐标。以实验室中测量的反光铝件为例，检测算法的有效性。如图4所示，(a)为实物，(b)为重构后的表面形貌，重构的点云密度为9.12个/mm2，反光区域点云缺失量少于普通视觉测量重构的点云。

图4 铝合金表面三维重构结果

3 在机重构与实现结果分析

通过在数控加工中心对反光工件的在机三维形貌重构实验，验证本系统的实用性。

图5 在机三维形貌重构系统

加工工件的在机三维形貌重构实验现场如图5所示，采用的仪器设备为：Canon相机（EOS600D，分辨率5184×3456）和BenQ投影仪（ML6277，分辨率1024×768），机床为数控立式加工中心（XHK715-4），软件环境为OpenCV和VS2010。

调整好相机与投影仪的位置及角度，对整个系统进行标定。标定结果如表1和表2所示。

表1 相机-投影仪立体标定内参

表2 投影仪与相机的坐标转换

按1中所设计的方法，提取在机工件表面被调制的条纹图像。载入标定结果，对在机工件进行三维形貌重构，生成的点云如图6所示。

图6 三维形貌重构结果

采用本文提出的方法，除开标定和图像获取时间外，三维重构软件算法执行时间为0.923s，重构的点云密度达9.07个/mm2，较好地实现了金属反光件的三维形貌点云重建。

4 结论

本文利用设计的相机-投影机夹持机构，在数控加工中心上对加工的反光工件进行在机检测，研究结果表明，这种方法对在机的反光加工工件进行三维重构具有较好的效果，对实现智能制造中工件的加工检测一体化具有一定的应用前景。

[1]戴小林,钟约先,袁朝龙,马扬飚.单摄像机结构光扫描系统中投影仪标定技术[J].机械设计与制造,2008,08：194-196.

[2]Zhang S.High dynamic range scanning technique[J].Opt Eng2009,48(3)：033604.

[3]Song Zhang.Recent progresses on real-time 3D shape measurement using digital fringe projection techniques[J].Optics and Lasers in Engineering,2010(48)：149-158.

[4]葛东东,王淮生,宋家友.光栅投影三维轮廓测量技术分析及进展[J].2005.12(21)4：378-382.

[5]全燕鸣,黎淑梅,麦青群.基于双目视觉的工件尺寸在机三维测量[J].光学精密工程,2013,04：1054-1061.

[6]李中伟.基于数字光栅投影的结构光三维测量技术与系统研究[D].华中科技大学,2009.

[7]王秀鹏.基于面结构光的航空零部件三维测量和精度检测[D].华中科技大学,2012.

[8]郭龙强.基于摄像机—投影仪系统的三维重构技术研究[D].大连理工大学,2013.

[9]Shinji Umeyama,Guy Godin.Separation of Diffuse and Specular Components of Surface Reflection by Use of Polarization and Statistical Analysis of Images[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2004,26(5)：639-647.

[10]姜宏志,赵慧洁.用于强反射表面形貌测量的投影栅相位法[J].光学精密工程,2010,18(9)：2002-2007.

[11]Daniel Moreno,Gabriel Taubin.Simple,Accurate,and Robust Projector-Camera Calibration[C].3DIMPVT.2012：464-471.

[12]M Baba,D Narita,K Ohtani.360oshape measurement for objects having from Lambertian to specular reflectance properties utilizing a novel rangefinder[J].J.Opt.A：Pure Appl.Opt.4(2002)S295-S303.