基于相位信息的三维视觉测量技术研究
2022-05-05丁玉洁周志峰
丁玉洁,周志峰
(上海工程技术大学 机械与汽车工程学院,上海 201620)
0 引 言
随着现代工业的发展,对于类镜面物体表面品质的要求越来越高。如:汽车工业中的漆面、电子产品中的玻璃元件等,对产品其表面光滑、无瑕疵的质量要求。早前,人工检测是类镜面物体表面缺陷检测的主要手段,该方法先通过人眼观察后,利用触摸的方式实现缺陷检测。这种检测方式效率低且工作强度大。相比于人工检测,传统机器视觉检测技术由于其非接触、高效率、高精度及自动化等优点,在类镜面物体的质量控制过程里扮演着重要角色。传统机器视觉,主要通过二维强度恢复三维景物,此过程损失了深度信息,该技术难以直接应用于类镜面的缺陷检测。
三维视觉测量通过模仿人眼进行测量,应用计算机视觉技术对被观察对象进行识别、定位、量化和重构。三维视觉技术结合计算机视觉和精密测量技术,与二维图像信息相比,三维形貌能够提供更丰富、更细节的信息,从而更全面地描述三维场景属性。随着计算机和视觉技术的发展,三维视觉测量由于其高速、无损、无接触的测试功能,已经成为工业应用中用于质量控制、逆向工程、精密制造和艺术品数字化的关键技术。目前,国内基于结构光的三维测量技术已应用于汽车、航空航天等行业。天津大学叶声华院士团队将结构光三维视觉技术与机器人相结合,成功应用于国内多家主流汽车生产企业。如一汽大众和东风神龙等,实现了汽车领域高性能柔性在线检测应用。
基于相位信息的三维视觉检测技术虽然因其性能受到广泛关注,但该技术的测量精度问题不容忽视。本文介绍两种典型的基于相位信息的三维视觉检测系统,重点论述相位测量偏折技术结果多义性所引起的相位误差,并总结4种克服该误差的PMD系统模型。最后对PMD系统相位信息的其它误差进行总结,提出进一步研究的方向。
1 相位面结构光三维检测技术
相位测量轮廓术(PMP)和相位测量偏折术(PMD),是基于相位信息的三维视觉测量技术的重要分支。其中相位测量轮廓术是条纹投影测量技术典型代表之一,该技术主要是针对漫反射物体表面三维形貌的测量;而相位偏折术则是条纹反射测量技术典型代表之一,对镜面物体具有很好的测量效果。两者都使用面结构光照明的方式和典型的条纹结果光,其条纹分析过程,同样包括条纹解调和相位展开,都可以使用基于最小二乘法的相移算法来解调条纹图案等等。因此,两者存在相同的问题,都可以使用条纹分析中现有的解决方案(如数字光器件的非线性响应)解决。
终上所述,虽然两者有许多相同之处,但也有着根本的区别。PMP中检索到的相位值与高度数据直接相关,而PMD中的相位值则与斜率和高度相关。因此,在PMD中需要适当的正则化和数值积分。当测量部分镜面和漫反射表面时,这两种技术可以结合使用,利用PMP高度数据来规范PMD的反演问题。
1.1 相位测量轮廓术
PMP系统主要由数字投影仪、相机、计算机以及被测物组成。如图1所示,计算机生成条纹图案,投影仪将其依次放映投影于被测物体表面,计算机对相机采集的条纹图案进行分析及条纹相位展开,最后根据相位-高度积分得到三维信息。
图1 PMP组件架构图Fig.1 PMP component architecture diagram
1.2 相位测量偏折术
普通PMD系统包括相机、LCD屏幕、计算机和被测物等组件。普通PMD系统是简单的单目固定式PMD系统,该系统光路原理较为简单,便于理解PMD的检测原理。如图2所示,计算机将生成的条纹图案发送给LCD屏,LCD屏将编制好的条纹图案投影到被测物体的表面,相机捕捉通过类镜面反射型被测面显示的条纹图案的反射图像,通过解决捕获图像的反演问题来重建被测表面的形状。
图2 PMD组件架构图Fig.2 PMD component architecture diagram
相位测量偏折术的基本原理是反射技术。如图3所示,在理解相位偏折术光路原理时,可以将相机看作成光线发射源,被测物体表面看作自由理想镜面。当相机射线在被测物体表面上的任意一个元素点发生镜面反射时,如果缺陷位置的切线相对于表面的角度变化为,则反射光线的角度变化2,类镜面缺陷斜坡引起的角度变化使反射的角度增加了一倍。
图3 PMD原理图Fig.3 The principle diagram of the PMD
2 相位精度影响因素研究
在针对该系统相位精度影响因素展开研究时,首先要清楚该检测系统的具体检测原理、流程以及其用到的组件。而后分析该过程中每一步可能产生影响的因素。
2.1 测量流程
面结构光照明检测技术,利用结构光照明及平面外相位信息,通过数码相机进行编码和记录;相机在获得经过被测物体调制的条纹图案后,利用成熟的条纹分析算法得到定量的相位值,以实现被测物体表面的三维测量。使用本文介绍的这两种系统进行测量步骤如下:
(1)正确布置相机、投影仪和屏幕,然后调节相机,保证视野可以覆盖所需求的测量体积,并将样本表面放置在测量体积内;通过投影仪或者LCD屏幕,将计算机生成的条纹投影于被测物体表面。
(2)相机采集从被测表面捕捉的条纹图案,传入计算机进行相位比对。相机必须将每一张经过被测物表面调制而成的变形条纹图案采集,并保存至计算机;计算机对采集完成后相同种类或方向的变形条纹进行数据融合。
(3)通过结合相位计算方法和系统几何标定技术,分析条纹图案以检索二维相位信息,建立物体表面相位数据和高度之间的关系。
(4)通过积分来重建被测物体的深度信息。
2.2 相位精度影响因素
测量过程中相位误差的主要来源有:相位提取及相位展开算法中,相位测量轮廓术中的多次反射、相位偏折术中存在的系统多义性、数字器件的量化误差以及电子器件热噪声等引起的误差。
在相位测量轮廓术中,当待测物体表面反射特性不均匀(如:抛光部分的凹面体),当面结构光投影在该物体上,光线会在凹面体上经过多个反射路径进入相机成像系统,导致测量的相位出现错误。文献[4]中分析了多次反射对相位的影响,通过高频与低频的对比实验,验证了基于高频照明消除多次反射的方法可将相位误差降低。
在实际测量中,物体的相位变化不仅来源于待测物体表面梯度也来源于待测物体高度的变化,而在相位偏折术测量系统中,忽略了高度对相位的影响,因此测量中出现了系统多义性,导致相位测量不准确。
3 相位测量偏折术多义性误差研究
相位测量偏折术通过解决相机捕获图像的反演问题,重建被测物体表面的形状。由于2.2节中所描述的结果多义性问题,将在本章分析结果多义性产生的原理,提出了4种多义性误差适应系统,通过不同的正则化方法和相应设置调整反演问题。
3.1 结果多义性产生原理
如2.2节介绍,PMD组件设置时提到的PMD光路原理,存在结果多义性问题,也称为高度-斜率模糊问题。当LCD屏幕上的像素点和该像素点经过相机光心,成像在像素点时,就可以确定入射光线和反射光线的方向。结果多义性是指,没有办法确定入射光线和反射光线的交点,这时法线的方向和点到水平面的高度均无法确定,则产生了高度-斜率模糊度问题。结果多义性光路示意如图4所示。
图4 结果多义性问题Fig.4 The result is the ambiguity problem
3.2 多义性误差适应系统
PMD系统模型根据多义性问题将其分为两类,区别之处在于是否克服了结果多义性问题,从而实现表面重建任务。在2.2节论述的PMD测量光路原理中,使用的是单视场固定PMD系统,属于第一类PMD系统模型。该方法虽然对于检测微米级的反射变形是一种简单的方法,但是该方法并没有克服结果多义性问题。本文这里论述的多义性误差适应系统为克服结果多义性的第二类系统模型。
多义性误差适应系统克服结果多义性的原理是采用额外的组件。如屏幕、距离传感器或相机。PMD系统的检测原理主要依赖梯度积分,来重建被测物体三维信息。在确定相机到被测表面之间的距离,以及LCD屏幕与被测表面之间的距离等系统几何参数后,多义性误差适应系统就可以测量出梯度,并通过梯度积分确定被测物的高度信息,从而克服高度-梯度模糊性而导致的结果多义性问题。下面分别介绍4种多义性误差适应系统模型(图5),论述其原理以及存在的缺陷。
图5(a)中,将PMD系统设置中的LCD屏幕设置为移动屏幕(具有移动屏幕的单目PMD模型最早由Marcus Petz等在2001年提出)。相机从同一像素点射出光线,通过平移LCD屏幕,会在两个屏幕上得到不同的绝对相位点,将两个绝对相位点相连,就可以确定入射光线的方向,避免了结果多义性问题。但该模型对系统标定要求较高,又因移动屏幕检测同一块区域,花费的检测时间较长。
图5(b)中,模型在PMD系统设置中安装点距离传感器。测量中用理想平面镜作标定平面时,在传感器读数保持不变的情况下,对多个倾斜方向的镜子进行相位测量。在模型测量过程中,可以适当的使用光线调整LCD屏幕、平面镜和相机的相对位置关系。该系统在测量位置表面时,需要采用标定期间确定的距离读数,因系统中的一个参数被完全确定,克服了PMD系统的结果多义性问题。但该PMD系统模型的标定步骤较为复杂,且精度要求较高,使用条件也较为苛刻。
图5(c)中,模型使用立体视觉方式调整反演问题。在PMD系统中使用两个相机,两个相机都当作光线发射源,通过对比两个相机在被测屏幕同一点的不同法线差异,计算高度值。
图5(d)中,模型也是通过立体视觉的方式调整反演问题。与图6(c)不同的是,模型在PMD系统中增加了1个相机,以及与相机对应满足三角测量原理的LCD屏幕。该模型克服系统结果多义性问题的原理虽然与图5(c)相同,但该立体视觉模型,基于一个假设。该假设是基于单目PMD测量,在反射表面上同一采样点处得到的法线必须一致。该系统模型对标定精度要求较低,但需要不断的假设交点来计算法线并比较,计算较为复杂且精度不稳定。
图5 多义性适应模型Fig.5 Adaptive model of polysemy
4 结束语
本文主要介绍了两种典型的面结构光三维测量技术,回顾了相位测量轮廓术和相位测量偏折术的原理与误差来源,并且重点论述了相位测量偏折术测量过程中的相位误差消除系统。该技术不仅对面外形变化非常敏感,并且在测量相对变形时对系统标定误差容忍度更高,测量精度可以达到微米级,还可以在可见光范围之外工作。但其中相位恢复、绝对形状测量的精确校准是目前PMD技术的一个局限。
为了使PMD技术的标定更加灵活,易于使用并且在工业应用的实际测量中更加准确,在实际应用中需要对数字投影器件、相机的非线性效应、条纹投影时条纹质量、PMD系统的几何标定和屏幕标定、模态重建时精度和速度等方面的性能还需要进一步的研究。