提高结构光投影轮廓术中三维成像质量的算法研究

董延清，徐永泽，王宴华，李宏升，陈文聪，史 鹏

(青岛理工大学 理学院，青岛 266525)

近年来，随着逆向工程和三维成像技术的发展和应用，获取现实世界物体的三维数据并进行三维成像的方法得到了越来越多的关注和研究。目前的三维成像技术主要分为接触式和非接触式两种，其中接触式测量虽然有较高的精度，但接触难免会对被测量物体表面造成损伤，而且受制于被测量物体的尺寸，测量效率也会下降；非接触式包括全息照相法、散斑干涉法、被动式非相干法和主动式非相干法等，其中主动式非相干法中的结构光投影轮廓术以结构光为载体，利用投影条纹的相位信息来还原物体的三维形貌，因其非接触、高速度、高准确度等优点，被广泛应用于逆向工程、医学影像、三维视觉等领域，随着工业检测精度的精细化，其更被应用于孔洞检验[1]和工业磨痕检测[2]等机械、土木工程领域，成为当前最具有发展前景的三维形貌采集和重建技术之一。

正弦结构光三维成像系统需要投影正弦条纹[3]，条纹投影到物体表面后会因物体表面的高度不同而产生相位调制，根据相位差进行相位解包裹等操作便可将物体的高度信息提取出来。基于正弦结构光的傅里叶变换轮廓术(Fourier Transform Profilometry, FTP)采用傅里叶变换法[4-5]，将一幅含有条纹相位差信息的图像进行傅里叶变换处理，使图像信息从空间域转换到频域，在频域中进行滤波操作，把含有变形条纹的基频信息过滤出来，再对其进行傅里叶逆变换、相位解包裹等一系列操作最终得到物体的三维形貌，其中傅里叶变换中的性质对FTP法有一定影响，会产生频谱混叠、频谱泄漏等问题，LOHRY等[6]提出利用调制来消除三阶谐波的方法提高条纹质量；虞梓豪等[7]提出利用多频外差法来提高小型物体的细节重建效果。相移轮廓术(Phase Shifting Profilometry, PSP)同样基于正弦条纹的相位差来计算物体高度，利用物光与参考光之间的有序位移造成相应的光程差变换来计算物体的高度信息。PSP因采用多幅图像进行相位的解包裹，所以相移条纹的精度会大大影响相位信息的计算准确度，就相移步长的精度问题，ZHANG等[8]提出改进Carré算法来抵抗相位步长不准确引起的误差。

环境光亦称为背景光，是指在特定环境中的照明光线，包括自然光线和人造光线，良好的环境光可以起到美化视觉的作用，但在一些特定的成像系统中，环境光的加入会影响成像系统光信息的传播，甚至可能会将有用信息湮没在背景光的噪声中。正弦结构光三维成像系统非接触的特点，需要将正弦条纹投影到物体表面，利用图像采集系统进行光信息采集，信息采集过程中会受到各种外界环境光等噪声的影响，在一定程度上降低了三维物体的成像质量。

关于减少环境光噪声的算法研究成果较少，本文就正弦结构光投影轮廓术中信息采集的问题进行了详细讨论，分析物体高度信息的计算方法，讨论了影响三维成像效果的环境噪声因素，提出了图像相减算法和单色通道数据提取算法两种通过减少环境光噪声来有效提高三维物体成像质量的方法，并用计算机模拟和实验验证了两种算法的有效性。

P—正弦结构光原始空间周期；θ—斜入射角度；P0—投射接收平面(基准参考面)上的投影空间周期；B—测量物体上的任意一点；b—过B点正弦结构光和相机CCD光轴间的水平距离；L—CCD与基准参考平面的垂直距离；A，C—B点在基准参考平面上的两个投影点；O—CCD面光轴正射投影点(记为相位O点)

1 正弦结构光三维重建原理

1.1 高度公式

正弦结构光三维成像采集系统一般为单目视觉测量系统[9]，单目系统利用一个电荷耦合原件(Charge Coupled Device，CCD)或相机拍摄图像，测量图像上像素点与空间对应点的几何约束关系，求得三维坐标，计算得到三维物体的高度信息。假定投影系统的光束近似为平面波[10]，模型如图1所示，一定角度倾斜投影的条纹打在物体表面上，物体的高度对正弦条纹进行相位△φ的调制，与之相对应，相位△φ中便携带了物体的高度信息。

图1 平面波传输模型

漫反射物体的高度h(x,y)对相位进行调制后得到的附加相位为

φ(x,y)=2πx/P0+2πh(x,y)/λe，

(1)

式中：λe为等效波长，一个等效波长正好等于引起相位变化量的高度变化。

由于Dc为任意取值，则CCD阵列上任意点的前后两次相位差有如下关系式：

(2)

(3)

其中式(3)中正弦结构光原始空间周期P，斜入射角度θ，CCD与基准参考平面的垂直距离L，均由实验系统参数决定，都可以测量得到。φA和φC分别为条纹中同一位置点水平方向上的原相位和投影相位。显然，当P，L，θ确定时，高度h随着相位差Δφ=φC-φA增大而增大，呈线性正相关。

1.2 FTP法基本原理

图像是由离散的像素点[11]构成，对图像进行二维离散傅里叶变换(Two-Dimensional Discrete Fourie Transform, 2D-DFT)和逆变换等操作求出物体的真实高度[12-13]，具体步骤为：首先对图像进行傅里叶变换，将图像从空间域转换到频率域，在频率域中进行特定的窗口滤波，把投影条纹的信息从频域中提取出来，进行傅里叶逆变换后便可得到条纹的相位差Δφ(x,y)，利用相位差计算并拟合出图像中物体的真实高度。

在FTP中，当投影的正弦结构光场照射到物体表面时，考虑一维变形条纹强度I分布表示为

I(x)=I0(x)+I1(x)cos[2πv0x+Δφ(x)]，

(4)

式中：I0(x)为背景光强度；I1(x)为条纹的振幅强度(包含反射率信息)；v0为原始的条纹空间频率。

(5)

进行傅里叶变换后，得到的频谱强度分布为

(6)

(7)

由式(7)可以得到变形条纹的相位偏移：

(8)

式(8)中，tan-1(…)求出的相位是包裹相位，需要对其进行解包裹；2πv0x为基准平面的相位变化，减去基准平面得到的就是因高度造成的相位偏移差。

1.3 PSP法原理

相移轮廓术通过移动条纹或者物体来移动固定步长的相位，通过相位之间的特定相位差信息将相位中包含的物体高度信息计算出来。

其中四步相移轮廓术的条纹强度公式分别为

(9)

通过联立以上四个方程可求得相位差：

(10)

从上式中可以看到，通过四个强度求差、商后，最终求解得到不含有振幅强度I1(x)和背景光I0(x)的相位，减去基准平面后得到因高度引起的相位差。

从以上两种方法中可以看出，条纹投影轮廓术的实现需要先得到精确的条纹相位差信息Δφ(x,y)，通过Δφ(x,y)来计算物体的高度信息，所以条纹的清晰度对最终的三维成像效果有至关重要的影响，当物体表面反光或者颜色与条纹颜色相近时，条纹的清晰度便会被干扰，条纹的相位信息也便无法得到精确的解析，进而影响三维成像效果。如何将条纹的信息精确地提取出来直接关系到最终的三维成像质量。

2 条纹有效信息提取算法

由物体高度公式(3)可以看出，理论上h的求解与相位差Δφ有关，而与背景光I0无关，但在实际情况下，背景光的增强意味着噪声的增加，背景光会对投影条纹产生叠加。FTP方法进行傅里叶变换后背景信息I0会存在于整个频谱中，尤其在强背景光时条纹所携带的相位差信息Δφ更容易被湮没在噪声[14]中无法有效分离；PSP方法因要拍摄多张照片，若这些照片中背景光发生变化会使得I0产生严重扰动，影响相位φ(x)的计算，进而影响物体高度的准确还原。下面提出两种滤除(减少)背景光噪声的算法。

2.1 图像相减算法

利用图像相减算法，将有背景光有投影条纹的图像和有背景光无投影条纹的图像数据进行相减[15]，得到的便是两幅图像的差异信息，即变形条纹图，大大提高了条纹有效信息传输和接收的准确性。

固定各种环境参数，确保单一变量，背景光下实验，环境光会与投影出来的条纹产生加权，图像的整体亮度提高，同时条纹的信息部分被环境光所掩盖，利用投影条纹图减去物光光强或者参考光光强，得到一副全新的条纹图像，实验中记录在CCD中的环境光图像记为U0(x，y)，环境光下加上投影条纹的像素信息记为U1(x，y)，通过图像相减便可得到投影条纹的振幅变化。

获得条纹图像为

(11)

将背景光场减掉，从而只剩下变形条纹的信息，对相减得到的图像进行FTP或者PSP处理后即可得到物体的三维形貌。

从图2中可以看出，图2(b)所示图像环境光对条纹的对比度影响较大，条纹不清晰，影响最终的三维成像质量；通过图像相减算法利用图2(b)-(a)将背景光场数据减掉，得到如图2(c)所示的物体条纹图，条纹清晰度大幅提升，有效减小了环境光对条纹清晰度的影响。

图2 不同情况下的实物条纹(顶视)

2.2 单色通道数据提取算法

相位差的计算依赖于投影条纹的正弦性，正弦性的改变会影响最终的三维成像精度。当外界环境光(白光)较强时，利用仪器投影的条纹可以选定为特定颜色的单色条纹，在利用计算机系统进行处理时，可以利用单色通道数据提取算法[16]将这些条纹较高效率地提取出来，减小环境光中其他波段有色光的影响，从而进一步提高三维成像系统的精度。

几乎所有的彩色成像设备和彩色显示设备都采用RGB(红、绿、蓝)三基色，各种颜色由RGB三种颜色通道相互叠加而成，真彩色图像由R，G，B三个像素层叠加，在RGB彩色空间中，任意彩色光L的配色方称为

L=r[R]+g[G]+b[B]，

(12)

式中：r[R]，g[G]，b[B]为彩色光L的三基色分量或百分比。

图像各像素点的不同颜色由R，G，B三基色分量组成，如图3所示，每个颜色基量的范围为0～255，共256阶亮度，值越大代表所占分量越多，一幅图像的每个像素点上的色彩可看作由红、绿、蓝三个0～255不同值构成的三层矩阵叠加而成。

图3 RGB彩色空间

利用计算机系统可以进行单色通道数据提取，将其他颜色的通道进行置零，得到某一颜色通道，从而减小其他颜色通道和外界环境光对条纹信息的干扰。

修正CCD的非线性影响，使用SCMOS05000KPA直接采集投影条纹并利用计算机进行处理，从图4中的像素和强度值的对应关系可以看出，暗室环境下条纹的对比度最高、正弦性较好，当加入照度为122 lx的环境光时，条纹的对比度下降明显，条纹信息的质量下降，而当采用单色通道数据提取去处理条纹后，对比度有了很大的提升，说明单色通道数据提取算法较好地提高了条纹有效信息的质量，对后续的高度反演有利。

3 结果分析

3.1 计算机模拟PSP实验

采用计算机建立的三棱柱模型如图5(a)所示，对图5 (a)所示模型图添加背景光随机噪声后分别直接处理和采用上文所提两种算法处理，最后用四步PSP进行高度反演，经过式(10)计算可以得到包裹相位，随后进行解包裹操作即可得到如图5(b)(c)所示的物体三维形貌图。从图5(b)(c)可以看出，由于模拟环境光的存在使得PSP处理后条纹的相位失真，最终反演得到的三维模型表面粗糙，模型的成像质量较差，而采用图像相减算法和单色通道数据提取算法后反演得到的三维模型表面趋于平滑，能有效改善外界环境光对成像质量的影响。

图5 计算机模拟三棱柱

3.2 FTP实验验证

本实验中，采用图6所示实验装置产生激光正弦结构光条纹[17-18]。点光源发出的绿色激光经过调制和多次菲涅尔衍射传输后便可将标准的正弦条纹投影到待测物体P的表面，通过相机采集变形条纹的图像，利用FTP方法可得到物体的三维形貌轮廓图。

图6 FTP法实验装置

本实验采取表面平滑的等腰直角三棱柱(图7)进行实验，三棱柱直角底边近似边长l=12 mm、高L=20 mm，将图6装置产生的正弦条纹投影到三棱柱表面(投影条纹空间频率约3 lp/mm)，分别对环境光(光强122 lx)下的原始图像、经图像相减算法和绿色通道提取算法处理得到的图像进行FTP法处理，结果如图8所示，未经过条纹有效信息提取算法处理的含环境光原始图像在高度反演后三棱柱表面较粗糙，这些起伏点是由于环境光的噪声产生的，而经过本文提出的算法处理后反演得到的三棱柱表面趋于平滑，三维成像图的质量有一定程度的提高，成像图中物体表面的噪声起伏点明显减少。

图7 三棱柱实物

图8 环境光下实验物体的三维成像

4 结论

结构光条纹投影轮廓术中变形条纹的有效信息对最终三维成像质量来说至关重要，当拍摄物体处于较强的外界环境光下时，环境光作为噪声会影响条纹相位差Δφ(x)的准确性，从而降低三维成像质量，因此本文主要研究投影变形条纹有效信息的提取和还原，提出了图像相减算法和单色通道数据提取两种后处理算法，可有效地提升物体上变形条纹的清晰度。采用图像相减算法将背景光信息直接滤除，仅得到更精确的变形条纹图像数据信息；采用与条纹颜色相同的单色通道数据提取算法，可减少背景噪声，增加条纹对比度，改善因对比度、正弦性降低造成的影响。通过计算机仿真实验和激光投影实验证实了两种算法的有效性，这为提高结构光投影轮廓术中三维成像质量的研究提供了有益参考。