复杂反射率物体三维测量方法研究

田 颖,黄丹平,于少东,2,张 宇,徐佳乐,刘 亮

(1.四川轻化工大学机械工程学院,四川 宜宾 644000；2.四川大学机械工程学院,四川 成都 610065)

1 引 言

线结构光三维测量技术已在表面形貌检测和几何测量等领域中得到广泛运用。主要由激光发射器和采集设备组成[1]。激光投射到待测物表面时,被待测物体的高度信息调制,经反射后采集设备获取条纹图像,通过三角法计算出物体的三维信息[2]。该方法对条纹图像质量要求高,条纹图像强度不足或过曝光,都会降低三维测量精度。目前消除条纹曝光程度差异的常用方法是在被测物体表面喷粉末,使其表面反射率均匀。但该方法不仅影响精度还限制了其应用范围[3]。

投射在复杂反射率物体表面的激光条纹图像存在的曝光程度差异,导致激光条纹中心位置信息难以精确提取,使得复杂反射率物体的高精度三维测量成为难题。视觉传感器的感光强度,一般通过调节其光圈和曝光时间来改善[4]。对于非接触式的三维测量技术,调节光圈容易破坏系统的初始标定,因此曝光时间是最有效的调节方法。Feng[5]提出一种基于灰度直方图计算曝光时间的算法,取得了良好的效果,但该算法在测量复杂反射率物体时存在曝光不准确的问题。李[2]提出一种适用于强反射表面的三维测量方法。通过多次曝光采集消除表面的镜面反射,但能够适应的差异范围有限,且不适用于动态三维测量。Zhang[6]提出了一种自动曝光模型,利用相机响应函数和概率密度分布函数,寻找图像中达到预期强度值的像素点数量最多时的曝光时间,为该模型的最优结果。而复杂反射率物体存在曝光程度差异,即使模型达到最优,也无法满足测量要求。

针对于复杂反射率物体在三维测量中遇到的条纹图像曝光程度存在显著差异的问题,提出一种自适应曝光下多条纹融合的三维测量方法,该方法对测量反射率变化范围宽的物体有很强的适应性。首先,分析视觉传感器成像时内部噪声引入的灰度误差,得到采集设备的成像函数；获取初始条纹图像几何中心反射率突变点作为分段采集和图像融合的基准点；其次,通过成像函数计算各分段的自适应曝光参数,按参数分段采集条纹图像后融合为完整的条纹数据；采集平台单向步进,实现物体条纹数据整体扫描。最后,整合所有条纹数据生成完整的三维点云。该方法可实现复杂反射率物体高精度三维测量。

2 测量原理

2.1 三维测量系统

该测量系统主要由线结构光测量系统、伺服丝杠移动平台、控制中心和数据处理中心构成。系统结构如图1所示。包括:1—被测物体；2—机械手；3—步进平台；4—激光发射器；5—滑动导轨；6—视觉传感器；7—直线导轨；8—机械支架；9—显示器；10—光电传感器A、B；11—传送带；12—电气控制箱；13—数据处理中心。

图1 三维测量系统结构图Fig.1 Structure diagram of 3D measurement system

复杂反射率物体的线结构光三维测量要求激光条纹强度适中,激光过强导致高反射率区域过曝,太弱使低反射区条纹点稀疏不完整。为满足测量需求,选择LJ-V7300线激光传感器,其发射端有两个半导体激光器,保证激光强度稳定可靠。激光经过柱面物镜扩散为条状垂直投射到物体的表面,经反射后,在互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor,CMOS)上清晰成像[7],得到物体表面一条线上的X坐标和Z坐标。伺服丝杠移动平台向Y方向步进运动,实现整体扫描。平台最小运动步长为0.1 mm,重复定位精度小于1 μm,满足测量精度要求。运用直线导轨上下调节,滑动导轨左右移动,调节激光发生器与采集器至聚焦准确,激光条纹成像清晰。系统控制流程如图2所示,机械手臂将待测物体从产线夹持到测量平台,此时光电传感器A检测到被测物体,系统开始工作。线激光传感器与精密步进平台协同配合,获取激光条纹图像,直到光电传感器B检测到被测物体时采集完成；算法采用激光三角法测量物体的三维信息,最终生成完整的密集点云数据,将测量结果储存在数据中心并在窗口显示。

图2 测量系统控制流程图Fig.2 Control flow chart of measurement system

2.2 自适应多曝光算法

为提高复杂反射率物体三维测量精度,提出按反射率分段采集和图像融合的方法获取条纹信息,流程如图3所示。首先,采用平面靶标标定系统[8],如果在光强为Lα的环境中,向表面等效反射率为ρ的被测物体表面投射一束强度为Lp的激光条纹。根据成像原理,视觉传感器成像函数可以设为:

I(t)=α[Lα+ρLα+ρLp]×t

(1)

图3 条纹图像采集流程图Fig.3 Flow chart of fringe image acquisition

其中,I表示某一像素点的强度；α为传感器的灵敏度；Lα为直接进入传感器的环境光；ρLα为物体反射的环境光；ρLp为物体反射的激光；t为视觉传感器的曝光时间。假设激光强度波动很小,Lp则为可通过仪器测量的常量；尽量使Lp≫Lα,以忽略环境光的影响；视觉传感器内部噪声引入灰度误差Is,可将公式(1)转化为公式(2):

I(t)=αρLp×t+Is

(2)

对于反射率均匀的物体,αρLp为常量,则可采取逐次增加曝光的方式采集单反射率物体的激光条纹图像,拟合条纹图像灰度值与曝光时间的关系,借助公式(2)分析出视觉传感器内部噪声引入的图像灰度误差Is,可得到视觉传感器成像函数,条纹图像采集流程如图3所示。

采用成像函数寻找自适应曝光时间,需要知道物体反射率。若获物投射在物体上的条纹,在某初始曝光时间下的成像灰度值,代入公式(2)可计算相应反射率。为寻找合适的初始曝光参数以确保反射率计算准确,采用连续自动调节曝光的方法,从视觉传感器最低曝光时间c1开始,由c1→c1+nΔt逐次采集图像,设图像中灰度值为Im的像素点为有效像素。在图像存在像素点灰度I(x,y)=255前,计算图像中有效像素点数量k最多时的曝光时间为初始曝光时间t0,计算方法如公式(3),则反射率ρ(x,y)由公式(4)表示:

(3)

(4)

若逐个像素计算曝光时间,计算量大。为满足动态测量需求,采用条纹区域分段采集的方法。激光条纹图像横截面呈近似的高斯分布,越接近中心越能反应物体的真实反射率[9-10],因此可用条纹横截面几何中心像素反射率代替该横截面反射率,几何中心反射率近似的横截面归为同一采集区域,利用区域反射率均值计算该区域曝光时间。采用微分法[11]计算区域分段的基准点集x=[q1,q2,…,qn]。其中,wi表示第i横截面的条纹宽度；ρi为第i横截面的几何中心点(xi,ywi/2)的反射率,分段示意图如图4所示。

图4 区域分割示意图Fig.4 Schematic diagram of region segmentation

(5)

则区域n表示图像中横坐标x∈[qn-1,qn]的所有像素点。若条纹图像理想灰度为Im；反射率为ρn,则结合式(3)、(5)可得自适应曝光时间tn:

(6)

计算自适应曝光参数集Tn=[t1,t2,…,tn]依次曝光,获取图像集Mn=[m1,m2,…,mn],图像mn尺寸为1280×1024。利用灰度直方图结合大津阈值分割条纹与背景,粗定位条纹位置,将图像缩减为1280×150,以消减背景对激光条纹提取的干扰。利用文献[12]提出的自适应阈值分割法,精确提取激光条纹集Gn=[g1,g2,…,gn]。按基准点x提取条纹图像集Gn中各图像的采集区域,融合为最终条纹Gfuse,融合方程为公式(7),融合示意图如图5所示。

(7)

图5 条纹融合示意图Fig.5 Fringe fusion diagram

2.3 条纹中心提取

线结构光三维测量系统获取精确的三维点云,必须准确提取条纹中心位置信息。条纹中心位置提取方法一般分为几何提取和能量提取[13-14]。几何法适用于提取形态均匀、噪声小的光条中心,对于复杂环境的适应性差。本文采用以能量为中心的灰度重心法,在提取前通过中值滤波对图像降噪。条纹特征分析与相关实验表明,选择文献[15]提出的主成分分析(PCA)与灰度重心相结合的方法初步提取条纹中心,并在此基础上提出高斯修正。提取效果如图6所示,经过高斯修正以后,能够更准确提取条纹中心坐标。

图6 条纹中心坐标提取Fig.6 Extracting fringe center coordinates

3 实验与分析

3.1 灰度误差Is

为计算曝光过程中视觉传感器内部噪声给图像带来的灰度误差,选择反射率稳定的塑料、皮革、PVB、鹅卵石以及黑色铁片为测量对象。采用逐次增加曝光时间的采集方法,获取图像并分析,得出图7所示不同物体的激光条纹灰度值与曝光时间的散点图,利用最小二乘法拟合曲线,纵截距可以反映出灰度误差。

图7 灰度与曝光时间关系曲线图Fig.7 Gray scale and exposure time curve

图8 相机噪声曲线Fig.8 Camera noise curve

3.2 自适应多曝光采集实验

采用放大器和剥线钳两种存在复杂反射率的物体为被测对象,在线结构光三维测量系统中重复实验,验证采集方案的可靠性。按反射率分段结果如图9所示。

图9 区域分割结果Fig.9 Results of Region segmentation

设置条纹灰度期望值I0=220,计算出获取该投影位置最佳条纹的曝光次数和曝光时间。利用该曝光时间参数采集条纹图像信息并融合如图10所示。

图10 图像融合结果Fig.10 Results of image fusion

其中,纯黑色背景为相应曝光时间下的有效采集区域,灰色背景为无关区域,两者通过基准点分割。将各曝光时间下有效区域融合为完整的条纹信息。该条纹采集完成,通过伺服丝杠移动平台带动被测物体步进至下一采集位姿重复上述操作。

3.3 条纹中心提取

采用带高斯修正的灰度重心法提取条纹数据的中心位置信息,提取结果如图11所示。

图11 本文算法提取条纹中心位置Fig.11 The algorithm in this paper extracts the center of fringe

3.4 结果分析

利用本文方法测量上述两种复杂反射率物体,生成点云如图12所示。

通过条纹质量评估和三维重建精度指标来评价本文获取的点云精度。文献[16]整合了峰值亮度和光条宽度两项评价光条成像质量的关键指标,提出了加权能量集中度的参数体系,能量集中度β越大,代表光条能量集中程度越好,光条成像质量越好。利用该评价体系对自动单次曝光的条纹成像质量与本文算法的条纹成像进行质量评估,结果如表1所示。

表1 条纹质量评价Tab.1 Fringe quality evaluation

其中,实际灰度值是在自适应曝光下,对有效采集区域内条纹灰度求平均值的结果；自动曝光准确率表示有效区域内采集到的条纹实际灰度与预期灰度值的接近程度,其计算公式为:

(8)

其中,Pr为曝光准确率；I为自动曝光模型获取的条纹灰度值；I0为条纹灰度期望值。计算结果显示,Pr均在90 %以上；多曝光融合后的条纹图像相对于单次自动曝光采集的条纹图像加权能量集中度均有较大的提高。该结果表明:本文使用的自动曝光模型能够达到预期成像效果,多曝光拼接的条纹质量远高于单次自动曝光下的条纹图像质量。为了评判本文获取点云的精度,将精度为2 μm的三坐标测量仪获取的放大器点云作为标准点云,通过Cloud Compare工具,分别对本文方法获取的点云和全局最优单次自动曝光下取的点云精度评价。尺寸匹配和模型对齐后,通过标准点云与测量的点云之间,点到点的距离均值(Md)、距离方差(Sd)以及均方根误差(RMSE)来评价点云精度。从表2的结果可知,本文方法相比传统的单次曝光测量法适当的牺牲测量速度而显著提高了检测精度。

表2 点云精度评价Tab.2 Accuracy evaluation of point cloud

4 结 论

本文提出的复杂反射物体三维测量方法。其自适应多曝光模型稳定,曝光准确率均大于90 %；多曝光融合获取的条纹图像能量集中度相比于单次曝光模式下均有显著提高；获取的三维点云与2 μm三坐标测量获取的点云比较,点到点的距离均值低于0.4 mm,均方根误差低于0.3 mm。从实验数据可知,两项指标均优于单次曝光模式下获取的点云,表明本文提出方法与传统方法相比,可有效获取表面反射复杂物体的三维点云数据,为后续几何测量与缺陷检测提供数据支持,并对其他类似的工程应用有参考意义。