光刀自适应灰度加权亚像素中心精确提取

胡改玲, 周翔, 杨涛, 王军平, 张春伟, 王刚锋, 李玉勤, 郭家玉

(1.西安交通大学机械工程学院, 710049, 西安; 2.长安大学道路施工技术与装备教育部重点实验室, 710064, 西安)

线结构光三维测量技术以其非接触性、低成本、灵活性好、精度高等优点,广泛应用于汽车车身设计、牙模制造、服装设计、变形测量等领域[1-3]。在测量过程中,通过解调由高度调制后的光刀图像反求被测物体的轮廓信息,从而实现被测物体表面的三维重建。然而,目前投射的激光光刀的最小宽度只能达到0.1 mm,加上各种噪声的干扰,光刀宽度远大于一个像素,且灰度分布不均匀,不能反映真实的测量信息,因此为了提高测量精度,准确提取投射的光刀中心显得非常重要[4-9]。

常用的光刀中心提取算法有极值法[10]、曲线拟合法[11-13]、灰度重心法[14]等,这些算法沿图像行或列方向提取光刀中心,只适用于曲率变化较小、方向趋于竖直或水平的光刀,没有考虑到光刀的投射方向与真实走向,求取的光刀中心线不光滑,误差较大。特别是针对条纹曲率变化较大的复杂条纹的中心提取误差较大。在此基础上,越来越多的国内外学者考虑到光刀曲率变化,对这些算法进行了改进。1998年,德国的Steger博士团队利用Hessian矩阵计算光刀图像各像素点的法线方向,然后将法向截面上的像素点灰度值按Taylor级数展开,从而获得光刀亚像素中心线,提取精度高[15-16]。但是,计算法线方向过程中需要进行大模板的高斯卷积,效率较低。Lukas等提出确定条纹中心的大致位置后取其位置相邻的像素进行高斯拟合来求取激光条纹中心[17],但该方法仅适用于粗细均匀、直线度较好的激光光刀。贾倩倩等用光刀灰度梯度方向代替像素点法线方向,然后在梯度方向上结合灰度重心法提取光刀亚像素中心,提高了光刀中心提取速度[18]。李凤娇等对Steger算法进行改进,根据光刀骨架点处的横向光刀宽度确定高斯卷积的最优尺度因子,用Taylor级数展开获取光刀亚像素中心[19]。吴庆华用灰度阈值重心法得到初始中心点,以光刀局部方向场作为法线方向计算的依据,并沿光刀法线方向提取光刀亚像素中心[20]。Yin等提出一种基于自适应卷积技术的方法修正光刀条纹的灰度畸变[21],但该方法需要对整幅图像进行卷积运算,仅限于单根条纹的中心提取。

理想光刀截面光强分布呈高斯分布[22],如图1a所示。在实际测量过程中,由于物体表面曲率及反射率的影响,采集的光刀条纹中心处会存在饱和光带,沿光刀法线方向灰度分布不均匀、不对称,如图1b所示,这些都会影响光刀中心线的提取精度。为了解决此问题,本文提出了一种基于骨架跟踪的光刀条纹自适应灰度加权中心提取算法。首先,沿骨架线方向以目标像素点为中心设置一个有用像素区域,然后沿骨架计算光刀法线方向,根据法线方向上饱和光带的宽度与像素灰度分布设置加权灰度阈值,最后根据灰度加权重心法快速准确地提取到光刀的亚像素中心线。通过骨架跟踪计算与自适应灰度加权阈值与权值的设置,提高了光刀中心线提取的精度与运算速度。

(a)理想灰度 (b)实际灰度图1 光刀横向截面灰度分布

1 自适应灰度加权中心提取算法原理

为了提高光刀条纹中心的提取精度,需要先计算光刀骨架并对其进行剪枝处理,得到一组光滑、单向连通的光刀骨架。骨架点用来表征线结构光光刀条纹的几何特征。本文的骨架点由采集的光刀图像根据数学形态学方法计算得到[23],求取骨架点的目的是为了后续计算亚像素光刀中心时作为算法的搜索路径,提高光刀法线计算速度。图2给出了一组多光刀条纹投射汽车模型的骨架计算结果。

(a)采样原图 (b)提取的骨架 (c)骨架在原图的位置图2 汽车模型多光刀骨架提取

以骨架像素点为初始条纹中心点,根据投影多光刀的条纹间距及单个光刀条纹的最大宽度确定搜索计算范围,跟踪光刀骨架并计算光刀法线向量。

1.1 法线向量计算

假设I(i,j)为光刀图像像素点(i,j)处的灰度值,则光刀骨架法线向量计算过程如下。

(1)利用sobel算子[24]计算图像梯度

(1)

式中:Gx和Gy分别表示光刀图像像素点(i,j)在行坐标和列坐标方向的梯度。

(2)计算光刀骨架法线向量。在提取光刀中心线时,以骨架线为初始中心线,因此只需要计算骨架线上像素点的法线向量。首先以骨架像素点(i,j)为中心,计算该点w×w矩形区域的方向场,计算式如下

(2)

(3)

式中:w为偶数;光刀骨架像素点(i,j)处的方向角[25]可表示为

(4)

点(i,j)处的法线向量为

(5)

1.2 计算光刀图像的亚像素中心

在提取中心线的过程中,为了保证光刀中心提取的准确性,考虑到光刀曲率变化的方向性对中心的影响,不仅需要考虑骨架处某一截面内的像素点,还需要考虑该点相邻骨架点法向截面的像素点。因此,沿骨架线法向设置一个Lh×W的窗口,以骨架线为搜索路径,将骨架点(i0,j0)处的法向截面记为S,用一个窗口沿骨架线移动,如图3所示。

图3 骨架线上窗口设置示意图

图3中W为奇数,表示骨架上像素点的法向截面数量,Lh为光条在第h个法向截面S内的像素宽度。由于光刀两端首尾处方向的单向性,在求取光刀两端处的中心时,所需截面数量为求取中间光刀中心时的一半。

由前面的分析可知,采集的光刀理想情况下在法向截面S内近似为高斯曲线分布,实际采集光刀中心处存在像素点灰度I(i,j)=255的饱和光带,如图4所示,将其饱和光带宽度记为N。除了饱和光带之外,饱和光带周围还存在一部分对光刀中心影响较大的像素点,在中心饱和区域N的基础上,对称增加N/2个像素点,该2N个数据点靠近高斯分布的中心,其灰度值对光刀中心提取的影响最大。以此2N个数据点的最小灰度来对光刀图像进行灰度阈值分割,其中计算灰度阈值为

T2=min[I(i0+N,j0+N),I(i0-N,j0-N)]

(6)

图4 实际光刀骨架法向截面灰度分割

由于靠近骨架处的像素灰度值比光刀横截面两端处的像素灰度值对真实光刀中心影响大,对靠近骨架处灰度值大于T2的像素点进行灰度加权平方,以此来增加阈值范围内像素点对中心提取的影响权重。设定k为像素灰度值对光刀中心提取的影响因子,灰度加权重心的权值为

(7)

式中:T1为计算光刀骨架过程中图像二值化所设置的灰度阈值。根据上述自适应阈值分割及定义,采用自适应灰度加权重心法求光刀中心各参数为

(8)

(9)

(10)

则目标窗口内光刀中心亚像素坐标为

(11)

以上为求取的光刀中心一个亚像素坐标,根据上述介绍的算法原理,沿骨架线方向遍历所有的骨架像素点,可求出整个变形光刀的亚像素中心。

2 仿真及分析

为了对本文光刀自适应灰度加权亚像素中心提取算法进行精度和效率评价,在MATLAB平台上利用双曲线部分分枝组合法,拟合了一条类似S型的变形光刀图像,图像大小为350×300像素,拟合公式为

(12)

在拟合图像的法向截面内,像素点灰度值满足高斯分布。同时,为了使拟合图像更接近实际采集图像,拟合图像的法向截面像素点包含5个像素的饱和光带,如图5所示。

(a)拟合光刀图形 (b)拟合光刀法向截面像素点分布图5 拟合的S型光刀图像

分别用Steger法、抛物线拟合法、 基于骨架的灰度重心法及本文提出的局部自适应加权重心法提取光刀中心,并对提取结果局部放大,如图6所示。从图中可以看出,本文算法提取到的光刀中心线位于光刀中心,提取结果为亚像素坐标,效果更平滑。前面介绍了拟合光刀是由已知的双曲线方程计算得到的,所以拟合的S型光刀中心线为已知,将提取到的光刀中心像素点到实际光刀中心线的距离偏差作为评价提取精度的依据,对比本文算法与Steger法、抛物线拟合法、基于骨架的灰度重心法的最大偏差距离、平均偏差距离、标准偏差与提取时间,如表1所示。

(a)Steger法 (b)抛物线拟合法

(c)基于骨架的灰度重心法 (d)本文算法图6 拟合光刀中心提取结果对比

算法Steger法抛物线拟合法基于骨架的灰度重心法本文算法最大偏差距离/像素2.90602.54562.41531.7440平均偏差距离/像素0.70010.36090.41260.2015标准偏差/像素0.33030.11800.06370.0229时间/s1.71580.33860.07540.0876

由表1可以看出,本文算法的提取时间比Steger法和抛物线拟合法短,最大偏差距离、平均偏差距离与标准偏差最小,本文提出的光刀自适应灰度加权亚像素中心提取算法得到的光刀中心精度高,且鲁棒性更好,实现了拟合光刀的亚像素中心提取。

3 实验结果及分析

3.1 实验系统

实验投影系统采用型号为SONY MP-CL1的激光微振镜,分辨率为1 920×720;摄像机系统采用维视图像生产的工业CCD相机,型号为MV-EM1200M,分辨率为1 280×960像素,像素尺寸为3.75 μm×3.75 μm,镜头采用焦距为8 mm的定焦镜头。

3.2 自适应灰度加权对比实验

为了对本文算法在灰度加权过程中根据条纹特点进行灰度自适应阈值计算的效果进行说明,本文对图7所示的人脸石膏像进行了测量。首先对图像进行二值化,再由数学形态学方法计算得到光刀骨架,然后遍历骨架像素点,并计算各点的法线向量,分别用固定灰度加权算法和本文自适应灰度加权算法进行中心提取,结果如图8所示。

图7 多光刀投射人脸石膏像

本文选取第3条光刀进行中心提取结果的对比,为了对比本文自适应灰度加权算法的有效性,将固定灰度加权算法中灰度分区阈值和权值分别设置为

(13)

图8b为固定灰度加权算法过程中的灰度量化分级区域设置,中间区域为光刀灰度值大于200的区域,此区域为灰度平方加权;两侧区域为光刀灰度值小于200的区域,灰度加权为1。利用本文算法和固定灰度加权算法分别对人脸石膏像中鼻小柱和嘴唇部分的提取结果进行了对比,结果如图8a、8c所示。

(a)本文算法 (b) 灰度量化 (c) 灰度固定分级区域 加权图8 人脸模型光刀中心提取结果对比

图8a、8c分别显示了两种算法下第3条光刀条纹的原始图像和中心提取结果的位置关系,图中椭圆区域为条纹上侧鼻小柱部分的放大图像,矩形区域为条纹下侧嘴唇部分的放大图像。通过对比发现,在鼻小柱处,由于采集图像灰度信息较少,由固定灰度加权算法求取的光刀中心易受环境的影响,计算的光刀中心偏离了实际中心位置。由嘴唇处光刀放大后的图像可以看出,采用本文算法提取的结果光顺和光刀实际投射图像的走向一致性较好,用固定灰度加权算法计算的光刀中心和光刀实际方向出现了不一致的情况,计算的光刀在箭头所指方向处出现了迂回、光顺性不好的情况。由图8可以看出,本文自适应算法和光刀投射方向完全一致,在采集图像信息量较少的情况下,仍然可以准确求解出亚像素中心坐标,抗干扰性较强。

3.3 标准量块表面光刀中心提取对比实验

为了验证本文所提算法的精度和效率,用激光光刀投射精密加工的金属标准量块表面,进行光刀中心提取实验。图9分别是用Steger法、抛物线拟合法、基于骨架的灰度重心法以及本文算法进行光刀中心提取的结果。

真实的金属标准量块表面光刀中心应该为一条直线,根据上述4种方法的提取结果拟合光刀中心直线方程,并对比不同算法提取的中心点到拟合直线的最大偏差、平均偏差距离和标准偏差及中心提取的时间,如表2所示。通过对比发现,本文算法在提取光刀图像的中心时,光顺性较好,提取速度比Steger法及抛物线拟合法快,比基于骨架的灰度重心法提取的光刀中心精度高,像素点到拟合曲线的平均距离小于0.11像素,标准偏差小于0.15像素,提取结果稳定,鲁棒性好,能得到一条光顺性较好的亚像素光刀中心。由表2可以看出,本文方法精度较高,计算时间满足在线测量要求。

表2 标准量块表面光刀提取精度及提取时间

3.4 典型汽车模型测量对比实验

为了进一步验证用本文算法提取光刀中心的有效性,选择如图10所示的汽车模型进行了实验。分别用Steger法、抛物线拟合法、基于骨架的灰度重心法以及本文算法对多光刀投影汽车模型的变形条纹进行中心提取,并选取其中一条光刀的较竖直的区域进行剪切放大,对4种算法的提取结果进行了图像对比,如图11所示。

图10 多光刀投射汽车模型

(a) steger (b) 抛物线 (c) 基于骨架的 (d) 本文法 拟合法 灰度重心法 算法图11 汽车模型纵向光刀中心提取结果对比

从图11可以看出,本文算法提取到的光刀中心与Steger法相比提取精度有了明显提高,与基于骨架的灰度重心法的提取结果区别不明显,这主要是因为图片大小影响了分辨率。本文算法提取时间为69 ms,比Steger法和抛物线拟合法所用时间少,满足在线测量的要求。图12是本文算法提取的多光刀中心在不同放大倍率下光刀中心与原图的关系。

(a)提取结果 (b)2倍 (c)4倍 (d)16倍图12 不同放大倍率下的光刀中心提取结果

本文算法可以实现单幅图中多光刀中心的提取,与传统投射单条激光的线结构光三维测量技术相比,多光刀法投射三维测量增加了单幅图像的信息量,在中心提取、立体匹配、三维重建的过程中,减少了采集图像和处理图像的数量,缩短了计算时间,大幅提高了测量效率,满足在线测量要求。图13是用本文算法提取的汽车模型纵向和横向光刀中心进行立体匹配与三维重建后的三维点云图。

(a)纵向点云图 (b)横向点云图图13 汽车模型三维测量结果

4 结 论

在线结构光测量物体三维形貌条纹中心提取过程中,由于投射条纹的光条宽度远大于一个像素,且存在饱和光带,本文提出了一种基于骨架跟踪的光刀自适应灰度加权亚像素中心提取法。首先沿骨架方向设置一个单光刀有用像素区域,根据骨架法线方向在该区域中的像素分布确定加权的灰度阈值,从而准确地提取光刀亚像素中心,最后分别用Steger法、抛物线拟合法、灰度加权重心法以及本文算法提取了拟合的S型光刀图像和多组真实光刀图像的中心。由仿真实验得出如下结论:本文提取到的光刀中心线光顺性更好,受环境的影响较小,抗干扰能力更强,中心点与拟合曲线之间的平均距离小于0.3像素,标准差小于0.03像素。标准量块实验表明,本文方法提取的最大偏差距离、平均偏差距离和标准偏差较其他方法最小,分别为0.390 3、0.103 7、0.141 3像素,证明了本文算法能得到一组光顺性更好的亚像素光刀中心线,有更高的精度与鲁棒性,计算时间为69 ms,满足在线精确测量。

参考文献:

[1] 董玲, 杨洗陈, 雷剑波. 基于机器视觉的激光再造机器人离线自动编程研究 [J]. 中国激光, 2013, 40(10): 109-116.

DONG Ling, YANG Xichen, LEI Jianbo. Off-line automatic programming research of laser remanufacturing robot based on machine vision [J]. Chinese Journal of Lasers, 2013, 40(10): 109-116.

[2] CSABA G, SOMLYAI L, VMOSSY Z. Mobile robot navigation in unknown environment using structured light [C]∥IEEE International Symposium on Logistics and Industrial Informatics. Piscataway, NJ, USA: IEEE, 2011: 249-254.

[3] 吴峰. 面向工业现场检测的结构光三维轮廓测量技术研究 [D]. 北京: 清华大学, 2015.

[4] MANUEL S, MOISES P, GUILLERMO G. 360-degrees profilometry using strip-light projection coupled to Fourier phase-demodulation [J]. Optical Engineering, 2016, 24(1): 168-179.

[5] ZHOU Y, LIU K, GAO J, et al. High-speed structured light scanning system and 3D gestural point cloud recognition [C]∥47th Annual Conference on Information Sciences and Systems. Piscataway, NJ, USA: IEEE, 2013: 1-6.

[6] 刘振, 李声, 冯常. 基于互相关算法的激光条纹中心提取 [J]. 中国激光, 2013, 40(5): 197-202.

LIU Zhen, LI Sheng, FENG Chang. Laser stripe center extraction based on cross-correlation algorithm [J]. Chinese Journal of Lasers, 2013, 40(5): 1-6.

[7] 李和平, 李德华, 朱洲, 等. 基于遗传算法的结构光条纹中心检测方法 [J]. 光学精密工程, 2004, 12(1): 82-87.

LI Heping, LI Dehua, ZHU Zhou, et al. Detection of structured light strip center line based on genetic algorithm [J]. Optics and Precision Engineering, 2004, 12(1): 82-87.

[8] 熊会元, 宗志坚, 陈承鹤. 线结构光条纹中心的全分辨率精确提取 [J]. 光学精密工程, 2009, 17(5): 1057-1062.

XIONG Huiyuan, ZONG Zhijian, CHEN Chenghe. Accurately extraction full resolution centers of structured light stripe [J]. Optics and Precision Engineering, 2009, 17(5): 1057-1062.

[9] 蔡怀宇, 冯召东, 黄战华. 基于主成分分析的结构光条纹中心提取方法 [J]. 中国激光, 2015, 42(3): 270-275.

CAI Huaiyu, FENG Zhaodong, HUANG Zhanhua. Centerline extraction of structured light stripe based on principal component analysis [J]. Chinese Journal of Lasers, 2015, 42(3): 270-275.

[10] 李莹莹, 张志毅, 袁林. 线结构光光条中心提取综述 [J]. 激光与光电子学进展, 2013, 50(10): 9-18.

LI Yingying, ZHANG Zhiyi, YUAN Lin. Survey on linear structured light stripe center extraction [J]. Laser & Optoelectronics Progress, 2013, 50(10): 9-18.

[11] 高世一, 杨凯珍. 变边限高斯拟合提取激光条纹中心线方法的研究 [J]. 仪器仪表学报, 2011, 32(5): 1132-1137.

GAO Shiyi, YANG Kaizhen. Research on central position extraction of laser strip based on varied-boundary Gaussian fitting [J]. Chinese Journal of Scientific Instrument, 2011, 32(5): 1132-1137.

[12] 刘涛, 王宗义, 于秀辉, 等. 基于自适应窗曲线拟合的结构光条纹中心提取 [J]. 半导体光电, 2010, 31(1): 151-154.

LIU Tao, WANG Zongyi, YU Xiuhui, et al. Curve fitting method based on adaptive window for center extracting of structured light stripe [J]. Semiconductor Optoelectronics, 2010, 31(1): 151-154.

[13] 孙盼庆, 杨永跃, 何亮亮. 一种改进的高斯拟合法在光带中心提取中的应用 [J]. 电子设计工程, 2012, 20(13): 179-185.

SUN Panqing, YANG Yongyue, HE Liangliang. An improved Gaussian fitting method used in light-trap center acquiring [J]. Electronic Design Engineering, 2012, 20(13): 179-185.

[14] 赵博华, 王伯熊, 张金, 等. 粗糙金属表面光条中心提取方法 [J]. 光学精密工程, 2011, 19(9): 2138-2145.

ZHAO Bohua, WANG Boxiong, ZHANG Jin, et al. Extraction of laser stripe center on rough metal surface [J]. Optics and Precision Engineering, 2011, 19(9): 2138-2145.

[15] Steger C. An unbiased detector of curvilinear structures [J]. IEEE Transactions on pattern analysis and machine intelligence, 1998, 20(2): 113-125.

[16] BAUMGARTNER A, STEGER C, MAYER H, et al. Automatic road extraction based on multi-scale, grouping, and context [J]. Photogrammetric Engineering and Remote Sensing, 1999, 65: 777-786.

[17] LUKAS J, FRIDRICH J, GOLJAN M. Detecting digital image forgeries using sensor pattern noise [J]. SPIE Proceedings, 2006, 6072: 362-372.

[18] 贾倩倩, 王伯雄, 罗秀芝. 光切法形貌测量中光条中心的亚像素提取 [J]. 光学精密工程, 2010, 18(2): 390-396.

JIA Qianqian, WANG Boxiong, LUO Xiuzhi. Extraction of central positions of light stripe in sub-pixel in 3D surface measurement based on light sectioning method [J]. Optics and Precision Engineering, 2010, 18(2): 390-396.

[19] 李凤娇, 李小菁, 刘震. 基于多尺度分析的激光光条中心点坐标提取方法 [J]. 光学学报, 2014, 34(11): 103-108.

LI Fengjiao, LI Xiaojing, LIU Zhen. A multi-scale analysis based method for extracting coordinates of laser light stripe centers [J]. Acta Optica Sinica, 2014, 34(11): 103-108.

[20] 吴庆华. 基于线结构光扫描的三维表面缺陷在线检测的理论与应用研究 [D]. 武汉: 华中科技大学, 2013.

[21] YIN X Q, TAO W, FENG Y Y, et al. Laser stripe extraction method in industrial environments utilizing

self-adaptive convolution technique [J]. Applied Optics, 2017, 56(10): 2653-2660.

[22] 吴剑波, 崔振, 赵宏, 等. 光刀中心自适应阈值提取法 [J]. 半导体光电, 2001, 20(1): 62-64.

WU Jianbo, CUI Zhen, ZHAO Hong, et al. An adaptive threshold method for light-knife center acquisition [J]. Semiconductor Optoelectronics, 2001, 20(1): 62-64.

[23] 龙洋, 胡改玲, 蒙雁琦, 等. 快速的线结构光条纹骨架剪枝算法 [J]. 西安交通大学学报, 2017, 51(2): 60-64.

LONG Yang, HU Gailing, MENG Yanqi, et al. A fast pruning algorithm for the skeleton of linear structured light stripes [J]. Journal of Xi’an Jiaotong University, 2017, 51(2): 60-64.

[24] GONZALEZ R C, WOODS R E. Digital image processing [M]. 2nd ed. Englewood, NJ, USA: Prentice Hall, 2002: 420-43.

[25] BAZEN A M, GEREZ S H. Systematic methods for the computation of the directional fields and singular points of fingerprints [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(7): 905-919.

[本刊相关文献链接]

陈波,张英杰,张佳瑞,等.结构光中心提取中的条纹灰度退化调整.2018,52(2):30-36.[doi:10.7652/xjtuxb201802005]

龙洋,胡改玲,蒙雁琦,等．快速的线结构光条纹骨架剪枝算法.2017,51(2):60-64.[doi:10.7652/xjtuxb201702010]

朱爱斌,何仁杰,吴玥璇,等.考虑变换域融合方法的刀具磨损区域三维重构.2017,51(12):76-83.[doi:10.7652/xjtuxb 201712012]

韩江涛,张英杰,李程辉,等.面向光学三维测量的非均匀条纹生成方法.2017,51(8):12-18.[doi:10.7652/xjtuxb201708 003]

蒙雁琦,胡改玲,温琳鹏,等.区域分割的亚像素相位立体匹配算法.2017,51(10):33-38.[doi:10.7652/xjtuxb201710 006]

颜敏炜,张英杰,代愽超,等.采用激光传感器的同轴度检测技术研究.2017,51(10):27-32.[doi:10.7652/xjtuxb201710 005]

张西宁,张海星,吴婷婷.一种转动容器中磁流体液表面形貌测量方法.2017,51(1):103-108.[doi:10.7652/xjtuxb201701 016]

李海涛,郭俊杰,邓玉芬,等.数控机床几何精度的位姿测量原理.2016,50(11):62-68.[doi:10.7652/xjtuxb201611010]