线激光扫略的白车身装配特征机器人在线检测技术研究

李凌旻，尚 校，李 靖，习俊通

（1.上海交通大学机械系统与振动国家重点实验室，上海 200240；2.一汽模具制造有限公司，吉林长春 130011）

轿车白车身的焊接制造过程由多个分总成多层次构成.焊接过程中，工装定位不稳定、焊接零件变形、冲压零件尺寸偏差、设计公差累积以及焊接操作误差等均可能造成白车身尺寸偏差，导致后续整车装配困难，影响整车配合性能［1］.因此，必须运用白车身在线检测系统，通过对白车身上孔、槽、柱、边等能反映出白车身焊装误差的特征进行实时检测，控制焊装误差在各分总成间的累积并及时反馈校正，来保障白车身焊接制造的尺寸质量.

现有的白车身在线检测系统，按照其测量原理和方式，可以分为接触式和非接触式两大类.接触式系统设备主要包括测量样架、多关节测量机及三坐标测量机.其中测量样架上的零件定位、夹紧及测量装置只能针对固定车身部件，柔性差，往往作为在线检测系统补充设备；多关节测量机需要人工操作移动测头测量车身零件，测量速度较慢；三坐标测量机可编程测量，柔性高，但体积过于庞大，对环境温度及振动控制要求高，速度较慢，因此很少应用于在线检测.非接触式系统运用机器视觉技术，分为检测隧道系统和机器人系统两大类.检测隧道系统将一组传感器按测点位置分布固定在支架上，实现对所有测点的同时检测，检测速度很快；但由于传感器位置固定，因此难以适应多车型柔性生产线的检测，传感器数量多，成本高［2］.机器人系统将传感器固定在机器人末端，构成一个可运动的检测单元.相比之下，机器人式系统柔性高、传感器数量少，应用最为广泛［3－6］.

Perceptron公司提出二维影像结合激光测距的方法，通过对测点拍摄一幅打光图像及一幅线激光图像，综合计算测点位置参数［7］.该方案需要提供额外的环境光照，若光照量或光照角度不合适，拍摄特征将缺失或偏移；若摄像机成像面与测点所在面的夹角过大，图像投影成像变形将变大.例如圆孔特征将变成椭圆，导致无法准确计算，甚至无法识别测点.天津大学提出的检测方案［8］仅需一幅与圆孔相交的光刀图像，通过几何代换近似求解圆孔位置参数.但该方法对摄像机位姿的要求更为严格，且数据量过少，仅限于圆孔及棱边的检测.Perceptron公司Helix自动三维扫描解决方案，通过机器人小范围局部运动带动传感器实现对测点的线激光扫描测量［9］.该方案中由于机器人运动绝对精度较低，且小范围运动轨迹难以精确控制，易在激光扫描过程中引入机器人运动误差，不利于检测系统的精度及稳定性.

针对上述问题，本文研制了一种基于线激光扫略的摆动式线激光单目视觉传感器白车身装配特征机器人在线检测系统.该系统采用激光扫描测量原理，不需要额外光源，受到环境光照的影响很小.测量时，传感器自行摆动扫描待测装配特征，数据量大，测量位姿较自由，并解决了扫描过程中引入机器人运动误差的问题.通过对传感器在线标定、装配特征参数计算等关键技术的深入研究，本文开发了白车身装配特征机器人在线检测系统并投入到实际生产应用，实现了对白车身装配特征快速、精密、稳定的在线检测.

1 系统方案

1.1 系统测量原理

如图1所示，本文提出的白车身在线检测系统基于激光扫描的测量原理.

图1 系统测量原理图Fig.1 Measurement principle of system

摆动式线激光单目视觉传感器由线激光投射器、单目摄像机和精密转台构成，其中单目摄像机由CCD工业相机及镜头组成.检测时，机器人携传感器运动到最佳测量位置，由线激光投射器投射线激光至待测装配特征表面形成光刀，通过精密转台带动传感器整体摆动，实现光刀对装配特征的扫描.扫描过程中，摄像机被触发拍摄一组光刀图像，储存于计算机内存中.运用面向白车身装配特征的光刀点云提取算法处理图像，提取装配特征二维点云数据.结合摆动式线激光单目视觉传感器标定参数，转换为传感器坐标系下的三维点云，拟合计算装配特征对应位置参数；最终结合机器人系统标定参数，转换得到白车身坐标系下装配特征位置参数米制单位的检测结果.

1.2 系统硬件集成与传感器设计

本文提出的白车身在线检测系统由两台携带摆动式线激光单目视觉传感器的6轴机器人和系统控制柜两大部分组成.两台机器人可联动测量、互不干扰，分别位于白车身测量工位的左侧和右前侧.其中，摆动式线激光单目视觉传感器是系统关键硬件，具体设计方案如下：

1.2.1 传感器结构设计

传感器结构数模如图2所示.其中，基线距离d和基线夹角α，是影响传感器测量精度的两个重要结构参数.根据白车身待测特征测量场景及精度要求，确定采用16 mm镜头和靶面1／3英寸的CCD相机后，传感器的工作距离D也随之确定.固定D不变，物体表面的偏移量x所能引起的成像偏移量y越大，传感器越灵敏，测量精度越高.建立y与变量x，d的函数关系如式（1）

式中：焦距f为定值，x与y均有正负方向，且约定：物体表面远离传感器时取x值为正，对应y值也为正.由式（1）可知，增加基线距离d或减小基线夹角α均可以提高传感器测量精度；但也会增大传感器的体积，阻碍传感器抵达理想测量位置，增加传感器重量，加大转台负荷要求.综合考虑这些因素，设计传感器基线距离d＝75 mm，基线夹角α＝48°.

图2 传感器结构数模示意图Fig.2 Sketch of sensor structure model

图3 传感器转台位置示意图Fig.3 Sketch of sensor turntable position

1.2.2 转台位置设计

转台安装位置对传感器的摆动占用空间及转台扭矩都有直接影响.如图3所示，C0为传感器外壳质心和形心为线激光光平面与摄像机光轴所成线面角的角平分线，C为与过C0水平线的交点.摆动空间方面，传感器绕C或C0轴摆动的占用空间均较小；转台扭矩方面，由于传感器测量时并非竖直放置，拉力T远大于重力G的分量，因此转轴中心到拉力T的垂直距离越小，转台所需驱动力矩就越小.此外，传感器绕C轴转动角度时，激光器垂直距离差为

比绕C0轴小.较小的Δh可使线激光光刀图像更清晰，光刀宽度更均匀，有利于传感器测量精度的提高.综合上述，设计转台的转轴位置为C点.此时，传感器具有较小的垂直距离差、较小的转台驱动力矩需求以及较小的摆动占用空间.

2 摆动式线激光单目视觉传感器在线标定

装配特征光刀点云提取算法提取的光刀点坐标在各图像的像素坐标系下，为了将光刀点转换到对应传感器坐标系下，需要对传感器参数进行标定；同时，由于拍摄各图像时传感器位姿均不同，为了将光刀点云转换到同一传感器坐标系下，需要对传感器摆动进行标定.

传感器参数标定就是要确定传感器摄像机内外参数和传感器坐标系下线激光光平面方程参数.本文采用文献［10］所述无位姿约束的标定方法，其标定原理是运用所设计靶标标识点的几何性质，获取足够多的空间三维坐标点与其在摄像机成像平面上对应二维成像点，建立包含传感器参数的方程组并求解.

传感器摆动标定就是要确定传感器摆动过程中各拍摄时刻的传感器位姿转换计算式.本文采用文献［11］所述的标定方法，其标定原理是通过分解传感器绕转轴的摆动，分别计算转轴方向向量、传感器单步转角以及传感器单步平移，再合成求解传感器位姿转换计算式.

3 装配特征点云提取及参数计算

白车身装配特征主要有孔槽类特征——圆孔、螺纹孔和复合槽孔，柱状类特征——圆柱和螺纹柱，以及折边、修边特征.本文将以圆孔和圆柱为例，说明孔槽类特征和柱状类特征各自的点云提取及参数计算方法.

3.1 孔槽类特征

图4 扫描光刀与圆孔相交时的图像Fig.4 Image of the intersection of laser line and hole

3.1.1 点云提取

以圆孔特征为例，传感器摆动扫描过程中，光刀曲线与圆孔相离、相交再相离，如图4所示.相交时，光刀曲线从圆孔边界处断开，形成两个光刀轮廓点A，B，最能体现圆孔的几何特性，是圆孔特征光刀点云提取算法的提取对象.

常规的提取方法是在图像感兴趣区域AOI内按列遍历计算整条光刀曲线的光刀中心点集，计算效率低，耗时久.本文针对圆孔特征光刀曲线仅需提取A，B两个轮廓点的特点，提出从AOI中央开始向两边搜索光刀轮廓点A，B，节省了遍历时间，计算简便高效.具体提取步骤如下：

1）首先对光刀图像做预处理：运用式（3），以T g为阈值，对原始图像H0阈值滤波，得到滤掉背景后的图像H，如图5（a）所示.

2）确定搜索起始列位置：搜索起始列应位于图4左右光刀点A，B之间.从AOI中央列开始，计算该列AOI内像素点的灰度值之和Sum1.若Sum1≠0，则该列有光刀点存在，不能作为搜索起始列，需继续向左或右遍历寻找.若Sum1＝0，则假设该列为所求搜索起始列.为排除噪点影响，以该列为中心，向左右各计算3列.若这些列的像素灰度和Sum2＝0，则上述假设成立，该列被确定为光刀轮廓点的搜索起始列，如图5（b）所示.若遍历AOI内所有列，仍未找到一列满足Sum1＝0且Sum2＝0，则说明光刀曲线与圆孔相离，不存在待提取的光刀点，可直接跳过该图像的后续处理，节省计算处理时间.

3）提取光刀轮廓点：由搜索起始列开始向左右列遍历.当某一列AOI内的像素灰度值之和Sum3≠0时，为排除噪点干扰，继续沿遍历方向计算5列.若这5列均有Sum4≠0，则确定为所求光刀轮廓点.采用灰度质心法，在AOI内提取该列的光刀中心点，即此光刀轮廓点在像素坐标系下的二维坐标，如图5（c）所示.

4）结合传感器标定结果，将各图像中的光刀轮廓点转换到同一传感器坐标系下，整合成为传感器坐标系下的圆孔特征三维光刀点云，如图5（d）所示.

图5 圆孔特征光刀点云提取流程图Fig.5 Extraction of laser point cloud of a hole

3.1.2 参数计算

圆孔特征位置参数为孔心三坐标.与现有方法不同［12］，本文提出降维法，将三维空间点云降至二维平面内拟合圆孔，计算孔心三坐标，再转换到白车身坐标系中.具体方法如下：

1）光刀点云的平面投影

圆孔的光刀点云在空间同一平面内.因此，运用最小二乘法，由光刀点云计算此空间平面Πproj的平面方程

解得Πproj的平面方程后，将光刀点P0（X0，Y0，Z0）向该平面投影，实现光刀点云的降维，投影后的光刀点坐标Pproj（Xp，Yp，Zp）计算如下

图6 局部坐标系下圆孔的参数计算Fig.6 Calculation of hole parameters in local coordination system

2）局部坐标系下圆孔的参数计算

以投影平面Πproj为坐标系的一个平面，运用Gram－Schmidt正交化方法，取光刀点云中任意3个点，以其中一点a为原点，其余两点b，c为向量端点，建立局部坐标系o1－x1y1z1，如图6（a）所示.将Pproj（Xp，Yp，Zp）由式（6）转换到局部坐标系下，得到Z坐标均为零的光刀点云plocal（x1，y1，0）

式中：t1＝（xt，Yt，Zt）为局部坐标系原点o1在传感器坐标系下的坐标.在局部坐标系下，设圆孔孔心坐标为olocal（ao，bo，0），半径为r，则圆的方程为

将光刀点云坐标plocal（x1，y1，0）代入式（7），由最小二乘法，计算得到圆孔在局部坐标系下的孔心三坐标.同时还能计算出圆孔的半径，如图6（b）所示.

3）白车身坐标系下孔心的计算

由式（6）的逆变换，将局部坐标系下的孔心三坐标olocal（ao，bo，0）转换到传感器坐标系下Oc（Xh，Yh，Zh），再根据机器人手眼矩阵，机器人本体矩阵和机器人外部位姿矩阵，将Oc（Xh，Yh，Zh）转换到白车身坐标系下，得到最终测量结果.

3.2 柱状类特征

图7 圆柱特征光刀点云提取Fig.7 Extraction of laser point cloud of a cylinder

3.2.1 点云提取

以圆柱特征为例，传感器摆动扫描并拍摄一组光刀曲线图像，其一如图7（a）所示.参照3.1.1节中的方法，对图像预处理后，直接采用灰度质心法，在AOI内按列提取图像中的光刀曲线中心点集，再整合成为传感器坐标系下的圆柱特征三维光刀点云，如图7（b）所示.

3.2.2 参数计算

圆柱特征位置参数包括轴线方向向量和轴线中点的三坐标.由于线激光扫描获取的圆柱点云具有单侧局部性，采用传统圆柱拟合方法直接求解圆柱方程参数时，最小二乘矩阵条件数过大，计算结果不稳定.因此，本文针对所获圆柱点云的特性，提出割线法来计算圆柱参数，即通过求取平行于轴线的割线，直接获得轴线法向，再将圆柱沿轴线方向正投，由圆拟合计算轴线中点的三坐标，具体方法如下：

1）圆柱轴线方向向量的计算

运用最小二乘法，由圆柱点云拟合一个平面Πcylin，如图8（a）所示.由于圆柱点云是一组沿圆柱轴线方向延伸的等长圆弧，且轴向方向上的长度最大，因此所拟合平面Πcylin是一个与圆柱轴线平行的割平面，图8（b）是割平面Πcylin的俯视图.割平面与圆柱面的两条交线L1，L2与轴线平行.取圆柱点云中到割平面距离小于0.01 mm的点集，分别拟合交线L1，L2，如图8（c）所示.计算两条交线方向向量的均值并单位化，作为圆柱轴线方向向量nc（uc，vc，wc）.

图8 圆柱轴线方向向量计算Fig.8 Calculation of direction vector of cylinder axis

2）圆柱轴线中点的计算

参照3.1.2节中局部坐标系下圆孔的参数计算，以轴线方向向量nc（uc，vc，wc）为z轴建立局部坐标系.在局部坐标系中，将圆柱沿轴线方向正投，由所有圆柱点云拟合计算圆柱的圆截面方程，获取圆心的三坐标，即圆柱轴线中点的三坐标plocal（xp，yp，zp），其中zp取圆柱点云z坐标的均值.同时还能得到圆柱的直径.再参照3.1.2节中白车身坐标系下孔心的计算，将圆柱轴线中点的三坐标plocal（xp，yp，zp）转换到传感器坐标系下pc（xp，yp，zp）.最后，结合机器人手眼矩阵、本体矩阵和外部位姿矩阵，得到白车身坐标系下的圆柱位置参数测量结果.

4 测量实验及工程应用

图9 系统集成与工程应用Fig.9 System integration and engineering application

基于上述研究，开发了一套基于线激光扫略的摆动式线激光单目视觉传感器白车身装配特征机器人在线检测系统，如图9所示.为验证该系统的测量精度、速度和鲁棒性，分别进行了圆孔标准件测量实验、圆柱标准件测量实验和白车身生产现场在线检测应用，并与国际上较先进的同类设备Perceptron在线检测系统比较.

1）将直径10 mm的圆孔标准件固定放置在传感器测量范围内连续多次测量.测量结果在表1中列出.圆孔直径测量的平均误差为0.013 mm，均方根误差为0.002 mm；孔心三坐标的均方根误差依次为0.001 mm，0.002 mm和0.003 mm，优于Peceptron TriCam传感器的测量精度0.05 mm［13］.因此，本文研制的摆动式线激光单目视觉传感器具有较高的测量绝对精度和重复精度.

表1 圆孔标准件测量结果Tab.1 Standard hole measurement result

图10 不同位姿的圆柱测量点云Fig.10 Point cloud of cylinders in different pose

2）将直径12.5 mm的圆柱标准件以不同位姿放置在传感器测量范围内，对不同位姿的圆柱进行测量.不同位姿的圆柱点云如图10所示，测量结果在表2中列出.在不同测量位姿下，圆柱直径测量的平均误差为0.012 mm，均方根误差为0.013 mm.因此，本文研制的摆动式线激光单目视觉传感器在不同位姿下仍能实现白车身装配特征的精确测量，测量结果受传感器位姿变化影响小，测量位姿较自由.

3）将所开发系统应用于某厂地板分总成在线检测工位，如图9（b）所示，该工位不需要布置挡光门帘，在普通环境下即可准确测量，不受现场环境光照变换的影响.运用该系统对白车身上共26个装配特征进行在线计时测量、半动态测量以及动态测量实验.测量时，机器人A，B联动，各独立测量13个特征.

计时测量实验从机器人启动开始到测量完毕机器人复位结束，整个测量过程耗时54 s.

半动态测量实验用定位工装将白车身固定，连续重复测量50次.该实验排除了白车身工装定位误差，最能够直接反应测量系统的重复精度.实验结果如图11所示，其中横轴表示13个待测特征的共33个位置分量，纵轴表示每一个位置分量50次测量的极差.A机器人测量的极差平均值为0.080 mm，最大极差为0.223 mm；B机器人测量的极差平均值为0.085 mm，最大极差为0.170 mm.实验结果达到Peceptron系统的最大极差水平0.25 mm.

图11 半动态测量实验结果Fig.11 Result of semi－dynamic measurement

动态测量实验用同一辆白车身来模拟实际生产过程，每次测量过程均包含白车身工装定位、系统测量和白车身下线.共进行15次测量.实验结果如图12所示.A，B机器人极差小于0.42 mm的比例均为100%，也达到Peceptron系统检测水平.注意到，动态测量数据波动明显大于半动态测量，这是由于白车身工装定位波动使得每次测量的白车身在原始车身坐标系下的位置发生随机偏移.实验结果表明，本文测量系统仍能够准确识别并完成测量，因此该系统受测量相对位姿影响小，具有较高的鲁棒性.

图12 动态测量实验结果Fig.12 Result of dynamic measurement

表2 圆柱标准件测量结果Tab.2 Standard cylinder measurement result

5 结束语

本文研制了一套基于线激光扫略的摆动式线激光单目视觉传感器白车身装配特征机器人在线检测系统.该系统实现了对白车身上圆孔、螺纹孔、复合槽孔、圆柱、螺纹柱、折边点以及修边点等装配特征几何参数的在线测量，为白车身焊接尺寸质量验证提供了可靠的数据支持.经测量实验及工程应用验证，该系统受环境光照及测量相对位姿的影响很小，测量精度达到了国际先进同类设备的水平，实现了对白车身装配特征快速、精密、稳定的在线检测.

［1］ 林忠钦.汽车车身制造质量控制技术［M］.北京：机械工业出版社，2005.

［2］ 刘长杰，邾继贵，叶声华，等.汽车白车身机器视觉检测系统［J］.汽车工程，2000，22（6）：373－376.

Liu Changjie，Zhu Jigui，Ye Shenghua，et al.Car body in white inspection system with machine vision［J］.Automotive Engineering，2000，22（6）：373－376.（in Chinese）

［3］ Kovac I.Flexible inspection systems in the body－in－white manufacturing［C］.Proceedings of Robot Sensing，2004.ROSE 2004.International Workshop on，Graz，Austria，May 24－25，2004：41－48.

［4］ Hossein G.Role of laser sensor systems in automation and flexible manufacturing［J］.Robotics and Computer Integrated Manufacturing，2003，19：201－210.

［5］ 李正平，林忠钦，金隼，等.车身制造过程的检测设备浅析［J］.机床与液压，2002（6）：17－20.

Li Zhengping，Lin Zhongqin，Jin Sun，et al.Measurement machine in the manufacturing process of automobile body［J］.Machine Tool ＆Hydraulics，2002（6）：17－20.（in Chinese）

［6］ 冯维廉.白车身尺寸质量分析预警系统的建立与应用［D］.上海：上海交通大学，2007.

［7］ Perceptron Inc.In－Process Quality Inspection［EB／OL］.［2013－10－08］.http：／／www.perceptron.com／index.php／en／in－process－quality－inspection.html.

［8］ 吴斌，孙长钦，杨兵，等.结构光传感器在柔性视觉测量系统中的应用研究［J］.光电子·激光，2008，19（10）：1309－1311.

Wu Bin，Sun Changqin，Yang Bin，et al.Application technology of line－structured light sensor in flexible vision measurement system［J］.Journal of Optoelectronics·Laser，2008，19（10）：1309－1311.（in Chinese）

［9］ Perceptron Inc.Helix Automated 3D Scanning Solutions［EB／OL］.［2013－10－08］.http：／／www.perceptron.com／index.php／en／3d－scanning－solutions／automated－3d－scanning.html.

［10］ 李凌旻，王振兴，习俊通.无位姿约束的线激光视觉传感器参数标定［J］.光电工程，2013，40（6）：63－70.

Li Lingmin，Wang Zhenxing，Xi Juntong.Free pose calibration of a line laser monocular vision sensor［J］.Opto－E－lectronic Engineering，2013，40（6）：63－70.（in Chinese）

［11］ Li Lingmin，Xi Juntong.Free and global pose calibration of a rotating laser monocular vision sensor for robotic 3D measurement system［C］.Proceedings of SPIE 8769，International Conference on Optics in Precision Engineering and Nanotechnology（icOPEN2013），Singapore，June 22，2013：87690I.

［12］ 杨伟，陈家新，李济顺.基于投影的二阶段空间圆线拟合算法［J］.工程设计学报，2009，16（2）：117－121.

Yang Wei，Chen Jiaxin，Li Jishun.Two－step spatial circle fitting method based on projection［J］.Journal of Engineering Design，2009，16（2）：117－121.（in Chinese）

［13］ Webster J G.The Measurement，Instrumentation，and Sensors：Handbook［M］.Heidelberg，Germany：CRC Press LLC，1999.