浅析视觉识别系统在总装装配中的应用

冯联会 武彬强 丛立国 李余

（中国第一汽车集团有限公司，长春130012）

1 前言

汽车制造领域在制造业中属劳动密集型产业，随着人工成本的不断增加、机器人成本不断下降，工业机器人开始普及应用对汽车制造自动化起到了重要的推动作用，目前冲压、焊装、涂装3大工艺都有了长足的发展，自动化率都达到70%以上。

唯有总装自动化水平相对较低，行业水平在10%左右。究其原因主要有总装结构复杂、装配零件种类多、差异性大、装配工艺多样等，如拧紧、卡接、涂胶、打刻、粘粘等，共计有80多种作业类型。由于生产线多为高产能流水生产线，在此条件下很难大面积普及自动化装配，需针对不同作业类型开发相对应自动化装备。

不同于汽车其它制造领域，总装工艺最大的难题是整车累计误差大，这里所说的累计误差是基于装配和设计基准而言，这种前提下很难像冲压、焊装、涂装那样直接采用机器人进行装配，即便采用也无法满足装配要求。总装最早采用的自动装配作业是玻璃涂胶，也是基于玻璃完全静止状态下的自动作业，其七轴方案也是基于轨迹固定下的相对静止装配。要真正实现全自动装配，就要解决装配累计误差问题，而视觉识别技术的出现能完美解决这一问题，通过视觉系统的识别和信息传递，可实时计算与装配基准或特征点的偏差并进行修正，实现精准装配。目前“视觉识别系统+机器人”模式已成为实现总装自动化的核心，随着算法的不断突破这种模式也越来越得到广泛应用。

2 工业视觉系统发展和构成

2.1 工业视觉系统的发展

视觉系统自20世纪70年代起步，到90年代中期获得长足的发展，它综合了光学、机械、电子、计算机软硬件等方面技术，涉及计算机、图像处理、模式识别、人工智能、信号处理、光机电一体化等多个领域。图像处理和模式识别等技术的快速发展也大大地推动了机器视觉的发展。

工业视觉系统其实质就是利用机器代替人眼来做各种测量和判断。在汽车行业随着企业自动化程度的不断提高和对质量更加严格的控制要求，也随着国内工业生产正从依赖廉价劳动力转向更高程度的自动化生产，迫切需要机器视觉来代替人工检测。另外，国内早期的工业设备自动化程度普遍较低，大量的更新换代都加快了对包括机器视觉在内的自动化设备的迫切需求。

视觉系统主要优点如下。

a.非接触测量；

b.具有较宽的光谱响应范围；

c.长时间稳定工作；

d.应用领域广泛。

2.2 工业视觉系统的主要构成

工业视觉系统一般包括照明系统、工业相机、摄像系统和图像处理系统等。对于每个应用工况，都需考虑系统运行速度、图像处理速度、使用彩色或黑白工业摄像机、检测目标尺寸、分辨率和对比度等。需要识别的维度较多，从功能上来看，典型的工业视觉系统可以分为图像采集部分、图像处理部分和运动控制部分，如图1所示。

图1 视觉系统主要构成

工业视觉硬件主要包括图像获取和视觉处理2部分，而图像获取由照明系统、视觉传感器、模拟-数字转换器和帧存储器等组成。机器视觉通过视觉传感器获取环境的二维图像，并通过视觉处理器进行分析和解释，进而转换为符号，让机器能够辨识物体并确定其位置。

视觉系统简单来说可以用3个既独立又相互联系的模块来概括，即目标物图像采集、图像处理和指令发出。而视觉系统的设计又可分为软件设计和硬件设计2大部分。

2.3 2D工业视觉系统简介

上述机器视觉通常是指2D视觉系统，即通过摄像头拍到1个平面的照片，然后通过图像分析或比对来识别物体，物体平面特征可用于缺失/存在检测、离散对象分析、以及基于边缘检测的各种二维几何分析等。

由于2D视觉无法获得物体的空间坐标信息，所以不支持与形状相关的测量，如物体平面度、表面角度、体积或者区分相同颜色的物体之类的特征等，而且2D视觉测量物体特别依赖于光照和颜色/灰度变化，精度易受照明条件等变量的影响。但随着测量精度要求越来越高，被测物体条件越来越复杂，2D视觉虽为主流，但同时2D系统的缺陷也愈发突出，为解决这些问题，3D视觉系统就应运而生，在提高检测精度的同时能较好解决2D中不易解决的复杂问题。

2.4 3D工业视觉系统发展及特点

3D工业视觉的出现，可在许多2D应用有缺陷场景中大显身手，如从黑白到彩色、低分辨率到高分辨率、静态图像到动态影像，同时行业也认同3D视觉将是人工智能开启的提供者，相比2D，其具有以下优点。

a.能在线检测快速移动的目标物，获取形状和对比度；

b.消除手动检查带来的错误；

c.实现部件和装配100%在线质量控制；

d.最大限度地缩短检测周期；

e.最大限度地提高质量和产量；

f.易于检查低对比度物体；

g.对较小的照明变化或环境光不敏感；

h.对于大物检测的多传感器设置更简便。

3 3D工业视觉分类及特点

想真正了解3D视觉首先需要了解3D视觉的测量原理，目前市场上主流的有4种3D视觉技术，双目视觉、TOF（飞行时间法成像技术）、结构光和激光三角测量。

3.1 双目视觉系统

双目技术是目前较为广泛的3D视觉系统，它的原理就像人的2只眼睛，用2个视点观察同一景物以获取在不同视角下的感知图像，然后通过三角测量原理计算图像的视差来获取景物的三维信息，如图2所示。

图2 双目视觉基本工作原理

由于双目技术原理简单，不需要使用特殊的发射器和接收器，只需要在自然光照下就能获得三维信息，所以双目技术具有系统结构简单、实现灵活和成本低的优点，适合于制造现场的在线产品检测和质量控制。不过双目技术的劣势是算法复杂，计算量大而且光照较暗或者过度曝光的情况下效果差。

3.2 TOF视觉系统

飞行时间法成像技术（Time Of Flight，TOF）的原理是通过向目标物连续发送光脉冲，传感器接收从物体返回的光，通过探测光脉冲的飞行时间来得到目标物距离。TOF的核心部件是光源和感光接收模块，由于TOF是根据公式直接输出深度信息，不需要用类似双目视觉的算法来计算，具有响应快、软件简单、识别距离远的特点，而且由于不需要进行灰度图像的获取与分析，因此不受外界光源物体表面性质影响，不过TOF技术的缺点是分辨率低、不能精密成像、而且成本高。

3.3 结构光视觉系统

3D结构光技术是通过1个光源投射出1束结构光，这种结构光不是普通的光而是具备一定结构（如黑白相间）的光线，打到想要测量的物体表面，因为物体有不同的形状，会对这样的一些条纹或斑点发生不同的变形，有这样的变形之后通过算法可以计算出距离、形状、尺寸等信息，从而获得物体的三维图像，如图3所示。

图3 结构光视觉基本原理

由于3D结构光技术既不需要用很精准的时间延时来测量，又可解决双目中匹配算法的复杂度和鲁棒性问题，具有计算简单、测量精度较高的优势，而且对于弱光环境、无明显纹理和形状变化的表面同样都可进行精密测量，所以越来越多的3D视觉高端应用采用结构光技术。

3.4 激光三角测量法

此种方法与结构光类似，它基于光学三角原理，根据光源、物体和检测器三者之间的几何成像关系来确定空间物体各点的三维坐标，具体原理见图4。

图4 激光三角测量法基本工作原理

通常用激光作为光源，用CCD（电荷耦合器件）相机作为检测器，具有结构光3D视觉的优点，精准、快速、成本低，不过由于根据三角原理计算被测物体越远，在CCD上的位置差别就越小，所以三角测量法在近距离下的精度很高，但是随着距离越来越远，其测量的精度会越来越差。

4种主流的3D视觉测量原理都有各自的优缺点，但在汽车总装选用哪种最适合，又是如何解决可靠性和准确性的，都需要进行测试后再判定，下面结合总装装配应用场景进行分析说明。

4 视觉系统的实际应用

工业视觉难点在于精度和速度，要求基本都在毫米级或更高级，且总装领域工业机器抓手的变动是在三维空间内。根据功能不同，工业视觉可分为视觉检验和视觉引导2种。

工业视觉系统的特点是提高生产的柔性和自动化程度。在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合，常用工业视觉来替代人工视觉。

4.1 视觉系统在总装装配应用实例

4.1.1 视觉在风挡涂胶装配中的应用

在总装的前后风挡玻璃、侧风窗玻璃、部分全景天幕玻璃需要涂胶，而且在前后挡底涂工位也需要涂底胶。目前玻璃全自动涂胶已经成为行业主流，在采用全自动涂胶作业时，就需要使用视觉系统进行精定位。图5是装配前后风挡玻璃时车身的精定位方式。

图5 车身的精定位方式

在整车自动涂胶过程中视觉系统一般采用5个视觉装置进行定位，其中四角采用4个2D相机进行粗定位，检测机器人采用3D视觉进行精定位[1]。另外还有视觉3D检测系统对在线胶型进行实时检测和视觉跟踪控制。

a.车身的粗定位，用于检测整个车身相对于地面的位置，并将实际位置与理论位置的偏差值补偿给视觉机器人，用于后续风挡框定位。

b.车身风挡框的精定位，使用激光扫描识别风窗框处4～6个特征点，并将结果传递给装配机器人，从而使风挡玻璃准确地安装到车身窗框上，装配精度可达±0.2 mm。

这里需要特殊说明的是为保证自动装配精度，前后风挡玻璃需建立各自的测量基准零位，即1个车型需建立2个测量零位，当然共线车型增多，测量零位也随之增加。

4.1.2 视觉在风挡底胶装配中的应用

当前风挡底涂也逐步采用自动底涂，在底涂中一般采用3D视觉系统进行底涂引导。具体方案见图6和图7。

图6 带视觉的自动底涂

图7 采用视觉的角窗底涂

另外对于底涂质量状态，也可以采用底涂自动检测视觉系统进行检测，见图8。

图8 底涂结果自动检测

对于角窗装配涂胶过程采用自动涂胶方案，其常规视觉系统原理与前后风挡基本相同，这些不再赘述，后面会介绍1种全新算法角窗视觉系统。

4.1.3 轮胎自动装配中的应用

在轮胎自动装配过程中分为2种情况，1种是随动装配，1种是静止装配，2种形式基本都是工业机器人+3D视觉系统完成，其3D系统安装在机器人的抓手上，通过拍照识别车身轮毂螺栓或轮毂螺纹孔位，通过后台算法自动调整轮胎的孔位与车身安装孔位对正，方案如图9所示。

图9 轮胎装配的视觉检测系统

在轮胎装配视觉中最重要是识别特征点，识别特征点方法如图10所示。

图10 带双目3D的特征点识别

以五孔轮胎为例，其特征点只选取2个孔，通过相邻2孔视觉识别就可精确计算安装孔的位置，完全能保证自动装配精度。

轮胎装配采用视觉特点如下。

7.2.5 成功解除嵌塞 定义为直肠穹窿空虚或者只有少量粪便。在腹部检查发现存在粪便嵌塞的病人中，则定义为左下腹肿块的清除及直肠穹窿空虚［14］。

a.双目视觉；

b.特征点选取轮毂上螺柱或安装螺纹孔；

c.随行和静止装配视觉识别算法相同。

在轮胎自动线，还有1个视觉识别即上料识别，用于轮胎自动上料前的防错识别，在轮胎输送线对接口增加2D视觉，通过对轮毂拍照识别车型，与MES系统车序信息进行对比，进行防错确认。如果所送轮胎与MES系统车型信息不符，系统将报警提醒，保证轮胎上料准确。

4.2 装配检测

装配检测是指对装配后的质量状态进行检查，即外观检测，其视觉也较为简单，自动检测模式下一般在协作或工业机器人上带2D视觉系统，采用与标准状态比对的方法进行自动判别，同时将识别状态进行拍照留存，达成可追溯[2]。

4.3 其他先进3D视觉技术

随着智能化的不断发展，在现有2D或3D+机器人向AI+3D视觉+工业机器人方向发展，其发展方向包含有智能路径规划技术，帮助避免碰撞、奇异点等[3]。

图11 用于物料分拣和上料的机器人

图11机器人采用的原理为：计算机会通过传感器（或人工输入）来收集关于某个场景的信息，将此信息与已存储的信息进行比较，以确定它的含义。计算机会根据收集来的信息计算各种可能的动作，然后预测哪种动作的效果最好。采用AI算法的零件识别如图12所示。

图12 AI算法下零件识别

4.4 AI算法下的自动涂胶

前面针对角窗涂胶过程要求三角窗固定在分装台上，如果在多车型混流上线时，其夹具结构更趋复杂，通过AI+3D视觉技术可对角窗任意定位，通过算法计算出涂胶轨迹，精确引导机器人进行涂胶作业，目前此项技术已趋于成熟，已开始成功应用。

另外通过AI的算法可实现零件正确上料，如图13所示，在空中采用视觉系统，不用集成在机器人上也可指导零件正确装配。如在轮胎全自动拧紧生产线中，增加防盗螺栓工艺就可应用此技术完成自动装配。

图13 AI算法下零件识别

5 结束语

当前机器视觉仅应用于总装重点工位，实现制造过程实时控制且起到良好的效果。可以预见，在未来的总装装配中，机器视觉会得到更加广泛的应用，不仅用于设备装配、还能广泛用于零件上料防错、装配防错等，通过AI软件算法，还能应用于总装随行装配中，实现总装随行装配。

同时视觉系统也是容易被大众接受和运用的系统，在企业对外宣传和企业识别上能产生最有效、最直接的作用。随着视觉技术的发展，未来视觉系统将会越来越被人们所认可并将进一步取代人类的操作，进一步提升工作效率和装配质量，引领汽车总装领域的大变革。