智能视觉作业系统在4GC三代发动机装配线上的应用

李岩 帅睿 陆鹏 杨帆 毛红兵 宣达龙

（中国第一汽车集团有限公司，长春130000）

1 前言

外部形势严峻，面对经济内循环的新形势，企业数字化转型成为了中国制造业的一堂必修课；与此同时，在众多汽车企业内部，原有的商业模式、业务模式、生产方式正在被颠覆和重塑[1]，企业端要加快对数字化转型的布局和思考。致力于成为世界一流移动出行服务公司的中国一汽，也将业务重构下的数字化建设作为实现战略转型的核心要素。

为了更好地支撑数字化转型战略，并最终实现交付零拖欠、质量零缺陷、成本零浪费、用户零抱怨、行动零延误的目标；创新开发出iVOS（智能视觉作业）智能系统，简称“慧眼系统”，并成功应用在4GC三代发动机增能装配线上，成果显著。

对于离散制造业，一个完整的数字化工厂应该包含智能物流，智能生产，以及智能作业品控三大部分，数字化、智能化技术已经大量应用到了物流与生产的场景中，已经有了很多成功案例，但是针对作业品控这一场景，之前由于针对人员标准作业的数字化、智能化技术还不成熟，所以成功的应用案例几乎没有；近年来，AI视觉与智能穿戴技术的迅猛发展，标准作业数字化、智能化应用越来越多，使离散制造业的作业品控场景迎来了久违的春天。

2 iVOS智能视觉作业系统建设方向

2.1 iVOS系统架构

iVOS系统架构为iVOS 1618，以智能系统创新应用为一个主要目标，搭载数字孪生、智能视觉、云、5G+等六大核心技术，实现数字孪生[2]、人员情绪管理、作业智能协同、作业智能分析等18个生产场景在发动机装配线的完美运用，如图1所示。

图1 iVOS系统架构

2.2 基于作业单元质量控制数字化实践

按照装配线手动工位三个重要的时间轴：上岗前、作业过程中、作业完成共识别出多项质量风险点，分别为培训手段缺失，人岗匹配性低，不执行联保，不执行外观检查，不执行表面清擦，不执行蘸油，不按照顺序拧紧，易造成错漏装、表面缺陷、密封不良、漏拧等质量风险，从而影响产品质量稳定性。

针对过程控制和质量管理缺少数字化管理手段，人员流动性大、人员不稳定因素导致标准作业管控难度大等痛点问题，开发了iVOS 1618集成系统，其中有10项数字化应用场景是协同作业单元质量管控，具体内容如下。

a.作业智能分析；

b.人员能力绑定；

c.作业三维导引；

d.作业数字化文件；

e.作业智能协同；

f.视觉情绪管理；

g.智能视觉检测；

h.视觉作业监察；

i.数字孪生；

j.云端质量追溯。

其中，按照三个时间主线，分别对人员培训、考核，作业导引，作业过程实时管控，以及作业观察持续改善进行了数字化场景的引入，分别是作业智能分析，人员能力绑定，作业三维导引，作业智能协同，以及视觉作业监察。

2.3 作业智能分析原理介绍

通过智能穿戴(手套)对手动生产管理的主要环节提供数字化工具，帮助工厂节约管理成本，提升产能和质量；

a.基于手套背部13个微机电传感器实时采集手部动作细微变化，节拍时间更加精准。并基于后台强大的算法模型，轻松进行数据分析，如：最佳节拍、平均节拍、节拍波动等一目了然，基于大量数据，更便于改善点的对比与解析；结合视频联动实现作业标准、作业培训、作业考核、工站分析等功能。

b.大幅度提升培训效率。传统的培训考核模式大部分依靠于考官的判断，且数据记录和管理消耗大量人工工作时间；使用智能手套后，大部分考核和数据自动生成，且培训结果数字化，培训效率大幅度提升，新人上岗培训周期缩短3周。

c.降低标准化操作引起的质量事件。在智能手套试点工厂，质量零缺陷是一直以来工厂的目标，但由于手动工位的标准化不好管理，使得质量事件难以控制；在使用博世智能手套工站标准化管理工具后，试点工厂发现了由于非标准操作引起的质量风险，从而减少了问题事件的发生频率，提高了产品质量[5]。

d.生产节拍不断优化，产能提升空间大幅增长。在智能手套试点工厂，由于市场的高需求和快速变化，使生产中遇到许多操作的瓶颈工位，在短时间内降低这些工位的节拍时间，提升操作效率成为了工厂精益部门的重大挑战；在使用智能手套工站分析工具后：使试点工站的目标节拍提升10%。

2.4 作业三维导引原理介绍

基于产品CAD三维模型，遵循工序工艺步骤及要求，开发出了一套三维动态作业引导系统，并开发拧紧信号接口实现动画与信号之间的联动，使作业步骤更加立体化，更加一目了然，并将系统进行工位一体机的分式发布，如图2所示。

图2 工艺三维导引

2.5 作业智能协同原理介绍

为了更好地实现装配线全过程闭环可控，针对手动工位的生产操作全过程进行管控，实现作业顺序防错、零部件的漏装、以及变化点的准确管理，基于工位摄像头所采集的视觉信息，进行人工智能算例开发，主要应用的算法包括神经网络算法和机器学习算法。

a.神经网络算法。基于神经网络的语义分割方法：模拟人类感知过程，采用如卷积神经网络等方法来处理复杂的非线性问题。近年来，深度学习技术在图像语义分割领域得到了深入研究，该类方法适应性较强，能够对被分割区域分配不同的标签，但存在学习过程复杂、计算量大、精度提升难度大等缺点，算法原理见图3。

图3 AI视觉深度学习网络

b.机器学习算法[3]。此次所采用的机器学习算法是“示教学习”，从标准中获取信息，把知识转换成内部可使用的表示形式，并将新的知识与原有的知识进行比对和结合，最终给出结论，此算法的计算量较小，环境变更后的算法训练较少，但对于较为复杂的场景适应性较差。

发动机装配线不同的手动工位的场景与环境竟不相同，为了能够全面覆盖所有工位的所有作业质量要点，并提升管控精度，作业智能协同系统基于AI开发平台与作业智能管控设备相结合的方案来实现。

2.5.1 AI视觉开放平台

通过工位高清摄像头对物体的特征提取与跟踪，基于后台AI算法进行实时比对与分析，实现作业智能管控。

AI模型成果自主可控，支持端、边、云模型高效部署接口开放，AI视觉分析硬件拓扑见图4。

图4 AI视觉拓扑图

让AI开发简单化，易应用，AI视觉开放平台基本功能如下。

a.数据管理，智能标注与可视化数据集管理；

b.模型训练，AutoML模型自动训练与智能模型调优；

c.模型部署，云端在线推理与多类边缘设备支持；

d.应用集成，模型迭代优化与多类开放接口。

基于AI开放平台可以让不懂算法的业务工程师也可以进行AI场景的落地，平台开发整体流程见图5。

图5 AI平台开发流程

针对离散制造工厂AI开放平台算法模型主要是针对动作与图像两大类，针对动作跟踪的算法精度可以适用于空间距离≥10 cm，且无遮挡情况，针对这一技术特性，主要选取了各手动工位的关键辅助动作，以及联保确认动作作为重点，既保证了标准作业符合度的提升，也保证了检测精度达标。

以试点工位落地，固化技术标准，基于AI算法的增量学习与迁移学习模型特性，使后续工位与产线横展周期大幅降低。

2.5.2 3D视觉智能设备

采用颜色视觉模型与肢体识别模型，通过前端高清摄像头采集颜色与肢体数据，基于3D摄像头建立空间坐标系，准确给出空间位置坐标，追踪颜色来标定作业过程中的每一个位置，通过规定顺序编辑后实现实际位置与标准点位的实时比较[4]，如果出现错误后将会锁定拧紧枪，并会进行安灯报警，不会让问题流到下一道序。

3D视觉智能设备整体系统逻辑见图6。

图6 系统逻辑

空间坐标系建立，准确定位空间坐标见图7。

图7 视觉坐标系原理图

此设备主要针对多步骤动作跟踪，针对动作跟踪的算法精度可以适用于空间距离≥3cm，并且适用无遮挡情况，针对这一技术特性，我们主要选取了多步骤作业的关键质量工位。

2.5.3 激光追踪视觉智能设备

通过激光接收照相机、绑定在拧紧枪上的激光发射器、激光探头进行空间坐标系的建立，并进行工件坐标系与工具坐标系的转换，使其能够准确定位工件位置，并将工具坐标原点转换到拧紧头中心孔位置，使其定位精度达到≥1 mm，可以适用于空间小距离的多螺栓拧紧作业。

激光追踪视觉智能设备硬件拓扑见图8。

图8 激光导引硬件拓扑图

激光追踪视觉智能设备系统逻辑见图9。

图9 系统流程

运动追踪系统可探测空间位置以及姿态(6个自由度)，6个自由度分别为沿着X/Y/Z轴方向的平移运动（X/Y/Z）以及绕X/Y/Z轴的旋转运动（yaw，pitch，roll），系统运动跟踪空间距离可达0.1 mm以及角度偏差0.2度。

2.5.4 多种技术组合覆盖所有关键质量要点

基于AI开放平台作为基础平台，集成3D视觉与激光追踪视觉智能设备，针对64个手动工位，256个质量要点进行全覆盖，以最优的成本实现最佳的效果。

2.6 智能视觉检测

动力总成工厂针对发动机外壳生产过程大致分为铸造、加工两个部分，发动机作为汽车重要组成部分，其外观检测极其重要。在目前生产中，采用人工目视检测缺陷，此方式检测效率低，很难保持长时间稳定的检出效果，个人检出情况会由于各种原因导致检测效果发生变化，不同人员检测标准不同，但AI检出标准唯一稳定。AI检测缺陷具有稳定性，泛化性，多样性。

随着人工智能行业的发展，AI检测具备越来越多的车企已经开始了检测方式的转型，用人工智能来替代传统的检测方式，通过视觉系统替代传统的目视检测。

传统视觉检测劣势如下。

a.人员标准不统一；

b.漏检、误检及过杀检测。

AI视觉检测优势如下。

a.检测标准统一，稳定检出，无人员状态因素影响；

b.对于疑似产品，人员二次确认，避免成本浪费，降低人员劳动强度。

AI检测范围/缺陷/标准，加工面(气孔、伤痕、磕碰、缺肉、异物)，加工面上1/4缸壁(气孔)，加工面(气孔、伤痕、磕碰、缺肉、异物)。

2.6.1 基于深度学习算法目标检测流程

首先对整张图片输入进卷进神经网络，提取特征图；之后将特征图输入候选框建议网络，该网络先提出一系列固定的候选框位置，之后用真实标签与每个候选框进行匹配，根据真实标签与候选框面积的交并比，判断该候选框是否以置信度水平含有待检测的物体以及候选框相对于标签信息的坐标偏移；之后使用ROI pooling处理候选框，使其到相同大小，进入全连接层中进行分类。最后可以得到网络的输出，物体的坐标以及对应分类的索引。

2.6.2 深度学习的训练过程

在模型训练过程中，首先会根据输入的图片提取出相应的特征（一般为边角等轮廓特征以及更深层次的纹理特征），随后根据提取的特征预测出一个结果（缺陷及位置）。如果预测的结果跟人工标注的结果不同，此时模型会根据结果的差异更新自身内部的参数，从而生成一套新的模型，由此不断重复这个过程，直到模型预测的结果全部正确，模型就训练完毕了。

3 iVOS系统实施效果

3工位节拍提升，实现瓶颈节拍优化共10个工位，每个工位节拍平均优化15 s以上，如表1所示。

表1 节拍优化效果 s

操作人员培训与上岗能力考核，基于作业视频与智能穿戴技术已完成装配线所有新人的操作能力培训，并完成上岗能力考核工作，人员上岗评价全部通过此数字化工具完成，岗位标准作业匹配度达到95%以上。

装配线一次交检合格率从2020年9月到2020年11月，在短短的3个月时间从90%提升到98%以上。

缸体、缸盖表面密封面缺陷检测，降低试漏机不合格率2%，涂胶检测、锁块、油封状态视觉检测，降低不合格率2.5%，针对关键工序应用AI视觉与电信号防错，降低返修率3%以上，整体一次交检合格率提升8%以上。

4 2020～2022三年数字化整体规划

根据西门子中国企业数字化建设等级网上评估，动力总成工厂现阶段的数字化水平仍相差较远，还有很长的路要走，如果想要成功的进行数字化转型就需要制定出一个合理的三年数字化整体规划，既要量体裁衣，又要充满挑战。

动力总成工厂的三年数字化整体规划可以总结为1个蓝图、3条主线，一个蓝图为基于5G+工业互联网平台，深度运用数字化技术，打造数据化、透明化、价值化的数字化工厂[5]，实现业务数字化转型，缔造极致美妙的动力总成孪生产品；3条主线分别为业务主线、系统主线、数据主线；最终的管理逻辑为通过将过程中的每一个环节数据化，大幅度提升管理颗粒度，并结合工厂实际，通过建模及深度学习的应用，用数字化的分析决策，替代人模糊化的分析及决策，从而大幅度提高质量管理水平、提升效率，极大消除浪费；动力总成工厂数字化技术路线如图10所示。

图10 数字化技术路线

5 结束语

综上智能化在发动机装配线上的实践，很好地验证了AI视觉可以广泛应用于发动机装配错漏装与标准作业执行管控，本研究从作业智能化与零件检测智能化两方面进行了阐述，作业智能化包含了上岗前的人员培训与考核，作业过程中的实时监控与预警，实现了作业过程零风险；零件检测智能化主要基于AI深度学习算法准确检测表面微小缺陷，实现质量检测无人化。