基于机器视觉的表面质量检测系统研究与应用

孙 贺，冷于浩，刘默嘉，刘胜波

(青岛中导辰远智能科技有限公司，山东 青岛 266500)

0 引言

产品质量一直是工业生产中关键性的环节，直接关系到产品的市场认可度，具有高质量的产品才能在激烈市场竞争中获取一席之地[1]。随着制造业水平的提升，为了确保企业的核心竞争力，需要不断地提高产品的质量、检测速度及精度。然而，目前大部分企业的质量检测仍然依靠人工抽检，存在漏检、误检、检验标准不统一等问题；同时还存在着耗费时间较多、数据难以统一管理、监测等问题，检测结果数据无法得到充分有效的利用，无法实现共享[2]。

随着新一代信息技术的不断发展和应用领域的不断扩展，适用于工业产品质量检测的全自动化缺陷检测系统随之发展起来。近年来，数字图像处理技术和机器视觉技术正在持续发展，并在工业产品表面缺陷检测方面的应用不断扩大[3]。由于检测的快速性、低成本和结果的可靠性，基于图像处理和机器视觉的自动目视检测技术已经成为热点。毫无疑问，自动目视检测技术显著地提高了工业产品的质量检测性能以及产品品质[4]。

针对以上问题，本文紧密结合国内产品检测的实际情况，利用5G，AI，MEC(Mobile Edge Computing)等相关技术，对产品质量检测进行基于机器视觉的云边端一体化方案实施，打造行业成熟的检测标准化算法仓库，提炼视觉算法、软件、机械等模型，实现系统化设计开发、测试应用，助力工厂生产制造的全流程、全要素提质增效。系统总体架构体系如图1所示。

图1 系统总体架构体系

1 系统总体架构

本检测系统的搭建是基于云边协同处理模式，相机设备、视觉算法等本地分离，即将工业相机在现场部署，视觉算法部署在厂区，MEC、检测模型设计部署在企业云端。通过端、边、云互相协同发挥各自优势，实现机电分离、模型和算法快速迭代，创建新的检测模式。经过云/边端的算法层智能分析决策，用户通过模块化编辑界面实现可视化管理，系统可以App/PC系统版本赋能轮胎、家电等企业产品检验检测的应用场景中，实现统一监管、智能检测及精准闭环[5]。

1.1 设备端

设备端包括各检测设备资源，如光源、相机、镜头、智能仪表等基础设施的物联管理，为表面产品质量分析提供可靠、稳定、有效的数据来源。物联管理实现设备数据与系统的对接管理及资源分配管理。检测系统以5G网络传输数据，以网络切片和边缘计算配合智能检测技术打通工厂各生产要素，实现不同生产要素间的高效协同[6]。同时，系统利用5G网络避免了多个视觉点带来的多路线布置困难、空间占用大的问题，降低了工厂视觉检测使用成本的50%～70%。

1.2 边缘端

针对轮胎、家电、机械零件等产品质量检测的工业场景，在企业园区机房部署MEC设备，将设备与5G 基站相接，在MEC设备的软件平台中下载部署智能质量检测系统以及相关的视觉算法。多个工位不同的视觉检测过程同时在MEC侧运行，并将检测结果返回到工位控制端。该方式可将多个相同工位的检测结果汇集成数据库，基于系统实现视频流的快速算法分析及产品缺陷检测即时报警[7]。

1.3 云端

为提升系统的产品检测效率，云端涵盖图像数据的标定、数据集管理、模型训练与部署等功能。视觉AI算法部署包括以下流程：数据准备，包括标注数据以及从其他数据集抽取的数据；模型训练，包括传统的训练方式以及联邦学习训练方式[8]。当产线需要更新模型或者算法升级时，供应商通过网络将在云端提前训练好的AI模型和算法提供给工厂；模型部署，包括服务器端模型部署和嵌入式计算平台模型部署，为方便移植与部署，在服务器端模型部署需要部署到容器中，嵌入式平台部署则根据需要进行模型压缩。

此外，检测系统还进一步融合MES，WMS等系统数据、产品物料数据、市场反馈追踪数据，形成产品全生命周期质量追溯，对市场质量反馈进行自动分析及判定，一键式提供产品的所有生产过程数据，提供有理有据的质量评定结果，减少质量纠纷现状[9]。

2 核心关键技术

在检测系统建设过程汇总，重点解决了如下关键科学和技术问题。

2.1 5G+MEC云/边端协同技术

采用5G、边缘计算、云计算技术，现场部署5G网关和终端，实现数据高速传输、生产事件秒速响应；边缘端海量数据处理、高效协同，减少现场部署成本；中心云与边缘端核心数据实时同步，减少云端数据储存以及计算量。所有的视觉算法都部署在云端，对后期视觉软件、算法的升级以及存储信息的集中管理更加方便[10]。

2.2 深度学习算法，结合大数据训练智能模型技术

率先将卷积神经网络等算法在工业领域应用，可以通过上千万实际产品缺陷图像样本训练算法模型，不断学习，自我进化升级。“联邦学习+区块链”的联邦智能知识发现方法，解决了本地更新模型的问题，保障了数据的安全性、完整性和隐私性[11]。同时利用安全鲁棒的联邦智能知识发现新机制，实现多模态信息的有效融合，解决了数据可信问题以及神经网络模型泛化性问题，大大提升了检测柔性，进一步提升了企业产品的市场竞争力。

2.3 基于卷积神经网络，实现图像与视频的工业多源数据异常分析与预警

对于视频图像，根据不同的检测识别任务，通过卷积神经网络(如：Res-Net，VGG等深度神经网络)进行特征提取，并在特定的任务当中引入注意力机制(Attention Model)，以提高检测性能，最后使用目标检测(如：FaterRCNN，YOLOR等)与追踪技术(如：DeepSORT，Tracktor 等)实现基于图像与视频的质量管控智能化与数字化，达到对产品质量的实时监控，构建图像视频智能分析预警模型[12]。

3 系统工作原理及功能

3.1 系统工作原理

系统检测流程如图2所示。

图2 系统检测主要流程

系统的主要特点如下：

(1)系统集成线扫、面阵相机，采用多组合方式，适应现场检测需求。

(2)采用合适的定位系统，保证检测的可靠性。

(3)同时集成印刷品检测系统，对印刷品的型号进行防错检测。

(4)使用数据采集系统，实时上传检测数据。

(5)采用AI算法，持续迭代更新。

(6)所有检测结果可以上传生产信息系统，同时可以按要求导出各种质量报表，方便对生产进行有效的质量管理。

3.2 系统功能

(1)检测自动化。产品到达后，因触发装置自动停位，运动控制及机械手协同视觉检测装置实现产品的在线自动检测。

(2)检测柔性化。产品到达后，识别产品携带的唯一身份RFID成品码，通过识别“身份”，匹配检测路径，实现产线柔性检测及产品数据的绑定。

(3)检测智能化。对视觉检测系统采集的图像及视频流数据，通过算法去噪、算法融合及智能识别、深度学习训练等算法，实现产品缺陷的高精准度检测反馈。

(4)检测结果数据化。基于AI及大数据分析的质量追溯系统打通数据链，构建3个连接：市场不良与检测工位关联；各工序质量检测数据与MES，WMS等系统互联；产品信息与供应商出厂检测、产业入厂检测、过程检测、下线检测等关联。

4 典型应用场景

4.1 场景案例1：某大型轮胎公司轮胎外观(外侧+内测)质量检测场景

轮胎生产检测工艺流程如图3所示。

图3 轮胎生产检测工艺流程

4.1.1 痛点问题

轮胎作为汽车的重要部件，其质量的好坏直接关系到汽车的安全行驶问题。为此，在轮胎的制造过程中实时检测轮胎的质量是至关重要的。传统轮胎人工检测质检劳动强度大，检测速度慢、检测准确率不稳定(随着人眼检测时间的增加，检测准确率明显下降)、不同质检员的检测水平、责任心和状态，都会直接影响产品的品质。

4.1.2 应用情况

紧密结合某大型轮胎生产企业实际情况，检测系统结合成熟的5G，AI，MEC等相关技术方案，针对“轮胎质量检测”进行云化方案应用。

缺陷检测：统一检测标准，通过AI检测算法满足生产线对接头搭接、偏心、接头间隙、接头偏歪以及气泡等缺陷的检测要求。

柔性检测：满足柔性生产的需求，全型号匹配，通过维护软件检测模板，检测系统根据产品型号自动匹配，调取相关型号检测参数。

实时保存：通过工业相机和5G网络实时保存检测对象，分类分时存储。

实时反馈：通过人机界面和全覆盖5G网络实时分享检测数据，并联人人质量系统，真正做到质量到人、实时到人。

算法共享：使用5G技术，算法实时、远程迭代。

检测系统的应用可实现轮胎缺陷的实时在线检测、缺陷类型判定，极大地提高了轮胎缺陷检测的效率和准确率。通过对企业轮胎质量的管理及数据分析，检测系统有效实现生产线上缺陷产品的精确管理。运行6 个月后，有效提升产品质量，降低废品率7%，防止批量缺陷产品的产生；同时提升产品检测效率80%，产品生产周期缩短15%，实现了企业营收20%的增加，客户满意度提升20%。

4.2 场景案例2：某家电公司产品包装检测

4.2.1 痛点问题

随着当代社会经济的不断发展，人们对于产品的包装需求逐渐有所提升。具备广告促销、美化产品及保护产品等不同功效的包装为产品实体的关键构成部分，产品的功效、价值、质量及总体形象等均能够通过产品包装体现[13]。若包装具有缺陷则会令消费者的满意度降低，且对于产品品牌的信誉度与价值均带来影响，而完美无缺陷的产品包装能够提高消费者对产品品牌的信任度与依赖感，提升消费者的感官享受。利用检测系统，企业可以高效率地完成对产品的包装检测，还可以正确读取产品的包装信息，从而对产品进行有效追踪。

4.2.2 应用情况

针对某家电公司产品包装检测的需求，检测系统应用光机电一体化、机器视觉、编码识别及通信等技术，利用基于机器视觉的计量封印在线质量检测系统，在高速生产线中对外包装安全条进行快速有无的判断，以确保安全包装条无缺失。凭借其出色的读码能力，可以准确、迅速地读取各种包装材质上的字符。实现家电包装、标志、安装质量的全自动、高速、高精度在线识别与检测，并进行瑕疵分类处理，旨在为家电行业产品包装检测及管理提供完整的在线检测与处理方案，实现自动化、智能化、信息化检测与管理。在某大型家电公司生产工厂应用后，产品包装检测效率及响应速度提高2倍，产品误检率<2.5%，包装质量提升，顾客满意度增加；同时，现场检测人员减少4人/班组，预计人力成本每年减少100万元以上。

4.3 场景案例3：某汽车零件厂曲轴连杆检测

4.3.1 痛点问题

发动机曲轴连杆的外形有很高的相似度，不同发动机所使用的连杆之间，甚至于一个连杆的正反两面往往也只有几个特征点有明显不同。半成品的曲轴连杆在进入加工中心进行精加工前，需要使用视觉传感器代替人工鉴别检测。利用检测系统可以自动对不同类型的曲轴连杆进行辨别，助力自动化生产线的高效运行。

4.3.2 应用情况

通过对某汽车零件厂曲轴连杆的型号检测及管理，检测系统有效实现生产线上曲轴连杆的精确管理。运行3 个月后，产品检测效率提升2倍，产品入库周期缩短10%；同时产品缺陷率降低5%，直接经济效益达到数百万元。

5 结语

本文提出了一种基于机器视觉、5G、MEC等技术的表面质量检测系统。该系统一方面创建新的运作模式，通过端、边、云协同发挥各自优势，即将工业相机在生产线部署，视觉算法部署在工厂，MEC、模型设计部署在云端，实现相机设备、视觉算法、模型训练等本地分离。另一方面，将传统孤立视觉系统(包含视觉控制器、视觉应用软件和工业相机)转化为“集中处理+分布采集”的控制模式，多个工位不同的视觉检测工程，同时在MEC侧运行，并将检测结果返回到工位控制端。系统可将检测结果汇集成数据库，并融合MES，WMS等系统数据、产品物料数据、市场反馈追踪数据，对缺陷类型、产生原因进行深入研究，为生产线优化升级提供合理建议，保证企业优质出品，减少废品。