5G+AI机器视觉技术在PCB行业应用

李 森 万 刚 魏梓原 安 岗 张文博

1 中国联通研究院 北京 100176

2 中国联通江西省分公司 南昌 330000

引言

印制电路板(Printed Circuit Board，PCB)是绝大多数电子设备产品必需的元件，又被称为“电子产品之母”，起到为电子元件提供电气连接的作用，是我国数字经济发展中的关键性技术产业之一[1]。生产过程中，自动光学检测(AOI)设备则是提升PCB产能及产品良率的关键设备。AOI设备可部署于生产线的中站，在不影响产能的前提下检查半成品，因此成为PCB制造过程中比重较高的必要投资，约占总投资额的15%[2]。通常，AOI设备的检测流程是先利用AOI光学扫描待检的PCB，获取清晰影像，然后经过电脑图像处理技术检查出PCB上是否有短路、多铜及少铜、断路、缺口、毛刺、铜渣、缺件、偏斜等瑕疵[3]。因为瑕疵的种类非常广泛，所以较一般电子零部件的瑕疵检测困难许多。

目前AOI检测面临过度筛检(OVERKILL)的现象。在极高的PCB良品率的要求下，AOI设备的参数设定非常严格，也因此AOI检测设备容易因过于敏感而出现过筛现象[4-5]。经统计PCB过筛率高达70%，即NG产品中其实有70%的成品是合格的。目前多采取人工进行第二次筛选，将实际合格的PCB再度送回产线。然而，人工筛选存在效率低、容易漏检、无法检测高精度PCB、接触检测易损伤PCB等诸多缺点，已不能满足PCB高效率、高精度、高性能的生产需求。

1 5G+AI给机器视觉带来的价值

5G+AI的工业视觉解决方案，通过端+5G网络+边缘云+云服务的协作，可实现信息互通共享、设备标准化智能化水平提升、系统部署简单更灵活、维护效率提升、端到端部署成本降低等，将成为未来智能化工厂标配解决方案[6-7]。

技术方面，5G网络简单易部署，支持规模应用，可将复杂的样本标注、图像处理等统一在云端平台实现，并通过AI算法实现智能标注、智能闭环，降低系统应用的复杂性和对用户的专业技能要求，使工业视觉检测被应用到更多生产环节。同时5G的大连接特性可以使产线上每个工业视觉应用不再是独立的数据孤岛，各应用产生的数据可以被共享，实现数据互联互通、动态闭环。最后，通过5G技术可以在云端统一架构平台上实现推理训练，支持快速的新模型迭代更新，使深度学习在工业视觉应用中被广泛推广，普遍提升检测成功率。不同的网络接入方式各项能力对比如表1所示。

表1 不同网络接入方式对比

在系统部署和维护方面，5G技术具有明显的优势。首先，5G的无线传输可以满足部分工业应用场景的移动性诉求，也可以进行后装视觉应用、不固定部署等，多场景部署灵活。此外，通过5G技术，工程技术人员可以在云端进行操作维护，大幅提升系统维护效率。其次，5G技术可以降低机器视觉系统部署和维护的成本。通过将高算力需求的操作统一部署在云端平台，同时支持多类不同应用场景，端侧仅部署标准的图像采集系统，能够降低全系统部署成本；通过5G技术可实现远程运维，以此来降低系统操作维护成本。

2 5G+AI机器视觉系统网络架构

考虑应用需求、项目成本和网络能力等方面的差异，按照算力部署位置不同，基于5G+AI的工业视觉系统部署架构可分为前端设备推理与闭环控制、现场推理与闭环控制、边缘云推理与闭环控制三大类。

第一种方式为前端设备推理与闭环控制，架构如图1所示。在这种方式下，算力部署在前端设备，视觉能力在本地实现；但这种方式端侧算力成本高、算力有限，单点系统维护成本过高，数据不能有效共享，难以快速复制，在3D机器视觉检测产生巨大数据量的场景，动态连续监测等对时延要求严苛的场景，如煤矿中的带送煤炭体积测量可使用此方式。

图1 前端设备推理与闭环控制

第二种方式为现场推理与闭环控制，架构如图2所示。此方式是将算力单独部署于应用现场，成本低，部署快，可避免断网导致云端算力不可用；可作为现有MEC能力补充，将业务向工业现场延伸，先期抢占市场，现场算力设备后续可转化为MEC平台独立计算资源。适用于对实时性要求严苛，云端处理时延不满足要求的场景；前端数据量巨大，需在本地压缩或推理的场景；同时适用于多数工业产品质量检测类应用，如布匹质量检测，手机盖板质量检测等。

图2 现场推理与闭环控制

第三种方式为边缘推理与闭环控制，架构如图3所示。此方式是将算力部署在MEC平台，边缘云硬件及软件能力易扩容，资源可复用，更利于视觉应用广泛推广；现场部署的硬件简单、灵活、标准化；但受网络连接稳定性、成本、网络和MEC建设影响较大。适用于对视觉应用对处理时延要求不严苛，同时传输总数据量不大的场景，如产线设备状态监控的视觉抄表应用。

图3 边缘推理与闭环控制

3 AOI人工智能二次检测部署方案

本方案旨在探索实现PCB瑕疵一体化检测，通过以基于深度学习的目标检测为核心的机器视觉技术，融合5G网络，替代人工二次筛选过程。质检方案如图4所示，改造后人工智能二次检测部分采用人工智能机器视觉技术，对PCB检测过程中AOI设备的初次检测结果进行二次分析。待检测数据取自AOI设备数据服务器，经检测模块检测后，将基于人工智能的二次检测结果传递至后续VRS设备，用于进行后续工作。

图4 质检方案改造前后对比

3.1 系统软件设计

PCB裸板机器视觉检测系统由图像采集模块和边缘检测平台两部分组成，具体如图5所示。其中，图像采集模块负责访问AOI设备，汇总AOI设备针对PCB的初次检测结果，实现图像数据采集任务，并实时回传至边缘检测平台进行检测。边缘检测平台负责接收数据并对图像进行预处理，通过预训练AI检测模型对PCB图像进行瑕疵检测，以及传输误检图像用于模型再优化。

图5 PCB裸板机器视觉检测系统组成

图像采集模块可划分为图像采集、图像传输两部分。不同于一般的机器视觉检测系统，由于AOI设备在初次检测过程中，已经通过自身的图像采集模块控制光源、相机等完成了PCB图像采集并输出了检测结果。因此，本部分的图像采集可仅负责访问AOI设备的检测结果输出路径，汇总初次检测结果。图像传输部分则按约定将汇总的初次检测结果，传输至边缘检测平台。

边缘检测平台由图像接收、图像预处理、瑕疵检测和误检反馈四部分组成。平台接收图像采集模块发送的AOI设备初检结果图像，经校正、去噪、增强等一系列图像预处理措施，进一步突出目标特征后，将AOI设备初检结果图像送至瑕疵检测模块完成二次检测。误检反馈用于积累误判图像，后续改进检测模型。当系统检测精度表现不佳或不足以满足应用时，可通过开启误检反馈模式，人工辅助判断瑕疵检测模块的二次检测结果是否正确，将误判图像留存积累，用于后续模型训练改进。

3.2 系统部署方式

使用过程中，通过在厂区内部署带有辅助计算卡的计算设备(或租赁中心云/MEC云)，借助5G网络低时延、高带宽的网络特性，AOI设备初检结果图像能够高效汇聚至搭载PCB裸板机器视觉检测系统的计算中心，进而完成智能检测与结果反馈。整个系统主要有以下三种部署方式，如图6所示。

图6 部署方案

1)MEC边缘云+中心云部署方式。数据采集模块部署于AOI设备服务器，边缘检测平台部署于MEC边缘云，瑕疵检测模块借助MEC算力完成瑕疵二次检测。通过MEC部署，数据在5G网络的传输过程中能够借助UPS卸载敏感信息，实现数据不出厂，极大提高企业的数据保密性与安全性。项目实际落地过程中，即采用此方式完成系统部署。

2)中心云部署。检测平台部署于中心云，数据通过5G网络上传至中心云进行处理运算。企业无需单独购置昂贵的计算设备用于支撑检测运算，能够最大限度地减少生产线改造复杂性，降低企业数字化、智能化过程中的改造成本。

3)现场部署。购置现场计算设备，检测平台部署于生产线一侧的现场计算设备中。现场部署设备不出车间，OT与IT网络可隔离，真正实现数据的生产侧处理，最大程度地提升企业生产效率。

3.3 关键技术研究

近年来，得益于数据的大量积累和设备计算能力的有效提升，人工智能技术以深度神经网络为核心，在学术界、工业界的图像、语音等各领域均获得了长足发展[8]。基于人工智能的机器视觉技术采用卷积神经网络学习PCB图像[9]，提取图像特征，相较于传统视觉技术，该瑕疵检测系统可以分析复杂影像，大幅提升自动化视觉检测的影像判读能力和准确度，并可将瑕疵进行自动分类，其分类精度基本达到、甚至超越了人工分类精度[10]。瑕疵检测模型构建流程如图7所示。

图7 人工智能检测模型构建流程

1)数据清洗：将存在无效、不完整等问题的图片清理掉，留下有效图片。

2)数据标注：将有效图片进行标注，形成特定的，可供后续算法输入的数据结构，从而保证模型的正确输入。

3)模型训练：利用设计好的框架以及算法，对数据进行训练。根据数据量的大小、分类的种类，以及硬件的设备、训练时间各不相同。

4)模型应用：训练好的模型下发至本地/边缘服务器，对接图像采集系统，对图像采集系统输出的图像做二次识别，输出识别结果。

5)模型优化：本地/边缘服务器存储的图像及识别结果定期上传，不断迭代优化模型，提高模型准确率，改进检测效果。

4 结语

现有PCB板检测项目多集中在工具或装置的创新，其本质是使用工具辅助记录，然后以人工方式进行识别。由于辅助设备、记录数据及人工经验等的限制，检测质量及效率均有待提高。然而，本项目通过基于云平台的人工智能图像识别及自动化检测系统，能够智能判别故障缺陷，最大程度地实现无人工参与的一体化缺陷检测。其价值主要体现在以下两个方面。

1)系统架构创新。创新性的引入了目标识别框架来进行故障的判断，通过不断地输入样本数据，系统根据所输入的数据进行自主调参，人工干预性减少，大大提高了模型的稳健性。

2)5G与AI融合技术助力企业实际生产的应用示范。以PCB生产过程中的质检环节为应用场景，以人工智能技术为应用核心，提升PCB质检效率，助力企业数字化、智能化生产，提升经济效益。借助5G网络低时延、高带宽的网络特性，为AI质检提供网络支持，具有5G应用融合创新的示范效应。