谈AI技术在AOI中的应用

钟冠祺 吴天信

（广州广合科技股份有限公司，广东 广州 510730）

0 前言

印制电路板（PCB）发展过程中，板件生产日趋小型化、精密化，线条越来越细，孔径越来越小，图形间距也越来越密集，同时对PCB的质量要求也越来越高，这使得提高PCB的检测技术必不可少。PCB最早的检测使用的是人工目测的方法，但是单靠人工检测已经无法确保检验结果是精确的以及是有效的，引进自动光学检测系统AOI（Automatic Optic Inspect）再辅以人工智能（AI）图像识别技术可以学习人工检测缺陷的特性，进而协助或者取代人，从而达到减少复检人员的数量，实现产品的量产，达到提升检测覆盖率，降低误判的效果。AOI使用光学技术[精密光学镜头、高精度CCD（图像传感器）、CMOS等感光组件]获取图像的光信号，再经过光电信号转换、数字图像处理、识别等算法处理后，从被检测物件获得所需要的信息，利用这些信息可进行产品外观检测，缺陷鉴定分类，主要应用于内层芯板检测和外层成品检测中的缺陷，比如缺口、突铜、凹铜、短路、断路、残铜、针孔、线宽线距不足等问题。由于现在的芯片载板越来越精细，检规也越来越严格，导致在线AOI扫描的结果存在大量的假缺陷，如果把内层和外层的缺陷都统计起来，集中传送到人工检修站（VT）检测机，这一定会增加设备成本、人工成本、时间成本，而直接影响生产效率，这对于重资产的制造业来说是致命的。人为的限制（包括误操作和疲劳）或对PCB缺陷的错误识别也会影响良率，甚至会损害PCB本身。将AI集成到AOI的过程中就是为了解决上述效率、良率和成本的问题专门定做而成，提高整体效率和运营是AI系统的最大机会。实验证明这其中辅以AI图像识别技术通过模仿人工目检的判断操作方式来运行，AI解决真假缺陷的方案也是以人工的判断结果进行训练的，通过对各种真假缺陷的类型进行多次深度学习，能够区分缺陷程度的重或轻，从而过滤掉不会对板面造成电气性能影响的假缺陷，并且可以对此类曾经释放过的缺陷的初始特征作记忆保留进而达到理想的表现。

1 AOI的工作流程

1.1 图像识别

标准图像来源golden board金板（无缺陷板）当机获得，或者从CAM（计算机辅助制造）房取得CAD（计算机辅助设计）格式的资料，经过工作站处理成AOI可识别的料号文件，AOI系统首先分析并处理PCB中CAM文件的标准图像信息，再控制设备的光学成像部件将PCB通过光学扫描的方式在计算机内部产生实物的扫描图像，并将标准图像与实物图像两者之间进行各种逻辑算法对比，从而实现缺陷的初步判别和分类，如图1所示。

图1 AOI软件结构

1.2 工作流程

人工通过计算机将PCB的各种缺陷资料下传到离线判别载体VRS（验证与修理工作站），借助AI技术的逻辑算法再次识别真假缺陷资料，就可以把假点自动过滤掉，然后再通过数控计算机把真点传到人工检修站VT，进行人工的最终判断。

2 AOI工作原理

2.1 获取图像原理

通过光学部分获得需要检测的图像，通过图像处理部分来进行分析和判断，其中图像处理部分需要很强的软件支持，因为各种缺陷的特征不同计算的方法也会不同。AOI与人的判断原理相同，人识别物体是通过反射回来的光量进行判断的，反射量多为亮，反射量少为暗，AOI通过LED灯光代替自然光，通过CCD代替人眼，把从光源反射回来的光信号强弱转化为相对应的电信号，把模拟量转变为数字量，AOI就可以区分PCB板面的图形情况，再和标准设定值进行比较，分析。扫描PCB图像形成就是利用光的反射原理及铜和基材对于光有不同反射能力的特性，形成有区别的扫描对象，如图2所示。

图2 硬件结构

2.2 图像读取原理

自然界的各种颜色都可以由红绿蓝（RGB）三种颜色调配而成，为了图像在采集的过程区分铜面和基材避免失真，需要进行图像的灰度化，就是将图像上的像素点的灰度值（黑的程度，即是介于纯黑和纯白之间）设置为256个不同的灰度级别，用0到255的数字表现出来。然后将灰度化的图像进行二值化处理，把大于某个临界灰度值的像素灰度设为灰度极大值，把小于这个值的像素灰度设为极小值，从而实现二值化。二值化可以把灰度图像转换成二值图像，这是图像分割的一种最简单的方法，目的是将图像上的像素的灰度值设置为0或者是255将整个图像呈现出明显的只有黑白的视觉效果。其中二值图像是指：每个像素点均为黑色或者白色的图像，经常用黑白、单色图像表示二值图像。图像数字化是指将连续色调的模拟图像（空间上连续不分割、信号值不分等级的图像）经过采样量化后转换成数字影像（空间上被分割成离散像素信号值分为有限等级、用数码0和1）表示的过程，数字图像化运用的是计算机图形和图像技术。

2.3 生产能效

彩色AOI4.0版本采用彩色CCD（line彩色影像），搭载可调光源技术，适用于更多的板材，如M4，M6，白料板等，铜面和基材分层清晰，使二值化解析清楚；有群组复检功能，相对黑白版本来说容易获取更多资讯，有效避免复检人员的严重漏失，通常一台主机搭配1-2台VRS（复检机）。

3 AOI缺陷的种类

3.1 缺陷区分与识别

缺陷的真假评判注重两个指标，第一个是缺陷类别的信息，第二个是缺陷的严重程度的信息，要区分重度、中度、轻度三大类。一套AI模型建好了之后，就可以根据判断标准不同的客户专门定制化设置参数，以满足客户的特定要求。

大铜面缺陷：孔内凸铜、孔内残铜、基材压伤折伤、空旷区暗孔残铜，铜面去膜不净、铜面异物、铜面破洞、铜面氧化、孔内蚀刻不净、大铜面黑色点。

线路面缺陷：开路、短路、线路黑点、擦花、线路去摸不净、线路异物、线路凸铜、线路缺口、线路针孔、线细和过蚀、线路面氧化、线路蚀刻不净。

AI识别真点见图3所示。

图3 AI识别真点情况

AI识别假点见图4所示。

图4 AI识别假点

3.2 人工离线复检

3.2.1 漏检概念

AOI无法区分异物、破洞、氧化，VRS只能标出凸出和凹陷、短路和开路、大铜面异物和破洞都标注针孔，所以就无法准确区分缺陷哪些可以通过或不可以通过。但是AI可以由大量的图片训练，学习人工把此类缺陷分辨允许接收和不允许接收。PCB上的缺陷当AOI不能够报告出来称为“漏检”，根据漏检产生的过程可分为三种。

（1）缺陷被设备找到了，但检测参数设定不严格把缺陷当成假缺陷不报告出来，或者本来能检测到的因设备状况变化被漏检。

（2）缺陷无法被设备找到，也无法把缺陷报告出来。

（3）缺陷被设备找到了，但检测参数设定严格无法把缺陷报告出来。

3.2.2 料号选取

（1）如图5所示，唯一选择在线AOI3-#机台前面打钩，选择信息来源机台；

图5 料号选取

（2）下拉倒三角，选择起始日期和结束日期，确定时间范围；

（3）点击双面或者单面读取，选择AI过滤类型，有三种上线模式，全秀、不看OK、不看NG，点击对应的上线模式；

（4）点击搜索料号，等待VRS页面更新料号；

（5）选择料号，白色表示没有过滤，黄色代表没有完全过滤完整，绿色代表全部过滤完整。

3.2.3 上线模式1

（1）不看AIOK，则页面全部显示8个NG型缺陷，人工只需要从8个NG缺陷里面再次过滤假点；

（2）当点击绿色AIOK，则全部为PASS。当选中ALLNG，则全部为NG；

（3）当前界面缺陷筛选完毕，可点击左上角切换页数，也可按住方向键切换页数。见图6所示。

图6 上线模式1

3.2.4 上线模式2

（1）不看AING，则页面全部显示8个OK型缺陷，人工只需要从8个OK缺陷里面再次过滤假点。

（2）当点击绿色ALLOK，则全部为PASS。当选中ALLNG，则全部为NG；

（3）当前界面缺陷筛选完毕，可点击右下角切换页数，也可按住方向键切换页数。见图7所示。

图7 上线模式2

4 效率和良率

4.1 统计规则

应用AI技术后，大铜面占比约3/4和线路面占比约1/4综合一起漏失率在0.01%～0.1%之间，过滤率在70%以上。

（1）AI总缺点数＝AI（OK）数＋AI（NG）数

（2）AIOK总缺点数＝AI（OK）数

（3）正确率＝（AIOK同时人工OK数＋AING同时人工NG数）／AI 总缺点数×100

（4）漏失率＝（AIOK同时人工NG数）/总缺点数×100

（5）误判率＝（AING同时人工OK数）/总缺点数×100

（6）OK过滤率＝（AIOK同时人工OK）/（AIOK数同时人工OK数＋AIOK数同时人工OK数＋AI不确定数同时人工OK数）

4.2 实际节省成本

4.2.1 人工层面

车间实际配备的机器能力：VT机3.6面/min，每日有效生产时间为19.6 h，每日产能19 051 pnl/d；月产能533 433 pnl/月，设备能力1.8 pnl/min。超负荷状态，车间人员复检11 h，那么可以有单人一个班次工作总量等于11×60×3.6/2＝1188块板。

在生产车间的实际调查情况：不同料号的在制芯板代表质量的真点和假点的数量是不同的，线路面和大铜面的缺陷也有很大的差异，从大量数据统计得知一块芯片可以折合15个没有经过AI过滤的原始缺陷含真点和假点，熟练的VT复检员工每天一个班次工作11 h，每天的工作个人总量可以达到检查在线AOI原始资料1200块芯板，这个数据和VT设备能力的1188块板吻合。总板数一定，那么真点和假点总数也可以吻合。所以可以进行下述数据演算。

取假点数13318，假点过滤率63%进行理论和实际结合来验证AI的能力，没有应用AI前时VRS采用双面读取的方式13318/2＝6659块，折算成需要6659/1200＝5.5个人来工作，那么每人每天需要过滤缺陷总数含真点和假点151447/5.5＝27553个；总缺点数含真点和假点151447，折算成单位块芯片的平均缺陷点数151447/6659＝22.7个（比车间实际的15个点多）。

运用AI图像识别技术处理后OK过滤率达到了63%，那么折算每块芯板的平均点数只有真点22.7×（1～63%）＝8.3个，此时总点数只有真点8.3×6659＝55269.7个，这是需要复检人数是55269.7/27535＝2个人。即是从5.5个人减少3.5个人只需要2个人，减少了人数量占比3.5/5.5＝0.63，也就是人数减少量2/3，如果从每台VT机配备1个复检人员的话，也就是可以减少2/3台VT机。

4.2.2 时间层面

节省率＝总节省时间／总时间，其中总节省时间＝总时间－AI总时间

（1）总时间＝每片平均时间×（总片数－零点片数）＋零点片数×（5.0 s/片）

（2）AI总时间＝AI每片平均时间×（总片数－零点片数）＋零点片数×（5.0 s/片）

（3）每片平均时间＝［总缺点数/（总片数－零点片数）］×1 s/每点＋17.2 s/每片（上下料）

（4）AI每片平均时间＝［（总缺点－AIOK总数）/（总片数－零点片数）］×1 s/每点＋17.2 s/每片（上下料）

节省人力＝总节省时间/8 h×3600 s

5 AI优化方法

AI优化方案基于所收到的数据，而且是以人类操作员的判断结果进行训练的，因此有能力以一致的正确性自主执行分类判断。但要达到理想的表现，必须以正确的数据模式（data pattern）进行训练，才能让AI系统逐步学习到正确的算法行为。此外由于最细微的数据变化也会完全翻转AI系统判断的结果，可见数据是AI应用的关键之一，因此AI系统的数据非常重要，此外AI作为一种新技术从测试到上市本身就是一个不断完善的过程，在测试前期更是一个需要投入人力，投入时间的过程，所以需要在生产实践中真正把AI运用起来，综合输出的真假点缺陷数据，找到优化的方案。

5.1 AI优化方法1

优化是对原图像进行二次转换提取特征的过程，相当于信号处理的滤波器，简单概括流程图就是卷积层－采样层－全连接层。

（1）大致理解为通过第一个卷积层提取由在线AOI扫描出来的最初特征，然后输出特征图；

（2）通过第二个采样层对最初的特征图进行特征选择，去除多余特征重构新的特征图；

（3）第二个卷积层是对上一层的采样层的输出特征图进行第二次特征提取；

（4）第二个采样层也是对上一层输出进行二次特征选择；

（5）循环往复卷积－采样－卷积－采样……

（6）全连接层便是对全部特征的进行分类。

5.2 AI优化方法2

图像相似度计算主要用于对于两幅图像之间内容的相似程度进行打分，区别于差值法，是根据两张图片的重合度来判断图像内容的相近程度。待在线AOI扫描出来的缺陷图和工程资料中的CAM图进行对比，想要检测两个图片是否相等，当这两个图片完全相同的时候，可以直接返回一个True，当这两个图片有微小差距的时候，也希望可以返回True，但是如果严格用差值法对比图片，第二个需求就不满足，所以需要通过研究图像的相似性也就是图像相似度来解决PCB中假点和非功能漏失点的总体比例，提高假点过滤率，进而提高生产效率。

6 结束语

本文首先分析了PCB生产过程中AOI检测机器的工作原理，并指出在缺陷检测过程中存在效率低，识别准确率不足等问题；然后提出将AI图像识别技术应用在缺陷图像检测中去，提高识别效率与识别准确率，减轻操作员的工作量；同时

由于缺陷检测的复杂程度大，使得必须通过建立庞大的训练数据集来提高AI软件泛化能力和稳定性；最后提出了定期使用数据集表对照芯板或者成品板的方式评估AI软件和AOI设备的检测能力，保证AI软件和AOI设备的稳定性，降低漏检率。理论上VRS离线复检的效率可以达到VT复检的六倍，应用AI技术后VRS复检达到了智能化,VT检查机能够直接调取AI档资料，这就可以节省一名人工离线复判的人力成本和提升时间效率。