基于机器视觉的PCBA元器件实时检测系统

2018-03-21闫梦涛冉海周

无线电工程 2018年4期

闫梦涛，苏玮，冉海周

(浙江理工大学信息学院，浙江杭州 310018)

0 引言

近年来，印刷电路在全球电子元件中产值稳定增长，而伴随着整机产品品种结构的调整，印刷电路板(Printed Circuit Board，PCB)的面积已大大减小，其精度、复杂度迅速提高，印刷电路板组装件(Printed Circuit Board Assembly，PCBA)的检测必将朝着自动化、可视化的计算机检测方向发展[1]。目前，我国检测PCBA板元器件技术设备已经在一些大公司生产线上投入使用，此设备的出现几乎完全替代人工操作，提高了产品质量和生产效率，但是设备成本极高，一套自动光学检测系统价值几十万美元，甚至高达数百万美元[2]，如此高额的成本对于大部分中小企业来说是不能接受的，也是不切实际的。

由美国国家仪器公司 ( National Instruments，NI)提出的虚拟仪器 (Virtual Instruments，VI)技术[3]以其开放灵活、高效便捷、成本低廉、维护方便、功能强大等突出优势迅速为工业界广泛接受，针对现在AOI所存在的价格成本的问题，本文介绍一种基于虚拟仪器的PCBA元器件实时检测系统，本系统硬件只需要一台CCD相机和一套箱式光源配合lABVIEW14.0的软件平台运用IMAQ Vision图像处理模块[4]进行PCBA板的精准测量，可见本系统成本是极其低的，有利于投入市场供给中小型企业使用，提高其产品竞争力。

1 系统总体设计

检测系统整体结构包括图像采集系统和图像处理系统，图像采集系统由I/O接口设备与CCD相机组成，图像处理系统由LABVIEW中IMAQ Vision图像处理模块所组成。

1.1 系统硬件结构

由于采用了虚拟仪器技术，省去了大部分昂贵的硬件设备，系统只需要1台CCD相机、1个箱式光源和1台计算机作上位机。

CCD相机固定在箱式光源中心处，其电源线与外界电源连接，USB线与图像处理系统的USB接口连接，箱式光源的电源线与外界电源连接。箱式光源的底面为正方形，距离在线流水线40 cm。

1.2 系统软件设计

系统软件部分采用 LabVIEW14.0(Laboratory Virtual Instrument Engineering Workbench)作为开发工具，由I/O接口设备[5]完成对图像的采集，以图形化的编程语言，利用 PC 计算机强大的软件功能实现数据的运算、分析和处理，从而进行PCBA 的检测。

系统软件整体流程如图1所示，当通过流水线PCBA板进入系统时，系统首先会利用CCD相机对PCBA板进行局部图像聚焦从而采集局部的小图，当采集的图像到一定数值后，开启拼接线程对采集到的图像进行拼接，当PCBA板无缝进入系统，图像处理系统会进行分板处理，得到拼接后的测试图后逐步加入检测队列，进行检测。

图1 系统软件整体流程

2 系统功能实现

2.1 图像采集

由于PCBA板进入系统时间是随机的，本系统设置一个事件等待触发，当PCBA板离开系统的时候要合理地判断板子离开的时机，停止图像采集线程。本文采用图像机构相似度(SSIM)[6]等于0.75作阈值来判断板子进入和离开的时机。图像采集软件流程如图2所示。

图2 图像采集流程

本系统图像结构相似度(SSIM)采用的是LABVIEW IMAQ Vision模块如图3所示。

图3 SSIM(结构相似度)

图像结构相似度从图像组成的角度将结构信息定义为独立于亮度、对比度的反映场景中物体结构的属性，并将失真建模为亮度、对比度和结构3个不同因素的组合[7]。本系统用在PCBA没进入系统时的图片tt.jpg与进入系统的照片进行结构相似度对比，发现其亮度、对比度和结构都有很大区别，经过反复试验，选用结构相似度等于0.75作为阈值，从而达到图像采集的目的。

2.2 图像拼接

图像拼接的一般流程包括图像预处理、图像配准和图像融合3步[8]。由于本系统安装在固定的实时流水线上，图像间的旋转误差很小可以忽略，所以拼接时只考虑平移变换，忽略图像的旋转[9]；此外，在线检测中拼接速度太慢将会影响生产的效率，所以算法不能太复杂，当图像采集照片大于一定张数时，图像拼接线程就会开启。

算法原理如图4所示，图像采集到的图片肯定会有相互重叠的区域，图片A和图片B的黑色部分就是重叠的区域，拼接就是把图片A和图片B中重合部分删除，并把两图像融合到一个坐标系下。

图4 算法原理

系统拼接步骤如下：① 从图片A中自上往下选取一行像素值，从图片B中自下往上选取一行像素值；② 对以上2行像素值进行线性相关系数[10]计算，得出线性先关系数值并记录；③ 继续从图片B中往上取一行像素，重复步骤2；④ 经过反复以上步骤多次后，记录下相似度值最大的那行线性相关系数所在的图像位置；⑤ 在图B这个位置以下区域选取一段区域作为彩色模板匹配[11]的模板，在图片A中从上往下进行彩色膜板匹配，得出匹配分数和匹配位置；⑥ 根据匹配位置分别对图像A、B进行裁剪，将裁剪后图片转化为数组，进行数组的连接，将得到的图像数组转化为图像，实现图像融合。

由于彩色模板匹配是R、G、B三种通道进行模式匹配加权得到的，拼接质量非常高，但是计算量很大，所以本系统步骤①、②、③、④是求出线性相关系数，先粗略估计匹配区间，匹配区间里进行匹配，减少了计算量，提高了效率，上述步骤中的线性先关系数计算公式为：

(1)

式中，zx和zy是X和Y标准化的z值，z值计算为数组每一项想去其均值后除以其标准差，均值计算公式为：

(2)

式中，n是X中的元素数。标准差计算公式为：

(3)

彩色模板匹配是LABVIEW IMAQ Vision模块如图5所示。

图5 彩色模板匹配

2.3 图像分板

当多个PCBA板无缝进入系统时，若没有分板处理，图像采集系统会反复采集相同的图像存入一个文件夹，图像拼接系统会拼出多个相连的PCBA板相连的照片，就没法有效地进行实时检测，本系统对模板图下边缘部分图像保存到内存里，当图像采集线程采集的图像的张数到某个阈值的时候不断与采集线程的图像做彩色模板匹配，并记录匹配分数，当匹配到原图像时，停止拼接线程，图片计数清零并把拼接后的图像送入检测队列，实现分板，具体步骤如下：

① 在预先设置好的模板中截取与图像下面部分高度为拍照聚焦框高度一半的矩形区域，并把图像灰度化，并用此区域作为灰度模板匹配模板[12]如图6所示。

图6 图像分板步骤

由图6(a)可知，聚焦框的拍照的图片高度为648px，截取离模板下边缘320px位置的图像作为灰度模板匹配的模板如图6(b)所示。

② 设置拍照张数的阈值，当拍照大于这个数值的时候，匹配模板就会不断去匹配拍下的照片，并得出匹配分数。

③ 当匹配分数大于800，表明已经匹配到原图像，此时停止拼接线程并把拼接图像送入检测队列，计数清零，图像采集线程继续采集图像。

由于匹配模板高度是聚焦框的一半，匹配模板区域比较大，匹配计算量比较小，不会影响匹配时间，本分板灰度模板匹配是基于LABVIEW的IMAQ Vision模块，如图7所示。

图7 灰度模板匹配

2.4 检测

检测步骤的算法流程如图8所示。

图8 检测流程

经过拼接而来的测试图和实际模板间空间位置上会出现误差，这样会使元器件定位的时候造成困难，本文采用彩色模板匹配方式进行校准，校准步骤如下：

① 在模板处设置一块校准区域MARK，作为彩色模板匹配的模板；

② 在测试图上进行彩色模板匹配，得出匹配分数以及匹配位置；

顾名思义，人生价值观是指关于人生价值的根本观点和看法，说到底就是对人生目的和人生意义的认识。人生价值观决定人生态度。而人生价值观又是由人生的理想和信念所决定。有了伟大的理想和信念才能树立正确的人生价值观。因此，我们论及方志敏的人生价值观，首先必须了解方志敏的人生理想和信念。

③ 计算出这个校准区域在测试图上像素的误差；

④ 根据计算出来的的像素误差对测试图像进行增减。

本检测原理是测试板与模板通过一些预处理[13]对比分析得出结论，本系统对不同元器件采用不同的预处理方式，对于颜色比较鲜艳的元器件(比如说绿色电容)去噪后二值化，通过对比其1的个数判断是否存在；对于几何特征比较明显的元器件(比如插座)采用彩色模板匹配通过匹配分数来判断是否存在；对于电解电容这种判断极性的元器件，先采用霍夫变换[14]找到圆本体，然后二值化[15]通过圆环周围像素点为0的个数判断极性等等。

3 系统实验结果与分析

3.1 系统界面

当运行软件时，系统会跳到软件登陆界面如图9(a)所示，系统有检测员、纠错员和管理员3个入口，不同人用不同密码选择不同入口就可以进入相应的界面，进行操作，管理员进入系统通后回会跳入模板管理界面如图9(b)所示，设置模板时对不同元器件对不同预处理，如图9(b)右边显示有跳线-孔位、二极管管脚、二极管匹配、彩色模板匹配、模板匹配、电解电容、颜色提取、相似度、插座和彩色二极管等针对不同元器件不同预处理的方法。

图9 系统界面

由于方法众多，本文只展示绿色电容颜色提取的方法(如图10所示)，通过调整R、G、B三个分量值把模板和测试板空板进行二值化，可以看出测试0的个数(黑色区域)占模板0的个数0.852 4，如果此此测试板没有绿色电容就是空板下，0的个数占模板0的个数0.053，所以可以通过设置一个阈值来加以判断。

3.2 图像采集

由于采用的是结构相似度为0.75作为拍照阈值，拍照后照片会编号存入指定目录下，如图11所示。

图10 绿色电容颜色提取方法界面

图11 图像采集小图

3.3 图像拼接与分板

经过反复试验，拼接后的照片(图12)和原照片的结构相似度作为拼接质量[16]，从拼接开始到拼接结束的时间算为拼接总时间，本实验对单块板子进行拼接，拼接质量为0.95，时间为1.45 s。

图12 拼接照片

通过数据发现本拼接是能适应流水线上的实时PCBA检测的。

经过反复实验，实验结果如图13所示。由图13和下面的检测结果可知，系统能够准确地分开PCBA板。

图13 分板效果图

3.4 检测

对PCBA所有元器件都画框后，与拼接后的照片进行对比，如图14所示。图14(a)是个没有错误的板子，所以检测结果为ok，图14(b)是有缺少下面绿色电容的板子，与模板对比，系统会找出错误元器件并直接显示出来并报警。

图14 检测界面

本文设计了一款基于机器视觉的PCBA元器件检测系统，采用LABVIEW的IMAQ Vision图像处理模块，通过大量实验证明本系统能够适应高速流水线下的PCBA板的在线实时检测。

4 结束语

本文设计了一款基于机器视觉的PCBA板的实时检测系统，从图像采集到图像拼接、分板最后到图像检测逐步介绍了本系统的关键性技术，本系统在NI公司的LABVIEW开发平台下，采用IMAQ VISION模板进行图像处理检测，开发硬件成本较低，可以在中小企业生产使用，目前本系统在实验室组装并研发，并已经在浙江杭州达峰科技有限公司部署使用。实际应用结果表明，系统的检测误报率低、检测速度快、且占有资源少，能够适应高速流水线下的PCBA板的在线实时检测。

[1] 黄楠，刘光昌.基于LABVIEW的PCBA计算机视觉检测系统[J].计算机工程与设计，2005，26(10)：2783-2887.

[2] 陈臣.硬刷电路板的自动光学检测系统的设计与研究[D].南京：南京航天航空大学，2010.

[3] 刘娜.基于LabVIEW的虚拟仪器[J].上海计量测试,2017(4)：7-9.

[4] 刘金桥，王春耀，吴金强，等.基于LabVIEW和IMAQ Vision的农产品颜色识别研究[J].农机化研究，2009(3)：50-52.

[5] 张霞.LabVIEW中的I/O接口设备驱动[J].电子测试，2007(11)：80-82.

[6] 付燕，史小雨.基于结构相似度的无参考遥感图像质量评价[J].科学技术与工程，2007(25)：108-144.

[7] 田浩南，李素梅.基于边缘的SSIM图像质量客观评价方法[J].光子学报.2013(01)：110-114

[8] 熊哲源，熊小敏，吴胜益，等.图像拼接技术研究综述[J].信息技术，2015(1)：15-16.

[9] 秦益雯，马祥林.基于LABVIEW的图像拼接技术在PCB板在线检测系统中的应用[J].常州信息职业技术学院学报，2011，8(4)28-33.

[10] 汤嘉立，杜卓明.基于局部线性相关的信号去噪方法[J].计算机应用研究，2008(4)：1-7.

[11] 张红民.基于模板匹配的彩色图像自动拼接方法[J].微机发展，2003(7)：40-42.

[12] 陈丽芳，刘渊，须文波.改进的归一互相关法的灰度图像模板匹配方法[J].计算机工程与应用，2011(26)：181-183.