基于知识引导的机器视觉SMT贴片检测窗口优化

阳孝鑫，罗兵



基于知识引导的机器视觉SMT贴片检测窗口优化

阳孝鑫，罗兵

（五邑大学 信息工程学院，广东 江门 529020）

结合S形聚类方法和蚁群算法的优势，将先验知识和反馈信息用于引导机器视觉的随机搜索，以找到最佳检测窗口位置，从而减少检测窗口数量、提高机器视觉在线检测效率. 以电路板元器件贴片（SMT）为检测对象进行实验，结果显示：在使用阵列相机的机器视觉SMT检测中，该方案可以有效减少检测窗口的数量.

机器视觉；知识引导；随机搜索；表面贴装技术

机器视觉是指利用光传感器采集数字图像，再用计算机对采集的图像进行处理以提取特征，然后根据提取的特征作出处理决策，其核心是数字图像处理的应用. 作为代替人工视觉判断的自动化技术，机器视觉得到了广泛应用，尤其是在电路板元器件贴片（Surface Mounted Technology，SMT）中[1]. 为了满足SMT生产线的流水线速度，机器视觉在线检测要求快速进行，因此有必要规划每个检测窗口的位置，在满足采集全部检测对象元器件图像的前提下使检测窗口数最少，从而在最短的时间内完成检测.

机器视觉检测窗口的优化方法有单链聚类算法[2]、迭代自组织数据分析聚类算法[3]（ISODATA）、S形聚类算法[4]、遗传算法[5]和蚁群算法[6]等. 其中，单链聚类算法、ISODATA法难以获得最优解；S形聚类算法能较好地利用先验知识，但所得结果是局部最优而非全局最优；遗传算法能较好地利用反馈信息进行随机搜索，但由于没有利用先验知识而无法收敛或收敛速度慢；速度蚁群算法较好利用了反馈信息引导随机搜索，但由于没有利用先验知识且分支选择太多，而使得收敛速度慢或陷于局部最优解. 本文方案结合了S形聚类方法和蚁群算法的优势，将先验知识和反馈信息用于机器视觉随机搜索的引导.

1 机器视觉检测中窗口优化问题的数学描述

由于线扫描相机成本太高，因此在机器视觉工业自动检测应用中图像采集主要使用面阵相机. 比较常用的是300万像素相机，其视野（Field of View，FOV）为3 cm×4 cm[7]，对于最大尺寸50 cm×50 cm的检测电路板来说，必须通过移动相机或者电路板多次采集和处理图像. 每一次采集的图像区域也称为一个检测窗口，如图1中的矩形框表示一个检测窗口，其大小即为相机的FOV，图1是多幅采集图像拼接后得到的SMT贴片安装整个电路板图像. 事实上，贴片电路板上的待检测元器件并未布满整个电路板，没有贴片的区域是无需检测的.

图1 SMT贴片安装的电路板

机器视觉检测的窗口优化问题可表示为约束优化问题：

2 图像预处理

为了获取整幅电路板图像以便进行窗口和移动路径优化，需要先按顺序采集电路板各区域的图像，然后进行图像拼接. 为方便拼接，采集相邻区域的图像必须有重叠. 图像拼接时，先根据图像重叠区域配准，再对重叠区域图像进行融合处理[8]. 拼接处理后，可得到电路板的整幅图像，如图1所示.

然后，对图像进行分割，以确定检测元器件的区域和位置. SMT贴片安装电路板基板为绿色（或少数为红色、蓝色等）、丝印文字为细的白色线，故可根据彩色图像的颜色信息和区域面积信息先将这2个区域分割出来，再采用形态学的膨胀和腐蚀处理，以去掉小的误分割噪声区域[9]. 图2是图1所示SMT贴片安装电路板图像分割后的结果，其中黑色表示需要检测的元器件.

图2 电路板图像检测元器件分割结果

窗口优化前，去掉面积超过一个FOV的大型器件，然后再进行优化处理.

3 基于知识引导的检测窗口优化的实现

基于先验知识和每次搜索的反馈信息对机器视觉的随机搜索进行引导，以找到检测窗口的最佳位置，从而减少检测窗口的数量.

3.1 先验知识的引导及实现

先验知识有2条：1）从边角开始新增窗口，因为边角区域容易确定覆盖该区域元件的窗口最佳位置；2）在不减少原覆盖元件前提下，可以移动窗口以覆盖尽可能多的元件.

首先从边角区域开始新增窗口，实现方法为：将板上全部待检测元件按照位置排序，比如按照每元件顶部水平位置自上向下排序，同样水平位置的再按照元件的最左位置自左向右排序. 然后从第一个元件开始新增窗口，使新增窗口的上边沿刚好覆盖第一个元件的顶部. 此时窗口的水平位置有3个选择：使元件处于窗口左上角、右上角或者中间顶部.

然后如果选择使元件处于窗口左上角，则找出当前窗口内最右的元件位置，以此位置作为窗口的右边沿位置，并判断新覆盖了哪些元件. 如果选择使元件处于窗口中部，则左移或右移窗口后应将已覆盖的元件从排序队列中删除.

最后从当前的第一个元件即新的顶部元件开始，重复上述步骤新增窗口.

图3-a是对一个仿真的有70个元件的电路板从上至下新增的前3个窗口的示意图，图中红色表示元件，蓝色矩形是检测窗.

3.2 累积反馈信息的引导及实现

由于单纯按照先验知识进行选择易陷于局部最优，因此需要加入随机选择的方法. 为了提高随机搜索效率，须将一次搜索的窗口数反馈到每次选择的分支信息中（类似蚁群算法的信息素）对每个分支建立记录信息，并将此信息作为后面随机搜索的选择概率.

如在设置新增窗口位置时，为3个选择分支分别建立信息记录. 由于先验知识发现最顶部元件位于窗口边角的概率大，所以可将元件处于窗口两个边角的概率均设置为0.4，中部概率设为0.2. 然后根据这次优化的结果，如果窗口数少，则增大该次优化中每个分支被选中的概率；若窗口数多，则减小该次优化中每个分支被选中的概率.

在反馈信息的引导下，随机搜索效率大大提高（比不采用反馈信息的搜索减少循环次数一半以上），并快速收敛于最优解. 图3-b是循环12次后找到的覆盖全部70个元件的21个窗口.

图3 新增检测窗口示意图

3.3 窗口位置的优化

由于相机FOV的边上区域比中间区域的径向畸变大[2]，因此确定最少窗口数及其位置后，还需进一步优化窗口位置，使被检测元件尽可能位于窗口中部.

窗口位置优化比较简单：找出每个窗口最左边、最右边的元件位置，取其中间作为窗口的水平中间位置；同样，找出窗口最上、最下的元件位置，取其中间作为窗口的上下中间位置.

图4是对图3-a中新增的第3个窗口进行位置优化的示意图：图4-a是优化前，元件位于窗口的边沿位置；图4-b是优化后，元件位于窗口中间.

图4 确定窗口数后窗口位置进一步优化前后的比较

4 仿真实验

如图5所示的有100个元件、200个元件的电路板，分别用传统单链聚类算法、迭代自组织数据分析聚类算法（ISODATA）、S形聚类算法、遗传算法、蚁群算法和本方案进行优化，其结果如表1所示. 表1说明，基于知识搜索的优化方案所需的检测窗口最少.

图5 本文方案的检测窗口仿真优化实验结果

另外需要说明的是，由于机器视觉检测窗口优化是在检测前离线进行的，所以优化速度并不是一个很重要的指标，故本实验没有优化速度的对比.

5 结束语

利用知识引导的随机搜索可以较好地解决机器视觉检测中检测窗口位置的优化问题. 在确定检测窗口的数目后，如何把元件从相邻窗口合理划分并使元件更尽可能位于窗口中间，是值得进一步研究的问题，窗口移动路径优化可能是解决这一问题的途径之一.

表1 对100和200个元件电路板的检测窗口仿真优化结果比较

[1]罗兵，章云. SMT焊膏印刷质量自动光学检测[J]. 电子质量，2005(12): 30-32.

[2] KANUNGO T, MOUNT D M, NETANYAHU N S, et al. An efficient k-means clustering algorithm: analysis and implementation[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2002, 24(7): 881-892.

[3] KIM H J, PARK T H. A clustering algorithm for path planning of SMT inspection machines [C]//Proc of SICE. Los Alamitos: IEEE Computer Society, 2003: 2869-2874.

[4]孙吉贵，刘杰，赵连宇. 聚类算法研究[J]. 软件学报，2008, 19(01): 48-61.

[5]LIN Yuseng, SHIUENG B Y. A genetic approach to the automatic clustering problem[J]. Pattern Recognition, 2001, 34(2): 415-424.

[6]罗兵，章云. 基于蚁群算法的SMT自动光学检测路径规划[J]. 仪器仪表学报，2006, 27(S6): 1251-1278.

[7]寇冠中，罗兵. 焊膏机器视觉测厚仪图像采集模块设计[J]. 五邑大学学报：自然科学版，2011, 25(1): 50-55.

[8]罗兵，章云，曾歆懿，等. 基于小波变换的PCB图像拼接[J]. 广东工业大学学报：自然科学版，2007, 24(3): 73-75.

[9] 罗兵，钟良吉，汪红松. 基于模糊逻辑的彩色图像分割[J]. 佛山科技学院学报：自然科学报，2006, 24(1): 14-16.

SMT Assembly Machine Vision Inspection Windows Optimization Based on Knowledge Inductive Search

YANGXiao-xin, LUOBing

(School of Information Engineering, Wuyi University, Jiangmen 529020, China)

Combined with advantages of S-shaped cluster algorithm and ant colony algorithm, prior knowledge and feedback information are used for inducting SMT machine vision windows optimization random search that find best windows position to reduce inspecting windows number to improve online inspection efficiency. Experimental results and applied in SMT machine vision inspection with area array camera showed that this approach could reduce inspecting windows numbers effectively.

machine vision; knowledge inductive; random search; surface mounted technology

1006-7302（2012）03-0074-05

TP216.1

A

2012-04-19

广东省大学生创新实验项目（1134910033）；江门市科技计划项目（〔2010〕210）.

阳孝鑫（1989—），男，湖南郴州人，研究方向为电子制造自动化装备；罗兵，教授，博士，研究方向为机器视觉应用及智能控制技术.