基于形状匹配的片状元件贴片角度纠偏算法

2015-12-02房晓伟安志勇李华杰

制造业自动化 2015年21期

房晓伟，段洁，安志勇，李华杰

FANG Xiao-wei1 , DUAN Jie1 , AN Zhi-yong1, LI Hua-jie2

（1.长春理工大学光电工程学院，长春 130000；2.长春工业大学，长春 130012）

0 引言

机器视觉技术应用于贴片机中几乎成为高性能贴片机的一个标志，并已广泛应用于表面组装自动化生产线上，现代先进的组装设备大多装载相应级别的机器视觉系统[1]。机器视觉对元件吸取的角度偏差检测具有高精度、无损伤、无接触等优势。其中偏差角度定义为图像坐标系横轴与元件单侧边界直线的夹角。该偏差来自抓取元件的机械误差以及元件运输过程中产生的误差。元件角度纠偏的作用是对有偏差的元件进行修正，使其能够正确贴片。

目前常用纠偏方法有模式匹配法和形状匹配法。模式匹配法由于计算量较大，多数由上位机控制，计算速度较慢，所以不能满足现代生产需求。本文的形状匹配法是采用FPGA做图像处理，完全嵌入式，使用单指令数据流算法以及最小二乘拟合算法，速度快、精度高。经过实验验证，此算法稳定可靠，速度和精确度有明显提高。

1 形状匹配计算概述

1.1 形状匹配基本概念

在视觉领域里，形状与图像是紧密联系的，形状所包含的信息量远远多于纹理和颜色所含有的信息量，是一种相对更高一层的图像特征。形状匹配的准确性由形状提取的好坏所影响。好的形状描述可以将复杂的形状匹配问题变得简单化，更有效率，而差的形状描述则往往得不到满意的结果。所以形状描述的提取在形状匹配的过程中具有极其关键的作用。

形状描述一般分为基于轮廓的形状描述方法和基于区域的形状描述方法[2]。基于轮廓的形状描述方法需要提取的就是形状的轮廓信息。基于区域的形状描述方法就是通过对闭合的曲线内部的像素点提取形状的某些特征进行描述。由于片状元件特征的提取是基于轮廓的描述，所以后面的研究也主要是基于轮廓上的信息进行形状匹配。

1.2 形状匹配计算流程

在形状匹配领域，将物体看作是一系列离散点的集合，物体的形状信息就可以通过表示物体的离散点集合或其子集来获得[3]。基于轮廓的形状匹配方法如图1所示。

图1 形状匹配流程图

1）图像采集

对于要进行形状匹配的图像进行采集信息。实验中用VITA1300 CMOS做图像采集。

2）边缘检测

边缘指的是图像中像素的值有突变的地方，对于元件则指引脚与背景之间像素的差异。边缘检测主要有Sobel、Prewitt、Roberts等。由于Sobel算子相对于其他算子具有边缘定位准确、灵活性强、对噪声有抑制作用，则采用Sobel算子对图像进行边缘检测，从而识别出片状元件的每个引脚边缘[4]，Sobel算子如图2(a)、(b)所示。

图2 Sobel算子及3×3像素区域

利用FPGA中shiftram例化截取出3×3像素点，假设图2(c)中符号代表3×3像素区域的图像点，则有公式(1)：

其中，Gx为图像在x方向梯度算子，Gy为图像在y方向梯度算子，Δf为梯度的模值。

3）二值形状

图像二值化是将图像上的0～255级灰度像素值通过设定的阈值T映射为0或255，利用FPGA中的比较器，像素点（x,y）处的梯度模值Δf大于或等于T，认为该点是目标的边缘点，否则为背景值零。二值化之后的图像凸显出感兴趣的目标轮廓。图3(a)是灰度图像。图3(b)是经过Sobel边缘检测且二值化处理之后的图像，从而得到清晰的元件引脚轮廓，以便于后面的引脚检测。

图3 边缘检测前后处理效果图

4）形状描述

如图3(b)所示，每个元件引脚轮廓类似圆形，由于元件引脚轮廓区域在10×10大小的像素区域内，而二值化之后的图像只有0和1，所以用1bit表示像素值。所以利用FPGA中shiftram做矩阵[7]，例化10个位宽为10bit为的D触发器，可以有效地代表了10×10bit图像矩阵区域，从而可离散地拟合出圆形的形状。

5）形状匹配

FPGA内部进行形状匹配，对图像从第一行开始从左至右，从上至下遍历整幅图像寻找形状相匹配的引脚，并记录相应的元器件引脚坐标，将检测的坐标值锁存在lcd_xpos_r，lcd_ypos_r，同样方法就可检测出多个引脚的坐标值。用(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)分别代表元件引脚坐标的值。

整个过程冲分发挥FPGA计算速度的优势，即外部单指令触发，FPGA收到触发信号之后内部采集一整帧图像，采集的过程中对图像数据流进行形状匹配，利用上述方法计算出每个引脚的坐标值。从而大大提高计算速度及精度。

2 片状元件角度纠偏算法

2.1 偏差产生原因

贴片头吸取元器件，移动至上视摄像机的位置上方，由于吸取元件、运输等一系列动作，元件不可避免地会出现偏差，也就是说，有些元件摆放角度会有偏差，如图4所示，那么仅仅依靠贴片头的X,Y轴电机运动无法满足现代贴片机精确要求[5]。所以有必要精确计算元件角度。

图4 片状元件在供料盘中角度偏移示意图

2.2 纠偏方法

想要得到元器件的角度偏差，就要拟合元件边界直线，则可以利用最小二乘法拟合出元件边界直线，利用最小二乘法对于直线的拟合是一种有效的工具[6]。对图像中离散的目标进行拟合，可得到连续的函数，从而确定目标的各个参数。

已知一系列点坐标(x1,y1)、(x2,y2)…(xn,yn)，拟合出直线方程为y=kx+b，则有式(2)和式(3)：

为了方便程序实现，设计中最小二乘法所采用的是式(2)和式(3)的结合，如式(4)所示：

将1.2节(5)形状匹配中得到的坐标点(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)带入式(4)，得出直线方程y=kx+b之后，则利用反三角函数，如式(5)所示：

其中θ为图4中的偏差角。如图3(c)为直线拟合示意图。

如图5(a)所示是原件未经过纠偏的贴片图，偏差比较明显，无法使用。如图5(b)所示是原件纠偏之后的贴片图，已经能达到现代贴片的需求。所以该文方法是可行有效的。

图5 元件纠偏前和元件纠偏后贴片图

3 实验与分析

为了提高片状元件角度纠偏的速度及精确度，利用FPGA并行执行的优势，结合最小二乘法，并根据设计资源的要求，所以本设计采用Altera Cyclone IV EP4CE115F23I7为图像处理芯片进行数据运算，此型号为Altera Cyclone IV系列容量最大的一款处理芯片，具有10W LEs。图6为实验系统工作框图，FPGA内部工作流程如下：

1）FPGA对获取的图像进行Sobel边缘检测并且进行二值化处理得到元件引脚轮廓。

2）针对元件引脚轮廓，FPGA内部做圆形的形状匹配，获取每个引脚的中心坐标。

3）对获取元件引脚坐标进行最小二乘法拟合直线，利用三角函数得到元件角度偏差。

图6 系统工作框图

图像传感器接口为parallel CMOS，它有1个帧同步、1个行同步、1个时钟和8位数据信号。FPGA接收图像数据流，FPGA内部进行元件引脚坐标检测。如图7是FPGA SignalTap时序示意图，data[2:9]为图像数据流，cmos_vsync、cmos_href分别为行、场信号，cmos_pclk为图像时钟信号，lcd_xpos、lcd_ypos为元件引脚坐标输出信号。