基于融合多传感器信息的点胶机定位系统的研究
2017-02-27曲东升马正华李长峰
吴 凡,曲东升,,马正华,李长峰
(1.常州大学 信息科学与工程学院,江苏 常州 213164;2.常州铭赛机器人科技股份有限公司,江苏 常州 213164)
基于融合多传感器信息的点胶机定位系统的研究
吴 凡1,曲东升1,2,马正华1,李长峰2
(1.常州大学 信息科学与工程学院,江苏 常州 213164;2.常州铭赛机器人科技股份有限公司,江苏 常州 213164)
传统点胶设备的点胶轨迹是通过人工示教和阵列输入的方式生成的,这种方式不仅操作复杂,且没有考虑到各工件存在高度差异,导致点胶的精度不高,生产效率和点胶合格率较低;针对这一问题,提出了一种融合相机和激光传感器信息来自动定位点胶位置的点胶系统;先制定模板图像和示教点胶轨迹,然后用基于NCC的模板匹配方法得到目标工件的位姿,再通过激光传感器测得目标工件的点胶平面高度值,最后通过坐标变换得到点胶轨迹在三轴点胶平台坐标系下的坐标;实验结果表明:该系统在定位速度和精度上都满足对点胶生产的需求,且对于存在高低差异的工件可以保持一致的点胶效果。
模板匹配;点胶机系统;系统标定;激光测高
0 引言
点胶工艺应用于各个行业中,几乎所有的电子器件在生产加工中都涉及到点胶,例如电子元器件的粘贴,IC的封装,以及LCD底部填充等[1]。随着电子元器件的尺寸不断的减小,高精度,高速度,高一致性和可靠性的点胶技术是现阶段发展的趋势[2]。传统的点胶方式主要是通过人工示教输入点胶轨迹来完成点胶过程,它的精度主要依靠点胶平台的定位精度,点胶夹具的加工和装配精度以及工件的工装板的精度来控制的[3]。这种方式不仅点胶精度低,而且工艺调试繁琐,生产效率低下。机器视觉具有检测精度高,识别速度快,可连续工作等优点,在特定场合下,一定程度上比人眼更具有优势。将机器视觉引入到点胶控制行业,可以提高生产产品的质量和生产过程的自动化程度。
点胶技术中引入机器视觉主要运用在:1)在点胶前,对点胶轨迹的位置的精准定位。2)在点胶后,对点胶效果进行检测和评价,判定其效果是否合格[4]。本文针对点胶轨迹的定位,提出了基于融合多传感器信息的点胶机定位系统。利用相机采集工件图像,使用模板匹配技术识别工件位姿,精确定位点胶轨迹,再利用激光传感器测量轨迹高度,继而补偿点胶高度。本系统不仅可以精确定位点胶轨迹,而且对于有高低差异的工件也可以保持相对一致的点胶效果。
1 系统的构成和工作流程
基于融合多传感器信息的点胶机定位系统主要由机器视觉系统,工控机,三维平台运动控制系统,点胶模块控制器和测高模块所组成。其中视觉系统包括软件系统和硬件系统两个部分,软件系统是指图像的采集和处理,硬件系统包括光源、镜头、工业相机、图像采集卡等[5]。
整个系统的主要流程是:
1)系统标定,确定点胶平台坐标系和图像坐标系之间的映射关系。
2)对相机,激光传感器,针头之间的基点校准,确定三者之间的位置关系。
3)采集工件图像做模板,示教点胶轨迹和测高位置,接着采集待点胶工件的图像,与模板做匹配,确定点胶轨迹位置和测高位置,根据测高位置求得各工件的点胶高度,移动点胶平台移动到各个点胶轨迹位置控制点胶控制器精确点胶。图1是整个系统的工作流程图。
图1 点胶系统工作流程图
2 点胶轨迹定位过程
2.1 系统标定
标定是指点胶机三轴平台三维坐标系和相机二维坐标系之间的映射关系,相机标定的结果直接影响到视觉定位系统的准确性。本文采用基于主动视觉的标定方法,利用点胶机三轴平台的运动信息,确定点胶机平台坐标和图像坐标系的映射关系[6-7]。
通过分析,点胶机平台坐标(xp,yp,zp)转为图像坐标(u,v)的具体转化过程为:
可以,只需6组不重合的映射点即可求出转换矩阵M。具体做法是,先选取特征区域,如十字架图案。然后移动平台,使得该区域分别出现在图2中这九个位置,记录(ui,vi)和(xpi,ypi,zpi),i=1,2,3…9,然后提取(第一行和第二行,第一行和第三行,第二行和第三行)映射点集,计算出矩阵M1,M2,M3,求平均值,减小误差。
图2 标定位置示意图
2.2 激光传感器-相机-针头校准
通过视觉识别出的点胶轨迹和测高点的坐标是以相机为中心的坐标,不能直接使用该坐标去驱动针头点胶和激光传感器测高,所以需要将坐标分别转换为以针头为中心和以激光传感器光束为中心的坐标。
为了校准这三者之间的转换关系,制作如下校准模块。
图3 校准模块图
2.2.1 激光传感器-相机校准
将相机示教到十字中心,使得图像中心和十字中心重合,记录三轴平台位置pc=(xc,yc,zc),然后将激光中心示教到十字中心,并调节Z轴高度,使得激光传感器读值为0,记录三轴平台位置pl=(xl,yl,zl),则激光传感器和相机之间的平台位置差为Δlc=pl-pc=(xlc,ylc,zlc)。
2.2.2 针头-相机校准
2.2.3 激光传感器-针头校准
由于激光传感器基点和针头基点所在的平面有高度差,为了消除该差异对点胶效果的影响,可以在设定激光基点pl后平移平台,将激光传感器光束对准点胶区域的胶点附近,记录激光传感器读值为hln。
2.3 基于模板匹配的点胶轨迹识别和定位
本文采用基于halcon模板匹配的方法实现对工件位姿的分析和点胶轨迹的识别定位。所谓模板匹配,就是把不同传感器或同一传感器在不同时间、不同成像条件下对同一景物获取的两幅或多幅图像在空间上对准,或根据已知模式到另一幅图中寻找相应模式的处理方法[8]。
考虑到点胶工件纹理的复杂性,所以采用halcon中的create_ncc_model函数创建模板和find_ncc_model函数做模板匹配,这两个函数都是以NCC(归一化互相关系数)作为相似度量。
采用NCC作为相似度量可以避免图片光照线性变换带来的影响[9],同时,对于纹理复杂,边缘模糊和轻微变形的工件图片也可以很好的匹配,算法有较好的鲁棒性。
(1)
由于在整个图像中计算相似度量是一个非常耗时的工作,其时间复杂度为o(whn),为了提高搜索速度,可以使用金字塔分层的搜索策略,同时减小搜索图像的大小和模板的数量[10]。
具体的点胶轨迹识别过程如下:
1)选取工装板上任意一个工件(通常选取第一个),采集一张图片,如图4所示。
2)在该工件图片上选取ROI(regionofinterest),制作模板图像。如图5,实线线段内的区域为ROI区域,虚线为抠除ROI区域内不稳定的部分。
图4 模板图片 图5 选取ROI区域
3)在ROI区域内编辑点胶轨迹,可编辑独立点,圆弧,直线段等轨迹,记图像坐标为p(u,v)。如图6,示教了4个独立点。
4)在ROI区域内编辑测高点(不共线的3个点),记其坐标为pi(ui,vi),i=1,2,3。
图6 点胶轨迹示教图 图7 测高点示教图
5)采集其他工件图片,与模板图片做匹配,得到位姿信息(θ,Δu,Δv),其中θ是旋转量,Δu,Δv是平移量。
6)利用位姿信息,就可以把模板中的点胶轨迹点p(u,v)利用公式(2)转换到待匹配得工件图片上p′(u′,v′),而p′(u′,v′)就是我们需要定位的点胶轨迹。
图8 匹配得到的点胶轨迹图
7)利用标定信息,可以将图像坐标p′(u′,v′)转为以相机为中心的三轴平台坐标pspc(x,y),同理,可以得到测高点的坐标为ppl(x,y)。
3 融合高度信息,确定点胶轨迹的三维坐标
通过模板匹配和标定结果,可以得到点胶轨迹以相机为中心的平台坐标。但由于工件的高度存有差异,使用同一点胶高度可能会造成轨迹胶量不一致,更有可能损坏工件和针头,所以需要融合高度信息,确定每个点胶轨迹的三维信息。具体步骤如下。
步骤1:确定以相机为中心,高度原点为激光传感器原点的位置信息。
由上面章节,我们可以得到图像中的测高点的X,Y坐标,设定测高高度hl,那么可以测得3个测高点位置的激光传感器的读值为hi(i=1,2,3),记测高点坐标为ppl(x,y,h),其中,(x,y)是以相机为中心的平台X,Y轴坐标,h是激光传感器的读值。利用3个测高点的坐标可以求解如下平面方程,A(x-x0)+B(y-y0)+C(z-z0)=0, 将点胶轨迹点pspc(x,y)带入该平面公式,可以得到点胶轨迹的坐标为pspcl(x,y,z)。
步骤2:确定激光传感器测高数值和针头点胶高度之间的位置关系。
由校准已知,当pl(xl,yl,zl)时,测高传感器的读值为0,且pn=(xn,yn,zn)时,激光传感器和针头的校准平面的高度差为hln。由此可以知道,针对同一作业平面,当测高传感器读值为0时,测高传感器的平台Z轴高度和针头的平台Z轴高度之间的差值为Δhln=zn+hln-zl。即当测高高度为hl,激光读值为z时,针头的点胶高度为z+hl+Δhln。
步骤3:计算以针头为中心的点胶轨迹三维平台坐标。
4 实验与分析
采用常州铭赛机器人三轴点胶机器人,该平台重复定位精度为±0.01mm,相机选择德国Balser公司acA1300-30gm工业相机,分辨率为1 280×960,与之对应的镜头采用日本Computar公司的35mm工业镜头,激光传感器采用松下公司的HL-G103-S-J测距传感器,该传感器的分辨率为0.5μm。实验系统如图9所示。
图9 实验系统构成图
实验一:通过人工示教的方式输入点胶轨迹,示教点胶高度为61.382mm,点胶轨迹坐标如表1所示,点胶效果如图10所示。
其中图(a)是点胶高度示教工件,(b)(c)使用该高度点胶工件。实验二:采用本文方法,利用模板匹配技术定位点胶轨迹,然后利用激光传感器补偿点胶高度做点胶实验,补偿数据如表2所示,点胶效果如图11所示。
表1 人工示教点胶轨迹的平台坐标 (mm)
图10 人工示教工件点胶效果图
(mm)
图11 本文方法得到的点胶效果图
通过两组实验可以看出,在工件存有高度差的情况下,实
验一仅能在示教点胶高度的工件上有较好的点胶效果,而其他工件上存有少胶以及胶点大小不一致等情况,无法保证点胶效果的一致性。由实验二的点胶效果可以看出,本文方法不仅可以精确定位点胶轨迹,而且对点胶高度进行了补偿,点胶效果具有一致性。
5 结论
本文研究了融合多传感器信息的点胶轨迹定位系统,利用CCD相机采集图像,然后使用模板匹配图像处理技术确定点胶轨迹X,Y轴的位姿,再利用激光传感器测得点胶面的高度信息,通过信息融合和坐标转换,从而确定了每个点胶轨迹的平台三维坐标。本文方法不仅实现了对点胶轨迹的X,Y面的精确定位,同时也确认了Z轴上的位置,从而提供了一种针对工件高低不平的情况点胶解决方案。实验结果表明,该系统在定位速度和精度上都满足对点胶生产的需求,且针对不一致的点胶面具有一致的点胶效果。
[1] 张胜奎.智能点胶机关键技术研究[D]. 焦作:河南理工大学,2011.
[2] Dan Ashley.点胶工艺的新进展[J]. 电子工业专用设备,2013,42(2):72-74.
[3] Norfis M.Dispensing technolngy[J].Surface Moum Technology,1996(10):56-58
[4] 程 方,张 曦,张金松.基于机器视觉的点胶机定位系统[J]. 机械设计与制造,2013(03):101-104.
[5] 袁 斌,陈树越.基于机器视觉的微点焊系统研究与设计[J]. 组合机床与自动化加工技术,2015(11):52-54.
[6] 吉 峰, 郭新年, 曹沁婕,等. 基于主动视觉的结构光手眼系统自标定方法[J]. 自动化仪表, 2015, 36(02):8-11.
[7] 郭新年,白瑞林,王秀平.基于主动视觉的手眼矩阵和光平面标定方法[J]. 计算机工程与应用,2015,51(19):56-60.
[8] 李 超,于 飞,康晓军.一种模板匹配的快速实现方法[J]. 航天返回与遥感,2016,37(1):63-70.
[9] 杨通钰,彭国华.基于NCC的图像匹配快速算法[J]. 现代电子技术,2010,33(22):107-109.
[10] 王 斌, 何中市, 伍 星,等. 基于高斯金字塔的图像运动估计算法[J]. 计算机工程与应用, 2015, 51(7):174-178.
Study on Glue Dispenser Positioning System Based on Multi-sensor Information Fusion
Wu Fan1,Qu Dongsheng1,2,Ma Zhenghua1,Li Changfeng2
(1.College of Information Science and Engineering,Changzhou University,Changzhou 213164, China; 2.Changzhou Mingseal Robot Technology Co., Ltd., Changzhou 213164, China)
The dispensing path of conventional dispensing devices is generated by manually teaching and array inputs. However, that approach has complex operation and does not account for the height difference of each workpiece, which lead to the result that the dispensing accuracy, production efficiency and dispensing qualify can not reach the desired level. In order to compensate for the defects, proposes an automated dispensing system that fusing cameras and laser sensors information to locate the position of dispensing. Firstly, make image template and teach dispensing path, and calculate the pose of target workpiece by template matching based on NCC. Then use laser sensor to measure the dispensing plane height of target workpiece. Finally, dispensing path is obtained by coordinate transformation in the three-axis dispensing platform. Experimental results show that both speed and accuracy of the system are good enough to meet the practical application requirement. In addition, the proposed method can also be applied to the workpiece of different height with the consistent dispensing effect.
template matching; dispensing system; system calibration; laser measurement
2016-08-03;
2016-09-13。
吴 凡(1991-),男,江苏南京人,硕士研究生,主要从事机器视觉方向的研究。
曲东升(1973-),男,辽宁辽阳人,副研究员,主要从事工业测量及过程控制技术方向的研究。
1671-4598(2017)01-0177-04DOI:10.16526/j.cnki.11-4762/tp
TP
A
马正华(1962-),男,江苏苏州人,教授,主要从事嵌入式系统应用、计算机控制技术、电力电子技术方向的研究。