基于图像匹配与特征分析的FPC引导检测算法

2016-12-15吴鹃

系统仿真技术 2016年3期

关键词：图像匹配插拔协方差

吴鹃

(西安职业技术学院,陕西西安 710077)

基于图像匹配与特征分析的FPC引导检测算法

吴鹃

(西安职业技术学院,陕西西安 710077)

为了解决当前FPC定位检测算法在FPC背景复杂的情况下,定位正确率不稳定的问题,本文提出了基于图像匹配与特征分析的FPC视觉引导检测算法。首先,根据连接盖的灰度特征,计算其归一化灰度协方差,并将其融于图像匹配算法中,以构建匹配度因子。设计了基于图像匹配的视觉引导检测算子,完成FPC定位插拔引导和连接盖翻合检测。然后基于形态学分割出pin目标,提取灰度方差、梯度能量等特征,定义了耦合特征提取与特征分析的检测算子,完成对pin计数与检测。实验测试结果显示:与当前定位引导检测技术相比,面对复杂多变的FPC背景,本文算法拥有更高的匹配精度与定位检测正确率。

图像匹配; 特征分析; 灰度协方差; 形态学; 梯度能量

1 引言

随着市场竞争激烈程度的不断增加,人力成本不断上升,以及产能过剩情况日趋严重,为了提高我国在国际经济市场的竞争力,增加制造企业的科技含量,提高制造业的生产水平与产品质量已经是大势所趋[1-2]。FPC(柔性电路板,下同)与Connect(电子连接器)是电子制造核心部件,对FPC插拔、Connect以及附属连接盖翻合的工作量大、工艺复杂,这对FPC定位、Connect的pin角检测以及附属连接盖翻合检测有很大的挑战,而这系列的视觉定位、检测直接关系到产品质量,因此将智能视觉技术用在FPC-Connect识别是非常必要的[3]。目前国内已经有很多厂家采用机器视觉技术来检测Connect的Pin角和其他电子器件,在一定程度上提高了生产效率和不良溢出率,但是缺少对FPC、Connect及其连接盖这一整个系统的视觉处理,而且多数视觉算法存在不稳定性,尤其是在光源和硬件环境复杂的情况下,容易出现定位或识别的错误,最终导致产品不良率升高,浪费成本[4-5]。

在FPC、Connect识别方面,国内研究人员已经将图像处理与计算机视觉技术引入到该领域中,对其展开研究,如孙国栋[5]提出了基于机器视觉的FPC缺陷视觉检测系统,首先通过预处理消除彩色图像噪声,然后根据片体颜色特征,选择特定颜色空间对其进行轮廓提取,并以轮廓为基底设计掩膜,获取相应的感兴趣区域图像;再基于RGB颜色空间的正交基投影理论与HSV颜色空间色调处理算法,达到了FPC、Connect定位识别的目的。但是,此技术依靠目标及背景颜色明显差异完成定位,在环境光干扰较大和背景复杂时,往往影响了识别精度。赵大兴[6]提出了FPC缺陷检测对位系统,首先借助标定板实现相机标定,然后通过工件移动实现视觉坐标与运动坐标的标定,最后通过双Mark点和目标位置的调节实现 FPC补强片目标位置的标定,此方法可以在不精确定位FPC的情况下实现FPC上每块补强片定位。然而,这种技术依赖FPC周边特殊参考网物,背景多变且无Mark参考的情况下,往往不能区分FPC与背景,导致定位失败。

对此,本文为了提高FPC、Connect识别检测算法的适应性,使其在背景复杂、环境多变的情况下,仍然能够精确定位出FPC、Connect位置、完成引导插拔FPC、Pin检测和连接盖检测。本文提出了基于图像匹配与特征分析的FPC引导检测系统,针对FPC定位引导、Connect-Pin检测和连接盖检测的需求。先设计基于归一化协方差与匹配度的视觉引导检测算子,完成FPC定位插拔引导和连接盖翻合检测。然后耦合形态学与梯度能量等特征,完成Connect的pin检测。最后,测试了本文系统的定位与检测精度。

2 FPC引导检测算法

本文算法流程见图1。该算法首先将FPC材料板随导轨运动到工业相机镜下进行图像采集,随后采用归一化协方差和匹配算法,对FPC进行定位,计算出FPC坐标并传递给插拔设备完成视觉引导。然后利用形态学处理与特征(灰度方差、梯度能量、最大熵)分析,检测Connect的Pin数量,完成pin检测。最后机构合上连接盖,视觉系统做连接盖翻合检测。视觉系统与插拔机构进行三次交互,完成以上作业流程,交互机制如图2所示。待定位引导的FPC如图3所示,可见背景光不足即图像特征不明显。待检测的Connect的pin如图4所示,可见目标特征微弱且背景复杂。待检测的连接盖如图5所示,为翻合到位状态即OK状态,依据本文定位引导算子,达到匹配度标准值则判为OK,反之判为NG。

图1 本文机制架构Fig.1 Mechanism framework of this paper

图2 本系统通信交互流程Fig.2 Communication interaction flow of the system

图3 待定位FPC图像Fig.3 FPC image to be positioned

图4 待检测的Connect Pin图像Fig.4 Connect Pin image to be positioned

图5 待检测的连接盖图像Fig.5 Connected cover image to be detected

2.1 基于图像匹配的FPC定位与连接盖检测算子

FPC材料及其连接盖随传送带到工业相机镜下,完成图像采集后,如图3所示,本系统需要对FPC上端的连接盖进行定位,计算坐标传送给插拔设备,完成视觉定位引导。由于连接盖整体成亮灰度,背景成暗灰度,而且连接盖本身存在明暗交替的灰度特征,故本文提出灰度协方差特征[7-8]来完成定位。灰度协方差特征代表目标及其区域明暗变化程度,体现一定范围内的灰度分布特征,具有区域特征代表性:

(1)

其中,D为灰度协方差值,代表图像局部区域灰度分布,n为图像区域中的像素个数,(xi,yi)为图像区域某一点的坐标,I(xi,yi)为该点灰度值,U为图像平均灰度值。

依据模型(1),得到灰度协方差,再根据其目标与模板区域变化特征,构建图像匹配度函数,如下所示:

其中,R表示图像区域与模板匹配度,值越大,说明当下图像区域与模板的匹配程度越高,M、N为模板图像宽与长,S为图像区域协方差,T为图像区域协方差,(i,j)位于图像中某坐标。

本文算法以5个像素为步长,大小为M*N覆盖区域,逐一提取待定位引导图像局部区域,计算图像区域与连接盖模板图像匹配程度,取匹配度最高处为目标位置,完成FPC连接盖目标定位,定位结果如图6所示,可见本文定位引导结果准确。

图6 本文定位引导效果图Fig.6 Positioning and guiding effect chart

完成FPC插拔后,机构需将连接盖回复原位,即合上连接盖至初始位置。本系统需对连接盖是否翻合成功,进行检测。检测原理与定位一致,即匹配连接盖位置,匹配成功,则代表连接盖正常翻合,匹配失败,代表连接盖未翻合或翻合不到位,本检测方法对图5进行检测,处理结果如图7所示,可见连接盖定位正确,为连接盖正常翻合情况。

图7 本文连接盖匹配检测效果图Fig.7 The effect of matching cover matching in this paper

2.2 基于特征分析的Pin检测

完成FPC引导及连接盖检测,本系统还需对连接盖中的连接器Pin数量进行测量,从而检测是否有pin脚缺失。首先采用形态学开运算,对pin图像进行二值化处理,得到含pin的二值图像。然后提取区域目标特征(灰度方差、梯度能量),排除杂质区域干扰,分割出pin区域并计算个数,完成pin检测。形态学开运算为先腐蚀后膨胀,本文在此基础上做了改善,即三次腐蚀和两次膨胀交替进行,充分祛除杂质,加强pin区域:

Er=E⊗S⊕S⊗S⊕S⊗S

(3)

式中,Er为形态学处理完的图像,E为形态学处理后的图像,⊗为腐蚀运算符,⊕为膨胀运算符,S为结构分子,是一个3*3矩阵,用来做膨胀腐蚀处理:

(4)

通过开运算处理后图像见图8,可见得到包含pin在内的二值图像。接着对图像中的白色区域(疑似目标)进行特征提取处理,首先提取灰度方差[9]特征:

(5)

式中,n为图像区域中的像素个数,(xi,yi)为图像区域某一点的坐标,I(xi,yi)为该点灰度值,U为图像平均灰度值;f为灰度方差,代表图像区域灰度变化规律,然后计算梯度能量[10-11]:

(6)

式中,t为梯度能量,n为图像区域中的像素个数,(xi,yi)为图像区域某一点的坐标,I(xi,yi)为该点灰度值,梯度能量代表图像边缘灰度分布规律。提取区域特征后,与标准pin特征比较,祛除特征不符合标准值的区域,分割出pin区域,如图9所示,可见精确分割出pin。最后完成pin计数,并在原图上标注出定位计算到的pin,如图10所示,可见pin检测正确。

图8 开运算结果Fig.8 Open operation result

图9 特征分析结果Fig.9 Characteristic analysis result

图10 pin定位效果图Fig.10 Pin positioning effect chart

3 实验与讨论

为了体现本文算法的优势,将当前FPC、连接器pin识别性能较好的技术-文献[5]、[6]设为对照组。实验参数:灰度协方差(38)、灰度方差(214)梯度能量(95)。

以图11为FPC待定位引导对象,其包含用来定位的FPC连接盖。利用本文算法对其检测后,通过采用灰度协方差建立匹配函数,匹配出FPC连接盖位置,如图12所示,而文献[5]与文献[6]两种算法的匹配度不高,均存在一定的偏差,见图13与图14。

图11 原图Fig.11 Initial Image

图12 本文识别结果Fig.12 Identification result of the proposed algorithm

以图15为测试目标,利用所提算法与文献[5]、文献[6]三种技术对其检测,结果见图16～图18。由图可知,本文算法的识别精度最高,匹配检查正确,而文献[5]、文献[6]链子算法的识别精度不佳,其匹配检查错误。同样,以图19为测试对象时,仍有相同的结果,见图19～图21。原因是本文算法利用形态学处理与特征(灰度方差、梯度能量)提取分析,精准定位出pin目标,从而在此基础上,本文算法为FPC精确插拔提供了保证。而利用对照组文献[5]技术在检测目标时,由于单纯采用颜色空间特性,在连接盖背景多变或pin背景复杂的情况下,往往对目标识别不准。而利用对照组文献[6]技术由于采用MARK对位,依赖FPC、连接盖及pin周边参考物,在目标背景复杂且成像环境不稳定的情况下,往往对目标定位识别不准。由此,文献[5]、[6]的FPC、pin识别技术存在FPC插拔错误的风险。

图13 文献[5]识别结果Fig.13 Identification result of reference[5]

图14 文献[6]识别结果Fig.14 Identification result of reference[6]

图15 原图Fig.15 Initial image

4 结论

为了解决FPC、连接盖、电子连接器pin目标

图16 本文识别结果Fig.12 Identification result of the proposed algorithm

图17 文献[5]识别结果Fig.17 Identification result of reference[5]

图18 文献[6]识别结果Fig.18 Identification result of reference[6]

图19 原图Fig.19 Initial Image

图20 本文识别结果Fig.20 Identification result of this algorithm

图21 文献[5]识别结果Fig.21 Identification result of reference[5]

图22 文献[6]识别结果Fig.21 Identification result of reference[6]

背景复杂且成像不稳定因素,影响FPC准确插拔与检测的问题,本文设计了基于图像匹配与特征分析的FPC引导检测系统,实现对FPC图像的定位、引导插拔设备跑位、连接盖翻合定位检测、pin定位检测。实验结果表明:与当前FPC、pin识别技术相比,在面对存在背景复杂与环境干扰大的情况下,本文方法具有更好的精度,为FPC精确插拔提供了技术保障。

[1] ZHAO Qijie,CAO Peng,TU Dawei.Toward intelligent manufacturing:label characters marking and recognition method for steel products with machine vision[J].Advances in Manufacturing,2014,2(1):3-12.

[2] 黄杰贤.FPC焊盘表面缺陷检测研究[J].激光与红外,2015,23(14):286-290.

HUANG Jiexian.Study on surface defect detection of FPC welding disk[J].Laser and infrared,2015,23(14):286-290.

[3] 苗振海.FPC不规则贴胶片的视觉定位算法研究[J].制造业自动化,2015,43(2):71-76.

MIAO Zhenhai.Research on visual localization algorithm of FPC irregular film[J].manufacturing automation,2015,43(2):71-76.

[4] WANG Xuewu.Three-dimensional vision-based sensing of GTAW:a review[J].The International Journal of Advanced Manufacturing Technology,2014,72(4):333-345.

[5] 孙国栋.一种FPC缺陷视觉检测方法[J].自动化仪表,2015,12(34):218-225.

SUN Guodong.A FPC defect visual inspection method[J].automation instrument,2015,12(34):218-225

[6] 赵大兴.基于机器视觉FPC缺陷检测对位系统研究[J].制造业自动化,2015,21(21):283-287.

ZHAO Daxing.Research on FPC based defect detection and alignment system based on machine vision[J].manufacturing automation,2015,21(21):283-287.

[7] 褚娜.FPC连接器焊脚外观检测关键技术研究[J].中国计量学院学报,2015,17(32):427-430.

ZHU Na.Research on the key technology of the appearance detection of FPC connector pin[J].Journal of China Jiliang University,2015,17(32):427-430.[8] LIU Huaigui,QIN Wen,QI Haotian.Parcellation of the human orbitofrontal cortex based on gray matter volume covariance[J].Hum.Brain Mapp,2015,36(2):181-185.

[9] Dirk J.A.Smit,Dorret I.Boomsma,Hugo G.Schnack.Individual Differences in EEG Spectral Power Reflect Genetic Variance in Gray and White Matter Volumes[J].Twin Research and Human Genetics,2012,15(3):384-392.

[10] 张一天,关右江,吴艳楠.一种基于梯度能量的LSB匹配检测算法[J].计算机辅助设计与图形学学报,2013,25(6):782-787.

ZHANG Yitian,GUAN Youjiang,WU Yannan.LSB matching detection algorithm based on gradient energy[J].Journal of computer aided design and computer graphics,2013,25(6):782-787.

[11] 郭敬滨,冯华杰,王龙.基于梯度能量函数的调焦窗口构建方法[J].2016,12(03):97-202.

GUO Jingbin,FENG Huajie,WANG Long.Focusing window construction method based on gradient energy function[J].2016,12(03):97-202.

The FPC Guide Inspection Algorithm Based on Image Matching and Characteristics Analysis

WU Juan

(Xi’an Vocational and Technical College,Xi’an 710077,China)

In order to solve the problem of low stability of location correct rate under complex FPC background in current FPC positioning check algorithm,the FPC guide inspection system based on image matching and characteristics analysis was proposed in this paper.First of all,the normalized covariance was calculated according to the gray scale characteristics of the connecting cover,and introduced into image matching algorithm to construct the matching degree factor.Visual guide detection operator was designed for finishing FPC positioning plug-pull guide and connection cover detection.Then the gray variance,gradient energy and other features were extracted based on morphological segmentation of pin target,and detection operator with feature extraction and feature analysis was defined to detect pin count.Experimental results show that,this algorithm has a higher matching accuracy and positioning accuracy under complex and volatile FPC background compared with the current positioning and guiding detection technology.

image matching; characteristics analysis; gray covariance; morphology; gradient energy