基于机器视觉的轻触开关引脚缺陷检测算法研究

蒋建东，陈培余，童一珏，WILLEM Hoogmoed

(1.浙江工业大学 特种装备制造与先进加工技术教育部重点实验室，浙江 杭州 310014；

2.瓦赫宁根大学 农场技术组，荷兰 瓦赫宁根 6700HB)

基于机器视觉的轻触开关引脚缺陷检测算法研究

蒋建东1，陈培余1，童一珏1，WILLEM Hoogmoed2

(1.浙江工业大学 特种装备制造与先进加工技术教育部重点实验室，浙江 杭州 310014；

2.瓦赫宁根大学 农场技术组，荷兰 瓦赫宁根 6700HB)

摘要：针对轻触开关在生产过程中外观检测的要求，进行了基于机器视觉的轻触开关引脚外观图像检测技术研究.通过CCD获取图像，采用滤波、阈值分割等预处理提取了轻触开关的二值图像，并采用轮廓提取，根据最小面积包围法获取图像绕中心旋转角度的方法对图像进行矫正，对旋转后的图像提取4个引脚区域的ROI区域.对提取引脚区域的黑色像素面积进行统计，并与设定的标准面积阈值进行对比判断进行轻触开关引脚外观缺陷的检测.实验结果表明：引脚歪脚的识别率为98%，引脚合格的误判率为3%，综合准确率大于97%，所提出的检测方法及算法能准确检测轻触开关的引脚缺陷，满足轻触开关外观检测的需求.

关键词：轻触开关；机器视觉；外观检测；缺陷；ROI

中图分类号：TP317.4

文献标志码：A

文章编号：1006-4303(2015)01-0030-04

Study on the defect inspection algorithm of touch switch pins

based on machine vision

JIANG Jiandong1, CHEN Peiyu1, TONG Yijue1, WILLEM Hoogmoed2

(1.Key Laboratory of Special Purpose Equipment and Advanced Manufacturing Technology,

Ministry of Education, Zhejiang University of Technology, Hangzhou 310014, China；

2.Wageningen University, Farm Technology Group, Wageningen 6700HB, The Netherlands)

Abstract:This paper studies the appearance detection technology of touch switch pins based on machine vision, according to the appearance detecting requirements of touch switch in the production process. Firstly, the requested images are gained through CCD sensor, and then get the binary image by filtering and threshold segmentation pretreatment. Then extract the contour of the image and rectify the image by the angle of rotation around the center area according the smallest enclosing method, after that get the four regions of interest (ROI) of the switch pins. Last get statistics of the pin black pixels area and compare with the standard area threshold to judge the appearance defects of the touch switch pins. The experimental results show that the method and algorithm can precisely detect the pin defects and meet the requirement of touch switch appearance detection with recognition rate of crooked pin 98%, rate of qualified error 3%, accuracy rate greater than 97%.

Keywords:touch switch; machine vision; appearance detection; defects; ROI

轻触开关是广泛应用于影音产品、数码产品、遥控器、通讯产品、家用电器、医疗器件、健身器材等方面的重要电子元器件.轻触开关在封装后必须进行带电性能检测和外观检测[1-2]以确保其品质.国内轻触开关生产中的外观缺陷主要包括毛刺、表面划伤、引脚折弯、引脚缺失等缺陷，这些缺陷会直接影响产品的使用性能.因此，对其进行外观检测是生产环节的关键步骤.

目前，国内的生产厂商主要靠人工肉眼识别这些缺陷，这些缺陷的评判标准主要依靠主观感觉来判断，缺陷比较明显容易识别，反之容易忽视.由于检查项目多、产品尺寸小、尺寸精度要求高等很容易使操作者产生视觉疲劳，从而导致错检、漏检，使得产品后续分选工序速度和质量难以提高.将机器视觉技术[3-4]应用于轻触开关的外观检测可以实现产品的自动化和智能化，是实现引脚外观检测的有效方法.机器视觉已经发展为光电子的一个应用分支，广泛应用于农业机械人[5]、智能交通监控系统[6]、缺陷检测[7]等领域.本实验主要针对轻触开关的引脚缺陷的外观检测关键技术来进行研究.

1轻触开关缺陷检测系统及原理

轻触开关检测系统的检测目标是轻触开关的通电性能和外观引脚缺陷.图1是轻触开关检测系统及设备，整个检测系统主要包括送料台、电机、MSP430单片机、物料旋转台和相应的机械传动装置等组成的流水线子系统.图像采集子系统主要包括CCD摄像机、光源、镜头、计算机等，主要完成对轻触开关图像的采集.图2是轻触开关图像采集系统示意图.

图1　轻触开关检测系统及设备Fig.1　Detecting system and equipment of touch switch

1—CCD摄像机；2—光源；3—被检产品；4—传送系统；5—计算机图2　轻触开关在线图像采集系统Fig.2　Image online acquisition system of touch switch

整个系统的工作流程为：当产品通过送料台水平流向物料旋转台时，利用吸盘吸取到物料旋转台的一侧.经物料旋转台旋转至带电检测工位，由四个探针对轻触开关的通电性能进行检测，判断该产品的通电性是否良好.如果没有通电或通电性能不好，物料旋转台继续旋转至卸料口，由吸盘吸取轻触开关并配置击出器使不合格品落至卸料口，经卸料口流经至不合格品收集箱；如果通电性能良好，物料旋转台旋转至传送带上方，通过吸盘吸取至传送带传送至图像外观检测工位.当位置传感器检测有轻触开关经过时，位置传感器通过数据采集卡将信号传达给计算机，计算机发送触发信号给CCD摄像机对图像进行采集并处理,同时通过串口通信发送给MSP430单片机，由外观引脚缺陷检测控制模块进行轻触开关的外观识别与检测[8].

2轻触开关缺陷识别流程及算法

针对某型号液晶贴片轻触开关(尺寸规格为6.4 mm×5.2 mm×1.5 mm)进行外观引脚缺陷识别的图像分析，其外观缺陷识别流程如图3所示.

图3　轻触开关引脚外观缺陷识别流程图Fig.3　Flow chart of touch switch pins’ appearance defects recognition

轻触开关外观图像在采集的过程中，图像的质量不可避免受传动系统的振动和光源本身的影响，同时还伴随污点、斑点等随机因素的介入.为了消除这些噪声对图像处理过程中图像质量和检测精度的影响，在进行图像识别和缺陷检测前必须对获取的图像噪声进行预处理，流程如图4所示.

图4　图像预处理的流程图Fig.4　Flow chart of image preprocessing

2.1原始CCD采集图像的预处理

图5为检测中有微小倾斜并右上角引脚有歪缺陷的轻触开关，经CCD采集成24位的彩色图像.

图5　轻触开关的原始图像Fig.5　The original image of touch switch

为了减小图像的数据量，需要对图像进行灰度化处理，根据灰度化处理后图像中的背景和目标像素灰度值的分布特点，采用3×3的模板，对轻触开关图像做中值滤波去除噪声，同时采取人工选择阈值的方法，选择合适的阈值得到比较理想的灰度图像，其灰度阈值变换的函数为

(1)

在实验中，当阈值取过大时，轻触开关内部会有很多空洞，当阈值取过小时，不能很好的滤除背景的干扰.通过实验分析验证，当选择阈值为120时较为理想，对于得到的二值图像仍存在的微小空洞，可通过闭运算，填充空白部分使得到的二值图像完整，经过上述处理后得到的轻触开关的二值图像如图6所示.

图6　预处理后轻触开关的二值图Fig.6　Binary image of the touch switch with preprocessing step

2.2检测图像的轮廓提取、旋转算法

由轻触开关检测系统及设备可知，经过通电性能检测的合格轻触开关都是由吸盘吸取至传送带按统一方向进行传送至外观缺陷检测工位，通过CCD相机获取图像.由于连续传送的轻触开关位姿很难统一，往往沿水平方向会产生微小角度的旋转，因此必须对获取的图像进行方向矫正，为后期的图像引脚缺陷识别提供正确位姿的轻触开关图像[9].为了获得图像的旋转角度，采用提取图像的外轮廓，根据给定的轮廓点集，寻找最小面积的包围矩形，并根据最小面积的包围矩形计算出水平轴与第一条边的夹角angle，夹角为水平轴逆时针旋转方向，进行获取图像的旋转方法是是图像上的任意点(x，y)绕其中心(x0，y0)逆时针旋转angle角度，图7所示为经过旋转变换后的轻触开关二值图像.

图7　旋转变换后轻触开关的二值图Fig.7　Binary image of the touch switch with rotation transformation

2.3检测图像的ROI区域标定及缺陷判定算法

进行图像引脚缺陷识别通常针对轻触开关图像的引脚缺陷区域进行图像特征识别，而感兴趣区域(ROI)[10]就是从图像中选择一个特征识别区域，这个区域就是图像分析的重点.使用ROI方法可以使得算法的数据量大大减小，同时使得误判率大大降低.轻触开关检测图像的ROI区域标定步骤为：1)将旋转后的二值图像进行轮廓跟踪，由给定的轮廓点集来计算点集的最外面矩形边界；2)检测的矩形边界就是图像中设定ROI区域的大小，在待处理的图像中截取该区域，作为将要进一步处理的图像.图8所示为轻触开关的ROI标定图.

图8　轻触开关的ROIFig.8　Region of interest of the touch switch

轻触开关对象的引脚缺陷主要表现在提取轻触开关ROI区域的四个边角区域，而标准的轻触开关四个引脚在提取的ROI区域有固定的位置，由标准的产品尺寸图，按比例提取轻触开关ROI的四个引脚位置.如图9所示为轻触开关ROI区域坐标.四个引脚区域提取的ROI区域的计算面积S=HW.H为每个引脚区域的高度，W为每个引脚区域的宽度.四个引脚的区域以坐标(X[2]-X[1])或(X[4]-X[3])的之差为宽度，以坐标Y[1]或(Y[3]-Y[2])为高度,理论上(X[2]-X[1])和(X[4]-X[3])宽度之差数值相同，Y[1]和(Y[3]-Y[2])高度之差数值也相同，故提取的四个引脚区域面积相同.根据四个引脚的区域的位置，分别提取四个引脚区域的ROI区域.

图9　轻触开关ROI区域坐标Fig.9　Region coordinates of the touch switch ROI

将提取到的4个引脚的ROI区域的图像进行归一化处理.图像进行归一化处理后将0~255间的像素值改变为0~1.图像采集中采用显微镜放大镜头，故进行归一化后取得的轻触开关ROI图像理论上的宽度为197个像素，高度为242个像素.提取的四个边角区域的的理论宽度为19个像素，理论高度为23个像素，理论上引脚区域黑色像素的最大面积阈值为437.首先选取二十张合格的轻触开关的静态图像进行实验处理，对二十张轻触开关提取的四个引脚的ROI区域黑色像素的面积进行数学统计，并计算引脚区域黑色像素的面积的最大值和最小值，记为Tmax和Tmin，即

Tmax=max(T1:T20)

(2)

Tmin=min(T1:T20)

(3)

图10　引脚区域判断缺陷与否的算法流程Fig.10　Algorithm flow to classify defects of pin area

由实验数据可得出引脚区域黑色像素的最大面积像素为430，引脚区域黑色像素的最小面积像素为390.故设定390为判定阈值的最小值，实验中得出的最大面积430比理论中计算得出的最大阈值稍微小点，故使Tmax=437作为判定阈值使系统的判定结果更加稳定.左上角引脚区域黑色像素面积、右上角引脚区域黑色像素面积、左下角引脚区域黑色像素面积、右下角引脚区域黑色像素面积分别记为T1，T2，T3和T4.若Tmin

3实验结果与分析

为了验证上述方法及算法的有效性，我们选取的实验样本为：有引脚缺失的轻触开关100个，引脚歪脚的100个，外观无缺陷的100个，通过上述轻触开关外观缺陷识别系统进行试验，统计正确识别引脚缺失和引脚歪脚的正确率，以及错误将合格轻触开关识别为有引脚缺陷的误判率.实验结果统计数据如表1所示.

表1　引脚缺陷的识别结果

由表1可知：对轻触开关的引脚缺失的识别率达到100%，本系统中没有将引脚缺失这种不合格品误判为合格品.引脚歪脚的识别率为98%，产生误判的原因可能是歪脚不大，错误的认为是合格品.而引脚合格的误判率为3%，说明在检测中产生了误判.所提出的轻触开关引脚缺陷识别方法及算法误判率远达到生产产家产品在线检测的要求(综合准确率大于97%)，具有较高的准确性和稳定性，满足轻触开关产品外观缺陷在线检测的生产需求.

4结束语

轻触开关的外观检查是生产中质量检测的重要环节，针对企业生产过程中外观检查设备的实际需求，进行了轻触开关引脚外观图像检测技术研究.通过CCD获取图像，采用滤波、阈值分割等预处理提取了轻触开关的二值图像，并采用轮廓提取，根据最

小面积包围法获取图像绕中心旋转角度的方法对图像进行矫正，对旋转后的图像提取4个引脚区域的ROI区域，对提取引脚区域的黑色像素面积进行统计，并与设定的标准面积阈值进行对比判断进行轻触开关引脚外观缺陷的检测.最后的实验结果表明，所提出的检测方法及算法能准确检测轻触开关的引脚缺陷，有效的提高产品外观检测的效率，保证了产品检测的质量.

参考文献：

[1]郑金驹,李文龙,王瑜辉,等.QFC芯片外观视觉检测系统及检测方法[J].中国机械工程,2013,24(3):290-294.

[2]WU Huihui, FENG Guanglin, LI Huiwen, et al. Automated visual inspection of surface mounted chip components[C]//International Conference on Mechatronics and Automation.Xi’an:IEEE,2010:1789-1794.

[3]姚兴田,邱自学,刘建峰,等.基于机器视觉的IC芯片三维引脚外观检测机的研制[J].现代制造工程，2011(11):105-108.

[4]GOLNANI H, ASADPOUR A. Design and application of industrial machine vision systems[J]. Robotics and Computer-Integrated Manufacturin,2007,23(6):630-637.

[5]鲍官军,荀一,戚利勇，等.机器视觉在黄瓜采摘机器人中的应用研究[J].浙江工业大学学报,2010,38(1):114-118.

[6]王为,姚海明.基于计算机视觉的智能交通监控系统[J].浙江工业大学学报,2010,38(5):574-578.

[7]张洪涛,计时鸣.基于改进的BP神经网络钢板表面缺陷分类算法研究[J].浙江工业大学学报,2010,38(4):388-390.

[8]XIA Nianjiong, CAO Qixin, FU Zhuang, et al. A machine vision system of ball grid array inspection on RT-Linux OS[C]//International Conference on the Business of Electronic Product Reliability and Liability. Piscataway：IEEE,2004:81-85.

[9]许国庆.基于机器视觉的IC芯片外观检测系统[D].广州：华南理工大学，2010.

[10]宋燕星,袁峰,丁振良.目标感兴趣区域检测算[J].吉林大学学报,2010,40(5):1421-1425.

(责任编辑：刘岩)

作者简介：蒋建东(1974—)，男，四川广安人，教授，主要从事机电系统设计与分析方面的研究，E-mail:jiangjd@zjut.edu.cn.

基金项目：国家自然科学基金资助项目(51375456)；浙江省高校中青年学科带头人攀登计划项目(pd2013021)

收稿日期：2014-09-08