一种FPC 缺陷视觉检测方法

孙国栋 杨林杰 张 杨

(湖北工业大学机械工程学院，湖北 武汉 430068)

0 引言

柔性印制电路(flexible printed circuit，FPC)是以聚酰亚胺或聚酯薄膜为基材制成，具有质量轻、布线密集、焊点小、集成度高等传统材质无法比拟的优点，广泛用于手机、数码相机、医疗器械等产品，被冠以“黄金薄膜”称号［1］。补强片是FPC 软板一个重要的贴装部件，其细微的缺陷都会导致整个产品的报废，这就对FPC 软板补强片质量提出了相当严格的要求［1-2］。目前国内大多数FPC 生产企业主要依靠人眼辅助光学设备来检测产品质量，但长时间、高度集中观察图像给检测人员带来了极大的精神疲劳，难以保证产品质量且用工成本不断上升，因此实现FPC 自动机器视觉检测是发展的必然趋势。目前提出的检测方法都过分依赖于FPC 软板的纹理和几何特征，检测具有很大的局限性。本文综合各方面的研究成果，基于彩色图像颜色空间变换理论，提出了一种新的FPC 缺陷视觉检测方法。

1 FPC 视觉检测方案

1.1 视觉缺陷检测平台

视觉检测系统主要由彩色工业相机、镜头、图像采集卡、运动控制平台、工控机、图像处理软件等部分组成。首先通过导入FPC 的CAD 相关数据初始化系统设备，运动控制平台依据初始信息定位补强片的位置，并用串口触发光源和彩色相机，最终处理软件完成检测工作。系统框架如图1 所示。

图1 系统框架图Fig.1 The system structure diagram

1.2 缺陷视觉检测总流程

FPC 软板补强片的品质直接决定着电子产品的质量。经过长期调研，目前其存在的主要缺陷有压点、划伤、溢胶。针对这三种缺陷，提出的检测总体流程如图2 所示。

图2 FPC 缺陷视觉检测总流程图Fig.2 The general flow chart of FPC visual defect detection

通过运动定位实时采集相应区域的图像，并作相关预处理;然后在RGB 颜色空间对补强片的轮廓进行提取，且以轮廓为基底设计内外图像掩膜，从而得到对应的感兴趣区域;再通过RGB 与HSV 颜色空间相关处理算法，对经掩膜处理后的图像进行缺陷识别;最后以缺陷的几何特征与空间信息为判别标准对其进行分类。

1.3 图像预处理

在拍摄、传输过程中，CCD 传感器脉冲引起的椒盐噪声［3］将会对后续的缺陷识别产生致命的影响。为保留图像的细节信息，采用窗口为3 ×3 中值滤波器对FPC 补强片图像进行处理。图3 是正常FPC 补强片和含有三种缺陷的FPC 补强片在特殊设计的组合光源下经预处理后的图像［4-6］。

图3 预处理后的FPC 补强片缺陷对比图Fig.3 The defect comparison of reinforcing sheet after preprocessing

2 FPC 补强片缺陷识别算法

2.1 补强片轮廓提取

提取FPC 补强片轮廓是其缺陷识别算法中的一个重要环节。轮廓可以把视场图像分割成内外两部分，使识别中内外空间区域的缺陷特征互不干扰，并行处理;可以通过缺陷在轮廓内外的空间信息来区分其所属类型。当补强片内外区域的不同缺陷呈现相同描述特征时，轮廓成为区分的最佳标准。

提取补强片轮廓采用RGB 颜色空间，该空间中，任一颜色在红、绿、蓝三个不同通道的分量不同，这也是彩色图像特征识别的基础［7］。在组合光源下，片体的各部分因材质不同颜色特征存在明显差异。由于补强片的镜面反射，片体具有明显不同于其他区域的颜色特征，其颜色在RGB 通道所占分量分别约为0.005(R)、0.47(G)和0.98(B)。实验数据表明，片体颜色在B 通道的分量最大，故在该通道提取片体的轮廓。由于在B 通道背景与前景差别很大，采用otsu阈值对图像进行分割，效果图如图4 所示。

图4 FPC 补强片处理效果图Fig.4 The processing effect of FPC reinforcing sheet

2.2 FPC 补强片图像掩膜设计

掩膜是图像处理中一种十分实用的技术，其最大的特点是可以设置任意形状的感兴趣区域。其原理是用预先制作的感兴趣区域掩膜［8-9］与待处理图像进行数学运算，使得感兴趣区域内图像特征保持不变，而区域外的图像将会被屏蔽。本文以FPC 补强片轮廓设计区域掩膜，并将其用到缺陷识别算法中。

具体实现为:首先按2.1 节提出的方法提取图像中补强片轮廓，将轮廓以像素精度画在另一幅在内存中开辟的与采集图像大小相同且像素灰度全为0 的图像上，作为缺陷识别掩膜的母体;分别填充掩膜母体轮廓内部与外部区域，从而产生内外两个图像掩膜;分别用内外掩膜与原图像进行数学运算，得到内外感兴趣区域图像。以FPC 的补强片轮廓为界，内掩膜与采集图像处理后可使FPC 补强片轮廓内部的图像得以全部保留，外部被忽略(处理后灰度值为0)。若与外掩膜作用，处理效果正好相反。

2.3 补强片缺陷提取算法

2.3.1 压点、划伤缺陷特征提取

如图3 所示，在组合光源下压点和划伤呈白色，基于缺陷的颜色特征，采用RGB 颜色空间投影阈值算法对压点与划伤进行识别，并引入向量空间理论对缺陷识别算法进行解释。RGB 颜色空间以一个单位长度的立方体来表示，过原点的三条边r、g、b 构成了颜色空间的单位正交基，设C 为可见光谱里面的任一种颜色，其可以等价为RGB 颜色空间的任一向量c，则有:

λr、λg、λb分别表示向量c 在颜色空间r、g、b 三个正交基上的分量。设白色与浅蓝色光谱对应的RGB颜色空间向量分别为w、b。对于向量w，有λr∶ λg∶λb=1∶1∶1，向量b 有λr=0，λg∶λb=0.5∶1。颜色的亮度由其对应的幅值来决定。为了使白色的压点、划伤缺陷与蓝色片体在向量空间具有较大区分度，可将w和b 向量向r 轴投影，b 在r 轴的投影为一个点，则br=0;而w 在r 轴的投影为一定长度的线段，由投影几何关系可知向量间夹角余弦值约为0. 8，故wr=0.8 × |w|，定义向量w 和b 在r 轴投影分量比值η 来描述这种区分度，如式(2)所示。

由上式可知，理论上br趋近于0，则区分度η 趋近无穷大，说明在r 通道压点、划伤特征与背景才具有最大的区分度，同时CCD 传感器对红外光较其他光谱更敏感，因此r 轴投影的区分效果最理想。

压点划分缺陷提取流程如下:首先把实时采集并预处理后的图像与内部掩膜进行数学运算，得到轮廓内部感兴趣区域图像，然后提取R 通道的图像，选择阈值Th=60 对其进行二值化处理。

2.3.2 溢胶缺陷特征提取

胶体呈粉色，在RGB 颜色空间用向量p 表示，其对应的λr、λg、λb都有一定分量，p 不能用RGB 颜色空间中的任意两个正交基完全线性表示，故单纯在RGB颜色空间胶体难以取得较好的提取效果，于是选择HSV 颜色空间。

将彩色图像从RGB 空间转换到HSV 空间，能够有效地提取出更加丰富的彩色图像颜色信息，特别是其色调分量(H)能够描述不同波段的颜色光谱的变化信息，该分量不易受到光照条件变化的影响，其描述特征具有很强的鲁棒性［10-11］。基于色调分量良好的描述特性，经过大量实验比对发现，H 分量更适合分离胶体与其他图像特征。将颜色空间模型的连续角度参数离散成0 到255 的数值区间，各特征在HSV 颜色空间的色调H 离散分布为:片体的分布区间为［130，140］，背景约为［160，171］，胶体为［220，234］。从数据可以看出，胶体颜色与其他颜色特征在HSV 的H 通道具有很大的区分度，当阈值TH∈［175，215］任意一个值，都可以将胶体提取出来。

溢胶缺陷提取流程如下:通过预处理图像与外部掩膜的数学运算，得到轮廓外部感兴趣区域图像;然后将其变换到HSV 颜色空间，提取H 通道的图像，对其作阈值化处理，取阈值区间的中值TH=195。

3 缺陷识别与分类

进行缺陷种类数据统计是工业生产一个重要的环节，通过该数据反馈，可以更好地指导生产，改进加工工艺。经过缺陷提取算法处理后的图像若无以上特征，则FPC 补强片没有这三种缺陷，否则存在。以FPC补强片轮廓为界，依据缺陷的空间信息可把缺陷分为内部缺陷和外部缺陷，溢胶全部在轮廓外侧属于外部缺陷，压点与划伤为内部缺陷。检测要求对内部缺陷作进一步分类，依据内部缺陷的几何特征将其区分为压点与划伤，且采用缺陷轮廓面积Scon与最小外接矩形面积Srect的比值来描述这种区分，定义为填充度。

压点的填充度R 比较大，实验发现都在0.7 以上，而划伤呈条状，填充度R 较小，均在0.3 以下。综合以上分析，缺陷分类准则为:①若轮廓外部有宽度大于限定阈值Tw的白色区域，则为溢胶;②若轮廓内部存在面积大于限定阈值Ts的白色区域，依据式(3)计算该区域的轮廓填充度R，若R ＞0.5，则为压点，否则为划伤。

本文取Tw=3，Ts=5，单位为像素，按照上述分类准则，内部缺陷的轮廓及其对应的最小外接矩形如图5 所示。其中，图5(a)的R =0.95;图5(b)两处缺陷的R 值分别为0.04 和0.78;图5(c)为溢胶效果图，其缺陷位置均在轮廓之外。实验证明该分类准则具有很强的鲁棒性。

图5 FPC 三种缺陷的识别效果图Fig.5 Three defects recognition effects of FPC

4 结束语

结合机器视觉技术，提出了一种变换颜色空间的FPC 补强片缺陷识别方法。本文基于补强片片体的颜色特征，在RGB 颜色空间对其轮廓进行提取，并依据轮廓设计了内外图像掩膜，从而得到相应感兴趣区域的图像。通过RGB 颜色空间投影和HSV 颜色空间色调处理算法分别提取压点、划伤和溢胶缺陷，并基于缺陷几何特征与图像空间信息定义了分类准则，取得了良好的识别效果。

该FPC 缺陷识别算法对图像噪声具有一定的鲁棒性，能够满足企业的缺陷识别要求，检测效果稳定，为FPC 补强片缺陷识别提供了良好的解决方案，具有重要的应用价值。但是该算法对光源的依赖性较强，今后将进一步研究具有光照不变性的缺陷检测算法。

［1］ 张家亮.全球挠性印制板的市场及其技术研究［J］.印刷电路信息，2011，10(1):7 -15.

［2］ 苗振海，王西峰，康运江. 基于机器视觉的FPC 检测对位系统关键技术研究与开发［D］.北京:机械科学研究总院，2013.

［3］ 宋宇，吴满天，孙立宁.基于相似度函数的图像椒盐噪声自适应滤除算法［J］.自动化学报，2007，33(5):474 -479.

［4］ 吴德刚，赵利平.一种去除图像混合噪声的滤波算法［J］.自动化仪表，2012，33(9):95 -97.

［5］ 刘瑞祯，于仕琪. OpenCV 教程［M］. 北京:北京航空航天大学出版社，2007.

［6］Galba T，Romi K，Baumgartner A.Edge-preserving partial variable median filtering for fast noise reduction in CT slices［J］.Proceedings Elmar-International Symposium Electronics in Marine，2014，10(13):195 -198.

［7］ Ryu B，Kim K，Ha Y，et al.New RGB primary for various multimedia systems［J］.Journal of Information Display，2014，15(2):65-70.

［8］ Kinoshita H，Hamamoto K，Sakaya N，et al，Aerial image mask inspection system for extreme ultraviolet lithography［J］. Japanese Journal of Applied Physics，2007，46(9):6116 -6117.

［9］ Sang H K，Jan P A. Optimal unsharp mask for image sharpening and noise removal［J］. Journal of Electronic Imaging，2005，14(2):1 -13.

［10］Cao P，Zhao Q T，Da W，et al.HSV color space based pupil position locating method ［J］. WIT Transactions on Information and Communication Technologies，2014，61(1):387 -396.

［11］秦绪佳，王慧玲，杜轶诚.HSV 色彩空间的Retinex 结构光图像增强算法［J］.计算机辅助设计与图形学学报，2013，25(4):488-493.