基于机器视觉的树脂镜片水印疵病检测

孙 力, 刘 晨, 姚红兵

(1. 江苏大学 机械工程学院, 江苏 镇江 212013; 2. 江苏大学 食品与生物工程学院, 江苏 镇江 212013)

近年来,我国眼镜片制造行业通过自主研发和技术引进,自动化生产水平得到显著提升,但树脂眼镜片生产过程中的质量检验仍停留于人工肉眼检验阶段.人工检验存在的最大问题在于对产品的优劣及合格判别完全取决于检验人员的经验和水平,易受人为因素、个体差异的影响,误检率相对较高.此外,人工检验疵病统计数据无法及时反馈至生产、技术部门,对生产工艺的调整、改进与重点目标控制失去了实时性,造成大量浪费.通过车间抽样调查得知,每片镜片人工检测耗时7～10 s,分级平均准确率约为91%[1],因此,树脂镜片的自动化检测已成为产业技术发展的瓶颈.

基于镜片缺陷的随机性以及其所特有的光学特性,国内外对球面树脂镜片疵病在线检测方面的研究极少,而在相近领域,光学器件传统检测方法从光学能量和光谱特性角度出发,采用不同光学调制方法及特定波段光照条件,利用疵病与完好光学器件在光线散射和能量吸收等方面的差异性实现对疵病的识别,主要包括目视法、滤波成像法[2-3]、红外光谱探测法[4]、频谱分析法[5]、掠入射法[6]及条纹发射检测方法[7-9]等.

随着计算机技术的发展,机器视觉已广泛应用于工业领域的疵病检测[10-13],在光学器件缺陷检测方面则利用瑕疵点对光产生散射作用为入手点,采用光学分析方法提高散射光与背景之间的差异性,结合数字图像处理方法对所获取场景光场信息进行实时处理,实现对疵病的检测和分类.由于机器视觉检测法可利用光学调制及图像分析方法获取疵病具体类型及精确位置,国内外学者对该技术在球面光学元件病疵检测方面进行了深入研究.文献[14-16]在平面缺陷显微散射暗场成像技术的基础上,进行了针对不同曲率、形状及口径的球面缺陷检测研究,并建立了原理性实验系统;文献[17]设计了一套利用数字CCD显微散射暗场成像原理的光学元件表面疵病检测系统,实现了对大口径光学元件疵病特征的提取、识别与定位;文献[18-19]设计和搭建了一套应用亮场照明的显微成像表面疵病检测系统,系统能够对光刻投影物镜中球面及非球面光学元件进行疵病的自动化检测;文献[20-21]对采用机器视觉的树脂镜片的点状及线状病疵进行了深入研究,并取得了理想的检测效果.

目前对于光学元件疵病的检测研究集中于麻点、斑点、擦痕、破边等瑕疵,而对树脂镜片面状疵病的自动化检测方法研究存在空白,该类型疵病的形成是由于生产过程中材料不均匀或者固化过程中温度不均匀造成区域材料的折射率与正常材料的不同,属于严重缺陷,且人工检验难度极大.因此文中采用光学分析方法建立水印缺陷检测光学仿真模型,以此为基础搭建机器视觉系统对树脂镜片水印疵病进行自动化检测,通过数字图像处理方法实现对水印疵病的自动识别与定位.

1 检测原理及装置

1.1 光学仿真模型

文中采用LightTools建立光源投影光学系统与水印缺陷模型,其光学仿真模型如图1所示.

图1 水印缺陷检测光学仿真模型

仿真过程中,将LED点光源与准直透镜相结合的方式作为光源发生器产生平行光;采用折叠反光镜模拟白色投影光屏;成像系统则由成像透镜和接受面分别代替镜头和CCD;考虑到水印缺陷产生原因是生产过程中材料不均匀,将镜片材料设置为PMMA(亚克力),水印缺陷则由4段圆环形三维物体连接而成,其材料设置为PC(聚碳酸酯).

图1b所示仿真结果表明:不同材质在点光源作用下,其投影至成像面所具有的光强存在差异性,即水印缺陷与完好镜片在点光源投影作用下呈现不同的灰度值;此外,在该仿真模型的基础上,通过调节光学仿真系统参数发现,光源与被检镜片之间相对距离的增加有利于提高缺陷成像的清晰度;反光镜的反射率的提高有利于增加缺陷与完好区域的图像对比度;镜片度数仅对投影图像大小以及透光率产生影响;相机成像距离与缺陷成像效果无关.

1.2 试验装置

基于上述光学仿真结果,树脂镜片水印疵病视觉检测系统示意图如图2所示,主要包括工业相机、镜片支架控制模块、光源系统、成像光屏、和计算机.其中工业相机用于获取镜片图像,其型号为FL3-U3-88S2C-C(point gray, 加拿大),所采集图像格式为8位灰度图像,图像大小为4 096×2 160像素;镜片支架控制模块用于调节夹爪大小以满足不同尺寸镜片检测需求,由双向直线丝杠平台、镜片夹爪和单片机控制器组成;光源系统用于提高镜片检测所需光照条件,由点光源(OPT-PIG0803-W)和光源控制器(OPT-APA0405-1)组成,点光源与镜片之间的垂直距离约为45 cm;成像光屏为一层析硅胶板,其表面极小的颗粒使投影图像保留了镜片本身纹理属性,且具有较高的反射率;计算机为本系统主处理器,用于采集与分析图像,以及设置镜片大小参数.

图2 镜片水印疵病检测试验装置

2 图像采集与分析

2.1 图像采集

本试验地点为江苏万新光学集团树脂镜片检测车间,所有镜片样本均通过超声清洗机及镜片干燥设备清洗和干燥,尽可能排除灰尘干扰,试验过程中通过上位机设置待检镜片尺寸,并将镜片平稳放置于镜片夹爪上,即可开始镜片图像的采集.

试验所采集的镜片图像如图3所示.在点光源投影作用下,光线从完好镜片穿透,并以均匀的灰度值投影至白色光屏;水印缺陷镜片则在水印区域内部发生二次折射,其透射率与正常区域存在差异,主要表现为局部细线高亮区域,其覆盖面积较大,并与完好区域具有较高的对比度.

图3 完好和缺陷镜片投影图像

2.2 图像分割

图像分割是图像分析和理解的基础,文中所涉及的图像分割主要是将镜片投影从背景中分割出,并可对不同尺寸、类型镜片具有自适应性.其分割过程如图4所示,主要包括图像平滑、区域生长、孔洞填充、形态学开运算、轮廓椭圆拟合和感兴趣区域设定.由于被检镜片个体之间透光率存在差异性,但同一个体所呈现的灰度值较为单一,因此文中采用高斯滤波对图像进行平滑处理,消除部分杂质点;然后采用区域生长算法进行镜片区域预提取,该算法以镜片中心固定点为种子点,其相似性准则为相邻像素归入生长区域后的灰度平均值与归入前的差值小于所设定阈值,当不再有像素满足归入条件时,区域生长算法结束;采用孔洞填充算法将像素面积小于100的孔洞区域进行填充;预提取区域中部分夹爪灰度值与镜片灰度值极其接近,文中采用形态学开运算滤除粘连于镜片区域的夹爪投影区域;基于镜片投影平面与相机成像面存在夹角,对开运算后的镜片区域轮廓进行椭圆拟合,并将拟合椭圆长、短轴分别缩进1/10作为感兴趣区域,用于后续处理及特征提取.镜片投影图像分割结果如图5所示,镜片投影区域较为完整的从背景中分割出,缺陷大多分布于镜片中间区域,且镜片检测重点为内部2/3,检测存在部分边缘区域的舍弃不会对缺陷识别产生影响.

图4 镜片分割流程

图5 镜片分割结果

2.3 水印缺陷识别

水印缺陷在投影图像中表现为局部灰度值高于完好区域的细长线状,且其轮廓清晰,因此采用边缘检测算法实现对水印缺陷检测,其检测流程如图6所示.

图6 水印缺陷检测流程

采用Sobel边缘检测算法对高斯平滑后的感兴趣区域计算灰度值梯度方向,利用阈值分割方法提取边缘突变区域,结合形态学腐蚀方法将相邻断开区域进行连接,并用面积阈值筛选满足水印特征的连通区域,优选区域的骨架即为水印缺陷位置.水印缺陷识别结果如图7所示,在感兴趣区域内的水印缺陷均被完整识别,其骨架线存在部分分叉则是因为镜片内部纹理与水印缺陷太靠近,在形态学腐蚀过程中被归并入水印缺陷.

图7 水印缺陷检测结果

3 结果与分析

为了验证所提出水印缺陷检测算法的鲁棒性,本试验采集了80幅镜片图像,其中完好镜片样本数量为50,水印疵病镜片样本数量为30.镜片样本由江苏万新光学集团提供,在视觉检测过程中,经验丰富的检验工人对同一样本进行人工检测比对.

试验结果表明:在采用人工与机器视觉方法检测条件下,不合格镜片均被检出,且对完好镜片无误判出现;人工检测可对疵病镜片实现定性分析,但对于水印缺陷识别的完整性存在较大的偏差,部分镜片存在大面积缺陷漏检,检测时间约为5～20 s;采用机器视觉方法检测时同样存在部分片段水印缺陷片段出现漏检,其主要原因是投影至白色光屏所表现的灰度值与正常区域的对比度不够强,由于水印缺陷常大面积出现,漏检部分未对镜片品质结果判别产生影响;相对于人工检测,采用视觉检测方法能更准确识别与定位水印缺陷,且耗时相对较少.

4 结 论

1) 建立了水印缺陷点光源投影成像的光学仿真模型,通过仿真发现光源与被检镜片之间相对距离以及成像光屏反射率会影响水印缺陷成像品质.

2) 自行设计了一套基于机器视觉的水印自动检测装置,通过上位机和单片机的协同工作,可实现对不同尺寸待检镜片夹取,并通过人机界面互动完成镜片投影图像的采集与分析.

3) 试验结果表明： 数字图像处理算法对不同类型镜片具有自适应性,并可实现对镜片水印缺陷的自动识别与定位,平均检测耗时为872 ms,其检测率与实时性均可以满足对镜片水印缺陷的在线检测要求.

参考文献(References)

[ 1 ] 姚红兵, 曾祥波, 马桂殿, 等. 镜片疵病视觉在线检测方法[J]. 激光与光电子学进展, 2013, 50(12): 73-78.

YAO H B, ZENG X B, MA G D, et al. On line defect detection method for lens based on machine vision [J]. Laser & Optoelectronics Progress, 2013, 50(12): 73-78. (in Chinese)

[ 2 ] BAKER L R. Inspection of surface flaws by comparator microscopy[J]. Applied Optics, 1988, 27(22): 4620-4625.

[ 3 ] CORMACK R, JOHNSON K M, ZHANG L, et al. Optical inspection of manufactured glass using adaptive Fourier filtering[J]. Optical Engineering, 1988, 27(5): 358-363.

[ 4 ] 罗茂, 步扬, 徐静浩, 等. 基于多光谱技术的光学元件表面疵病检测[J]. 中国激光, 2017, 44(1): 198-207.

LUO M, BU Y, XU J H, et al. Optical element surface defect measurement based on multispectral technique[J]. Chinese Journal of Lasers, 2017, 44(1): 198-207. (in Chinese)

[ 5 ] 张晓, 杨国光. 光学表面疵病的激光频谱分析法及其自动检测仪[J]. 仪器仪表学报, 1994, 15(4): 396-399.

ZHANG X, YANG G G. Laser frequency spectrum analysis method and automatic inspection instrument of optical surface inperfection[J]. Chinese Journal of Scientific Instrument, 1994, 15(4): 396-399. (in Chinese)

[ 6 ] 王元庆. 表面疵病的掠射法检测[J]. 应用激光, 1998, 18(2): 55-58.

WANG Y Q. The surface defect detection by grazing method[J]. Applied Laser, 1998, 18(2): 55-58. (in Chinese)

[ 7 ] BURKE J, LI W, HEIMSATH A, et al. Qualifying para-bolic mirrors with deflectometry[J]. Journal of the European Optical Society-Rapid Publications, 2013, 8:1-6.

[ 8 ] JIN Y, WANG Z B, CHEN Y, et al. Study on inspection method of glass defect based on phase image processing [J]. Optik-International Journal for Light and Electron Optics, 2014, 125: 5846-5849.

[ 9 ] YUAN T, ZHANG F, TAO X, et al. Flexible geometrical calibration for fringe-reflection optical three-dimensional shape measurement[J]. Applied Optics, 2015, 54(31): 9102-9107.

[10] JIAN C, GAO J, AO Y. Automatic surface defect detection for mobile phone screen glass based on machine vision[J]. Applied Soft Computing, 2017, 52: 348-358.

[11] 何世权, 肖宏, 樊丁, 等. 高频焊管错边缺陷的图像处理及特征提取[J]. 江苏大学学报 (自然科学版), 2012, 33(4): 449-452.

HE S Q, XIAO H, FAN D, et al. Image processing and feature extracting of welding seam miaalignment for high-frequency welded pipe[J]. Journal of Jiangsu University (Natural Science Edition), 2012, 33(4): 449-452. (in Chinese)

[12] PRAMERDORFER C, KAMPEL M. A dataset for computer-vision-based PCB analysis[C]∥IAPR International Conference on Machine Vision Applications.Tok-yo,Japan: IEEE, 2015: 378-381.

[13] 黄星奕, 林建荣, 赵杰文. 苹果果梗和缺陷的识别技术研究[J]. 江苏大学学报(自然科学版), 2004, 25(3): 193-195.

HUANG X Y, LIN J R, ZHAO J W. Identification technique for stem-end and blemish in apples[J]. Journal of Jiangsu University (Natural Science Edition), 2004, 25(3): 193-195. (in Chinese)

[14] LI L, LIU D, CAO P, et al. Automated discrimination between digs and dust particles on optical surfaces with dark-field scattering microscopy[J]. Applied Optics, 2014, 53(23): 5131-5140.

[15] 李璐, 杨甬英, 曹频, 等. 大口径光学元件表面灰尘与麻点自动判别[J]. 强激光与粒子束, 2014, 26(1): 1-6.

LI L, YANG Y Y, CAO Y, et al. Automatic discrimination between dusts and digs for large fine optics[J]. High Power Laser and Particle Beams, 2014, 26(1): 1-6. (in Chinese)

[16] CAO P, YANG Y, LI C, et al. Alignment methods for micron-scale surface defects automatic evaluation of large-aperture fine optics[J]. Chinese Optics Letters, 2015, 13(4): 26-30.

[17] 张家伟. 光学表面疵病检测系统及图像处理技术研究[D]. 南京:南京理工大学,2016.

[18] LIU J, MIAO E, SUI Y, et al. Phase only pupil filter design using zernike polynomials[J]. Journal of the Optical Society of Korea, 2016, 20(1): 101-106.

[19] LIU J, MIAO E, SUI Y, et al. Optimization of wavefront coding phase mask applied to 5X- 40X micro-objectives simultaneously[J]. Journal of the Optical Society of Korea, 2015, 19(5): 487-493.

[20] 姚红兵, 马桂殿, 沈宝国, 等. 基于图像处理技术的树脂镜片瑕疵分类特征研究[J]. 光电子·激光,2014,25(2):330-335.

YAO H B, MA G D, SHEN B G, et al. Resin lens defect classification based on image processing[J]. Journal of Optoelectronics·Laser,2014, 25(2):330-335.(in Chinese)

[21] 姚红兵,李良湾,平洁, 等. 基于数字图像处理技术的树脂眼镜镜片缺陷检测研究[J]. 应用光学,2013,34(3):442-446.

YAO H B, LI L W, PING J, et al. Defect detection for resin lenses based on digital image processing technology[J]. Journal of Applied Optics,2013, 34(3):442-446. (in Chinese)