单线阵CCD系统的表面凹坑缺陷检测方法

韩芳芳，段发阶，张宝峰，段晓杰

(1.天津大学精密测试技术与仪器重点实验室，300072天津;2.天津理工大学自动化学院，300382天津)

基于线阵CCD系统的高速工业表面缺陷无损检测作为计算机视觉技术的一项重要内容，取得了越来越重要的应用［1-3］.表面缺陷可分为平面缺陷和非平面缺陷，平面缺陷信息是指待检缺陷与被测物表面处于同一平面高度上，非平面缺陷信息是指待检缺陷与被测物表面有一定高度差异，如凹坑、气泡等缺陷［4-7］.

单线阵CCD视觉检测系统的优点是结构简单，易于实现高速、连续、宽幅的在线检测.缺陷检测主要是根据异常灰度区域的形状、大小、边缘、纹理等情况进行判断［8-11］.但平面缺陷和非平面缺陷都呈现在异常灰度区域，所以仅依据上述条件无法区分平面缺陷还是非平面缺陷.如果能用单目线阵相机检出“深度”信息，就可以实现基于单线阵CCD系统的复杂表面缺陷高速在线检测，在实际生产领域中具有重要意义.

本文以凹坑缺陷检测为例，对这一问题进行了研究.在这里作3点说明:1)本文的目的不是进行三维形貌检测.基于计算机视觉技术的三维形貌检测已经比较成熟，有很多种方法，如单目视觉技术有基于结构光法，多目视觉技术有基于多线阵CCD、彩色线阵CCD等方法［12-17］.本文不是研究复杂的三维形貌检测，只是定性地进行表面凹坑缺陷检测，即相对于平面缺陷信息，检出凹坑缺陷，并判断出深度情况.2)本文提出基于单目线阵CCD系统的检测方法，不是基于其他复杂的系统，其目的是为了使系统结构简单，算法简化，以实现复杂表面缺陷的高速、实时在线检测.3)本文研究的被测物表面为漫反射体表面，即受光照射后经反射形成余弦辐射体.

1 视觉检测系统成像模型

视觉检测系统光学成像关系［18-21］如图1所示.

图1 视觉检测系统光照及成像关系图

图1中，dAs为光源发光微面积，dA为被测面表面微面积，dA'为CCD像面微面积，Ls(λ)为光源发光均匀亮度(λ为光波长)，Lw(λ)为被照表面的二次发光光亮度，r为光源到被测物表面的距离，l为物距，D为入瞳直径，V为物方孔径角(很小)，θ1为光照方向与光源微面法线的夹角，θ2为入射光方向与被测表面微面法线的夹角，θ3为透镜光轴与被测表面微面法线的夹角.

设光源的发光强度与θ1之间的关系由函数Ⅰ(θ1)确定，则与光源微面法线夹角为θ1方向的发光强度为

光源以图1所示角度关系，对微面积为dA的被照面的立体角内的光通量为

对dA面形成的光照度为

被照表面可看作二次光源，设被照表面反射系数为ρ，被照表面的光出射度M与光照度E的关系为

可整理得到被照表面的二次发光亮度为

本文研究的被测物是漫反射体，漫反射体受照后可看成余弦光源，发光强度与角度的关系为Ⅰ(θ)=cos θ.因此二次发光亮度Lw(λ)在θ3方向上的发光强度为

因此由Ⅰ(θ3)在物方孔径角V形成的立体角内的光通量为

在孔径角V很小的情况下，cos V≈1，且

针对照相系统的物像关系，设系统垂轴放大率为m，焦距为f，F为相机光圈数，F=f/D，则物距l与物方孔径角正弦sin U的关系为

结合式(6)及cos V≈1，整理式(5)得

设透镜透射系数为Tr，经透镜后的光通量为

经透镜后的光通量在CCD像面上的照度为

设R为CCD特性参数，Tint为CCD积分时间，则CCD视频信号电压输出值为

图像像素的灰度值与CCD视频信号电压输出值Uo成正比，而由式(8)可以看出，Uo与光投射角度θ1、相机架设角度θ3等有关.

2 基于线阵CCD系统的凹坑检测

为了简化系统结构和算法复杂度，本文提出如图2所示结构的凹坑检测系统，包括:1)相机为线阵CCD相机，相机采用与被测表面垂直安装的方式，即相对于图1，θ3=0;2)光源采用线光源，光束投射方向沿发光微面法线方向，即相对于图1，θ1=0;3)线光源采用汇聚光源，光强汇聚的效果是汇聚性越强越好.在实际应用中，若不确定光源光强与角度的关系，可以先采用标定的方法进行测定.

图2 基于线阵CCD相机和线光源的凹坑检测系统结构图

结合图2对检测原理作出说明:没有凹坑出现时，相机扫描线与光源照射线重合，即图2中俯视图的AD线;当有凹坑出现时，光源照射线被凹坑调制，在平面1上，照射光线位于线段AB、线段CD处;而凹坑位置，照射将位于线段EF处.由于相机垂直安装，相机扫描线不会被凹坑调制，依然为线段AD.这样，扫描线成像图像将会在线段BC处出现暗区.

2.1 检测模型推导

设P为线光源上的一个发光微面中心点，发光微面积为dAP，均匀光亮度为LP(λ)，到被测面即平面1的投射距离为n，即｜PO1｜=n.若没有凹坑存在，光源投射光线落在俯视图中平面1的线段AD上，从侧视图看，P点发出的光线与平面1交于O1点.当有凹坑存在时，P点发出的光线沿直线传播，落于凹坑O3点，而相机扫描点O1点也相应的落于O2点，即O2点在相机内成像.由式(2)，光源微面在O2点微面形成的照度为

由式(8)，照度EO2引起的CCD视频信号电压输出值为

推导UO2与凹坑深度h的关系.根据图2所示，｜O1O2｜=h，由△PO1O2可推导其他边、角关系，可以得到UO2与凹坑深度h之间的关系为

式(11)中，当相机、光源、被测物选定，参数K1可看成一个定值;当检测需求确定，相机物距、焦距、光圈数等确定，参数K2可看成一个定值.由△PO1O2关系，α1可由α2确定，因此由式(11)，UO2与光源架设距离n、光线投射角度α2和凹坑深度h有关.当光源架设方式固定后，UO2只与凹坑深度h有关，而UO2与像素灰度成正比关系，因此，像素灰度值可以反映凹坑深度.

2.2 光源选择及建模

式(11)中的Ⅰ(α1)为光源发光强度与角度α1的关系，不同光源有不同的函数模型.本文提出的凹坑检测方法与光源发光强度的汇聚性有很大关系.为讨论方便，把式(11)中的Ⅰ(α1)与α1的关系统一写成光源发光强度Ⅰ(α)与发光角度α的关系，本文讨论几种光强模型，分别为

画出几种光源发光强度与发光角度的关系，如图3所示.可以看出，Ⅰ5(α)汇聚性最好，即随角度α的增大，发光强度降落得最快.

经推导，可得到Ⅰ5(α)模型下UO2的关系式为

其中:参数K1、K2分别由式(12)、(13)确定.

图3 光源模型曲线

2.3 视频信号与凹坑深度h的关系

根据式(14)，画出h-UO2曲线，如图4所示.

图4 视频输出信号与凹坑深度关系

当系统硬件设备、结构参数选定时，式(14)中的K1、K2、n、α2为定值，CCD输出电压信号只与凹坑深度h有关.为简化曲线图和讨论的方便，画图4时，令K1=1，K2=1，n=10，h取值在［0，1］之间变化，即假设凹坑深度最大值为光源投射到被测面距离的1/10.对于光源架设角度α2，分别在高角度、低角度照明范围内取几个值，即:15°，45°和75°.

由图4可以看出，随着凹坑深度增加，视频输出信号减小，像素灰度值降低.因此，可以由像素灰度值体现凹坑深度.此外，凹坑缺陷在边缘处深度通常是缓慢渐变的而不是垂直突变的，因此，凹坑缺陷图像在边缘处的灰度是渐变的，呈现边缘模糊状，这是凹坑判断的一个重要依据.另一方面，从图4可以看出，对同一个凹坑深度值，光源投射角度α2越大，视频输出信号越小，像素灰度值越低，凹坑图像的颜色越深.因此，凹坑缺陷在低角度照明时更明显.

3 实验

实验光源为红光LED线光源，型号LSL-450-34-R，东莞康视达自动化科技有限公司生产，24 V/72 W，5 500 K色温.DALSA Piranha2黑白相机，型号p2-22-04k30，分辨率4 096像素，最大行频14 kHz.Nikon镜头，f=35 mm定焦镜头.被测物为包装用纸盒板，板厚度3 mm，表面有笔画污渍，手指压出的凹坑，凹坑深度约0.3～1.0 mm渐变.

本文进行了2种不同角度的对比实验，2次实验的参数如表1所示.

表1 实验参数

实验的图像采集如图5所示.图5(a)为实验1采集的图像;图5(b)为实验2采集的图像.

图5 实验图像采集

分析图5，得出以下实验结果:1)凹坑缺陷因深度的渐变而引起光照度的渐变，因此图像呈现边缘模糊状;而平面缺陷信息与背景的差异通常是灰度突变的，因此边缘是清晰锐利的.2)光照角度越低，凹坑缺陷与平面信息的对比度越大，凹坑缺陷越明显;而光照角度对平面缺陷的影响却不大，但光照角度低，会使图像整体亮度降低.以上2个实验结果，均与图4曲线相吻合，即随凹坑深度加深，CCD输出信号值降低，像素变暗，因此深度的渐变引起像素灰度的渐变;α2角度越大，CCD输出信号值越低，像素越暗.

4 结论

1)提出了一种基于线阵CCD系统进行凹坑缺陷检测的方法，并建立了检测模型，由模型可以推导出像素灰度与凹坑深度的关系.

2)对于此方法，光源需要选择发光强度汇聚性高的线光源，且汇聚性越高，凹坑与表面信息的对比度越明显，越容易检出凹坑.凹坑缺陷的判断可以基于2点:一是由光照度引起的图像灰度差异，往往比平面缺陷颜色差引起的灰度差异要强烈得多;二是凹坑缺陷往往是深度渐变的，其图像呈现边缘模糊状.

3)推导出凹坑坑洼洼深度与CCD视频信号电压的关系，理论上可以由图像灰度判断凹坑深度，然而许多参数对于用户来说是未知的，例如光源发光强度模型Ⅰ(α1)、CCD相机特性参数R、透镜透射系数Tr、被测物表面反射系数ρ等.因此，在实际应用时，可以先采用标定的方法对这些参数进行标定，使模型只反映像素灰度值与凹坑深度的关系.具体的标定方法和模型，将在后续的研究和实验中逐步建立.如果随着光源技术的发展，能够建立所需要的特定模型光源，那么对本文提出的模型进行深入研究，将会为基于单目视觉进行三维形态恢复建立研究基础.

［1］徐晓秋，秦玉芳，黄劼.线阵CCD图像特点及识别算法适应性研究［J］.半导体光电，2006，27(2):196-199.

［2］ROSATI G，BOSCHETTI G，BIONDI A，et al.Realtime defect detection on highly reflective curved surfaces［J］.Optics and Lasers in Engineering，2009，47(3/4):379-384.

［3］艾莉莉，袁峰，丁振良.应用线阵CCD的空间目标外姿态测量系统［J］.光学精密工程，2008，16(1):161-165.

［4］YOSHIKUNI O.Automatic inspection of the surface defects of cast metals［J］.Computer Vision，Graphics，and Image Processing，1984，25(1):89-112.

［5］王宏霞.冷轧板表面缺陷成因及预防措施［J］.中国重型装备，2008，4:21-24.

［6］李红，余广火，原建华，等.钢板卷筒后筒体表面凹坑缺陷的成因分析与预防［J］.宽厚板，2008，14(5):11-13.

［7］叶苏茹，胡治民，欧阳奇，等.基于机器视觉的重轨表面缺陷检测系统的研究［J］.现代制造工程，2007，8:89-93.

［8］张洪涛.钢板表面缺陷在线视觉检测系统关键技术研究［D］.天津:天津大学，2008.

［9］张媛，程万胜，赵杰.不变矩法分类识别带钢表面的缺陷［J］.光电工程，2008，35(7):90-94.

［10］TSAI D M，LIN P C，LU C J.An independent component analysis-based filter design for defect detection in low-contrast surface images［J］.Pattern Recognition，2006，39(9):1679-1694.

［11］FUNCK J W，ZHONG Y，BUTLER D A，et al.Image segmentation algorithms applied to wood defect detection［J］.Computers and Electronics in Agriculture，2003，41(1/2/3):157-179.

［12］PENNINGTON T L，XIAO H，MAY R，et al.Miniaturized 3-D surface profilometer using a fiber optic coupler［J］.Optics＆Laser Technology，2001，33(5):313-320.

［13］GU Ruowei，YOSHIZAWA T，OTANI Y.One-step phase shift 3-D surface profilometry with grating projection［J］.Optics and Lasers in Engineering，1994，21:61-75.

［14］吴国栋，韩冰，何煦.精密测角法的线阵CCD相机几何参数实验室标定方法［J］.光学精密工程，2007，15(10):1628-1632.

［15］蒋克俭，赵宏，宋元鹤，等.一种快速高精度三线阵CCD三维轮廓术［J］.激光与红外，2005，35(5):368-369.

［16］周鸿，赵宏.一种用线阵CCD测量物体表面三维轮廓的新方法［J］.半导体光电，2001，22(6):451-453.

［17］薛婷，吴斌，张涛，等.基于线结构光视觉传感器的圆孔定位误差分析［J］.光学精密工程，2008，16(4):624-629.

［18］胡亮.线阵CCD实现钢板表面缺陷在线检测关键技术及其应用研究［D］.天津:天津大学，2005.

［19］胡玉禧，安连生.应用光学［M］.合肥:中国科学技术大学出版社，2003.

［20］郁道银，谈恒英.工程光学［M］.北京:机械工业出版社，1999.

［21］胡亮，段发阶，丁克勤，等.钢板表面缺陷检测光学系统的设计［J］.传感技术学报，2005，18(4):726-728.