基于机器视觉的带钢表面缺陷检测系统设计

刘 坤，陈宁纪，张晓怿，陈海永，孙鹤旭

（1.河北工业大学 控制科学与工程学院，天津 300130；2.河北科技大学，石家庄 050000）

0 引言

作为制造业的支柱性产业，钢铁行业近些年来的生产规模持续扩大，相关行业的用户对带钢表面质量的要求也越来越严格，目前带钢的表面质量已成为国内外市场竞争的关键性指标。然而，因为原材料、轧制设备、加工工艺等因素，带钢表面不可避免的存在孔洞、豁口、划痕、辊印、边裂等不同类型的缺陷[1～3]。这些缺陷不仅影响产品的外观，还会降低产品的抗腐蚀性、耐磨性、抗疲劳程度等，给相关生产企业带来了极大的经济损失。

现有的带钢表面缺陷检测技术大多停留在采用人工目视抽检的方法，根据检测员的经验和概率估算进行带钢综合质量评估。由于人眼的空间分辨力和时间分辨力有限，因此难以检测带钢表面的微小缺陷，也很难保证系统的实时在线的检测[4]。因此，为了满足短期内对高质量产品不断增长的需求，智能检测系统在生产线上的使用的越来越必要，设计带钢加工质量与过程信息的自动获取、表达、分析、传递和利用的检测系统，这也是实现智能制造技术的重要手段。

本文围绕带钢生产线的实际检测需求，利用机器视觉技术，在VS2010平台下采用相关的图像处理算法，开发出一个带钢表面缺陷自动检测系统，克服了人工检测的不足，有效提高了带钢的缺陷检测效率。

1 检测系统的构成

带钢表面质量检测系统主要由视觉传感系统、计算机系统、电气系统、软件系统及机械辅助设备五大部分组成。整体架构如图1所示。

图1 带钢表面检测系统整体架构

系统通过CCD摄像机及光源组成的成像系统对带钢上下表面进行不间断的扫描，形成高清晰的带钢表面图像，这些带有缺陷或不带有缺陷（称为背景）的图像通过专用的GIGE电缆或光纤传输至图像处理计算机，通过运行于其中的图像处理算法对其进行分析，滤除不含缺陷的背景图像，对含有缺陷的图像进行目标分割，提取缺陷的位置并合并相同属性的缺陷形成相关的感兴趣区域（ROI, Region of interest），然后通过终端计算机系统进行呈现（包括缺陷位置、大小、严重程度等信息）、缺陷存储、报警等操作。

2 系统硬件设计

2.1 光源设计

工业视频相机最短的曝光时间（1/10000秒=100us），针对现场中高速运动下的目标，在100us时间内，对于运动速度为20m/s的带钢钢卷，其移动了2mm的距离，导致对于1mm的缺陷或更小的缺陷模糊不清，无法精确检测，因此我们需要其他机构来确保更短的曝光时间。

为解决这个问题，这里使用频闪灯作为主导光源，同时，对于热轧带钢生产系统，使用蓝光透镜滤片和红外光阻挡滤片辅助完成带钢表面图像的采集。另外，为了确保频闪光的开启始终与快门的打开时间同步，通过相机和光源的外部触发接头送入同步信号，其中相机的触发不仅要与频闪灯同步，还需要与板卷速度同步。

2.2 相机选型与设计

由于带钢在实际工业现场中的运动速度非常快（20m/s左右），为了完全采集带钢表面图像，需要使用高速高帧率的工业数字相机。相机与光源的安装位置示意图及相对位置关系如图2所示。

图2 相机与光源安装位置示意图

假设d为相机之间的距离，n为相机的个数，cd为视场在带钢表面重叠的距离（垂直方向），Width为带钢的宽度。根据相机与带钢表面之间的几何关系，我们可以得到下面的公式：

根据上述公式中的参数约束关系，可以计算得到的最大测量宽度为1788mm，考虑到两边需要留有一些余量，两边各自20mm，可以实现宽度为1748mm带钢的横向测量。

结合带钢的实际运动速度，本文选择205帧/秒的AVT GE680高速相机来采集带钢图像。测量的带钢宽度为1748mm，单个相机在带钢表面的视场为384mm。需要5个相机才能完全覆盖带钢表面。相机架构参数如下：

分辨率为：640×480pixel；

水平分辨率=384mm/640pixels=0.6mm/pixel；

垂直分辨率=384mm/480pixels=0.8mm/pixel；

镜头焦距为35mm；

安装高度为2810mm；

相机视场的重合部分宽度为33mm；

相机之间的距离为351mm。

3 软件与算法设计

缺陷检测软件部分的流程图如图3中所示。针对初始的图像采集结果，为了降低随机噪声带来的影响，减少伪缺陷的产生，首先对图像进行高斯平滑处理；然后对图像中的疑似缺陷位置进行检测，实现疑似缺陷目标与背景的分离与提取；最后对缺陷疑似区域的图像信息进行特征编码后，在编码空间内进行缺陷的精确检测与定位，再合并具有相同属性的缺陷区域，获得关于缺陷的位置、大小，严重程度等信息，并将进行缺陷信息的存储、报警等操作。

图3 检测软件流程图

3.1 疑似缺陷检测

这里假设理想的无缺陷图像亮度分布是均匀一致的，而缺陷部分的图像亮度分布具有一定的随机性，且与周围区域存在一定的差异。根据人类的视觉感知机制，这些亮度上的差异会引起视觉的注意。因此，本文利用高斯差分模型DOG（Difference of Gaussian）检测带钢表面中需要“注意”的信息。具体的操作是，通过高斯滤波器的差分响应模型提取图像中不同位置的中央周围亮度对比特征，与周围亮度差异大的区域被认为是疑似缺陷目标。

定义图像预处理操作后得到的图像为Im(x,y)，对其进行高斯卷积后得到的拉普拉斯函数L(,,) x y σ如下式所示：

这里*表示在x和y方向上的卷积操作。通过拉普拉斯函数与原始图像的差分操作，得到高斯差分函数为D(,,) x y σ：

将对比后得到的图像进行自适应阈值化处理，即可得到图像中的疑似缺陷位置。通过对采集的带钢样本图像进行统计分析后发现，阈值的选取与图像的灰度平均值有关，这一关系可以用下式表示：

其中m为待检测带钢图像的灰度平均值，C是一常数，可以通过实验统计分析得到C=5。

3.2 特征编码与缺陷精确定位

为了进一步确定缺陷的精确位置信息， 本文通过对缺陷图像进行特征编码，将其转换到相应的编码空间中实现缺陷的精确检测。这里利用LBP（Local Binary Pattern）特征算子完成图像的特征编码转换和编码空间的建立。

LBP算子最初是由T. Ojala等人于1996年提出[5,6]，自提出之后被广泛应用于各类目标的特征提取，它具有旋转不变性和灰度不变性等显著的优点。通过比较像素点与窗口周围像素点的灰度值之间的差别，根据差别的大小进行编码，然后最小化得到具有旋转不变性的描述算子，能够有效地描述缺陷的纹理。LBP编码方式如下所示：

式(6)中的LBP为编码后的数值，gc为中心点像素亮度值，gi为在自定义的窗口内中心像素点周围p个像素点亮度值，函数S如式(7)所示：

因为原始的LBP特征编码方式过于简单，图像中不同亮度的差异会产生相同的编码结果，这样导致算法对于随机噪声的抗干扰能力较差，会不可避免地导致大量伪缺陷的产生。为了解决该问题，本文对LBP特征编码方法进行如下改进：

上式中T为设定的阈值，阈值的引进可以有效抑制随机噪声对带钢表面图像的影响，抑制了伪缺陷的产生。同时，为了形成旋转不变的编码模式，每次计算

LBP编码值时采用这些旋转结果中的最小值，计算方法如式(9)所示。

通过对图像进行特征编码后，原始的基于亮度的表示方法转化为基于编码空间中纹理信息的表示方法。为了进一步精确检测缺陷的位置信息，利用基于马氏距离的阈值化方法进行缺陷的检测与定位，阈值的大小可以根据用户需求进行设定，不同的阈值对缺陷的敏感程度不同。当对带钢表面质量要求较高时，可选择较小的阈值T；反之，可以适当选择较大的阈值T。这里，阈值化的公式如式(10)所示：

其中T'为图像与均值的马氏距离结果，函数S与公式(7)定义相同，Tbin为经过二值化阈值后得到的精确缺陷检测结果。

3.3 ROI区域的合并

通过特征编码空间的建立与缺陷的精确检测之后，为了得到缺陷的大小和位置信息，需要把具有相同属性的缺陷像素进行合并，找出这些感兴趣区域的最小外接矩形。

为了提高算法的效率，并增强算法的抗噪声干扰能力，本文的ROI合并分两步进行：1）将LBP编码后的图像划分成不重叠的5×5像素大小的区域，统计每个窗口内缺陷点的数量，只有当窗口内部的缺陷点超过一定数量时才将该窗口定义为包含缺陷的窗口；2）扫描上一步中检测出的所有缺陷窗口，通过判断各窗口是否是8邻域连通，赋予其不同的标号。经过遍历查找之后，在带钢表面缺陷图像中可以获得一系列经过标号的缺陷窗口。针对具有相同标号的缺陷窗口，找到这些窗口的最小外接矩形，并存储该矩形的位置信息。

图4 ROI合并效果示例

3.4 软件界面与操作

本文采用VS2010软件开发平台，开发出一个完整的带钢表面缺陷检测软件系统，其中主要包括图像信息的采集，软件不同部分与服务器之间的网络通信以及缺陷检测与定位功能，软件的初始界面如图5所示。

图5 带钢表面缺陷检测软件界面

为了在有效范围内（即带钢表面图像）检测带钢缺陷，需要将带钢图像与拍摄背景进行分离处理，即保留带钢图像部分，对非带钢的背景部分进行剔除。本文采用投影法对背景图像进行剔除，其中的红色矩形区域内即为需检测的带钢表面图像，矩形框之外的部分为背景图像。针对待检测的带钢表面图像，通过图像的预处理操作、疑似缺陷区域检测及精密的缺陷位置提取之后（中间过程软件界面不予显示），对检测结果进行ROI合并，最终的黄色矩形框为合并结果。

图6 缺陷检测结果示例

系统启动之后会自动检测带钢表面图像中的缺陷信息，软件界面将直接显示缺陷检测及合并后的效果，并将检测得到的缺陷位置、大小信息等进行报警提示与相应的存储操作，以供操作人员查看与处理。

3.5 缺陷检测结果统计

为了进一步检验本系统中缺陷检测算法的有效性，这里利用从实际生产线上采集的572张带钢表面图像作为测试集，其中包含氧化、孔洞、边裂、麻点、夹杂、褶皱、划痕、撞伤等几十种不同类型和不同严重程度的缺陷图像，并将检测结果与目前常用的Gabor方法[7]相比较，其中准确率计算公式定义为：

利用上述公式中的计算方法进行缺陷结果的统计分析，分析结果如表1中所示。

表1 缺陷检测统计分析

通过实验统计分析表明，本文提出方法具有更高的准确率，同时缺陷检测算法的计算效率也得到了提高。

4 结束语

本文根据热轧带钢生产线的实际运行环境，设计了一套基于机器视觉技术的带钢表面缺陷自动检测系统，其可以对带钢加工质量和过程信息进行自动获取、表达、分析、传递与分析，从系统整体构成、硬件结构、软件开发及算法设计等方面进行了深入地研究与系统地设计。通过大量的测试结果表明，该系统中设计的缺陷检测算法无论在检测精度还是实时吞吐量上都具有很大优势，符合实际生产的需求。另外，本系统中的缺陷检测方法还可以应用于印刷品和其他金属等同类产品的表面缺陷检测问题中，具有广阔的应用前景。

[1] F.G. Bulnes,R.Usamentiaga, etc.,Vision-Based Technique for Periodical Defect Detection in Hot Steel Strips[A].IEEE Industry Applications Society Annual Meeting[C].2011,1-8.

[2] S Ghorai, A Mukherjee,M Gangadaran, etc., Automatic defect detection on Hot-rolled fl at steel products[A].IEEE Trans Instrum Meas[C].2013,62(3):612-621.

[3] Valentina Colla,Nicola Matarese,etc., Prediction of Under Pickling Defects on Steel Strip Surface[J].International Journal of Soft Computing and Software Engineering,2011,10(1):35-41.

[4] Mostafa S, Masoud S,and Mohsen S.A New Approach to Improve Defect Detection of Steel Sheets Using Gabor Wavelet[J].International Journal of Information and Electronics Engineering 2013,3(5):541-543.

[5] Ojala T, Pietikäinen M, Harwood D.A comparative study of texture measures with classification based on featured distributions[J].Pattern recognition,1996,29(1):51-59.

[6] Xu Ke, Song Chang.Feature Extraction Method Based on Global Binary Pattern and Its Application[J].26(9):872-877.2013.

[7] 丛家慧,颜云辉,董德威.Gabor滤波器在带钢表面缺陷检测中的应用[J].东北大学学报:自然科学版,2010(2):257-260.