基于图像显著性特征的铸坯表面缺陷检测

吴家伟，严京旗，方志宏，夏勇，陆敏健

(1.上海交通大学图像处理与模式识别研究所，上海 200030;2.宝山钢铁股份有限公司研究院，上海 201900;3.宝山钢铁股份有限公司设备部，上海 201900)

基于图像显著性特征的铸坯表面缺陷检测

吴家伟1，严京旗1，方志宏2，夏勇2，陆敏健3

(1.上海交通大学图像处理与模式识别研究所，上海 200030;2.宝山钢铁股份有限公司研究院，上海 201900;3.宝山钢铁股份有限公司设备部，上海 201900)

针对钢铁铸坯表面检测的缺陷复杂性问题，从图像处理及图形特征角度提出一种基于显著性区域特征的算法.该算法首先对源图像进行显著性特征区域处理和Gabor小波滤波处理，得到了对应的特征图像;然后再将2幅图像中的特征区域进行融合，得到可信度较高的缺陷特征区域图像;最后在缺陷区域中用训练好的Adaboost分类器检测缺陷，得到最终的缺陷定位结果.该算法结合了显著性特征和Gabor小波特征，既缩小了Adaboost分类器的搜索范围，也提高了排除伪缺陷的能力，具有较快的定位速度和较高的准确率.实验结果表明，该算法能获得较好的效果，具有较高的实用价值.

铸坯表面;缺陷检测;显著性区域;特征提取;Gabor小波;Adaboost分类器

作为钢铁材料最为重要的质量因素之一，钢铁铸坯的表面质量的优劣直接影响其产品的性能和质量.由于设备和工艺等影响钢板表面会出现不同类型的缺陷.这些缺陷不仅影响产品外观，而且降低了产品的抗腐蚀性、耐磨性和强度等性能.因此如何在生产过程中在线检测钢铁铸坯的表面缺陷，从而控制和提高钢铁产品的表面质量，一直是钢铁生产企业非常关注的问题.

目前关于表面缺陷检测比较有效的方法有基于对比的模糊增长方法［1］、基于SVM的显著区域提取方法［2］和谱分析能量分割法等.但是为了快速准确地检测出钢板表面的实际缺陷，需要尽可能缩小检测范围，同时减少漏检情况，保证在有多处缺陷的同一钢板上至少能检测出一处缺陷.针对快速检测要求，选用计算神经科学中模拟视觉检索的显著性检测模型，利用图像的统计特性，通过加入可变化的弹性阈值，快速检测出图像中的显著区域，并通过自动反馈修改阈值，调节显著区域面积大小.本文主要结合在Lab颜色空间下的图像显著性区域和Gabor小波处理所得到的区域进行检测，在缩小检测范围的同时提高检测速率和准确率.

1 显著性区域

首先，有必要了解一下视觉显著性.如在图1中，A要比其他部分更加突出，因此能够迅速引起观察者的注意.这种突出性就是视觉显著性，突出性较强的A部分就是该图像的显著区域.心理学研究发现，那些能够产生新异的、较强的和人所期待的刺激场景区域容易引起观察者的注意.据此，可以将视觉显著性划分为2种类型:一种是基于低级视觉，由数据驱动的自下向上的视觉显著性(bottom－up saliency)，图2中的视觉显著性就属于这种类型;另一种是基于高层视觉，由知识驱动的自上向下的视觉显著性(top－down saliency).由于这2种视觉显著性的形成机理存在较大差异，因此有必要分别对其展开研究.本文的研究就是针对前者展开的.

图1 视觉显著性示例Fig.1 Example of saliency

图像的显著性区域检测是计算机视觉中的挑战性难题之一.由于依赖于显著性区域的应用种类繁多，因此存在很多不同的显著性区域定义和感兴趣区域的检测算法.有一类显著性区域检测算法关注于找出人类观察者第一眼所注意到的固定点或对象，这类显著性对于理解人类关注点和特定的应用(如自动聚焦)都非常重要.其他的显著性检测算法更加注重于检测图像中的单个主要对象.

Itti等［3］根据早期原始视觉系统的行为和神经网络结构提出了一个视觉关注系统.Itti等的算法将多尺度的图像特征组合到一个单一视觉显著性图中，这些多尺度的图像特征包括6个亮度特征图、12个彩色和24个方向特征图.为了快速地检测这些多尺度的图像特征，他们仅在较为粗糙的层面上大致计算了图像的特征图.实际上，该方法只生成了一个很模糊的视觉显著性区域图.本文方法与其不同之处在于，快速生成了一个精细的并与输入图像尺寸相同的显著性图.

Goferman等［4］提出了一种基于上下文的显著性区域算法，其目标是检测图像中代表某些场景的图像区域.他们认为像素的显著性应该由以该像素为中心的图像块表示或与之相关，因为这样才反应了像素所在位置的图像上下文信息.这样，如果以像素i为中心的图像块pi与图像中所有其他的图像块差异都非常大，那么可以将像素i认为是显著的.

定义dc(pi，pj)为向量化了的图像块pi和pj之间在CIE Lab颜色空间中的Euclid距离，并且归一化到［0，1］;当dc(pi，pj)对任意的图像块pj都非常大时，则认为像素i(图像块pi)是显著的.再定义dp(pi，pj)为图像块pi和pj所在位置之间的Euclid距离，并且也被归一化到［0，1］.基于上面的思想，Goferman等定义了一个衡量一对图像块的相似性的方法:

在Goferman等提出的方法中，只考虑K个最相似的图像块(如果最相似的图像块都明显地不同于图像块pi，那么显然图像中的所有图像块都明显地不同于图像块pi).因此，对于每一个图像块pi，在输入图像中根据式(1)找出K个最相似的图像块，并根据式(2)计算位置i处像素的显著性.

Itti等的方法和Goferman等的方法都能有效地检测出输入图像的视觉显著性区域，但是由于在精细的原图上直接检测视觉显著性图的计算量巨大，所以他们都只制作了一个粗略检测的视觉显著性图［5］.

2 显著性区域检测模型

本文提出的钢铁铸坯表面缺陷显著性区域的检测模型如图2所示.其模型总共包含3个模块，即预处理模块、生成显著性图和感兴趣区域提取.首先将原始图像进行预处理，包括滤波、图像尺寸调整和颜色空间转换;然后通过计算图像中每个像素的全局对比度，继而得到原图的显著性区域图，再对显著性区域图进行阈值选取，提取得到具有极高显著性的大致轮廓和区域;最后再结合Gabor小波的滤波处理结果，可以准确地标注出更为可靠的显著性区域，并从原图中分割出来.

图2 铸坯表面显著性区域检测的模块流程Fig.2 The flow chat of saliency region detecting model

2.1 图像预处理

2.1.1 高斯滤波

在钢铁铸坯表面图像采集的过程中，由于环境影响、铸坯表面氧化、保护渣及冷却水残留，都会导致图像有一定的噪声和失真，因此源图像需要进行滤波处理.滤波可以在空域进行，也可以在频域进行，空域滤波常用的方法有高斯滤波、均值滤波和中值滤波法等.高斯滤波是用卷积核与输入图像的每个点进行卷积，最终将计算结果作为输出图像的滤波结果.它是一种非线性滤波法，是最常用的预处理技术，能有效地滤除随机脉冲噪声，但在消除噪声的同时也会使图像细节变得模糊，这样无法同时保护图像边缘信息的完整性，使得滤波后的图像轮廓比较模糊.由于显著性区域算法并不完全依赖于边缘信息，因此采用高斯平滑滤波，并且其基本思想是空间内相邻像素变化缓慢，因此相邻点的像素变化不会太明显，并且由于空间噪声没有相互关系，这可能会造成很大的像素差.基于此原因的高斯滤波在保留信号的条件下尽量降低了噪声的影响.

2.1.2 颜色空间转换

Lab颜色空间是由国际照明委员会(international commission on illumination，CIE)于1976年制定的色彩模式，它用3个基本坐标L、a、b分别表示颜色的亮度(L=0表示黑色，L=100表示白色)，在红色、品红色和绿色之间的位置(a为负值表示绿色，正值表示品红色)以及在黄色和蓝色之间的位置(b为负值表示蓝色，正值表示黄色).

Lab色彩模型不仅包含了RGB的所有色域，并且RGB不能表现的色彩都能通过Lab模型表现出来，而且这些色彩是用人的肉眼就能感知的色彩.Lab色彩模型的优点还在于它弥补了RGB模型色彩分布不均的不足，RGB模型在蓝色到绿色之间的过渡色彩过多，而在绿色到红色之间又缺少黄色和其他色彩.从RGB颜色空间到Lab颜色空间的转换公式为式(3):

2.2 显著性区域提取

2.2.1 显著性区域

在实际工程中，图像中的一个显著性区域不是通过该区域的某些像素灰度值体现出来的，而是通过该区域与其周围区域的对比度体现出来的，并且图像中具有高对比度的区域很容易引起人的注意.因此，通过计算图像中每个像素的全局对比度便可以得到每个像素的显著性，一些文献已经给出了计算对比度的方法［6－8］，但实现起来都比较复杂，本文采用一种简单有效的计算对比度的方法，计算像素x的色调全局对比值如式(4):

式中:L(x)表示像素x的亮度值，HL为图像亮度值的直方图，VL，min和VL，max分别是图像亮度值的最小值和最大值.同理，计算像素x在维度a和维度b的对比值的方法如式(5)和(6)所示，其中各个变量的含义与式(4)相似.

因此，利用式(7)便可计算出图像中每个像素的显著性.

2.2.2 选取弹性阈值

显著性图像统计特性往往是目标检测的重要特征，并且通过限定研究的目标环境，这都能为钢板表面的实际缺陷这一特定问题进行特定研究提供方便.国外众多学者研究发现，自然图像中存在一定的统计特性，如图3所示，2幅自然图像的傅里叶谱能量的分布虽然不是标准高斯分布，但二者形状类似，且都具有低频能量的高密度分布(很高的尖端)和存在高频能量的可能性较高(很长的尾部)的特征［9］.

图3 2幅自然图像及其对应的傅里叶能量谱Fig.3 Fourier energy spectrum of two natural images

经过数据模拟发现，多幅图像平均的傅里叶谱能量分布服从1/fα律，其中1≤α≤2，如图4所示.同样地，人们发现单幅图像的傅里叶谱能量分布虽然并不较好地服从1/fα律，但是如果对其进行平滑处理，如采用局部平均即可得到平滑的傅里叶谱能量分布，结果则能够比较好地用1/fα律来描述，如图4所示.

图4 单幅图像的对数谱和多幅图像的平均对数谱Fig.4 Logarithmic spectrum of single-image and multiimages

对于单幅图像的傅里叶谱能量分布不能很好地服从1/fα律的现象，可以认为那些和1/fα律不相符的地方恰恰有可能是与背景有显著差异的物体在图像上所产生的频谱变化.因此利用谱残差R(f)的傅里叶逆变换S(x)来表示显著物体所在的区域.

谱残差R(f)中只有极少数地方具有较高能量的频谱，这很可能对应的是显著目标.而由S(x)求得的显著性图表达了不同像素的显著程度，采用弹性阈值对显著性图像进行二值化处理以获得最后的显著目标区域［10］.如图5所示，在对各种已有钢板的表面样本图进行检测实验后，笔者发现阈值0.2能获得一个普遍较好的显著目标区域.而相较于0.2的阈值，0.1的阈值会增加显著性区域图像的干扰噪声点(即非显著性区域).阈值为0.5时虽然干扰噪声点明显减少，但同时丢失了过多的细节信息，这样在后续的与Gabor小波特征融合时会产生影响.对于个别图像，可以通过判断显著目标区域面积大小或者是显著目标区域的数量来自动放大或缩小阈值.

图5 不同图像在不同阈值下的显著性区域Fig.5 Saliency regions in different images under different thresholds

3 实验结果及分析

3.1 实验步骤及结果

实验测试平台选用的PC配置为Intel Core(TM)2 Duo CPU E7400 2.80GHz、2GB RAM，图像尺寸约为840×540大小.图6(a)是原始的钢铁铸坯表面灰度图，可以清楚地看到其右表面上有1条纵向的划伤，以及中部附近有残留物压入，这类表面缺陷的危害性极大.图6(b)是原图经过显著性区域处理后得到的灰度图像，图中纵向孔洞区域的位置显著性特征非常明显，由于得到的显著性图像进行了拉伸归一化，使处理之后的灰度范围变为［0，255］，所以就可以将T=0.2的阈值设定为T=50以提高运行速度.图6(c)是原图经过Gabor小波变换得到的图像，由于Gabor小波变换是沿0°方向进行，因此这里需对Gabor图像进行预处理，去除大部分微小噪声干扰点，使纵向缺陷区域在Gabor图上表现明显.图6(d)是将显著性区域图像和Gabor小波图像融合后得到的结果，这里和图6(c)中一样，还需要对融合图像进行去除噪声干扰处理，这2步必须分开做且不可省略，否则微小噪点相融合之后可能成为较大的噪点且不易去除.图6(e)是图6(d)经过种子点生长之后并对融合图像进行筛选(以去除微小噪点)，最后从原图上截取出来的疑似缺陷区域，可以看出表面显著性区域保留下来的地方不多，且纵向孔洞的缺陷区域几乎完整地被保留下来，其余不相关的区域全部被抹去.图6(f)则是原图经训练好的AdaBoost分类器检测出来的缺陷区域，其中白色矩形框表示此处可能是存在缺陷区域的候选区域，通过与图6(e)得到的结果比较可以看出，图像显著性特征算法在原图上已经比较准确地定位出了钢坯表面缺陷区域.

图6 显著性区域算法检测表面缺陷的过程Fig.6 The steps of surface defects detection by saliency region algorithm

3.2 实际缺陷检测结果及分析

将一组新的有缺陷的钢坯数据样本作为输入放入钢铁铸坯表面检测系统中，根据检测系统的输出来判断系统输出的缺陷区域类型，并记录下其测试结果，与真实缺陷位置做比较确认其准确性.实验选择了72个缺陷样本图像对基于显著性区域特征改进算法的检测系统进行了钢铁铸坯表面缺陷检测.测试结果如表1所示.

表1 钢铁铸坯表面缺陷检测结果Table 1 Testing results of the slab surface defect detection system

完成显著性检测之后的图像与经过Gabor小波处理得到的图像进行融合，通过区域生长和区域筛选之后得到可信度较高的可能缺陷区域.测试结果如表2所示(此结果含有表1中定位失败和其他显著性区域定位的结果).

表2 钢铁铸坯表面伪缺陷排除结果Table 2 Pseudo-defect removing results of the slab surface defect detection system

通过表1、2的实验结果可知，基于图像显著性特征的铸坯表面缺陷检测算法效果较好，这是由算法本身的特点决定的:1)铸坯表面缺陷有很多种，仅使用单一缺陷特征难以有效地定位出缺陷区域的位置;2)有些铸坯表面缺陷并非只有一处缺陷，直接在整幅图上进行检测很容易产生虚警和漏检;3)由于该测算法在进入检测阶段之前已经对整幅图像进行了筛选，故其对检测环境的适应性较强，通过实验表明其虚警率与漏检率都较低.

4 结束语

本文提出了一种基于显著性区域特征的改进算法来进行钢铁铸坯表面缺陷检测，并结合Gabor小波处理得到的结果来分析和筛选缺陷区域，能排除大量非缺陷的显著性区域.实验结果表明提出的钢铁铸坯表面缺陷检测方法可信度较高，具有较好的实用价值.

但是由于该系统对于每张输入的样本图像都需要进行较长时间的显著性区域检测，因此后面还可以进一步对显著性区域算法进行优化加速.而且在实际情况中有些缺陷本身不具有亮度和纬度上的显著性特征，如何使得检测系统能够对这些显著性特征不足的样本进行较好的识别定位，也将是下一步工作的重点.

［1］MA Yufei，ZHANG Hongjiang.Contrast－based image atten－tion analysis by using fuzzy growing［C］//Proceedings of the 11th ACM Intemational Conference on Multimedia.New York，USA:ACM，2003:374－381.

［2］KO B C，KWAK S Y，BYUN H.SVM－based salient region(s)extraction method for image retrieval［C］//Proceedings of the 17th International Conference on Pattern Recognition.Washington，DC，USA:IEEE Computer Society，2004:977－980.

［3］ITTI L，KOCH C，NIEBUR E.A model of saliency－based visual attention for rapid scene analysis［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1998，20(11):1254－1259.

［4］GOFERMAN S，ZELNIK－MANOR L，TAL A.Context－aware saliency detection［C］//2010 IEEE Conference on Computer Vision and Pattern Recognition.San Francisco，USA，2010:2376－2383.

［5］ZHAI Y，SHAH M.Visual attention detection in video sequences using spatiotemporal cues［C］//Proceedings of the 14th Annual ACM International Conference on Multimedia.New York，USA:ACM，2006:815－824.

［6］CHENG Mingming，ZHANG Guoxin，MITRA N J，et al.Global contrast based salient region detection［C］//2011 IEEE Conference on Computer Vision and Pattern Recognition.Providence，USA，2011:409－416.

［7］钟微，谢雪梅，石光明.一种灵活的图像频谱分割与去噪方法［J］.西安电子科技大学学报，2007，34(6):935－938.

ZHONG Wei，XIE Xuemei，SHI Guangming.Image spectrum segmentation and de－noising based on multi－channel nonuniform filter banks［J］.Journal of Xidian University，2007，34(6):935－938.

［8］张红梅，卞正中，郭佑民，等.感兴趣区域高效提取算法［J］.软件学报，2005，16(1):77－88.

ZHANG Hongmei，BIAN Zhengzhong，GUO Youmin，et al.An efficient approach to extraction of region of interest［J］.Journal of Software，2005，16(1):77－88.

［9］HOU Xiaodi，ZHANG Liqing.Saliency detection:a spectral residual approach［C］//2007 IEEE Conference on Computer Vision and Pattern Recognition.Minneapolis，USA，2007:1－8.

［10］毕为民，孙才新，姚陈果.基于门限值小波包变换抑制局部放电白噪干扰［J］.重庆大学学报，2003，26(6):53－55.

BI Weimin，SUN Caixin，YAO Chenguo.Wavelet packet decomposition based on entropy threshold for white－noise rejection in PD signal［J］.Journal of Chongqing University，2003，26(6):53－55.

吴家伟，男，1988年生，硕士研究生，主要研究方向为图像处理、机器学习与生物特征识别.

严京旗，男，1975年生，副教授.参与并主持了多项国家自然科学基金项目.主要研究方向为图像图形综合技术、可视计算、三维生物特征识别等.

方志宏，男，1968年生，副教授，博士.主要研究方向为冶金自动化、图像处理、信号处理和电子技术的应用等.

Defect detection on a steel slab surface based on the characteristics of an image’s saliency region

WU Jiawei1，YAN Jingqi1，FANG Zhihong2，XIA Yong2，LU Minjian3
(1.Institute of Image Processing＆ Pattern Recognition，Shanghai Jiao Tong University，Shanghai 200030，China;2.Institute of Baoshan Iron ＆ Steel Co.，Ltd.，Shanghai 201900，China;3.Equipment Department of Baoshan Iron ＆ Steel Co.，Ltd.，Shanghai 201900，China)

In considering complex defect conditions in steel slab surface detection，a new defect detection method based on the saliency region was presented from the viewpoint of image processing and graphics features.First，by the processing of saliency region characteristics and Gabor wavelet filtering，the feature image was obtained，and then the characteristic regions in the two images were fused to obtain a highly reliable image of the defect region characteristics.Finally，the defect was detected by a well－trained Adaboost classifier in the fused defect region，thereby obtaining the final defect positioning result.The algorithm combines saliency region characteristics and Gabor wavelet features;it not only narrows the search range of the Adaboost classifier，but also improves the ability to exclude pseudo－defects.Consequently，it has faster positioning speed and higher accuracy.The algorithm performed well in the experiment and possesses high practical value.

steel slab surface;defect detection;saliency region;feature extraction;Gabor wavelet;Adaboost classifier

TP391.4

A

1673－4785(2012)01－0075－06

10.3969/j.issn.1673－4785.201111020

2011－11－23.

国家自然科学基金资助项目(60873137).

严京旗.E－mail:jqyan@sjtu.edu.cn.