视觉注意机制在带钢表面缺陷检测中的应用

丛家慧 颜云辉

东北大学，沈阳，110004

视觉注意机制在带钢表面缺陷检测中的应用

丛家慧 颜云辉

东北大学，沈阳，110004

针对图像中存在的低对比度及微小缺陷，提出一种基于人类视觉注意机制的带钢表面缺陷检测方法。该方法以人类视觉系统的生理结构和功能为基础，结合Gabor滤波器多尺度、多分辨率的特点和人类视觉系统所具有的多通道和多分辨率特征，建立了带钢表面缺陷检测模型。实验结果表明，该方法不但可准确检测出缺陷区域，得到区域焦点位置坐标，而且检测速度快，可以满足在线实时检测要求。

人类视觉系统；注意机制；表面缺陷检测；Gabor滤波器

0 引言

带钢表面缺陷检测技术作为先进的带钢生产质量监测手段，受到钢铁企业和科研院所越来越多的重视。传统的人工目视抽检早已不能满足现代带钢生产的需求，研制和应用基于机器视觉的带钢表面质量检测系统以实现带钢表面缺陷的连续、实时自动检测，已越来越重要。为了满足在线检测要求，检测速度要求能够达到30m／s，这需要采集和传输大量的图像数据，但值得注意的是，一方面，图像数据的增加速度远比计算机处理能力的提高速度要快，另一方面，人们所关心的内容通常只是整个数据集合中很小的一部分，如何尽快地从众多数据中找到并提取与任务相关的那部分“重要的”、“有用的”和“值得关注的”信息，成为研究中需要解决的重要问题。

带钢表面缺陷具有类别多样、缺陷形态复杂等特点，同一条生产线产生的缺陷数量和类别差别可能很大，因此对于缺陷的总结比较困难。图像中存在着低对比度缺陷、微小缺陷，如果只根据缺陷灰度图像是很难判别出缺陷的存在的。随着人工智能的提出和发展，机器视觉已广泛应用到产品检验和质量控制等环节中，采用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。基于机器视觉的带钢表面缺陷检测系统集成了微电子、计算机、工程光学、数字图像处理和识别等先进技术，是机器视觉检测技术在钢铁生产制造领域的一个研究方向。

1 人类视觉系统生物学基础

人类具有异常突出的数据筛选能力。面对每时每刻都在变化的各种信息，人们总能迅速察觉到那些与其息息相关的重要信息，并及时作出反应，这种具有选择性和主动性的心理活动被称为注意机制。近年来，人类视觉注意机制逐渐引起了图像信息领域研究者的广泛关注，并有了一些应用，如基于注意机制的图像压缩与编码、基于注意机制的场景渲染、基于注意机制的目标检测、基于注意机制的目标识别和基于注意机制的主动视觉等［1－5］。如果在机器视觉中引入并研究这种选择性注意机制，对于更好地解决数据筛选问题，提高机器视觉系统的目标检测与信息处理效率将具有重大意义。

视觉心理学研究表明，人类视觉系统选择性注意机制主要包括两个子过程：①采用bottomup控制策略的预注意机制，该机制是基于输入图像的显著性计算的，属于低级的认知过程；②采用Top－down控制策略的注意机制，它通过调整选择准则以适应外界命令的要求，从而达到将注意力集中于特定目标的目的，属于高级的认知过程。本文的研究是基于bottom－up控制策略的应用。该模型是Itti等［6］于1998年提出的，利用生物的中央周边滤波器结构，在若干个空间尺度上提取低级特征，通过组合得到的特征图生成3个特征显著性描述，分别对应于颜色、灰度和方位，而显著性图为这3个特征显著性描述的线性组合。Broadbent［7］在1958年提出滤波器模型，如图1所示，图中视觉信息输入通道的数量较多，而经过滤波器进入高级分析阶段的通道只有一条，这种滤波器模型体现出了视觉注意的选择作用。

图1 视觉注意机制滤波器模型

人类视觉系统处理视觉信息采用多通道机制，视觉信息按其特征在不同的通道范围中进行处理，这些通道调谐于特定频率和方向。用于人类视觉系统多通道结构建模的是Gabor变换，本原视觉皮层中简单细胞的感受野调谐于特定的频率和方向，仅对特定的空间频率进行响应，并且这一响应的带宽限制在倍频程内，其轮廓类似于二维Gabor函数，因此使得Gabor变换成为自然的选择。

利用Gabor变换良好的仿生特性，即其逼近神经元感受野的分布功能，保证了对视觉信息的感知能达到信息论标准的最佳效果，恰当地选择参数，Gabor变换可以出色地提供理解信息的有效途径，这对研究图像目标检测非常有用。利用Gabor变换进行图像处理，有利于获得具有空间频率、空间位置和方向取向选择性的图像局部特征。Gabor函数可以很方便地进行尺度伸缩和方向旋转，建立多通道模型，实现带钢缺陷图像具有尺度选择性和方向选择性的多分辨特征提取。2D Gabor滤波器是一加2D高斯窗的傅里叶变换［8］：

其中，λ和θk分别是正弦波的波长和方向。λ、σx、σy反映了Gabor滤波器的多尺度特性。θk的定义如下：

k决定了滤波器方向的个数，可以看出Gabor滤波器具有很好的方向选择性。σx和σy分别为高斯包络在x和y方向上的标准差，它们决定了高斯包络的空间扩展。除了具有时间－频率域的最佳局部化以及与哺乳动物的视觉接收场模型吻合的性质外，该种滤波器对图像的亮度和对比度变化具有一定的鲁棒性。

2 基于人类视觉注意机制的缺陷检测

视觉注意机制模型的基本思想是，在单一分辨率图像上通过构建Gabor滤波器建立多尺度、多方位的多通道图像，通过全波整流和各通道间的对比度增益控制，得到多尺度、多方位的方位特征图，这些特征图的线性组合则为显著性图。待检测目标在显著性图中得到明显增强，有利于检测的实现。

2.1 Gabor滤波器

Gabor滤波器G（x，y）为复函数：

式中，φ为主轴相对于x轴的旋转角度；θ为滤波器取不同方向时对应的角度。

图像f（x，y）的Gabor滤波器输出为f（x，y）与Gabor滤波器G（x，y）的卷积：

当图像在某一频率和方向上有最明显的特征时，与之对应的Gabor滤波器会有最大响应，这样就得到关于目标图像复杂程度（这里用频率代表，频率反映了图像灰度分布和纹理变换的快慢）、朝向、位置的局部特征。2D Gabor滤波器在纹理分析中有着非常广泛的应用，一方面是因为它的良好时域局部特性；另一方面是因为Gabor滤波器非常适用于模拟人眼的视觉通道。

2.2 缺陷区域检测

对原始图像进行Gabor滤波，通过滤波后的结果图像提取图像特征，如亮度、颜色和方向等，将一副图像分解成若干特征图。为了从数量上表征图像中各像素点对注意的吸引程度，需要把特征图叠加形成显著性图。采用Itti注意力模型［9］计算注意焦点度量区域的兴趣度，特征显著性通过计算图像区域中心和周边的高斯差分（different of gaussian，DoG）采样得到，中心定义为图像分解后高分辨率的样本，边缘定义为内插值到高分辨率的低分辨率样本。公式为

由于各特征图表示的是不同特征通道的视觉特征，它们之间存在很大的独立性，所以首先要将每幅特征图归一化，然后再进行合并。显著性图S是亮度特征图I、颜色特征图C和方向特征图O的组合，公式为

式中，N（·）为归一化因子；wi、wc、wo为特征权值。

将通过视觉注意机制计算得来的显著性图定位到一副图像中最显著的区域，即为我们要获得的缺陷区域。

得到显著性图S后，下一步需要找到显著性图中的注意焦点，即视觉显著性最强的点。注意焦点通过胜者为王［10］（winner－take－all，WTA）神经网络方法得到，公式为

式中，C′为电容；R为电阻；V为模电压。

式（11）表示已知t时刻的输出电压V（t）和输入电流I（t）在时间Δt后产生的模电压V（t＋Δt），经过一段时间产生的电压积分发放。将显著性图看成一个二维的积分发放神经元阵列，神经元的输入电流I（t）对应显著性图中像素点的值S（x，y），然后将显著性图中每个神经元的电压通过电导转换成WTA网络中神经元的输入电流。最先发生发放的神经元就对应于显著性图中显著值最大的神经元，即注意焦点。

以焊缝类缺陷为例，通过Gabor滤波得到多特征通道（亮度、颜色和方向）的特征图，归一化后组合成显著性图，应用WTA神经网络方法得到显著性图中最亮点的位置，即注意焦点的坐标，如图2所示。其中，图2a为原始焊缝缺陷图像，由于带钢表面缺陷图片为灰度图像，所以Gabor滤波后得到两个特征图，亮度特征（图2b）和方向特征（图2c）。提取的封闭区域为注意区域，即检测到的带钢表面缺陷区域（图2f），注意焦点坐标为（349，194）pixel，检测时间为95.9ms。

图2 焊缝类缺陷区域的检测结果

3 实验结果与分析

应用视觉注意机制进行带钢表面缺陷检测，可以分为5个步骤：①对输入的图像进行均匀采样；②将图像与Gabor滤波器组进行卷积，得到多通道、多分辨率特征，对特征进行选择，提取幅值作为特征向量；③通过计算图像区域中心和周边的高斯差分，将各特征图归一化计算后组合成显著性图；④通过WTA神经网络方法计算显著性图中的注意焦点坐标；⑤确定显著性区域，完成目标的检测。检测系统流程如图3所示。

图3 图像的视觉显著性检测流程

实验在4个尺度上计算方位特征，采用MATLAB编程环境实现算法。对多种不同类型的缺陷图像进行实验，取得了很好的检测结果。图4是现场采集到的几种典型缺陷，其中包括对比度低的缺陷类型，如抬头纹、锈斑等，还有小尺寸的孔洞缺陷。从图5可见，选取的6种典型缺陷都被准确地检测到了，封闭区域代表选择注意性区域即缺陷区域，区域间的连接折线代表注意焦点的转移，对于一副图像存在多个缺陷区域的情况也能无遗漏地快速定位。同时，该方法运算时间也不到100ms，保证了检测系统的实时性。

图4 带钢表面缺陷图片

图5 缺陷区域检测结果

表1给出了引入视觉注意机制的缺陷检测区域焦点坐标及检测时间（包括一副图像存在多个缺陷区域的情况，给出不同缺陷焦点坐标及检测时间），可以对整个冷轧带钢表面缺陷进行准确检测及完整记录，有助于后续的缺陷区域特征提取及分类，同时缺陷检测时间很短，满足带钢实时检测的要求。

表1 缺陷焦点坐标及检测时间

传统的灰度差影法是图像的相减运算，利用缺陷通常表现为图像中灰度的异常作为检测的基础。但是差影运算为了获得准确的差异图像必须保证两相减图像的对应像素点位于空间同一目标点上，且算法需要选取一副无缺陷的图像作为基准图像，它的质量将直接影响整个检测系统的性能。由于有光源和噪声的存在，故带钢表面图像灰度分布有一定的随机性，不可能完全均匀，这些都会导致缺陷的漏检。图6是应用图像差影法和本文方法对夹杂类缺陷进行检测的结果图像，并应用阈值法进行了缺陷分割。从图6可以看到，缺陷图像经过差影运算后，缺陷淹没在复杂的背景当中，导致了检测的误判，因此灰度差影法仅适用于缺陷与背景灰度差明显的图像检测。而本文方法能够准确找到缺陷位置，获得显著区域的信息，该方法不受缺陷种类、大小和位置等因素的影响。

图6 灰度差影法与本文方法的检测结果比较

4 结束语

根据人类视觉特性注意理论，提出基于视觉注意机制模型的带钢表面缺陷检测方法，通过构建Gabor滤波器建立多尺度、多方位的多通道图像，线性组合这些特征图像得到显著性图。待检测缺陷目标在显著性图中得到明显增强，有利于缺陷区域的确定。该方法融合多尺度图像信息，相较于传统的基于单一灰度信息的缺陷检测方法能更好地描述缺陷目标。实验结果也表明，该方法不仅能有效地检测出常见缺陷，而且对于低对比度和微小缺陷也能获得满意的结果。

［1］Horvitz E，Lengyel J.Perception，Attention，and Resources：A Decision－Theoretic Approach to Graphics Rendering［C］／／In Proceedings of the Thirteenth Conference on Uncertainty in Artificial Intelligence.Providence，1997：238－249.

［2］Chtistopoulos C，Skodras A N，Ebrahimi T.JPEG2000 Still Image Coding System：an Overview［J］.IEEE Tram.Consumer Electron.，2000，46：1103－1127.

［3］Itti L.Models of Bottom－up and Top－down Visual Attention［D］.California：California Institute of Technology，2000.

［4］Salah A A，Alpaydin E，Akarun L.A Selective Attention－based Method of Visual Pattern Recognition with Application to Handwritten Digit Recognition and Face Recognition［J］.IEEE Trans.on Pattern Analysis and Machine Intelligence，2002，24（3）：420－425.

［5］Breazeal C，Edsinger A，Fitzpatrick R，et al.Social Constraints on Animate Vision［J］.IEEE Intelligent Systems，Special Issue on Humanoid Robotics，2000，15（4）：32－37.

［6］Itti L，Koch C，Niebur E.A Model of Saliencybased Visual－attention for Rapid Scene Analysis［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1998，20（11）：1254－1259.

［7］Broadbent D E.Perception and Communication［M］.New York：Pergamon，1958.

［8］Qian S，Chen D.Discrete Gabor Transform［J］.IEEE Trans.on Signal Processing，1993，41（7）：2429－2438.

［9］Itti L，Koch C.Computational Modeling of Visual Attention［J］.Nature Reviews Neuroscience，2001，2（3）：194－203.

［10］Robert C，Richard G.A Cortical Model of Winnertake－all Competition via Lateral Inhibition［J］.Neural Networks，1992，5（1）：47－54.

Application of Human Visual Attention Mechanism in Surface Defect Inspection of Steel Strip

Cong Jiahui Yan Yunhui
Northeastern University，Shenyang，110004

It is difficult to judge the defects if only based on gray information.In response to the low contrast and small defects，a novel algorithm based on human visual attention mechanism was proposed.According to biological structure and function of human visual system，a detection model was built combining multiple scales and frequencies of Gabor filter with multichannel and multifreqency of human visual system.The experimental results show that this method is effective to detect the surface defects and establish the coordinate position of defect region.The inspection speed is fast，which can satisfy the real－time detection system’s demands.

human visual system；attention mechanism；surface defect inspection；Gabor filter

TP391.41

1004—132X（2011）10—1189—04

2010—07—19

国家高技术研究发展计划（863计划）资助项目（2008AA04Z135）；国家自然科学基金资助项目（50574019）

（编辑 袁兴玲）

丛家慧，女，1980年生。东北大学机械工程与自动化学院博士研究生。研究方向为机械产品质量监控技术及智能化模式识别技术。发表论文10余篇。颜云辉，男，1960年生。东北大学机械工程与自动化学院教授、博士研究生导师。