基于视觉显著度的污损图像缺陷识别方法研究

王洋迪，郭文明

(北京邮电大学计算机学院，北京 100876)

1 引言

机器视觉对图像进行无损检测是目前国内外研究的重点，而在视觉检测、识别以及评价技术当中，对图像中的目标缺陷信息进行分割与识别是目前研究的关键之处[1]。对于图像缺陷目标的分割与识别技术，提出了不同的方法，例如不同的阈值方法、形态学方法以及分水岭方法等。但对于复杂图像背景下，获取微小缺陷目标，现有传统方法恐怕难以分割与识别，因此，引入视觉显著度。视觉显著度使人脑皮层可以在有限的神经资源下很好地将外部世界信息进行摄入与分析，即使处于复杂的背景下，也可迅速地将注意重点聚集在相对显著的目标上，从而视觉皮层能够对显著目标优先进行细致分析。那么，如何高效准确地对复杂背景下的图像缺陷进行识别，对该问题进行研究具有重要意义[2]。

尹立航[3]等人提出基于改进多尺度采样分析的污损图像缺陷识别方法，该方法对原有多尺度算法的符号模式进行改进，使原来的划分区间得到增加；采用控制变量法对污损图像的最优尺度进行识别，获取最佳邻域像素值；将污损图像的多尺度特征进行提取，将各个尺度间的特征向量进行连接，用于表示污损图像；最后利用近邻分类器完成对污损图像缺陷部分的识别。该方法在对污损图像缺陷进行识别时，没有对污损图像进行去噪处理，无法保留细节信息，导致识别时间较长。唐长明[4]等人提出基于改进自适应遗传算法和二维最大熵的污损图像缺陷识别方法，该方法首先利用小波变换对污损图像进行预处理，获取去噪后的污损图像，其次采用二维最大熵算法选取合适阈值，对污损图像进行划分，得到目标区域和背景区域，最终结合改进的自适应遗传算法提高分割速度，完成对污损图像缺陷部分的识别。该方法在对污损图像缺陷进行识别时，无法获取有用信息，导致识别敏感度较低。戴鹏[5]等人提出基于半监督深度学习的污损图像缺陷识别方法，该方法首先利用稀疏自编码(SAE)网络对无标签的数据集进行迭代学习，获取污损图像稀疏表面特征；其次将训练好的SAE网络与softmax层进行连接，形成分类网络；最后将具有类别标注的子数据集进行二次训练，且对参数进行相应调整，获取最终的缺陷识别模型，利用该模型实现对污损图像缺陷部分的识别。该方法在对污损图像缺陷进行识别时，易遗失有效信息，增加了识别难度，导致识别效果较差。

为了解决上述方法存在的问题，提出基于视觉显著度的污损图像缺陷识别方法，该方法首先对污损图像进行去噪，其次提取图像中的视觉显著度，通过显著特征矩阵获取视觉显著图，最终将视觉显著图与图像分割相结合，完成对污损图像缺陷的识别。

2 图像预处理-傅里叶变换

对图像信号进行定义，表示为S(m，n)，此时图像信号是功率信号，则自相关函数R(τ)表示为

(1)

功率谱密度求解的主要目的是证明对应的信号是能量信号，并将其进行表示[6，7]，对图像进行假设，假设此时图像在局部窗口内是属于平稳过程的，该窗口可表示为T，平稳过程定义为S(u，v)，此时，处于局部窗口内的图像信号均视为能量信号，表示为ST(t)，且对应的功率谱密度PS(f)与其自相关函数R(τ)是属于傅里叶变换关系的，进而得到下式

(2)

将式(1)代入至式(2)中，取得平稳过程的功率谱密度，即

(3)

利用滤波器对局部窗口内的平稳过程进行处理，将图像高频部分进行滤除，且对原始图像进行平滑处理[8，9]，得到下式

S(m，n)=H(u，v)*S(u，v)

(4)

式中，H(u，v)为滤波器，S(m，n)则是对图像进行平滑处理后得到的结果。

对S(u，v)进行傅里叶反变换，使图像进行复原，得到相应的经过平滑处理的图像，表示为G(m，n)，其表达式如下

G(m，n)=ifft(S(u，v))

(5)

通过平滑处理达到图像去噪的效果。

3 基于视觉显著度的污损图像缺陷识别方法

根据图像预处理结果，提取污损图像的视觉显著度，根据显著特征矩阵形成对应的视觉显著图，图中含有的各像素值即为污损图像对应位置像素的视觉显著性大小，缺陷部分明显具有较强的视觉显著性，以此为依据，对污损图像区域进行识别与定位[10]。

3.1 特征提取

假设原始图像为I(x，y)，经过预处理的图像表示为Ip(x，y)，将图像进行划分，取得大小相同的N个图像块，相邻空间的图像块会出现重叠部分，重叠部分存在50%左右，即X=[x1，x2，…，xN]∈Rm×N，将每个图像块按照左上角到右下角的顺序依次进行排列，第k个图像块进行矢量化后的结果表示为xk，其中xk∈Rm，且k∈[1，N]。

将分割后的图像块作为训练样本集，表示为X，求取最小化问题目标函数，获取特征提取模板，表达式如下

(6)

经过上述计算，将第k个图像块表示为xk，该图像块所对应的特征向量可通过下式进行计算

fk=pinv(W)xk

(7)

式中，xk的特征向量表示为fk，且fk∈Rn，矩阵伪逆运算表示为pinv(·)。按照上式依次对每个图像块进行计算，获取全部图像块的特征向量，形成特征矩阵进行输入，标记为F=[f1，f2，…，fN]∈Rn×N。

3.2 矩阵低秩复原

特征矩阵F可表示为

(8)

式中，L表示图像中特征比较相似的背景区域所对应的低秩矩阵，S表示图像中可引起视觉注意的显著区域所对应的稀疏矩阵。可通过下式对L与S进行求解

(9)

3.3 获取视觉显著图

对于任意图像块，k∈[1，N]，对其显著值进行求解，表达式如下

(10)

由上述可知，相邻图像间会出现重叠情况，重叠部分在50%左右，也就是说，多个图像中会含有同一像素点，因此，需对图像中的任意像素点进行计算，表达式如下

s.t.(x，y)∈xg

(11)

式中，任意像素点表示为(x，y)，SC(x，y)表示为该像素点所对应的显著值，其含有同一像素点的图像块个数表示为h，含有像素点的第g个图像块所对应的显著值表示为SC(xg)，且g∈[1，h]，此时，完成对污损图像的视觉显著图的获取。

3.4 污损图像缺陷识别

经过上述分析与计算，获取污损图像的初始视觉显著图，为了更加精准地实现污损图像缺陷区域的识别，将视觉显著图与图像分割进行结合，完成对污损图像缺陷的识别[11]。

为了获取较为精准的缺陷区域边界信息，采用线性迭代聚类像素算法[12]，对污损图像进行分割。将污损图像定义为Ip(x，y)，将分割后的图像表示为R={R1，R2，…，RM}，分割后的区域数量为M，把分割后的区域按照左上角到右下角的顺序依次进行排列，第c个区域中包含的全部像素点表示为Rc，且c∈[1，M]。

将视觉显著图作为依据，对区域级的视觉显著度进行计算，计算公式如下

(12)

式中，区域Rc的显著值表示为SC(Rc)，区域Rc中所包含的像素点个数表示为|Rc|。

利用阈值对最终的缺陷区域进行判断，即

(13)

式中，缺陷识别结果表示为IT(Rc)，且c∈[1，M]。

4 实验与结果

为了验证基于视觉显著度的污损图像缺陷识别方法的可行性与有效性，需进行相关实验。实验环境：硬件部分为Intel Core i7-4790@4.80GHz Quad Core Processor、4GB RAM、NVIDIA GeForce GTX 970 和 2GB GDDR5；软件部分为Windows 10操作系统、MATLAB(2016a)和Visual Studio 2015。

分别采用基于视觉显著度的污损图像缺陷识别方法(方法1)、基于改进多尺度采样分析的污损图像缺陷识别方法(方法2)、基于改进自适应遗传算法和二维最大熵的污损图像缺陷识别方法(方法3)进行相关实验。如图1中的污损图像所示，是含有微小缺陷目标的复杂背景污损图像，图像整体亮度极其不均、灰度起伏较大以及污损程度较重，微小缺陷目标占整体图像的千分之一比例，难以对图像进行准确识别，对比不同方法的识别效果，对比结果如图2所示。

由图2可知，只有方法1对该污损图像完成了识别，获取到缺陷区域，方法2和方法3并没有识别到该污损图像中的缺陷，证明方法1的识别准确性更高，因为方法1在对污损图像缺陷部分进行识别时，对污损图进行了去噪处理，避免污损图像细节信息被损坏，在污损程度降低的基础上结合视觉显著图与图像分割使图像缺陷识别更加准确。

对含有不同程度缺陷的污损图像进行测试，对比不同方法对污损图像的平均识别时间，对比结果如图3所示。

据图3可知，方法2与方法3的平均识别时间均高于方法1，证明方法1的识别效率更高，因为方法1在对污损图像缺陷部分进行识别时，对污损图像进行了去噪处理，保留了污损图像中的显著特征与细节信息，结合视觉显著图可优先对显著区域进行细致分析与决策，从而缩短了对污损图像缺陷识别时间，为后期对污损图像缺陷识别工作奠定了基础。

对比不同方法的识别敏感度，对比结果如图4所示。

分析图4可知，方法1的识别敏感度要高于方法2和方法3，证明方法1的识别能力较强，因为方法1在对污损图像缺陷部分进行识别时，在去噪处理的基础上，对污损图像特征进行提取，根据提取结果可以避免污损图像中有效信息丢失的情况，结合视觉显著图与图像分割处理结果，取得了较好的识别效果。

5 结束语

在图像复杂背景下，对于微小图像目标，目前的图像缺陷识别方法在对污损图像缺陷进行识别时，没有对污损图像进行去噪处理，导致缺陷识别时间较长，识别敏感度较低以及识别缺陷区域效果较差。对此问题，提出基于视觉显著度的污损图像缺陷识别方法，通过图像去噪、特征提取、视觉显著图形成与图像分割相结合，完成了对污损图像缺陷部分的识别。实验结果表明，该方法的图像识别效果较好，可以获取污损图像中的细节信息，并且识别时间较短，敏感度较高，说明该方法有效解决了目前方法中存在的问题，可以为图像缺陷识别方法的设计与使用提供新的思路。

虽然所提方法实现了对传统方法的改进，但是该方法没有考虑色彩与亮度对图像缺陷识别的影响，当图像亮度不均时，如何对缺损图像进行有效识别是接下来重点研究的内容。