近邻密度辅助模糊优化孪生支持向量机的钢板表面缺陷分类

侯政通,胡 鹰,乔磊明,邓志飞

(1.太原科技大学 计算机科学与技术学院,山西 太原 030024;2.东北大学 计算机科学与工程学院,辽宁 沈阳 110169)

0 引言

钢材被认为是衡量一个国家工业发展水平的重要标尺,是冶金企业的主要产品。但在生产环节中受到各种复杂因素的影响,经常会出现裂纹、划痕、麻点等表面缺陷,若忽视这些缺陷,则会影响钢板的各项性能及美观。因此,如何对钢板表面上不同类型的缺陷进行精准识别[1-2]成为当今值得关注的话题。如今,行业内大多采用CCD工业相机[3-4]作为视觉检测设备的核心部件对钢板进行采集,并通过多特征提取的方式对图像有效表示,然后输入到分类器中学习,最终得到最优的分类模型,从而精准地预测缺陷类别。

近年来,虽然深度学习的发展突飞猛进,但是因为其模型训练需要大量的时间开销和高昂的设备成本,以及大量的样本数据作为支撑,所以在冶金企业中大多选择机器学习算法作为主流的分类器。BP神经网络(Back Propagation Neural Network, BPNN)经常应用于冶金行业,TANG等[5]利用BP神经网络构建了一套自动化缺陷检测系统,实现了缺陷自动化分类,但BP神经网络训练模型时间较长,并且只能用于相对较低的输入和输出维数的场合,当输入维数增加时,复杂度会增加得更快。K近邻(K-Nearest Neighbor, KNN)分类器作为一种直观的分类方法,易于理解和实现,无需估计参数,已应用于带钢表面缺陷分类和表面质量的评估。MENTOURI等[6]使用KNN结合二值化统计特征,有效识别带钢表面缺陷。但KNN需要计算待测样本到已知样本间的距离,因此计算量过大。支持向量机(Support Vector Machine, SVM)作为当今应用范围最广的分类器,在样本适量的情况下就能训练出一个很好的模型,并展示出许多独特的优势,如今已广泛应用于钢产品的表面缺陷检测[7-10]。尽管SVM在模式分类中表现出良好的有效性和鲁棒性,但其计算复杂度较高。

随着孪生向量机(TWin Support Vector Machine,TWSVM)[11]的提出,使得工作效率比SVM更高效,这是因为在TWSVM中,解决了一对较小规模的二次规划问题(Quadratic Programming Problem, QPP),意在生成两个非平行超平面,使得每个平面更接近两个类中的一个,并尽可能远离另一个类。在每个QPP中,目标函数对应于一个特定类别,同时去约束另一类别。SVM则是求解单个较大QPP,所有数据点都会被约束,相比之下,TWSVM比SVM运算地速度更快。但是,TWSVM对于每个样本的重要性默认为同等重要,而实际上每个样本对超平面的贡献程度有所不同。为了改进这一问题,近年来,众多TWSVM改进版本随之提出,例如,GAO等[12]提出一种快速鲁棒的TWSVM(a Fast and Robust TSVM for pattern classification,FR-TSVM)算法,为每个输入样本提供模糊隶属度;HAZARIKA等[13]提出用于二分类不平衡学习的密度加权TWSVM(Density Weighted TWSVM for binary class imbalance learning, DWTWSVM)算法,给予多数类的样本赋予高的权重,解决了数据不平衡问题。虽然这些算法有效降低了噪声点对模型的影响,但这种方式没有对样本进行综合分析判断。就钢板表面缺陷而言,由于受到现场环境的影响,部分采集的图像会模糊不清,对于这类图像可以去除,减少模型训练的贡献度。但是,各种同类型的缺陷会有位置、颜色和形状上的差异,部分特征可能会边缘化,形成边缘点,若直接将这些样本的贡献度置于较低的值,则训练出的分类器模型将是脆弱的。

为了减少图像模糊对特征提取的影响,本文设计了一套全新的图像预处理方法,并借助TWSVM算法的独特优势,设计了新的密度模糊函数,分析了每个样本的结构信息,既能减少噪声点所带来的影响,又能让重要的边缘样本为模型提供有效的贡献度,最终作为正则项内嵌到TWSVM模型中,提出近邻密度辅助模糊优化的TWSVM算法(KDFTWSVM),使得模型对新样本的预测更加精准,为钢板表面缺陷的分类提供更好的技术支持。

1 缺陷形成机理和图像处理及其特征分析

1.1 形成机理

在钢板生产过程中,由于其复杂的制造过程和特殊的生产环境,导致表面出现多种形态的缺陷。常见的缺陷主要有裂纹、夹杂物、斑块、麻点、氧化皮、刮痕等。对于缺陷的识别,首先需要深入了解各种缺陷的形成机理,才能掌握其特征规律。

(1)裂纹 裂纹的形成机理主要涉及钢板在制造、加工或使用过程中受到外部力的作用,超过其承受极限,导致断裂现象。裂纹可能是由于内在缺陷在受力下扩展形成,如钢板内部存在微小夹杂物,在外部应力作用下会加速裂纹扩展。此外,温度变化也可能引起热应力,导致裂纹形成和扩展。制造过程中的过度轧制、冷却速率不均匀,以及焊接过程中的冷却速率等都可能导致裂纹的形成。

(2)夹杂物 夹杂物是指钢板中混入的杂质或非金属物质,如硫化物、氧化物、气泡等,它们可能由于材料问题或制造过程中未能完全去除而残留在钢板中。夹杂物的形成会降低钢板的强度、韧性和耐腐蚀性。同时,夹杂物也可能成为裂纹的起始点,加速裂纹扩展。

(3)斑块 斑块是表面不均匀的区域,其形成通常与钢板内部组织不均匀或生产过程中的轧制、冷却等因素有关。当钢坯粘有较厚的氧化皮甚至附着其他杂质金属时,在受到高温化学反应或矫直过程中所产生的压力下会形成如舌状、块状等深色斑块。而在冷却过程中,不同部位的冷却速率不同,导致晶粒尺寸的变化,也会形成斑块状缺陷,斑块的存在会降低钢板的均匀性和强度。

(4)麻点 麻点是指表面散布的细小氧化物或硫化物颗粒。这些颗粒可能是由于钢板制造或储存过程中的氧化反应或腐蚀引起的。在一线生产过程中,由于钢坯在轧制前没有得到彻底的清理,在轧制中有块状等杂质压入钢坯本体,在冷却后收缩掉落,最终在表面形成局部形态各异的类似麻点状小凹坑。同时,在钢板表面形成氧化皮或由于环境条件引起的腐蚀,也可能导致麻点的形成。麻点会影响钢板的外观质量,并且在一定条件下可能为裂纹的扩展提供初始点。

(5)氧化皮 氧化皮缺陷形成的机理主要涉及钢板在高温条件下与氧气反应,导致表面形成氧化物层。在钢板生产、热处理或高温操作过程中,钢板表面的铁元素与空气中的氧气发生氧化反应,生成铁的氧化物,通常为黑色或红色的铁氧化物。随着冷却阶段的到来,氧化物层逐渐在钢板表面上形成氧化皮。氧化皮具有一定的耐腐蚀性,但如果质量不理想或不完整,可能会继续与周围环境中的氧气和湿气发生反应,导致进一步的氧化和腐蚀。

(6)划痕 刮痕缺陷的产生机理主要是由于外部硬物与钢板表面直接接触或摩擦造成的。这些硬物可能是用于加工的工具、设备的部件或其他金属表面,其硬度较高。当钢板表面与这些硬物接触时,摩擦力可能导致钢板表面的金属被刮擦或剥离,形成刮痕缺陷。不慎操作、设备维护不当或不适当的存储方式同样可能导致外部硬物对钢板表面造成直接接触,进而引发划痕缺陷的产生。

1.2 显著性检测

由于在工业生产现场受到极其复杂的环境干扰,图像在采集时,受附近高温和杂质的影响,导致钢板周围气流上升,造成部分图像在成像过程中发生模糊、扭曲等情况。此外,相机安装的位置或者角度等因素也会影响图像的效果,若相机与光源处于同一方向时,拍摄出的图像背景偏白,反之,背景偏黑。这些采集的图像在后续二值化过程中,部分图像会因为背景偏白,缺陷部分偏黑,造成黑白颠倒,使得数据集中背景不统一,无法有效提取前景缺陷区域的相应特征。针对以上问题,本文引入显著性检测和形态学操作,最大化解决外在因素对图像的影响。

因为最终目的是为了获取图像的前景部分,即钢板缺陷区域,所以希望计算机可以具有人的判断能力,能够准确分辨出感兴趣区域,使其显著表示。同时,缺陷区域占整个图像的比例相对较小,因此这里采用ACHANTA等[14]提出的基于局部对比度的显著性检测算法,简称AC算法,通过不同尺度局部对比度叠加得到最终显著图。首先将原始RGB图像映射到CIELab空间[15],然后设定不同比例尺度下的局部邻域,分别计算每个像素块与领域均值向量的欧氏距离,则图像中每个位置的像素显著值ci,j可表示为下式:

(1)

式中:Num1和Num2分别为当前像素R1和领域R2中像素个数,Vp、Vq为当前像素特征向量的均值向量,其中Vp也可表示单个像素点。

在CIELab空间中,式(1)中的D代表L,a,b三个分量的欧氏距离,进一步可表示为:

ci,j=‖V1-V2‖。

(2)

其中:V1=[L1,a1,b1]T为R1的均值向量,V2=[L2,a2,b2]T为R2区域的均值向量。

设定不同尺度S,融合后的每个像素块最终的显著性值可以表示为:

(3)

1.3 形态学操作与前景提取

在完成显著性检测后,将得到每张缺陷图像的灰度图,因为部分缺陷内部存在孔洞,所以没有很好地形成完整的连通域,同时图像伴有噪声的存在。因此,为了能够提取到缺陷部分的有效特征,本节引入形态学操作来填补和去噪。首先对显著图像二值化操作,然后进行膨胀操作,使缺陷区域复原,填补细小孔洞,形成闭合区域,最后通过腐蚀操作,消除噪点等干扰。

设二值图像为f,集合b为结构元素,则膨胀操作可以定义为:

(4)

设经过膨胀操作后的图像为f′,结构元素依然为b集合,则腐蚀操作可以定义为:

f′Θb={x|(b)x⊆f′}。

(5)

其中:(b)x为结构元素b平移x单位的结果,若平移后仍然包含在f′中,则平移量被标记起来作为腐蚀的结果,所有满足上述条件的x点组成的集合称作为f′被b腐蚀的结果。利用腐蚀操作可以消除边缘的毛刺点,使得前景区域更圆滑。

相比传统直接对图像二值化操作,引入显著检测AC算法再二值化,不仅准确突出了缺陷区域,还能规避因拍摄位置和角度问题而产生的部分图像背景与前景黑白颠倒的问题。这是因为显著性检测AC算法首先将每个像素与设定的不同尺度的均值作差,然后累计叠加,此时,若不同尺度下背景占比相对较大,则计算出的均值将更近似于当前像素为背景的像素点,计算差值较小,若当前像素点为缺陷区域像素点,则差值结果偏大;反之,若不同尺度下前景占比相对较大,则结果相反。因此,最终通过AC算法后再做二值化操作会更容易与背景做区别,更能凸显前景的缺陷区域。如图1所示为选取部分缺陷图像通过上述流程所展示的效果图,实验中AC算法设定了3个尺度,其中,图1b为常见的6种缺陷,即裂纹、夹杂物、斑块、麻点、氧化皮、刮痕,图中红框所标注的位置为主要缺陷;图1a为直接二值化的结果,受光源和噪声的影响,结果并不理想;图1c为三个尺度下依次叠加后呈现出的显著图;图1d为使用AC算法后再二值化得到的效果,相比直接二值化,更容易统一阈值和背景;图1e～图1g是结合形态学操作扩张前景区域,并获取最大连通域。整个算法流程很好地提取到了前景图像,以备后续的特征提取工作顺利进展。

图1 图像预处理效果图

1.4 图像特征分析与融合提取

基于前述对钢板表面缺陷形成机理的分析和系列预处理操作,本节对其图像特征进行系统性分析并进行融合提取。特征提取作为分类模型训练前的关键一步,也是关系模型训练好坏的重要一环。为了全面提取钢板表面图像的各项特征信息,这里分别从不同角度进行提取,首先对原始图像灰度化并滤波,提取方向梯度直方图(Histogram of Oriented Gradient, HOG)和灰度共生矩阵(Gray Level Co-occurrence Matrix, GLCM)特征[16-18],分别统计图像缺陷区域边缘信息和局部纹理信息,但是仅靠HOG和GLCM的组合方式不能有效表现出缺陷部分的形态特征,同时也没有体现具有代表性区域的典型特征。而不同类型的缺陷在数量、面积以及形状等方面存在较大差异,例如划痕类缺陷属于细长型、麻点类缺陷分布广,数量多、斑块类缺陷则是面积区域大等,掌握这些几何规律有利于完整表示缺陷,对分类任务具有至关重要的作用。因此1.2节加入显著性检测算法,作为特征提取前的预处理步骤,以精确提取缺陷区域。根据缺陷的分布特点,在特征选取时加入几何特征,因为常见的表面缺陷一般分布在最大连通域,所以有必要获取图像最大缺陷区域,同时提取几何、形态特征,可以凸显缺陷之间的差异和表征缺陷的形状。

为此,根据前文所做工作,在显著性检测后的二值化图像上统计每张图像上的缺陷总数量、总面积、总周长、平均长度和平均宽度,共计5维特征。同时单独获取显著区域最大连通域的几何以及形态特征,最后融合所有特征,对缺陷的特征进行详尽的表示。表1所示为所提取最大连通域的形态学特征[19]和几何特征[20]。

表1 最大连通域特征选取

2 分类器选取与隶属度函数设计

2.1 原始TWSVM模型

作为传统分类器的升级版,与SVM相比,TWSVM拥有更好的分类能力,意在寻找两个非平行超平面,求解2个小规模的二次规划问题,非常适用于解决样本的近似型分类问题,使得每个超平面接近某一类样本,同时约束另一类样本距离。

考虑TWSVM为n维空间二分类算法,首先可以定义训练数据集为T={(xi,yi)|xi∈n,i=1,2,…,m},其中xi为样本数据,yi∈{+1,-1}为样本所属类别,m为总样本数量。训练集T则可表示为训练数据m×n维的矩阵,正类样本可表示为m1×n维矩阵A,负类样本可表示为m2×n维矩阵B,其中m=m1+m2。为了构造xTω1+b1=0和xTω2+b2=0两个超平面,建立如下二次规划问题:

s.t.-(Bω1+e2b1)+q2≥e2,q2≥0。

(6)

s.t.(Aω2+e1b2)+q1≥e1,q1≥0。

(7)

其中:c1、c2为大于零的惩罚参数;ω1、ω2为两个超平面的法向量;b1、b2为超平面偏移量;e1∈m1、e2∈m2为全1向量;q1和q2分别表示正类和负类样本的松弛变量。

对式(6)和式(7)式分别使用拉格朗日乘数法,根据KKT(Karush-Kuhn-Tucker)条件[21],可以获取目标函数的对偶问题,求解ω1、b1和ω2、b2,从而获得两个最优超平面,TWSVM对于一个新样本的类别可根据样本到超平面的距离进行判别:

Class=argmin|xTωl+bl|,l=1,2。

(8)

式中,|·|代表新样本x到两个超平面xTωl+bl=0的垂直距离。

2.2 隶属度函数设计

2.2.1 基于类中心距离法的模糊函数

在实际情况中,离群点通常出现在某类的边缘,其中有些离群点可能是噪声点,与正常值相差明显,如果将这种样本点的特征输入模型训练,势必会对模型产生影响。在解决分类问题时,利用类中心距离法,根据样本点到类中心的距离程度为训练集中的每个样本点分配一个模糊函数[22-23]。如果一个样本被检测为异常值,它将被分配低的权重值,使得它对总误差项的贡献减小。

这里定义+1类数据集m1的均值点为xc+,定义-1类数据集m2的均值点为xc-,分别表示为:

(9)

通过测量正负类样本与类中心的距离,分别选取最大距离作为正类和负类样本的半径:

(10)

(11)

则样本的模糊隶属度Si可以通过如下公式计算:

(12)

式中,为避免出现模糊隶属度Si=0的情况,将δ设为常数。通过式(12),为每个样本点分配隶属度,以距离为基准,距离近的样本会赋予高的权值,距离远的样本会赋予低的权值,以此来弱化边缘样本点对模型的作用。

2.2.2 一种新的密度模糊隶属度函数

上述关于类中心距离法的模糊函数构造方法虽然在一定程度上减少了边缘样本点的影响,但是并不是所有边缘点都是异常点[24]。恰恰相反,部分边缘点带有重要的结构信息,如图2中,所有示例点表示为某类样本的分布情况。其中,红色点表示数据的中心点,图中两个绿色点为边缘点,并且到类中心点的距离相等,可以看出如果用上述方式给这两个点分配权值,则两个样本点的贡献度是一样的。但可以看出,下方的绿色点相比上方的绿色点实际上处于一个密度较高的区域,更应该给予更多的关注,这对于后续分类器训练的好坏具有一定的指导作用。如果对所有的边缘点都弱化,那么对于模型的泛化能力将会大大降低。因此,为了提高数据的质量,本文设计了一种新的密度模糊隶属度函数,结合类中心距离法,双重选择实例样本点,从而让每个样本点都能发挥其效,赋予合适的权值,有效去除异常点的影响。

图2 样本分布示例图

在设计新的密度模糊隶属度函数之前,首先考虑图3和图4两种情况,这两种情况都为同类样本中的一个目标样本点(红色圆圈表示),和周围6个同类近邻样本点(蓝色圆圈表示),可以直观地看出目标样本点和周围6个近邻样本点的距离是相同的,若按照距离来判断目标点的密度,则如下两种情况的密度相同。

图3 目标样本与近邻样本示例

图4 目标样本与近邻均值中心点示例

实际上,图3的密度要比图4更高,这是因为对于图3的分布情况,近邻样本的均值点与目标样本点完全重合,而图4中的均值点(绿色圆圈表示)与目标样本点并未重合,覆盖区域较小。因此,相对来说,图3中目标样本点的密度更高,应该获得较高的权值。基于上述情形,本文设计了一种基于近邻选择的密度函数,若一个样本点被附近存在的部分近邻样本点所包围,则目标样本点的密度与其相邻的一组近邻样本的均值点间的距离成反比。

基于如上分析,首先定义基于近邻选择的密度函数Di如下:

(13)

为了全面分析样本结构信息,本文构造了一种新的密度模糊隶属度函数Fi:

(14)

其中:Fi满足Fi∈(0,1],μ为大于零的参数,整个函数结合了式(12)和式(13)两者的优势,既能去除噪声点的干扰,也能判断边缘样本点是否为重要信息样本点。

3 近邻密度辅助模糊优化的TWSVM算法(KDFTWSVM)

为了使原始TWSVM算法在对钢板表面缺陷分类时能够考虑每个样本的结构信息,减少不清晰图像所带来的影响,同时对于同种缺陷的不同表示能准确区分,本章采用上述样本信息构造方法,将设计的密度模糊隶属度函数与TWSVM算法完美融合,提出了KDFTWSVM算法,以此解决现实当中的问题,获得更准确的分类效果。

在KDFTWSVM算法中,除了标签yi∈{+1,-1},可以重新定义训练数据集T={(xi,yi,Fi)|xi∈n,i=1,2,…,m}。这里为每个样本赋予一个密度模糊隶属度Fi,这是为了能让每个样本都能为超平面贡献应有的价值,也能判断边缘样本是否利于模型超平面的构造,而不再笼统的将样本视为同等重要。

线性情况下,KDFTWSVM将构造下列两个二次规划问题:

s.t.-(Bω1+e2b1)+q2≥e2,q2≥0。

(15)

s.t.(Aω2+e1b2)+q1≥e1,q1≥0。

(16)

其中:ci>0(i=1,2,3,4)为模型惩罚参数;ω1、ω2为两个超平面的法向量;b1、b2为超平面偏移量;e1∈m1、e2∈m2为全1向量;q1、q2表示为松弛变量。式(15)、式(16)的第一项代表超平面到每类样本点的距离平方和,第二项代表了两个超平面的边界距离,希望尽可能远离,增大之间的间距,第三项为最小化误差变量的和,此外,F1和F2分别为正负类样本密度模糊隶属度向量。

这里选择原始问题式(15)建立拉格朗日方程,进行详细推导证明:

αT(Bω1+e2b1+e2-q2)-βTq2。

(17)

其中α=(α1,…,αm2)T和β=(β1,…,βm2)T是拉格朗日乘子向量,由于原始问题为凸优化问题,因此采用KKT条件对式(17)中参数求偏导,求得:

(18)

(19)

(20)

-(Bω1+e2b1)+q2≥e2;

(21)

αT(-(Bω1+e2b1)+q2-e2)=0;

(22)

βTq2>0;

(23)

α≥0,β≥0,q2≥0。

(24)

因为β≥0,由式(20)可得α≤c2F2,联立式(24)可知0≤α≤c2F2。

结合式(18)和式(19),可以表示为:

(25)

为了方便表示,这里令:

H=[Ae1],G=[Be2],

(26)

则(25)式重新表示为:

(HTH)u+c1Iu+GTα=0,

(27)

解得:

u=-(HTH+c1I)-1GTα。

(28)

将式(28)带入式(17),可以求得原问题(15)的对偶问题:

s.t. 0≤α≤c2F2。

(29)

同理,原始问题(16)的对偶问题可写为:

s.t. 0≤ν≤c4F1。

(30)

式中:ν=[ν1,…,νm1]T为拉格朗日乘子向量,则[ω2b2]T表示为:

[ω2b2]T=(GTG+c3I)-1HTν。

(31)

最终,通过求取的α和ν最优向量,可以获取ω1,b1和ω2,b2的值,从而获得两个非平行超平面。对于新样本可以继续采用式(8)来作分类判断。

4 实验

相比于深度学习,用传统方法对钢板表面缺陷进行分类,难点在于对图像处理的方式、选用提取特征的方式以及分类器的设计,每一个环节都需要符合图像的本质。但是深度学习需要大规模的样本[25]来做训练,时间开销大,传统方法在这一方面是存在优势的,仅需小样本就可以达到比较高的精度,更值得青睐。

钢板表面缺陷的分类整体上可以分为3个步骤,如图5所示,分别为图像预处理、特征提取及分类器的训练。其中,图像预处理是为了清除图像噪声的影响,并提取缺陷的前景区域;特征提取是为了表示图像中的重要信息,对缺陷进行描述;分类器训练则是为了利用已提取的特征训练出最优模型,最后利用测试数据对分类算法进行准确性检验。在本章中,通过详实的实验数据,对文中所设计的方法进行全面的验证。

图5 总流程图

4.1 实验数据集

NEU数据集[26]是东北大学公开的钢板表面缺陷数据集,包含了工业生产中常见的6种钢板表面缺陷,分别是裂纹(Cr)、夹杂物(In)、斑块(Pa)、麻点(PS)、压入氧化皮(RS)、刮痕(Sc),如图1所示。其中,每类样本包含300张分辨率为200×200的图像。实验过程将划分不同比例的数据集作为训练集,剩下的作为测试集,对比在不同比例下模型的分类准确率。

4.2 参数设置和算法对比

本文在第3章中详细介绍了线性情况下KDFTWSVM算法的构造过程,但实际上,在钢板表面缺陷图像中所提取的特征都为高维度特征,为了使算法能在高纬度空间里准确分类,实验选用高斯核函数K(x,xi)=exp(-‖x-xi‖2/2σ2)对算法进行加持。这里将核参数σ和惩罚参数ci(i=1,2,3,4)利用网格搜索法,在范围{2i|i=-16,-15,…,+5}中搜寻最优参数,为了提高搜索效率,设置c1=c3,c2=c4,对于算法涉及的QPP问题,采用逐次超松弛(Successive Over Relaxation, SOR)算法进行求解。同时,算法中设计的密度函数Di的K值在{3,…,31}范围内获取,设计的密度模糊隶属度函数Fi中参数μ在[0,1]之间搜寻调试。因为实验属于多分类问题,所以采用了“一对多”(One-Versus-All,OVA)[26]的分类方法。

本文实验在一台带有MATLAB R2017a环境的64GB内存的电脑中进行。实验中,选择了常见的分类算法以及近年来对TWSVM所改进的算法进行对比,分别为BP神经网络、KNN、SVM、TWSVM、FR-TSVM、DWTWSVM,所有参数均在相同条件下搜寻。根据分类器的精确度(P)、召回率(R)、F1值,和准确率(A),对所提分类算法的性能进行比较,其定义如下:

(32)

其中,TP、TN、FP和FN分别为真正类、假负类、假正类和真负类样本数量。

4.3 特征消融实验

钢板表面每种缺陷的分布以及特征都具有较为明显的差异,近年来利用HOG、GLCM以及两者组合的方式比较常见,但是这些方法不能完全体现出缺陷独有的特征。为此,在前文对图像二值化的预处理中,首先引入显著性检测算法,相较于直接进行二值化有了明显改善;其次,分割得到最大连通域,即缺陷最大区域,分别对总缺陷区域和最大缺陷区域进行一系列的处理操作,最终获取带有缺陷本质特点的几何、形态学特征。本文对图像预处理和特征选择有了更加详尽的表示,表2是本文所提KDFTWSVM算法在不同特征选择下的消融实验,可以看出在融合前文所提取的特征后,准确率进一步提高。

表2 特征消融实验

本文第1章对分割出的最大缺陷区域选取了8个典型特征,以此来描绘区域的形状。如图6所示为对所有图像样本提取这8个典型特征求平均值的实验结果,可以看出在6个缺陷样本中,所选特征的均值呈现出不同的态势,说明每种缺陷在形状上有明显的区分。例如,划痕(Sc)缺陷属于细长型,与其他缺陷有着明显的区别,从特征“Roundness(圆形度)”在图6的表现可以看出均值最低,说明形状最不像圆形。再如斑块(Pa)缺陷,相对于其他类型缺陷的面积值最大,从图6中“Area(面积)”特征也得到了准确验证,其面积的均值最高。对于分割出的最大缺陷连通域,图6实验证明了所选取的特征能有效区分出缺陷的差异,很好地描述了缺陷的显著特点,缺陷之间的差异越大则越利于分类器的识别,这对后期整体分类性能的提升有着促进作用。

图6 最大缺陷区域相关特征均值对比图

4.4 算法分类结果与分析

本节对NEU数据集的每张图像采用前文预处理方式获取特征后,进行了多分类比较实验,从多个维度测试并对比算法的分类效果。

图7实验显示,随着训练集比例的成倍增加,KDFTWSVM准确率也随之增加,在90%的训练比例下,算法准确率接近99%,对比其他算法总体上优势明显。

图7 不同训练比例下对应的准确率

上述实验结果展现了在80%训练集下的各类算法分类情况,表3～表6表示各类算法对6种钢板表面缺陷进行分类的指标,图8和图9为原始TWSVM算法与本文KDFTWSVM算法的混淆矩阵对比图。图表结合可以看出在经过优化后,KDFTWSVM算法的表现优于原始TWSVM算法,在表3召回率指标中,裂纹(Cr)、压入氧化皮(RS)、刮痕(Sc)三类缺陷的召回率达100%。其中,压入氧化皮(RS)和刮痕(Sc)较TWSVM算法分别提高了1.67%和8.33%,夹杂物(In)、麻点(PS)两类缺陷的召回率较TWSVM算法分别提高了10%和11.66%。图9中,混淆矩阵的对角线表示每类缺陷预测正确数量占测试样本的数量,可以直观地看到本文算法相较于TWSVM算法预测的正确率更高。同时,对于各项指标,本文算法在整体上远优于传统的BP神经网络、KNN和SVM算法,对于近年来提出的一些TWSVM改进算法,本文改进的算法更适合钢板表面缺陷的分类,准确率相较于FR-TSVM算法和DWTWSVM算法提高了3.89%和3.61%。实验说明,KDFTWSVM算法中所构造的密度模糊隶属度函数能够挖掘噪声样本和边缘样本的结构信息,使模型按照每个样本的重要程度进行训练,更加适用于缺陷的分类。

表3 NEU数据集召回率分类指标 %

表4 NEU数据集精确率分类指标 %

表5 NEU数据集F1值分类指标 %

表6 NEU数据集总体准确率

图8 TWSVM混淆矩阵

图9 KDFTWSVM混淆矩阵

4.5 鲁棒性分析

由于KDFTWSVM算法中所设计的密度模糊隶属度函数采用了K近邻算法(K值),并设置参数μ来平衡模型的性能,为了衡量参数对模型分类性能所产生的影响大小,采用网格搜索法,设置K值大小范围为[3,31],步长为2,参数μ范围为[0,1],步长为0.01。经过搜索,结果如图10所示,算法整体表现波动不大,K值选取3或5,μ选取0.01～0.1就可以取得最优的分类效果。随着K值和参数μ的增大,模型准确率随之降低,但最低值也能保证在94%以上,说明K值和μ的改变不会对模型产生巨大的波动,具有良好的鲁棒性。

图10 KDFTWSVM三维立体参数图

5 结束语

本文针对工业中钢板表面缺陷分类问题进行了优化升级。在前期图像预处理中,采用显著性检测算法精准提取缺陷区域,并根据缺陷的不同性质设计了特征提取方式。由于环境、拍摄角度等影响,部分缺陷图像将演化成噪声或边缘样本,对模型的训练造成偏差,为此文中设计了一种密度模糊隶属度函数,为每个样本分配相应的权重,以减弱噪声样本对模型的影响。最后,基于TWSVM算法将密度模糊隶属度函数作为优化条件嵌入模型中,提出了KDFTWSVM算法,有效降低噪声样本对模型的干扰,并能选择性学习边缘样本的特征,进一步提高了缺陷分类的准确率。虽然传统的图像处理和机器学习方法设计繁琐,但具有极高的效率和普及化。未来,可以根据钢板表面缺陷分类的难点问题,进一步深入探索。如何准确地选择和提取钢板表面缺陷的特征、如何提高数据集质量、以及如何提高分类算法的泛化能力,仍是未来进一步研究和探索的方向。