APP下载

采用变分自编码器的无监督压敏电阻表面缺陷检测

2022-06-02唐善成王瀚博

计算机集成制造系统 2022年5期
关键词:压敏电阻良品编码器

唐善成,陈 明 ,王瀚博,张 雪,张 莹

(西安科技大学 通信与信息工程学院,陕西 西安 710054)

0 引言

压敏电阻作为电路的重要组成部分,已广泛应用于各种电路,如过压保护电路、消噪电路、消电火花电路、防雷击保护电路、浪涌电压吸收电路和保护半导体元件器件。压敏电阻在生产过程中受到生产工艺的影响,容易在其表面形成各种类型的缺陷,例如:粗糙,缺损,露瓷,突出,压伤和粘连伤,这些表面缺陷直接影响压敏电阻的性能和寿命,因此准确快速地检测压敏电阻的表面缺陷对压敏电阻产量的提高,电子设备的稳定运行以及企业的生产工艺具有重要意义。

随着工业自动化、智能化的飞速发展,国外已设计出了效果良好的电阻表面缺陷检测系统,但造价昂贵,因此,目前许多企业仍然采用人工检测的方式。传统的人工缺陷检测对工人的知识水平以及经验有较高的要求,并且具有较大的局限性,例如:漏检率高、检测成本较高等。

近年来,机器学习技术飞速发展,由于其非接触性的特点被广泛应用于各个行业。如HUANG等[1-2]提出了面向高维过程监控的分布式词典学习的方法以及基于核字典学习的非线性过程监控的方法,并应用在铝电解工艺中;郑林等[3]提出了基于稀疏建模和支持向量机(Support Vector Machine,SVM)的方法,应用在管道缺陷分类上;王姮等[4]提出一种基于主成分分析(Principal Component Analysis,PCA)模式和颜色特征的视觉显著性检测方法,应用在钢轨表面缺陷检测上。传统机器学习算法的缺陷特征需要人工进行设定,耗费大量人力物力,已无法满足现代工业的发展需求。

为了克服传统机器学习技术的不足,深度学习技术在缺陷检测领域越来越流行。由于深度学习能够从训练样本中自动提取出各种特征,并在分类效果上展现出卓越的性能,已被许多学者用于表面缺陷的检测与分类。SUN等[5]提出了改进的卷积神经网络快速区域标定(Faster Region-based Convolutional Neural Network,Faster R-CNN)方法,对轮毂的4种缺陷进行了检测;LIU等[6]提出了基于卷积神经网络(Convolutional Neural Network,CNN)和长短记忆(Long Short-Term Memory,LSTM)的缺陷检测方法,在钢板缺陷检测上效果较优;MEI等[7]提出的改进的卷积神经网络(CNN)应用在了LED芯片缺陷检测上,但是泛化能力较差,对于新出现的缺陷,检测效果不理想;HUANG等[8]提出一种基于全卷积网络(Fully Convolutional Networks,FCN)的方法,用于检测地铁盾构隧道裂缝,但是对于边界处的缺陷检测不理想;DORAFSHAN等[9]提出一种将深度卷积神经网络与边缘检测器结合使用的混合方法,对混凝土裂缝进行了检测;TAO等[10]提出一种新颖的基于卷积神经网络的检测方法,对金属表面的缺陷进行了实验,但是模型需要大量有标记的数据;熊红林等[11]提出一种基于多尺度的卷积神经网络模型(Multi-scale CNN,MCNN)用于玻璃表面缺陷检测,整体识别率为0.984,但是由于其采用多尺度,训练耗时较长;李宜汀等[12]提出一种基于卷积神经网络快速区域标定(Faster R-CNN)方法,用于油辣椒罐装生产线的封盖面表面的缺陷检测,正检率为0.958,检测效率较高,达到了0.18 s/张;冯毅雄等[13]提出一种基于迁移学习的检测方法,用于轴件表面的缺陷检测,该方法利用迁移学习解决了轴件数据源不足的问题。

以上深度学习方法在不同行业的缺陷检测上都被证明是有效的,但是上述方法都依赖于有监督学习技术,为了保证较好的缺陷检测效果,需要大量有标记的数据以及缺陷样本,但此类数据和样本的获取可能是非常困难的,甚至是不现实的。幸运的是,无监督学习技术可解决此类问题,并且有学者已经对此开始了研究。HU等[14]提出一种基于深度卷积生成对抗网络(Deep Convolutional Generative Adversarial Network,DCGAN)的新型无监督方法,用于检测织物缺陷;MEI等[15]提出一种基于多尺度卷积去噪自动编码器网络(Multi-Scale Convolutional Denoising AutoEncoder network,MSCDAE),在织物的缺陷检测上表现较好,但是由于其采用多尺度的方法,检测时间较长;ZHAO等[16]提出了使用自动编码器与生成对抗网络结合的缺陷检测方法,在DAGM2007数据集上检测效果较好;SHAO等[17]提出了集成深度自动编码器(Ensemble Deep Auto-Encoders,EDAEs)模型,用于诊断滚轮轴承缺陷;LI等[18]提出一种基于Fisher准则的堆叠式降噪自动编码器(Fisher Criterion-based Stacked Denoising AutoEncoder,FCSDA)用于织物缺陷检测。

然而,以上无监督学习技术在特定的检测对象上虽然体现出了较好的效果,但是由于压敏电阻本身特定的不规则外观、尺寸以及检测实时性等要求,采用上述无监督学习方法并不能取得理想的检测效果,很难应用在实际生产过程中。

为了解决采集完备有缺陷压敏电阻样本非常困难以及检测精度差的问题,本文综合了上述无监督检测方法只需良品样本进行训练的优点,并在卷积神经网络的基础上将空间注意力机制融入变分自编码器[19]中,提出了采用深度卷积变分自编码器(Deep Convolutional Variational AutoEncoder,DCVAE)的无监督压敏电阻表面缺陷检测方法。该方法包含图像预处理、压敏电阻良品表面特征提取和压敏电阻表面缺陷检测3个部分。借助变分自编码网络良好的无监督特性,解决了压敏电阻表面缺陷数据样本不足的问题,并减少了人工标注数据样本的依赖。提出的检测方法实现了压敏电阻表面缺陷自动检测的功能。最后通过实验验证了本文所提检测方法的可行性与有效性。

本文的主要贡献为:

(1)提出了一种新的数据预处理方法。该方法包含去背景、规范化以及提取差分图像3个步骤。使用去背景技术去除冗余数据特征;采用规范化技术确定图像的中心坐标,统一压敏电阻图像的姿态;利用图像差分技术,消除光照变化和反射不均匀等无关数据特征。

(2)将空间注意力机制引入变分自编码器模型中,增强了模型对有效信息的识别度,提升了模型的性能。利用变分自编码器良好的生成特性[20],通过融合空间注意力机制,使得模型的关注点放在压敏电阻表面图像的主体区域,进而更有效地提取良品表面特征。

1 采用DCVAE的无监督压敏电阻表面缺陷检测框架

因为受压敏电阻生产工艺的影响,不同种类缺陷的出现具有偶然性和不确定性,在实际生产过程中很难收集到完备的有缺陷压敏电阻样本,难以标记数据,但是却很容易收集到良品压敏电阻样本,所以研究并采用无监督学习的压敏电阻表面缺陷检测方法是不可避免的趋势。

本文提出的无监督压敏电阻表面缺陷检测方法主要由图像预处理、压敏电阻良品表面特征提取、压敏电阻表面缺陷检测3部分组成,如图1所示。

(1)图像预处理

包含去背景、规范化以及提取差分图像3个操作步骤。去背景操作主要是去除原图像中与压敏电阻主体图像无关的背景信息;规范化操作主要是通过形态学处理使得压敏电阻主体图像标准化,接下来,将标准图像与被操作图像进行差分操作,最后得到的差分图像去除了与目标无关的数据特征,如图1a所示。

(2)压敏电阻良品表面特征的提取

模型在变分自编码器的基础上融合了空间注意力机制,在模型的每个卷积层之前加入了空间注意力模块,增加了模型对有效信息的识别能力。在训练阶段主要是只输入压敏电阻良品图像,模型利用变分自编码器良好的生成特性[20],有效地提取压敏电阻良品图像特征,利用解码器重构图像,尽量使重构的图像与原始输入图像相同,如图1b所示。

(3)压敏电阻表面缺陷检测

首先给模型输入压敏电阻良品图像得到重构图像,重构后的图像与原始输入图像相减得到残差图,基于“3σ准则”处理残差图得到判定阈值(区分待检测压敏电阻图像有无缺陷);然后输入待检测压敏电阻图像,若图像有缺陷,模型在重构图像过程中自动去除缺陷特征,保留良品特征,若图像无缺陷,模型在重构图像过程中重现良品特征;最后利用残差图能突出缺陷特征的特点,基于判定阈值得到检测结果,如图1c所示。

2 图像预处理

图像预处理流程如图2所示,压敏电阻图像经历了去背景、规范化以及提取差分图像3个步骤,其目的是为了去除输入数据中背景、光照以及其他噪声对模型的影响。

2.1 图像去背景

为了去除冗余数据特征,本文在颜色空间以及形态学的基础上,研究并得到了去背景,提取压敏电阻主体图像的方法,如图3所示,其中图3a为提取主体图像算法流程图,图3b为算法示意图。

算法步骤描述如下:

步骤1首先得到未放压敏电阻的背景图像以及放了压敏电阻后的图像,将两张照片的颜色空间从RGB空间转到HSV空间。

步骤2从HSV空间中,分别提取H通道的像素值。

步骤3根据步骤2提取到的两张H通道的图像进行差分,获取差分图像。

步骤4将步骤3获得的差分图像进行阈值操作,将像素值大于20的像素点赋值为255,将像素值小于20的赋值为0,从而提取压敏电阻主体图像的掩膜。

步骤5根据步骤4得到的掩膜中像素值为0的像素位置,将步骤1中的电阻图像对应位置的像素值赋值为0,从而得到去掉背景后的图像。

2.2 图像规范化

由于照片为人工采集,图像位置具有随机性,为了确定了图像的中心坐标,统一压敏电阻图像的姿态,便于差分图像的提取,研究并得到了压敏电阻图像规范化的方法,如图4所示,其中图4a为图像规范化算法流程图,图4b为图像规范化示意图。

算法描述如下:

步骤1将压敏电阻的掩膜进行颜色空间转换,从RGB颜色空间转为GRAY颜色空间。

步骤2根据步骤1得到的结果图,第一次寻找最大轮廓。

步骤3根据步骤2得到的轮廓图,寻找其椭圆特征,并计算轮廓的中心坐标。

步骤4根据步骤3得到的椭圆特征角度以及轮廓的中心坐标,将压敏电阻掩膜进行仿射变换,使其平移到图像的中心位置,将对应的去背景后的压敏电阻图像进行相同的操作。

步骤5将步骤3得到的结果图像,第二次寻找最大轮廓。并计算轮廓中心坐标。

步骤6根据步骤5得到的轮廓信息,寻找该轮廓在水平及竖直方向上的轮廓边界。

步骤7根据步骤6得到的边界信息以及步骤5得到的轮廓中心坐标,将去掉背景后的压敏电阻图像以及对应的压敏电阻掩膜进行裁剪。

2.3 提取差分图像

为了消除光照变化和反射不均匀等无关数据特征,本文利用图像差分技术[21]研究并得到了提取压敏电阻差分图像的方法。差分图像可描述为:

Δx(m,n)=x(m,n)-X(m,n)。

(1)

式中:X(m,n)表示m×n维的标准图像,x(m,n)表示m×n维的被操作图像,Δx(m,n)表示差分图像。

提取差分图像流程如图5所示,其中图5a为提取差分图像的算法流程图,图5b为提取差分图像示意图。

算法描述如下:

步骤1选取标准图像。根据压敏电阻大小以及形状一致的特点,本文随机选取1 000张压敏电阻良品图像(反面),并统计其相互的欧氏距离,将欧氏距离之和最小的定义为标准图像。

步骤2将2.2节裁剪得到的压敏电阻主体图像以及步骤1得到的标准图像由RGB图像格式转为HSV格式,并对二者V通道的像素值进行图像“减”操作以及阈值处理,得到初始差分图像。

步骤3将步骤1得到的标准图像掩膜,与2.2节裁剪得到的压敏电阻掩膜进行“与”操作。

步骤4将步骤2和步骤3得到的结果图像再次进行图像“减”操作。

步骤5根据步骤4得到的图像,寻求其最大轮廓。

步骤6根据步骤5的轮廓图像进行腐蚀操作,得到感兴趣的区域(Region of Interest,ROI)。

步骤7将步骤2输出图像的所有在ROI区域外的像素值,全部赋值为0,得到最终的差分图像。

2.4 数据增强

由于压敏电阻数据量不足,采用数据增强的方式提高模型对缺陷图像的敏感性,降低过拟合问题的可能性。数据增强的过程是对原始图像随机进行向左、向右、向上、向下平移,以及在0°~360°之间任意旋转,结果如图6所示。最终,增强后的图像数量如表1所示。

表1 训练、验证和测试集的数量

3 压敏电阻良品表面特征提取

3.1 标准自编码器

由于压敏电阻有缺陷图像难以捕获,并且无公共数据集,相比于其他有监督学习方法,压敏电阻的缺陷检测更适合使用无监督的方法。

自编码器作为无监督学习的代表,因其具有良好的数据压缩特性,与其他相关方法相比,更适合压敏电阻表面特征的提取。标准自动编码器网络由编码网络与解码网络两部分组成,本质上是一种人工神经网络。首先自动编码器进行数据压缩,在压缩到一定维度时,再进行数据还原,从而提取最低维的特征,让输出代替输入,重现初始数据。标准自编码器的结构图如图7所示。

图中:x表示m维的输入数据,m∈R;h表示n维的特征向量,

表示m维的输出数据,其中n

步骤1将输入数据通过编码网络进行数据压缩。

(2)

步骤2解码器根据特征矩阵反向编码网络,构成解码网络,进行数据重构。

(3)

步骤3为了使得步骤1求得的特征有效,最小化编码网络输出的重构数据与原始输入数据的误差。

(4)

式中:Loss为重构损失。

3.2 变分自编码器[22]

标准自编码器虽然具有提取输入数据特征的能力,但是由于其网络结构简单,并不适合多维数据特征的提取。

基于变分自编码器(Variational AutoEncoder,VAE)的生成模型在图像分类[23]上具有非常不错的效果。VAE继承了编码器提取图像特征的强大能力,但是又与标准自编码器不同,因为VAE在编码网络的最后一层并不是单纯的压缩之后的向量,而是用向量分布替代了解码网络的输入。这种做法,使得模型具有了生成能力,极大地增强了模型的有效性。

本文使用VAE来提取压敏电阻表面缺陷特征,模型示意图如图8所示,生成模型定义如下:

p(Xm)=∑Zp(Xm|Zn)p(Zn)。

(5)

式中:p(Zn)为隐变量的向量分布,p(Xm|Zn)为输入数据,Xm为相对于隐变量Zn的分布,p(Xm)为输入数据的分布。

为了保证模型具有生成能力,利用p(Zn|Xm)服从正态分布[24],隐变量变为:

p(Zn)=∑Xp(Zn|Xm)p(Xm)=N(0,1)。

(6)

模型的重构误差

(7)

为了保证隐变量的后验分布服从标准正态分布,所以在重构误差的基础上增加了潜在损失:

Lμ=‖f1(Xm)‖2;

(8)

Lσ2=‖f2(Xm)‖2。

(9)

式中:Lμ与Lσ2分别表示输入数据的均值μm和方差的对数logσ2的潜在损失,f1和f2表示神经网络模型。

为了确定上述损失的比例,计算输入数据的正态分布与标准正态分布的KL散度Lμ,σ2,其公式定义如下:

(10)

(11)

Lμ,σ2=Lμ+Lσ2。

(12)

最终的损失为:

(13)

最后,利用重参数来解决模型不可训练的问题,重参数为:

(14)

3.3 深度卷积变分自编码器(DCVAE)

3.3.1 空间注意力机制

目前注意力机制在深度神经网络中十分流行,最大的原因在于注意力机制可以很好地提升网络的性能[25],提升模型对有效信息的关注度,弱化无关信息对模型的影响。

空间注意力(Spatial Attention,SA)机制是在空间范围内使得模型关注有效信息,降低模型对无关信息的依赖,如图9所示。

输入特征进入到SA模块中首先通过MaxPooling层以及AvgPooling层对特征信息进行评估,突出显示有效信息的活动区域;然后使用一个卷积层(Convolution layer,Conv)进行提取;最后将获得的SA权重通过Sigmoid激活函数进行归一化。该过程可描述为:

(15)

Sigmoid激活函数也称Logistic,将权重进行归一化操作并将其映射到0-1之间,可描述为:

(16)

式中:S(x)表示激活函数的输出,x为输入数据。

3.3.2 融入空间注意力机制的DCVAE

卷积神经网络属于前馈型的神经网络,网络结构主要包含输入层、隐含层和输出层,而隐含层由卷积层、池化层以及全连接层组成。21世纪以后,随着深度学习理论的发展以及硬件设备强大计算能力的支撑,卷积神经网络被广泛用于图像处理方面[24]。

本文采用卷积神经网络构建出DCVAE模型。将空间注意力模块嵌入到每一个卷积层之前,如图10所示。

在特征数据F通过卷积层之前,先通过空间注意力模块,本文用一个2×2的卷积来提取空间注意力信息,该信息通过Sigmoid激活函数归一化后获得空间注意力,然后将该空间注意力与原输入特征数据的权重进行合并,统一进行卷积操作,过程描述如下:

F′=Ms(F)×F。

(17)

式中:Ms(F)表示获得的空间注意力,F表示原输入数据的权重,F′表示空间注意力与原输入数据权重合并得到的新的数据权重。

网络体系结构如图11所示。编码网络将图像以256×256×3的尺寸作为输入,经过20个卷积层、5个最大池化层、2个全局平均池化层(Global Average Pooling,GAP)以及1个采样层处理。编码器网络结构如表2所示。

表2 编码器网络结构

卷积层描述为:

y=f(∑kfk×kk+bk)。

(18)

式中:y为卷积层的输出;fk为特征映射;kk表示卷积核;bk表示偏差系数。

为了减少每次输入数据分布变化,前18个卷积层的输出都经过了批量标准化(Batch Normalization,BN)归一化处理,BN归一化可描述为:

(19)

式中:μx(k)表示第k层卷积输出的均值;σx(k)表示第k层卷积输出的方差。

为了提高网络的非线性表达能力,激活函数都采用Leaky ReLU函数,描述为:

(20)

式中ai是(0,+∞)内的固定参数。

最大池化层是为了减少特征映射的维数,增加模型的平移不变性,描述如下:

(21)

式中:y(i,j)表示池化层的输出;x(i,j)表示池化区域。

为了防止整个网络过拟合,并且计算隐含层的均值μ和方差σ,数据通过GAP处理,可描述为:

(22)

式中:yk表示全局平均池化的输出;xk表示第k个特征图。

采样层的目的是为了让模型在参数传递的过程中连续可导,采样层描述为:

ε~N(0,1)。

(23)

由于输入图像的大小为256×256,在编码网络中经过了5个最大池化层、2个全局平均池化层,因此编码网络的输出特征图的大小为1×1000,将其作为解码网络(如图11和表3)的输入,再经过18个卷积层及6个上采样层,其中上采样层与编码网络中的最大池化层作用相反,其目的是为了扩展特征映射的大小。

表3 解码器网络结构

上采样层描述为:

y(i,j)=f(x(i,j))。

(24)

式中:y(i,j)为上采样的输出;f为插值函数;x(i,j)为上采样区域。

解码网络除最后一个卷积层外的输出都经过了与编码网络相同的操作,即BN归一化处理,激活函数采用Leaky ReLU,最后一个卷积层的激活函数采用tanh,描述如下:

(25)

式中:yk表示解码网络的第k个输出;xk表示卷积层的第k个输入。

最后,解码网络的输出图像与编码网络的输入图像大小一致,利用重构前与重构后的图像来计算模型的重构误差。

4 压敏电阻表面缺陷检测

4.1 压敏电阻表面缺陷检测流程

压敏电阻表面缺陷检测流程如图12a所示,示意图如图12b所示。从待检测图像到输出结果大致流程如下:

步骤1将待检测的差分图像输入到模型中,从而获得重构图像。

步骤2将差分图像与重构图像一起进行形态学操作,本文的形态学操作通过实验确定为腐蚀操作。

步骤3将步骤2获得的结果进行“减”操作。

步骤4将步骤3获得的结果,加以阈值判断,输出最终的结果。

4.2 判定阈值的定义

将4.1节步骤3中的“减”操作描述为:

(26)

利用“3σ准则”[26],本文的阈值公式可描述为:

T=μ+β×σ。

(27)

式中:T为阈值;μ表示图像的均值;β为图像标准差σ的系数。在本文中μ和σ可描述为:

(28)

(29)

式中m表示所有参与计算图像的像素点的数量,则式(27)可变形为:

(30)

通过实验。确定本文中β的取值为3。

5 实验结果与讨论

5.1 图像数据的采集

一般情况下,图像的缺陷检测具有快速、准确的特性,为了训练深度学习模型,需要适量的数据进行学习,从而使得模型具有出色的缺陷检测能力。

当前尚无公开的压敏电阻图像数据集,因此本文建立了如图13所示的用于获取压敏电阻图像的光学实验平台系统。如图13a所示为图像采集系统,如图13b所示为工业相机模拟图,其镜头可拍摄最高2 100万像素的图像,相机与检测对象之间的距离为15 cm,光源为LED环形补光灯。获取的图像是PNG格式的640×480像素大小的24位图像。

本文中用于检测的压敏电阻型号为10D561K,直径为10 mm,检测对象选择因表面有喷印文字使得缺陷检测较难的压敏电阻正面。由于受压敏电阻本身价值的限定,所以本文只研究压敏电阻表面是否包含缺陷,不对缺陷的种类进行分辨。

5.2 实验环境

本文所使用的硬件环境为:处理器为Intel(R) Xeon(R)E5-2620 V4@2.10 GHZ、内存为16 GB DDR4、GPU为k80c、软件环境为CUDA Toolkit 10.0、Keras 2.3.0、Tensorflow 1.14.0、OpenCV3.4.1。

5.3 训练过程

本节利用压敏电阻图像数据训练DCVAE网络,使其达到表面缺陷检测的目的。训练过程中采用无监督方法,只使用压敏电阻良品差分图像进行训练,使得DCVAE充分提取良品样本的表面特征,再利用变分自编码器良好的生成特性进行图像重构,重构后的压敏电阻图像中包含原来训练图像的本质特征。

由于已经训练的模型中是通过压敏电阻良品图像进行采样的,所以模型学习到的是良品样本的特征分布。利用这一特性,对于有缺陷的压敏电阻图像,在经过DCVAE网络模型后,模型重构的图像是不包含缺陷特征的,如图14所示。

本文利用良品图像通过DCVAE网络重新生成的是良品图像,有缺陷图像通过网络重新生成的也是良品图像的特点,加以阈值判别,最终达到缺陷检测的目的。

本文设置的批尺寸(batch size)为64,epoch为1 000。

5.4 实验结果

本文采用5.3节中描述的训练方式,进行模型的训练,训练时长接近43 h,单张图像(256×256像素)测试时间为25.2 ms,由于本文所设计的缺陷检测方法关注重构前后的图像,训练过程中主要注重模型的损失,训练集以及验证集的损失变化如图15所示。

可以看到,训练数据以及验证数据在损失变化上整体一致,验证数据集的损失有较小的上下波动,其中训练数据集以及验证数据集最低点的损失分别为0.011 756 082,0.023 068 594。

本文利用测试集进行了实验,检测效果如图16所示,纵坐标表示图像的重构前后的损失,图中黑色横线表示通过式(30)计算得到的分割阈值,实际取值为9.115 2,从图16可以看出,压敏电阻良品图像的重构损失大部分集中在阈值分割线下方,而有缺陷的压敏电阻图像的重构损失集中出现在阈值分割线的上方,由此可以看出模型对缺陷图像十分敏感。

对于有缺陷的压敏电阻图像,模型的检测效果如图17所示,其中缺陷部分已经在原图中标出,可以看出有缺陷的图像通过模型得到的重构图,是不包含缺陷的,最终的残差图突出展示了缺陷块的大小及形状。

对于压敏电阻良品图像,模型的检测效果如图18所示,可以看出获得的残差图基本不包含缺陷。

如图19所示为模型对缺陷位于文本喷印区域的检测效果,可以看出,该模型对缺陷与喷印文本叠加的压敏电阻图像不敏感,因此导致残差图未突出显示缺陷区域。

5.5 缺陷检测性能比较

为了评估本文所描述的压敏电阻表面缺陷检测方法的性能,本节将该检测方法与深度卷积生成对抗网络(DCGAN)[14]以及多尺度卷积去噪自动编码器网络(MSCDAE)[15]两种无监督检测方法进行了比较。

DCGAN缺陷检测模型是在标准DCGAN模型的基础上进行了改进,通过增加一个编码器改变了标准DCGAN只生成数据的特性,使其可以重建给定的输入图像,该方法在残差图突出显示缺陷区域方面具有很好的效果。

MSCDAE是在多个尺度上对图像进行分割,然后通过卷积去噪自编码器网络重建图像块,最后将多个尺度上的检测结果进行合并,给出最终的检测结果,该方法对尺寸较小的缺陷块具有突出的检测能力。

本文将召回率(RC)、精确率(PR)、F1值、单张图像检测时间以及受试者工作特征(Receiver Operating Characteristic,ROC)曲线作为评价压敏电阻表面缺陷检测性能的指标。其中RC、PR以及F1定义如下:

(31)

(32)

(33)

式中:TP表示良品样本检测正确的个数;FN表示缺陷样本检测错误的个数;FP表示良品样本检测错误的个数;PR与RC用于评价模型检测结果的质量;F1值用于反映模型整体检测结果的指标。

单张图像检测时间主要由图像加载时间、网络计算时间、图像重建时间以及阈值判断时间决定,检测时间最大的开销在于模型的网络规模上,即在相同硬件的基础上,网络规模越大,检测耗时越长,实时性越差。

ROC曲线横轴为假阳率(FPR),纵轴为真阳率(TPR)。学者常用ROC曲线来评价模型检测效果的优劣,其中ROC曲线图中的虚线表示辨别力等于0的一条线,也叫纯机遇线,ROC曲线离纯机遇线越远,即曲线越靠近左上角,代表受试者工作更准确,即检测效果更好。其中FPR,TPR定义如下:

(34)

(35)

式中TN表示缺陷样本检测正确的个数。

本文采用同样的数据集,借鉴文献[14-15]论文中对输入数据尺寸以及网络参数的设定,为了让这两种方法在压敏电阻数据集上达到最优的效果,将DCGAN模型输入数据的尺寸设定为128×128,将MSCDAE模型输入数据的尺寸设定为256×256、128×128、64×64。迭代次数统一为1 000次,并选取相同的测试集,对这3种算法分别在检测精度、检测速度以及ROC曲线3个方面进行了实验,实验结果如表4、表5和图20所示。

表4 检测精度比较

表5 检测速度比较

从检测精度和ROC曲线来看,DCVAE算法较其他两种检测算法拥有更好的效果,其中,准确率至少提升了8.4%,召回率至少提升了6.3%,F1值至少提升了7.4%。模型检测精度反映模型捕获输入数据核心特征的能力,DCGAN和MSCDAE两种算法的每一个卷积层都是从全部空间范围内提取特征,而DCVAE算法融入了空间注意力机制,有针对性地在图像数据的空间范围内提取有效的特征信息,减少了模型对冗余数据的处理过程,从空间上改善了模型捕获图像数据核心特征的能力,提升了模型的检测精度。

从检测速度来看,由于MSCDAE算法分别从256×256、128×128、64×64三个尺度上同时进行数据处理,对硬件资源要求较高且计算复杂,单张图像测试耗时27.8 ms;DCGAN算法由于在模型中添加了一个新的编码器用来处理图像数据,处理结果作为生成对抗网络中生成器的输入,由于该编码器采用普通的卷积池化操作,节省了大量的运算时间,单张图像测试耗时最少,为19.5 ms;本文提出的DCVAE算法由于在每一个卷积层之前引入了空间注意力模块,增加了计算时间,单张图像测试耗时为25.2 ms。

虽然DCGAN算法检测耗时最低,但是算法的准确率较低。DCVAE算法虽然在检测速度上不如DCGAN算法,但是满足工业检测速度的需求,且该算法较其他两种算法在检测精度方面具有较大的优势。

综上,本文研究得到的DCVAE算法更符合压敏电阻表面缺陷检测工业生产线中可靠性与实时性的要求。

6 结束语

本文提出一种基于DCVAE的无监督学习方法,用于压敏电阻表面缺陷检测。该方法将空间注意力机制融入DCVAE模型中,提升了模型对有效信息的关注度,弱化了无关信息对模型的影响,有效提取了良品图像特征,利用压敏电阻良品图像进行训练,训练过程不进行人工干预,对于有缺陷的压敏电阻图像,模型自动过滤缺陷部位,即重构出来的图像是不包含缺陷的,通过重构前后的残差图,来突出显示缺陷区域,利用判别阈值检测图像是否包含缺陷。为了减少数据的特征量,去除冗余数据,本文设计了一种数据预处理方法,将原始的压敏电阻图像进行去背景以及规范化操作,然后提取出压敏电阻图像与标准图像的差分图像,最后用该差分图像进行训练。与目前流行的无监督缺陷检测方法进行了对比实验,结果表明:所提方法在检测压敏电阻表面缺陷方面表现更好,效率更高,解决了压敏电阻表面缺陷样本采集困难以及检测精度差的问题。然而本文所提出的方法,对于缺陷位于文本喷印区域的压敏电阻图像表现较差,未来将继续探索缺陷与喷印文本分离的方法,以此来提升检测精度。

猜你喜欢

压敏电阻良品编码器
良品铺子包装受众消极感知因素的挖掘与修正
基于不同组合方式下电源系统SPD的试验
不同稀土氧化物掺杂对ZnO压敏电阻性能的影响
良品铺子盈利失色:消失的加盟商
杨红春的零食江湖
基于PLC的压敏电阻磨片生产线的设计与实施
基于FPGA的同步机轴角编码器
良品铺子第五代门店亮相武汉
基于PRBS检测的8B/IOB编码器设计
氧化锌压敏电阻多片并联方法及性能分析