基于多视图自编码器及高斯模糊的缺陷检测方法

应小伟，周 乐

(浙江科技学院 a.机械与能源工程学院,b.自动化与电气工程学院，浙江 杭州310023)

深度学习因具有强大的特征提取能力被广泛的运用于缺陷检测领域。其中，自编码器(Autoencoder, AE)已被用作无监督模型的深度特征提取，特别是用于缺陷检测。张宏伟等[1]提出一种多尺度卷积自编码器模型，实现了对色织衬衫面料缺陷自动检测与定位。景军锋等[2]提出了一种基于Fisher准则的栈式降噪自编码器算法，能够有效提高织物疵点的检测率。Tian等[3]提出了一种基于自编码器的织物疵点检测方法，通过对原始编码的潜变量进行修改，引入跨patch相似性来确定修改函数。唐善成等[4]利用深度卷积变分自编码器实现了电阻表面缺陷的检测。李珍珍[5]基于自编码采用残差编码解码网络完成图像重构，实现了对产品表面缺陷进行无监督检测。

传统的自编码器通常是全连接的。这意味着输入数据的每个维度与所有隐层特征相连，每个隐层特征与重构的每个维度相连，导致模型无法有效地分离缺陷、背景和噪声信息。虽然AE已经有了各种改进，比如稀疏自编码器[6]、降噪自编码器[7]、堆栈降噪自编码器[8]等，但都无法有效提取深层缺陷信息。

多视图学习作为机器学习的一个分支，因其处理高维数据不会引起过拟合而受到欢迎[9-10]。Jia等[11]将多视图学习的所有视图(输入数据)映射到一个公共空间和几个私有空间。在多视图学习方法中，基于子空间学习的方法旨在获取比输入视图维度更低的隐层空间，从而学习有效信息，消除视图中的冗余信息。这些隐层空间包含的信息可以视为有效的特征，因此基于子空间学习的算法允许单视图学习算法对多视图数据进行学习[12]。

在红外热图数据中，可以将数据划分成背景、缺陷和噪声三部分，构成不同视图，每个视图代表着不同的特征。本研究提出了一种基于多视图自编码器(Multi-view Autoencoder, MAE)及高斯模糊的缺陷检测方法，并以一个具有亚表面缺陷的碳纤维试件为试验对象，对该算法的有效性进行验证，旨在为缺陷检测提供一种新方法。

1 数据采集与预处理

脉冲热成像数据采集装置如图1所示。首先，脉冲信号对被测试件闪烁一次，进行加热。红外摄像机记录被测试件表面升温和降温2个变化过程，获取原始热图数据。对应位置的温度变化过程由热图像的像素值大小表示。红外摄像机是一种基于被测对象表面温度变化而进行成像的装置，其成像基础是被测试件存在缺陷或异常，缺陷的存在会使试件内部热传导不均匀，从而导致热图像上缺陷区域与无缺陷区域像素值大小不一。

图1 脉冲热成像数据采集装置

2 多视图自编码器及高斯模糊缺陷检测算法设计

2.1 数据划分及表示

2.2 多视图自编码器的特征提取模型

传统的自编码器是全连接网络，即隐层神经元与编码层和解码层的所有神经元连接，这导致隐层数据特征是所有输入的非线性组合。而在多视图学习中，子空间学习模型依赖于明确地构建一个公共的隐层空间和几个私有的隐层空间，即一个私有的隐层空间对应于一个视图。因为第1个视图与第n个私有隐层空间(第n个隐层神经元)是没有交叉连接的，所以第n个私有隐层空间与第1个视图是严格独立的。同样，第1个私有隐层空间独立于其他输入视图。

hK=σ(ω1XK+b)

(1)

为了搭建这样的网络结构，首先，搭建一个全连接自编码器的网络，根据输入数据的维度依次设置输入层神经元个数N，隐层神经元个数T,输出层神经元个数N，搭建一个输入—隐层—输出的简单全连接自编码网络。

其次，引入权重限制矩阵L,L∈T×N，维度与权重矩阵ω1一样。矩阵内的元素人为设置值为1和0，通过限制矩阵内的元素排列方式控制输入层神经元和隐层的连接方式，使每个视图映射到公共空间和私有空间，从而实现局部连接，得到新的权重矩阵，定义为：

(2)

式(2)中，•表示将限制矩阵和权重矩阵逐元素相乘。

同理，输出层权重矩阵乘以输入层权重限制矩阵L的转置即可控制隐层神经元与输出层的连接。

最后，为了保持隐层空间和输出层视图之间的相互独立性，多视图自编码器模型不使用偏置项，则输入到隐层的映射数学表达式为：

(3)

解码阶段隐层到输出层的表达式为:

(4)

模型损失采用均方误差，公式为：

(5)

此外，为了便于理解权重限制矩阵L，当V和n等于2时，将输入数据划分成2个视图，隐层公共空间是2个视图的映射，则权重限制矩阵L∈3×5的第1行全部设置为1；输入视图只与隐层私有空间相连，则L第2行的前2个元素设置为1，后3个元素设置为0；同理得到第3行前2个元素为0，后3个元素为1。

2.3 高斯模糊

对热图数据分析的最终目的是为了提高缺陷区域与非缺陷区域的对比，采用高斯模糊算法可以很好地处理该问题。在一块主要由大部分缺陷与少部分周围背景组成的连接区域内，缺陷区域的像素值通常大于或小于周围无缺陷区域，通过高斯模糊算法计算缺陷区域与周围背景的均值，可以使缺陷区域的像素值进一步大于或小于周围背景。同理，当计算主要由大部分背景少部分缺陷组成的连通区域时，高斯模糊算法则把缺陷的像素值平均到与背景区域接近的像素值。

根据二维高斯函数获得权重矩阵,二维高斯函数公式为：

(6)

在获得隐层输出hK∈HW×T后，将HW×1的列向量还原成二维矩阵生成T张图像。此时已经能够大概分辨出缺陷的位置和形状，但由于进行数据特征提取的局限性，生成的图像中不可避免地存在或多或少的噪声和背景，降低了缺陷区域与无缺陷区域的对比。因此，使用高斯模糊算法对包含大部分缺陷信息的图像进一步降噪，提高对比。多视图编码器MAE模型算法流程如图2所示。

图2 多视图编码器MAE模型算法流程

步骤1：将N维输入数据进行标准化，并划分n个视图，则每个视图的维度为N/n。

步骤2：根据输入视图与隐层私有空间的映射关系设置权重限制矩阵。

步骤3：MAE模型编码获取隐层非线性特征。每个视图严格映射到相应的隐层空间，即将维度HW×N的输入数据经非线性特征提取后，降维得到隐层特征，维度为HW×T。

步骤4：模型解码。根据隐层特征重构模型输出，每个隐层神经元只映射到对应的输出神经元，得到重构输出，维度为HW×T。

步骤5：计算模型输入与输出的误差，采用梯度下降法更新权值矩阵参数，直到模型收敛。否则，返回步骤3。

步骤6：训练完成后，将维度为HW×T的隐层非线性特征还原成图片，获得T张大小为H×W大小的的图片。

步骤7：从T张图片中选取缺陷信息集中的图片进行高斯模糊。

2.4 局部信噪比

采用热成像领域常用的信噪比(Signal Noise Ratio, SNR)作为检测结果的评价指标[14]。信噪比的绝对值近似计算为：

(7)

式(7)中，Mdef为缺陷区域像素均值；Mn为无缺陷区域像素均值；σn为无缺陷区域像素的标准差。

信噪比大小反映缺陷区域与非缺陷区域的对比关系，信噪比越大，缺陷越明显。当无缺陷区域像素值较小时，即无缺陷区域标准差较小，由式(7)可以看出，分母较小使得信噪比数值偏大，评价结果不够客观。

针对这个缺点，本研究采用局部信噪比作为评价指标，即缺陷区域只与周围区域对比，并且每个缺陷都是规则的正方形，便于周边区域的选择。具体地做法是，取每一个缺陷2倍大小的区域进行信噪比计算。通常，识别缺陷区域时只需缺陷与周围区域的对比足够明显即可识别出缺陷。局部信噪比的引入减少了无缺陷区域像素值大小对评价指标的影响。局部信噪比计算公式为：

(8)

3 实验

选取一个具有亚表面缺陷的碳纤维试件进行缺陷检测，验证MAE模型的性能。碳纤维试件采用树脂传递模塑工艺制备，这种工艺在我国的工业生产中得到了广泛地应用。制作时首先将纤维增强材料或预成坯铺放到闭模模腔内，用压力将树脂液注入模腔浸透纤维或预成型坯，然后固化，脱模成型制品。在铺层过程中，将几个不同形状的扁平特氟龙带插入碳纤维板中，这样在不同的位置就生成了不同的形状和深度。

3.1 实验数据和装置介绍

实验硬件平台为Windows10,Intel i5-7500，CPU@3.4 GHz和16 GB RAM。基于TensorFlow深度学习框架搭建多视图降噪自编码器模型，基于OpenCV库实现高斯模糊算法。试件制作完成后，对试件进行脉冲热成像采集原始红外热图数据。首先，使用2个闪光灯作为数据采集的热源，3 ms内传递3 200 J的能量脉冲加热被测试件；然后使用分辨率为320×240和采样频率为30帧/s的红外摄像机(TAS-G100EXD, NEC)记录试件在冷却阶段表面的温度变化。由于不均匀的加热和材料属性的不同，采集的原始热图包含了不均匀背景和噪声。因此，需要对热像数据进一步处理，以提高缺陷识别的准确性。

通常为了减少背景区域对实验结果的影响，将获取的原始数据集进行裁剪，得到缺陷区域集中的120×105子区域作为试验数据，获得冷却阶段54张热图数据集。将获取的54张三维数据集降维成二维输入，维度为12 600×54，并将输入划分为3个视图。隐层神经元数目为4，1个公共空间和3个私有空间。TensorFlow框架神经网络矩阵运算是输入乘以权重矩阵，编码层ω1∈54×4，权重限制矩阵L∈54×4。解码层权重矩阵同样由限制矩阵控制连接方式。采用leaky-relu作为编码器层的激活函数，其中，解码层是用类似的方式构造，没有使用激活函数。高斯滤波核大小为5×5。缺陷形状及位置如图3所示。图3中，从左往右缺陷深度依次增加，同1列的3个缺陷深度一样，J为表面缺陷。亚表面缺陷大小分别为1.6 mm×1.6 mm,0.8 mm×0.8 mm，和0.4 mm×0.4 mm。原始图像缺陷展示如图4所示。图4展示了原始数据的第1，10，20，30，40，54张原始热图。由于不均匀背景和噪声的存在，从原始热图中仅凭目测无法有效分辨缺陷的位置及形状，尤其是深层缺陷。

图3 缺陷形状及位置

图4 原始图像缺陷展示

3.2 实验结果及分析

碳纤维复合板的表面缺陷及最浅层3个亚表面缺陷(A,B,C)仅凭目测即可，所以只统计剩余的6个亚表面缺陷。AE，MAE以及结合高斯模糊算法的检测结果分别如图5～图7所示。

图5展示了AE方法的4个隐层特征，将缺陷信息集中在第2个隐层神经元。由于AE采用全连接网络，每个隐层都是所有输入的非线性组合，对深层缺陷检测效果的提升有限。由图5可以看出，AE方法对中间大正方形的处理结果有一定形状轮廓显现，但由于周边背景和噪声的严重干扰，效果并不直观。

图5 AE检测结果

图6展示了MAE方法的4个隐层特征，MAE1对应于隐层公共空间的特征图可视化，MAE2～MAE4对应3个隐层私有空间的特征信息。从图6可以看出，由于公共空间是所有输入的映射，所以包含了缺陷、背景和噪声信息。MAE2是视图1的私有映射，缺陷的形状及位置信息有较大的提升，缺陷区域与无缺陷区域的对比更为明显。尤其是对最深层的2个较大缺陷，位置和轮廓信息提升效果较好。

经过AE和MAE 2种方法特征提取后的数据虽然包含了大部分的缺陷信息，但由于缺陷区域周围存在大量不均匀背景和噪声，降低了缺陷区域和非缺陷区域的对比。图7展示了AE与MAE模型结合高斯模糊算法后的检测结果。从图7中可以看出，高斯模糊算法的引入增加了缺陷区域与非缺陷区域的对比。对MAE模型降维后的深层缺陷提升效果最好；对AE的表面缺陷和最浅层亚表面缺陷提升效果明显。这是由于高斯模糊算法的本质特征决定的，即中心像素点是周围像素点的均值。

图6 MAE检测结果

图7 高斯模糊检测结果

根据式(7)和式(8)分别计算求得全局信噪比和局部信噪比。信噪比计算结果见表1。从表1可以看出，多视图自编码器结合高斯模糊算法的全局信噪比计算结果并不好，但局部信噪比结果相较于另外3种方法有较大的提升，数值计算结果与图6目测结果一致。缺陷区域的对比更加明显，尤其深层且细小缺陷的提升效果较好。

表1 信噪比计算结果

4 结束语

本文提出了一种基于多视图编码器及高斯模糊的缺陷检测方法，该方法结合自编码器和多视图的优点，通过自编码器的非线性特征提取和降维，将输入划分为多个视图，针对每个视图各自包含的特征有效地检测出深层且细小的缺陷。本研究以一个具有亚表面缺陷的碳纤维复合材料为实验对象，分别采用AE,MAE以及结合高斯模糊算法的方式对其缺陷进行检测。实验结果表明，局部信噪比的引入降低了特征提取后无缺陷区域像素值大小对信噪比的影响。高斯模糊算法进一步增加了缺陷区域和无缺陷区域的对比，尤其是对深层且细小缺陷的提升效果更好，验证了该算法的有效性和可行性。