非接触红外光电传感器在强反射金属缺陷检测中的应用*

何 成，马思远，周武杰

(1.浙江科技学院信息与电子工程学院，浙江 杭州 310023；2.浙江大学控制科学与工程学院，浙江 杭州 310027)

强反射金属零件[1]的反光性较强，在其焊接或制造过程中受到不同方面因素的影响，导致其存在质量不稳定以及生产成本较高等问题。 为了有效解决上述问题，国内相关专家针对强反射金属表面缺陷检测方面的内容展开了大量研究。 例如Fang等[2]对二维和三维钢、铝、铜板和带材等典型金属表面缺陷检测技术进行了分析。 根据算法特性以及图像特征，将现有的二维方法分为统计方法、光谱方法、模型方法和基于机器学习的方法四类。 在三维数据采集的基础上，三维技术分为立体视觉、光度立体、激光扫描仪和结构光测量方法。 但是该方法仅停留在研究综述和理论分析上，其为本文金属表面缺陷检测技术的选取提供了参考。 袁野等[3]主要通过K均值聚类算法获取符合数据特点的先验框值，同时引入卷积神经网络完成金属表面缺陷检测。但是，该方法存在数据冗余的问题，在一定程度上会增加检测耗时。 方钧婷等[4]通过注意力级联网络实现金属表面缺陷检测，构建轻量级网络模块对金属表面缺陷进行分类和定位，提高了检测精度和鲁棒性。 但是，该方法存在缺陷识别耗时较长的问题。Lin 等[5]通过直方图的统计信息对纹理方向预处理，通过机器视觉方法对金属表面的主要纹理簇和异常纹理簇展开搜索，最终实现金属表面缺陷检测。但是，该方法的鲁棒性较差。 Bhandari 等[6]介绍了一种优化亮度保持直方图均衡化方法。 使用布谷鸟搜索算法来保持低对比度图像的平均亮度并提高对比度。 该方法将直方图划分为两个子直方图，在两个子直方图上利用直方图统计来获得平台极限。 基于通过布谷鸟搜索优化技术获得的计算平台极限，实现子直方图均衡和修改。 该方法提高了图像均衡化处理的质量，对本文图像预处理具有较好的借鉴意义。

在充分研究以上几种方法的基础上，提出一种基于红外光电传感器的强反射金属表面缺陷检测方法。 经实验测试结果表明，所提方法可以有效提高金属表明缺陷检测准确性，降低检测耗时，获取强反射下的高精度金属表面缺陷检测结果，具备了应用性。

1 强反射下的金属表面缺陷检测方法

考虑到金属具有一定的反射性，导致其表面缺陷检测过程中出现错检以及误检的情况，为此将红外光电传感器作为强反射金属缺陷检测工具，以提升强反射金属表面缺陷检测效率。 具体步骤为:

Step 1:利用红外光电传感器采集强反射金属缺陷红外成像信息；

Step 2:通过红外图像直方图转换和均衡化处理，消除强反射带来的光学干扰；

Step 3:最后利用灰度共生矩阵和卷积神经网络实现金属表面特征缺陷检测及分类。

1.1 红外光电传感器采集红外成像信息

红外光电传感器分为发送器、接收器和检测电路。 发送器对准金属表明发射光束，获取红外成像信息，有效提高光反射抗干扰性能。 在接收器转换成像信息，输出红外成像。 利用检测电路过滤有效信号，提高红外成像效率。 红外光电传感器的工作流程如图1 所示。

图1 红外光电传感器的工作流程图

通过红外光光电传感器采集强反射金属表面红外图像，增强金属表面图像处理效果。

1.2 红外图像直方图转换

对采集到的红外成像展开直方图处理[7]，获取红外图像灰度级分布，增强图像处理能力。

由于大部分红外图像为8 bit 位，所以将灰度值设定在固定区域间，则红外图像对应灰度级x出现次数可以表示为式(1)的形式:

式中:Hr(x)代表灰度级x出现的总次数；mx代表灰度级为x的像素数量；强反射金属表面红外图像灰度处理的数学公式bx为:

式中:m代表强反射金属表面图像的像素总数。

在原始直方图中，假设部分灰度级对应的值高于设定的阈值Y，对应的约束条件如式(3)所示:

式中:PY(x)代表金属表面加权直方图；PB(x)代表原始直方图。 为了提高红外图像像素识别效果，需要对金属表面加权直方图进行累加计算，进而获取对应的累积函数，如式(4)所示:

式中:GY(x)代表累积函数。 通过均衡化处理将原始图像灰度值转换为金属表面加权直方图的灰度值，具体的计算式为:

灰度变换的主要目的就是将强反射金属表面图像中的灰度值利用一种变换函数将全部像素灰度值转换到另外一个灰度值，主要包含图像的反转以及对数转换等相关操作。 对灰度级为l的金属表面加权直方图展开反转操作，进而获取以下形式的表达式:

式中:c代表图像的反转操作结果；t代表采样周期。根据式(1)得到的灰度值设定的阈值，将金属表面加权直方图划分为目标区域、背景区域以及过渡区域三个不同的部分。

其中，目标区域的灰度变换主要通过灰度拉伸的方法实现，背景区域使用灰度压缩，而过渡区域则使用灰度级位置。 其中，分段变换计算公式为:

式中:F(x，y)代表分段变换结果；a'、b'和c'分别代表取值不同的阈值；B(x，y)代表像素灰度压缩结果；x'代表变换后的灰度级；y'代表像素灰度。 通过灰度级信息完成红外图像直方图转换。 转换前后的红外图像直方图如图2 所示。

图2 转换前后的红外图像直方图

通过分析转换前的红外图像的直方图可知，主要具有以下几方面的特点:

①强反射金属表面红外图像的像素分布十分密集，大部分区域的灰度级分布均为零且图像反差比较低。

②采集图像的动态范围十分窄，大部分集中在比较灰暗的区域内且图像亮度偏低。

③在直方图内存在比较明显的尖峰，集中区域十分小且图像背景过大。

通过分析转换后的红外图像的直方图可知，将红外成像频率因子引入原有直方图中，通过累积函数转换为金属表面加权直方图，同时对集中分布的灰度级展开数值设定操作，提升了红外图像的对比度。

1.3 均衡化处理红外图像

通过上述分析，需要对金属表面红外图像进行均衡化处理，增强金属表面缺陷识别能力。 引入红外图像像素信息，利用计算灰度值的方法改进平台直方图的图像均衡处理效果。 通过调整红外图像像素，实现强反射金属表面红外图像均衡化处理，详细的操作步骤如下所示:①输入强反射金属表面红外图像；②判断图像的大小是否为m×n，假设是，则直接转换为规格为m×n；反之，则跳转至步骤④；③计算图像中不同像素点的频率信息；④通过分析计算，获取不同缺陷类型的频率因子；⑤将频率因子和对应的红外图像像素点进行加权处理，形成不同等级的灰度级[8-9]；⑥获取金属表面红外图像灰度级阈值以及改进后的平台加权直方图；⑦对金属表面红外图像进行均衡化处理，将经过处理的像素灰度值和频率因子依次实行衰减操作，最终完成红外图像均衡化处理，实现红外图像增强。 为后续金属表面缺陷检测和分类提供支持。

1.4 金属表面特征缺陷检测及分类

在强反射金属表面缺陷检测过程中，缺陷特征提取是十分重要的步骤[10-11]。 当通过红外图像的边缘特征展开分析处理时，图像中光照不均匀对分析结果产生的影响是比较小的。 针对金属目标物体而言，提取边缘特征可以快速完成分析识别操作。

想要获取比较满意的边缘定位，优先需要标识出目标的边缘轮廓，即对强反射金属表面缺陷定位处理。 定位处理的主要目的是准确提取强反射金属表面缺陷特征，同时设定各阶导数的取值。在红外图像处理过程中，引入卷积神经网络识别缺陷特征，构建LeNet-5 网络结构。 通过卷积层、连接层和池化层重复卷积和采样操作[12]，完成缺陷特征分类识别，并在输出层输出结果。 具体结构如图3 所示。

图3 卷积神经网络模型

根据图3 的卷积神经网络模型结构可知，强反射金属表面缺陷识别主要包括卷基层特征描述、池化层图像特征提取两部分:

①卷积层特征描述

根据红外图像均衡化特征信息，采用包含尺度因子的点扩散函数形式[13]，对红外图像进行描述，描述公式为:

式中:δ代表目标图像纹理的均匀程度；ui代表卷积层的第i个卷积核的权值；pm代表卷积层的第m个输入块；ei代表池化层第i个卷积核的偏置；γ代表池化区域宽度。

②池化层图像特征提取

通过红外图像特征值描述，获取红外像素的分布空间及特征量，完成图像边缘轮廓处理，以此降低目标图像的特征维度，提升检测效率。 选择一部分具有代表性的特征量展开分析，进而获取红外图像中局部区域的灰度强度分布情况，如式(9)所示:

式中:Tp代表灰度强度的分布情况，φ代表红外图像像素值，以此完成缺陷检测识别。

为了促使目标识别和定位结果准确性得到有效提升，需要对经过连接层处理后的池化层中红外图像纹理信息进行加工处理，优化鲁棒性。 通过其取值大小可以准确反映不同目标红外图像纹理的均匀程度，以此完成缺陷分类。 目标图像纹理的均匀程度计算式为:

式中:mt代表卷积层时间复杂度；μi代表池化层第i个卷积核的邻域像素；n代表背景自适应标准差。根据目标图像纹理均匀程度结果获取红外图像特征信息，以此完成金属表面特征缺陷检测及分类。

2 实验结果与分析

上述过程完成了基于红外光电传感器的强反射金属表面缺陷检测方法的理论研究，下述将设计实验对其进行验证。

2.1 实验准备

实验采用的服务器为Intel Xeon(R)CPU E5-2650 v4＠2.20 GHz X4S/12 GB 的GeForce GTX1080Ti GPU，运行内存为64 GB，操作系统为Ubuntu Linux，深度学习框架为TensorFlow。

以KolektorSDD 数据库(https:/ /www.vicos.si/Downloads/KolektorSDD)为实验对象，从中选取200 px×200 px 的金属零件表面缺陷红外图像500 张，其中包含夹杂、划痕、裂缝、斑块、凸起、孔洞、次品、折弯痕、摩擦痕、烧伤痕、电镀花斑、水印、雾状、腐蚀和修补15 种缺陷类型。 从500 张红外图像中选取70%的样本作为训练集，剩余30%的样本作为测试集，训练集与测试集均为独立。

考虑到红外传感器一般情况下输出的原始信号可达到14 位(或16 位)数据范围，然而在一张图像中人类肉眼只能大约分辨出128 个灰度级，因此将阈值设定为128。 设置学习率为0.005，权值的衰减系数为0.000 1，迭代次数为1 000 次，每迭代一次保存一次训练结果。 选择随机梯度下降法对以端对端的联合方式进行训练，通过softmax loss 损失函数输出训练精度损失结果，如图4 所示。

图4 训练损失结果

由图4 可知，随着迭代次数不断增加，训练集产生的精度损失逐渐降低，说明卷积神经网络模型训练效果良好。 训练损失基本收敛到稳定值，表明达到预期训练效果。

2.2 实验过程

实验过程为，Step1:人为加入强光干扰，使金属零件表面具有一定的反光性。 Step 2:利用红外光电传感器采集成像数据，生成强反射金属表面红外图像。 Step 3:对其进行加权直方图均衡化处理后，通过调整红外图像像素实现图像增强处理。 Step 4:利用卷积神经网络模型提取强反射金属表面的缺陷特征，实现强反射金属表面缺陷检测。 具体操作过程如图5 所示。

图5 强反射金属表面缺陷检过程

分析图5 可知，所提方法可以准确识别强反射条件下的金属表面缺陷，定位效果佳。

2.3 实验结果分析

将金属表面缺陷检测准确率和耗时作为指标，采用所提方法、与文献[3]方法和文献[5]方法进行对比测试。 三种方法分别对同一强反射500 幅金属零件表面缺陷红外图像展开缺陷检测，选取准确率作为测试指标，表1 为实验测试结果。

表1 不同方法的准确率测试结果对比分析

分析表1 中的实验数据可知，在不同的金属表面缺陷类型下，采用所提方法发生准确率较高，在腐蚀缺陷检测时的准确率最高，为98.5%，其主要原因是金属零件腐蚀缺陷红外成像效果最为明显，因此检测准确率较高。 两种对比方法的准确率整体相对降低，对于腐蚀缺陷检测准确率同样较高，准确率分别为96.5%和96.3%。 综上可知，所提方法将红外成像频率因子引入原有直方图中，均衡化处理红外图像像素，增强了红外图像效果，促使不同缺陷的准确率得到了明显改进，进一步验证了所提方法的优越性。

为了验证所提方法的强反射金属表面缺陷检测效率，实验选取三种方法分别针对不同类型的缺陷展开检测，具体的实验测试结果如表2 所示。

表2 不同方法的检测耗时测试结果对比分析

通过对表2 中实验数据的分析可知，由于金属表面缺陷类型不同，进而导致各个方法的检测耗时也发生了比较明显的变化。 在三种检测方法中，所提方法的检测耗时低于9.6 s，对比方法的检测耗时分别低于10.2 s 和9.9 s。 对于同种类型缺陷的检测耗时，所提方法的耗时更低。 主要是因为所提方法改进了平台直方图的图像处理效果，将红外图像像素点进行加权处理，提升了图像均衡处理效果，同时利用灰度共生矩阵和卷积神经网络的方法对金属表面特征进行识别和分类，有效简化了操作流程，进而降低检测耗时。

3 结束语

强反射金属在生产过程中经常会出现凸起以及划痕等缺陷，造成工程应用中金属零件的使用寿命下降，同时存在安全隐患。 为了有效解决上述问题，提出基于红外光电传感器的强反射金属表面缺陷检测方法。 利用红外光电传感器获取强反射金属表面红外图像，并将红外成像频率因子引入原有直方图中，对新的加权直方图进行均衡化处理。 结合灰度共生矩阵和卷积神经网络实现缺陷特征分类检测。经实验测试结果表明，所提方法可以有效提升强反射金属表面缺陷检测结果的准确性，同时还能够减少检测耗时。