基于图像处理的机械系统微组件结构异常检测方法

2022-06-27郑金芳

制造业自动化 2022年3期

关键词：机械系统畸变组件

郑金芳

（郑州财经学院，郑州 450000）

0 引言

机械系统是一体化作业的最基本构成要素，主要被设置于执行机构、传动机构和支承结构中，其具有高度集成化的特点，集信息处理和指令执行能力于一身，能够使一体化作业的智能化、自动化水平得到提升[1，2]。

机械系统中的微组件具有尺寸小的特点，通过人工检测其中存在的异常具有难度较高、操作繁琐且效果不佳的问题，而通过光学摄像技术可以避免由于操作不当对机械系统微组件造成的损害，还能够提高检测准确性。

戴俊[3]等人在采集的机械系统图像样本的基础上，设计了一种编码-解码-再编码模型，利用该模型对图像样本实施训练，然后用于对未知状态下的监测样本展开测试。根据相邻的两次编码得到的潜在特征差异值，从而实现对机械系统系统的检测。张亚军[4]为了实现对微小零件的检测，设计了一种精准定位方法。其在结合Krisch算子与一阶梯度算子的基础上，在调焦窗口的动态调节中加入修正因子控制调焦清晰度函数，采用爬山算法判断焦点移动方向，再利用Zernike矩算法完成对微小零件的定位处理。

然而，由于光学镜头存在一定程度的非线性畸变，导致上述传统方法对机械系统微组件结构异常位置的定位偏差较大，也影响了整体的检测时效性。针对上述问题，本研究引入了图像处理技术，在现有研究的基础上，校正光学镜头畸变量，并对其拍摄的微组件图像实施去噪处理，以期有效提高对机械系统微组件结构异常期刊的检测性能。

1 机械系统微组件图像处理

1.1 光学镜头畸变校正

在校正了光学镜头畸变量的基础上，对光学图像实施去噪处理，利用去噪后的图像对微组件结构中的异常情况实施检测具有非接触、无限制的优点。在本研究中，选用短焦距光学镜头获取机械系统微组件的光学图像，但短焦距光学镜头中存在的非线性畸变情况会影响定位的精度，因此需要对其进行标定处理。

在对微组件的异常情况进行检测的过程中，需要快速获取其近景图像，所以必须采用大面积弯曲透镜进行光线的聚集，但由此会产生径向和切向畸变的问题。

假设ξ表示径向畸变系数，(a，b)表示畸变点的原始成像坐标，得到径向畸变校正后的坐标如下所示：

切向畸变是由光学镜头本身造成的畸变，假设λ表示切向畸变相关参数，得到校正后坐标(a`，b`)如下所示：

图像中平面点在坐标系中的映射可以表现出平面内单应性，通过齐次坐标使点D(X，Y，Z)映射在成像仪生成点d(x，y)，二者所对应的齐次矩阵依次为和。假设映射尺度比例为c，平面图像中目标的物理变换和摄像机自身参数矩阵的投影两部分构成参数E（即旋转量T与平移量P之和），将单应性关系简化为根据所得的单应性关系处理光学镜头的非线性畸变问题，可以从根本上降低镜头非线性畸变的影响。

1.2 微组件结构图像去噪处理

由于环境、人为或相机自身等因素会造成图像的噪声大、清晰度不理想的问题，而噪声的存在必然会影响最终的异常检测结果。因此，对图像进行去噪是必不可少的步骤。在本研究中，采用中值滤波法去除图像中存在的噪声。中值滤波法常被应用于滤除脉冲干扰和图像扫描噪声工作中，还能够克服线性滤波器造成的图像细节模糊问题。

假设在机械系统微组件结构图像中，任意一点的像素为f(x，y)，采用3×3模板对图像进行滤波，得到滤波后该点像素f`(x，y)如下所示：

在此基础上，将处理后的像素坐标f`(x，y)按照像素值按照有小到大的顺序展开排序，生成单调上升的二维序列[5]。假设ϑ表示二维模板，则中值滤波输出为：

利用上述过程完成了对微组件结构图像的去噪处理。

2 机械系统微组件结构异常检测

基于处理后的图像，采用机器学习中的卷积操作的方式提取微组件结构的特征。经过上述畸变校正和处理后的图像F(x，y)存在方差为D(X)、均值为0的正态分布N(x，y，σ)，其中，σ为高斯标准差，得到图像的二维高斯函数如下所示：

然后将连续的高斯函数离散为矩阵来对图像实施卷积操作，从而构成不同的尺度空间。首先得到卷积后图像S(x，y，σ)如式(6)所示：

其中，*表示卷积符号。结合卷积后图像S(x，y，σ)，将Relu函数作为激活函数，利用高斯差函数构建尺度空间D(x，y，σ)：

式(7)中，μ表示高斯差函数固定系数。基于此，对比高斯差图像中全部像素与其邻域和上、下层图像对应邻域中的26个像素点，记录该像素的位置与所属尺度，将符合条件的像素点加入候选特征点集，由此利用卷积操作的方式完成了对微组件结构特征的提取。

在此基础上，结合微组件结构特征点的局部位置信息，为候选特征点方向赋值。假设G和T分别表示特征点的梯度方向和幅度，对G进行划分，使微组件结构特征形成一幅直方图，利用高斯差函数对邻域梯度幅度值进行加权，选择特征点16×16邻域范围内的像素对特征点的特征进行描述，其中每个特征点可以通过128维的特征描述向量表示，然后根据单位长度对U实施归一化处理，得到归一化结果U`如下所示：

然而，针对于机械系统来说，实际的微组件异常检测工作存在难以获取异常状态下数据样本的问题，本研究将待检测机械系统的历史正常样本作为训练数据，设计了一种生成对抗网络模型，在完成模型训练后，对待检测的实时样本展开测试，过程如图1所示。

图1 生成对抗网络中异常检测流程

在完成对微组件结构图像特征点的提取后，采用Hu不变矩特征对特征点进行匹配，挖掘历史正常样本特征与实时监测样本特征直接的差异，从而根据特征差异完成对异常区域的检测。

首先，将历史正常样本的归一化处理结果q1输入到生成对抗网络模型中，得到其潜在特征c1。然后，利用生成网络处理潜在特征c1得到基础样本r1。为了增加r1的特征分布与q1的相似度，设计如下优化目标函数：

基于此，将迭代优选结果输入到训练后的对抗生成网络中，用于作模板样本，将其与实时监测图像样本之间展开对比。而针对于实时监测图像样本来说，同样对其实施归一化处理，再在生成对抗网络模型中，利用Hu不变矩特征匹配两组特征样本，根据二者间的相似度完成对异常特征的检测。

假设模板图像样本的Hu不变矩阵特征和待检测的微组件图像样本的Hu不变矩阵特征分别用φMi和φNi表示，通过φMi和φNi的相似关系进行全局特征匹配，φMi和φNi的相似度η(M，N)计算方式如下：

模板图像样本与待检测的微组件图像样本之间的相似度越高，说明待检测的微组件状态越正常。反之，则表明待检测的微组件存在异常情况，由此即可完成对机械系统微组件结构异常情况的检测。

3 实验与结果分析

为了验证上述设计的基于图像处理的机械系统微组件结构异常检测方法的整体有效性，设计如下测试过程。

实验针对展开检测，机械系统微组件结构的异常情况包括裂纹、剥落和磨损等，在本研究中，主要针对裂纹和剥落情况展开检测。检测对象为某工业机械系统的传动组件及齿轮组件，如图2所示。

图2 实验对象图

为避免实验结果过于单一，将文献[3]中的基于生成对抗网络和自动编码器的机械系统异常检测方法、文献[4]中的基于调焦-Zernike矩算法的微小零件异常检测定位方法作为对比方法，与本文方法共同完成性能验证。

比较不同方法检测性能优劣最直观的指标就是对比其对异常位置的定位偏差。因此，首先以组件结构异常位置定位偏差为指标，对不同方法的应用性能展开基础验证，得到结果如图3所示。

根据图3可知，本文方法的异常位置定位误差最大值仅为4.0mm，文献[3]方法和文献[4]方法的异常位置定位误差最大值分别为10.5mm和11.2mm。相比之下，本文方法对机械系统微组件结构异常位置的定位更加精准。这是因为本文方法在校正镜头畸变量的基础上，对微组件结构图像实施了去噪处理，通过降低镜头非线性畸变和环境造成的影响，有效减小了对结构异常位置的定位偏差。

图3 不同方法的异常位置定位偏差对比结果

在此基础上，以检测过程耗时为指标，验证不同方法对微组件结构异常情况的检测时效性，得到检测结果如表1所示。

表1 不同方法对微组件异常情况的检测过程耗时

分析表1所示结果可以看出，本文方法对微组件异常情况的检测过程的耗时始终保持在3.00s以下，文献[3]方法的最大检测耗时为5.77s，文献[4]方法的最大检测耗时为5.25s。相比之下，本文方法对微组件异常情况的检测速度更快，说明本文方法检测时效性更高。

表1 该系统成功率

为进一步突出说明本文方法的应用性能，以重叠度为指标对本文方法、文献[3]方法和文献[4]方法的检测效果展开进一步检测。实验通过计算人工标注异常区域和应用不同方法标注的异常区域的重合度检验不同方法的检测精度。

假设人工标注的异常区域为S1，不同方法标注的异常区域为S2，S1∩S2表示二者的交集，S1∪S2表示二者的并集。重叠度指标的计算公式如下所示：

根据计算得到的重叠度，生成本文方法、文献[3]方法和文献[4]方法在不同重叠度下对应的异常情况检测成功率，结果如图4所示。

图4 不同方法的异常情况检测成功率检测结果

由图4可以看出，当重叠度为0.5时，本文方法和文献[4]方法对异常情况检测成功率较为接近，文献[3]方法比两者略低，但也高于90%；当重叠度为0.6时，本文方法对异常情况检测成功率未出现下降情况；之后，在重叠度不断提高的情况下，3种方法对异常情况检测成功率均有所降低，但本文方法的成功率始终高于两种传统方法，说明本文方法更能够准确检测出机械系统微组件结构的汽车情况。