基于单视角图像处理的刀具磨损检测研究

刘礼平，胡昊，李颂，李子昂，朱学明，夏平锋

(1.中国民航大学航空工程学院，天津 300300；2.天津职业技术师范大学机械工程学院，天津 300350；3.天津威恳德测控设备技术有限公司，天津 300356)

0 前言

在制造业中，刀具是关系工件制造成本和质量的关键因素之一，刀具磨损制约刀具使用寿命和加工效率，因此对刀具磨损量进行检测必不可少。刀具磨损检测有直接测量法和间接测量法。刀具磨损的间接检测法主要有切削力信号、声发射信号、振动信号以及电流信号检测等。LUO等通过车削力学模拟和经验模型建立了刀具后刀面的磨损率模型，对刀具后刀面的磨损宽度进行了预测。吕杨研究TC4钛合金的高速切削时发现，刀具磨损严重影响切削力，通过切削力的变化可以监测刀具磨损程度。席剑辉、林琳分析声发射序列熵值的变化，采用最小二乘法建立熵值预测模型，提高了预测精度和检测工作效率。黄鹤翔等采集高速刀具铣削时不同轴向的声发射和振动信号，提出一种基于3-KMBS深度学习的新算法进行刀具磨损建模，刀具磨损检测准确率高达95%。赵帅等人采集不同加工条件下主轴电机的电流信号和铣削加工参数，利用小波包分解、时域分析、频域分析提取信号特征，最后利用主成分分析和随机森林回归方法得到刀具磨损的分级评估结果。针对基于图像处理的刀具磨损直接检测，国内外采用的检测方法多为显微镜测量，此方法存在检测速度慢、效率低、检测结果易受干扰等问题。丁玉辉等对图像处理应用于刀具磨损检测进行了综述，认为图像处理技术在刀具磨损检测中发挥着重要的作用，但该研究中的直接检测方法大多数是离线检测，在线检测技术匮乏，且存在非智能化的问题。迟辉等人设计了图像处理检测方案，但该方案为离线检测，需要人工寻找磨损点，且存在采集图像精度较低的缺点。张飞等人对铣刀磨损量进行基于机器视觉的离线检测，总结出图像特征的提取算法，但其采集图像没有经过融合，图像前后景模糊，影响最终检测精度。

为实现更高的经济效益必须提高检测效率。以此为切入点，本文作者提出一种单视角图像处理检测方法，使用相对低廉的显微镜进行图像采集，研究适应于普通CCD相机单视角图像处理的刀具磨损检测方法。文中的刀具测试方法具有高的测量精度和自动化程度。

1 整体实验设计

实验装置简图如图1所示，对磨损刀具进行图像采集。

图1 实验装置简图

利用CCD相机分别采集刀具磨损前后同一角度、不同景深的图像，将采集的图像进行融合形成磨损前后的两张清晰图像，提取刀具磨损前后清晰图像的特征点，以磨损前图像为基准对磨损后图像进行配准和图像互减，经过灰度变换、滤波去噪、区域形态学处理配准时图像变形的影响，得到清晰准确、信息完整的磨损区域图像，最后通过算法将提取到的磨损区域像素值转换为实际的磨损数据(面积，边长，长，宽)。

2 单视角图像的磨损检测

2.1 基于小波变换的图像融合

以Mallat快速小波变换为基础，对CCD相机采集到的不同图像在-1尺度上进行小波分解：

(1)

设和分别为、的共轭转置矩阵，得到重构图像：

(2)

(1)图像融合算法

在不同景深下采集图片，无法采集出前景和后景同时清晰的图像，所以需要进行图像融合。融合都是基于像素点进行，但是图像的特征并不是只由一个像素解决，往往都是基于一个像素集群体现，且局部区域特征内各像素都有较强的相关性。为克服简单像素融合规则的不稳定性，提高融合效果，提出了根据窗口的融合规则。本文作者利用BURT所提出的加权平均规则进行窗口融合。基于窗口的融合规则使用了周围像素与目标像素的相关性，所以吸取了更多的源图像的细节信息，简单像素融合的错误特征将大幅度减少。图2(a)为前景清晰、背景模糊图像；图2(b)为前景模糊、背景清晰图像；图2(c)为融合后所得图像。

图2 图像融合结果

(2)图像融合评价标准与分析

评价融合图像效果可以采用熵和互信息量两个参数标准。熵反映图像细节信息复杂程度，互信息量反映融合前后两幅图像相关信息量。

熵值计算公式：

(3)

式中：为灰度级数(一般取256级)；为第灰度级的像素个数与图片的总像素数的比值。

互信息量计算公式：

(A,B,F)=

(4)

式中：(,)为图像A、B的联合灰度直方图；(,,)为图像A、B、F的联合灰度直方图。

融合受到分解层数和窗口大小的影响，文中实验取窗口大小为3×3，取分解层数为1～8进行实验。选定分解层数，图像互信息量与窗口选取呈正相关，忽略熵值影响，考虑到运行效率所花费的时间成本和图像精度，最合适的窗口大小可选取7×7。

分解层数对信息量的影响存在一个阈值，层数增加导致与源图像的互信息量减低，表明此时产生了不必要的细节信息，所以分解层数只需要取到阈值即可。结合实验作者选取合适的分解层数为3，融合时具有足够的细节信息，运算时间也在较小范围内。

2.2 图像配准

基于计算机视觉对磨损前后图像进行配准，可解决图像细节信息在图像坐标系上不对应的问题。作者以Python为开发平台，采用OpenCV库中ORB(Oriented FAST and Rotated BRIEF)特征点匹配算法对磨损图像进行快速配准。

2.2.1 图像特征提取

ORB使用的是 FAST(Features from Accelerated Segment Test)算法进行特征点检测。如图3所示，为选取的图像上某一像素点，以该点为圆心，3像素为半径的圆周所穿过像素点为检测点。检测点有3种信息状态，当=时则可以判定该点为特征点。

图3 特征点检测

(5)

式中：为检测点的信息状态；为阈值；d、s、b分别代表较暗、相似、较亮；为中心点的灰度值；为检测点的灰度值。

为加快匹配检测速度，先对圆周的垂直方向点1和点9进行计算，若满足检测点信息状态，则进行水平方向的点5和点13计算，若有大于等于3个点满足标准，则对剩下的12个点依次检测，并记录满足标准的个数。公式表示：

(6)

文中取FAST-9为判别特征点标准：当≥9，则判定中心点为特征点。

2.2.2 生成特征点描述子

ORB使用BRIEF(Binary Robust Independent Elementary Features)特征描述子算法来对提取出的特征点，以为圆心，以一定的窗口框选出一个区域，在所框选出的区域中以固定的提取方式提取对点对。文中采取占用内存为32字节，为256对(为简化原理说明这里取=4)。

如图4所示，当前取到的四组像素点对可分别标记为：(,)、(,)、(,)、(,)。

图4 描述子选取

设像素点对为(,)，对提取到的像素点对作如下处理：

(7)

式中：()为的灰度值。

由上式得到一组由0和1组成的关于特征点的特征描述子数组，该数组具有减少实际匹配时间、占用内存小的优点。

2.2.3 特征点匹配和配准

现假设上面得到的特征点和的描述子为1101011和1001010，对特征点数组进行异或运算可以得到数组1011110，统计结果中0的个数并与设定的阈值进行比对，若小于阈值则代表两点相似度符合要求，是两幅图片的同一特征点。实际匹配时需将其中一张图进行旋转拉伸等变形以对准另一张图，确定两特征点之间位置映射关系可用单应性矩阵来表示。

现假设两张图片的同一特征点的齐次坐标为(,,1)和(,,1)，并定义单应性矩阵：

(8)

则特征点坐标的关系可表示为

(9)

将矩阵展开并分离变量可得：

(10)

对上式作等价变换：

++---=0

++---=0

(11)

将等式改写为向量积的形式：

=(,,,,,,,,)

(12)

由于单应矩阵是一个齐次矩阵，可以将直接设为1，特征点对数量越多则单应矩阵越准确。将待配准的图片所有坐标点与单应矩阵相乘，得到最终配准后的图像。配准后的效果如图5所示。

图5 图像配准结果

2.3 磨损区域提取与测量

磨损图像的提取可以通过配准后的两张图像进行相减实现，但直接相减会产生负数，负数在计算机视觉中会被直接置0，从而损失很多细节，为此对两张图像进行互减，互减之后的两张图像再相加，可保留图像细节信息；然后对提取的磨损图像进行灰度变换和中值滤波处理，去除图像中的噪点，使图像信息更清晰；最后对图像进行二值化处理，因为图像是经过配准后进行计算的，为防止旋转产生的影响进行去边界处理。图6所示为刀具磨损区域图像的最终处理结果。

图6 刀具磨损区域图像的最终处理结果

磨损量以磨损区域的面积和周长表示。通过图像中物体尺寸和实际物体尺寸计算出单个像素所表示的实际面积或边长，进而计算出图像中实际磨损区域的面积和周长。相关数据可由下式进行计算：

磨损区域的面积

(13)

磨损区域的周长

(14)

磨损区域的长宽、

=

=

(15)

式中：为单个像素表示的实际面积；为单个像素表示边长；为范围内的所有点的集合；为磨损区域在水平方向的投影长度；为磨损区域在竖直方向的投影长度。

测量精度与图像的尺寸有关，以 1 000像素×1 000像素的图形为例，如所拍摄物体尺寸为20 mm，则一个像素所能到的精度为0.02 mm，面积精度为0.000 4 mm，图像尺寸越大，拍摄物尺寸越小，则精度越高。

以第2.3节提取出的磨损为例，设刀具规格为12 mm，对图像中的像素点进行标定可知，每个像素代表的面积为0.000 326 mm，代表的长度为 0.018 1 mm，即刀具磨损理论检测精度为0.000 326 mm/像素以及0.018 1 mm/像素。由此可计算出磨损的相关数据为下：磨损区域面积=0.143 44 mm，磨损区域周长=3.1 132 mm，磨损区域长=0.289 6 mm，磨损区域宽=1.502 3 mm。

3 结语

以Python为开发平台，基于单视角图像处理，利用CCD相机采集磨损前和磨损后的刀具图像，通过小波变换对刀具磨损前、磨损后图像进行分解和融合，得到刀具磨损前、磨损后的全景深图像。提取刀具磨损前、磨损后全景深图像中的刀具部分，并将磨损前后刀具部分的图像配准。配准后对磨损前后刀具图像进行布尔运算得到磨损区域，将刀具磨损区域进行灰度变换、中值滤波去噪、二值化处理，以提高刀具磨损区域的图片质量。最终将刀具磨损区域的图像像素转化为刀具实际磨损量，刀具磨损检测长度精度和面积精度理论上分别约为0.02 mm、0.000 3 mm。该方法在提高检测速度、降低检测成本的同时，满足刀具磨损检测精度的要求，可应用于生产实际。