基于图像编码技术和卷积神经网络的刀具磨损值在线监测方法

滕 瑞，黄海松，杨 凯+，陈启鹏，熊巧巧，谢庆生

(1.贵州大学 现代制造技术教育部重点实验室，贵州 贵阳 550025；2.马来西亚博特拉大学 工程学院，马来西亚 沙登 43400；3.贵州交通职业技术学院 机电工程系，贵州 贵阳 551400)

0 引言

随着经济全球化的深入和“工业4.0”的出现，信息技术与传统制造业不断融合，我国提出了“中国制造2025”计划[1]，加快了制造企业的转型升级步伐，同时也对制造工艺系统的主动感知、智能工厂自主决策能力的提升提出了新的需求。铣削加工技术作为制造业加工中应用最为广泛的技术之一，其不断进步和提高对加工制造业有着重要的影响[2]。在实际车间机械加工过程中，由于刀具磨损状态的改变会极大地影响加工精度和表面完整性，为避免意外停机或零件报废，刀具寿命未被充分利用便会被提前更换。在加工过程中，准确判断刀具进入重度磨损期并进行更换，对于提高工件加工质量和降低加工成本极为重要。因此需要对刀具磨损值进行实时监测，以期充分利用刀具且能够被及时更换。

针对刀具磨损状态的检测，传统方法主要通过测量刀具磨损程度，应用一些诸如光学图像法(optical imaging)、放射线法(radiation method)、电阻法(resistance method)等手段直接测量[3]。但受人为主观性强、机床加工环境复杂、仪器测量易被切屑和切削液体遮挡严重[4]等影响，导致以上方法难以实现刀具状态的实时检测。随着传感器技术不断发展，可以利用单独加装在机床上的传感器设备去获取加工过程中所产生的多种物理量信号(切削力、加速度、声发射等)以表征刀具磨损状态[5]，而不需要对传统机床进行大规模改造，具有普适性。在信号分析前，一般采用时频域分析、小波变换和小波包变换等[6]对原始信号进行处理，而在刀具磨损研究中，小波变换对于此类加工过程产生的信号有着很好的处理分析能力[7]，因此许多学者使用小波变换来实现对该类数据的预处理。

在对传感器采集的数据预处理后，传统的机器学习模型一般采用如模糊推理系统[8]、隐马尔可夫模型[9]、模糊神经网络[10]、支持向量机[11]、贝叶斯网络[12]等方法对刀具磨损进行监测。而此类方法性能的好坏取决于人工提取特征方法对特定数据的适用性，往往对专业领域知识要求较高，从而增加了工作量，也会丢失信号中的重要特征，不适用于与日俱增的庞大数据集。而深度学习并不需要设计特别复杂的提取特征方法，便可以自适应提取到有效特征，精度普遍优于传统机器学习模型且工作量更少[13]。近些年，在语音识别、信号处理等领域，较传统机器学习而言，深度学习表现优异。其中在刀具磨损状态监测领域，以自编码网络及卷积神经网络为代表的深度学习模型逐渐取代传统机器学习成为趋势[14]。林杨[15]利用自编码降噪机对刀具状态进行分类;MARTNEZ-ARELLANO等[16]提出一种基于格拉姆角场(Gramian Angular Field,GAF)编码信号成像和深度学习的大数据集刀具磨损分类方法;张存吉等[17]根据将加工信号转换成为频谱图，使用卷积神经网络(Convolutional Neural Network, CNN)提取多维特征建立刀具磨损状态监测模型;李正官等[6]在VGG-19卷积神经网络的基础上，提出刀具磨损状态监测方法。对于依赖于卷积操作对图像高维特征提取的CNN模型，较少或较浅的网络层数无法捕捉到隐藏在数据中的微小特征，从而造成精度损失。而随着网络层数的加深，提取的信息会变多，网络训练效果会变好，但容易发生过拟合现象。其次，目前国内外大部分学者对刀具磨损监测研究还停留在定性研究，即对刀具磨损状态进行分类[18]。刀具磨损状态分类模型不适用于刀具磨损值在线监测要求，而目前对于加工过程信号数据到刀具磨损值映射关系的回归模型研究较少。

因此，本文提出一种基于GAF信号编码成像技术和CNN(GAF-CNN)的刀具磨损在线监测方法。使用GAF编码技术将信号图像化，通过深度CNN自适应地从图像中提取特征，利用线性回归层网络，最终获得特征到刀具磨损值的映射关系，实现刀具磨损值的在线监测。GAF信号成像技术既保留了信号的原始特征信息的同时，又增强了时间序列特征信息，防止经过复杂的人工提取特征步骤带来的重要信息丢失而导致模型精度下降。处理得到的图像数据，其3个通道(R、G、B)分别对应不同类型(力信号、加速度信号、声发射信号)的信号特征信息刀具加工过程中产生的信号多为高维时间序列，信号中的时空特征与磨损信息密切相关，如何能够最大限度地利用数据中的有效信息，是故障诊断的关键所在。选择深度卷积网络搭建网络结构[17]，使用CNN不但可以挖掘出图片中各通道信号的高维特征[19]，而且可以进一步挖掘信号图像中隐藏的微小特征，建立对当前时刻刀具磨损值的监测模型。

为防止过拟合现象发生，划分训练集和验证集，对模型进行训练和验证。验证集不参与模型训练，仅用作模型评价使用。

1 基于GAF-CNN的刀具磨损值在线监测模型

基于GAF-CNN方法，提出的刀具磨损值在线监测模型如图1所示。在某段工序中利用加装在数控加工中心机床上的传感器设备，采集在加工工件过程中产生的物理量信号(包括力、加速度及声发射信号)X={x1,x2,…,xn}作为输入，n为整个加工过程时间序列数。为能够让图像三通道(R、G、B)分别对应3类物理量信号，需要将物理量信号进行预处理，获得能够被卷积神经网络处理的尺寸(224,224,3)[19]。其具体流程如下：首先通过对原始信号中的三轴力信号、三轴加速度信号及声发射信号共7种信号进行二次等间隔采样裁剪，将数据缩减为5 000个采样点，可包含此加工过程各类数据的变化趋势[17]；将力信号和加速度的三轴信号分别进行拼接、组合成一通道信号(15 000,1)，使用7层小波分解，小波函数为db3[7]的小波包变换(Wavelet Packet Transform, WPT)将力信号、加速度信号及声发射信号3个通道传感器信号转变为相应能量谱图{(15 039,1),(15 039,1),(5 013,1)}；由分段聚合技术PAA(piecewise aggregate approximation)[20]对其降维处理得到(224,3)，再通过GAF图像编码得到一维信号图像(224,224,3)；经过CNN模型提取二维信号图的相关重要特征，利用线性回归层最终实现当前刀具磨损回归监测。其中CNN选取的是深度残差网络ResNet101，由于原始模型权重随机初始化，需要利用以模型输出刀具磨损监测值和实际测量真实值之间的均方误差作为优化目标函数，不断迭代网络训练次数，使得网络模型各层之间的连接权重向着目标函数值下降的趋势不断调整，最终目标函数值收敛以确定各层连接的最优权重，得到最优的模型用于实际刀具磨损在线监测。

为了提高本文提出的模型精度和泛化性，采用图像编码方法对时间序列信号特征进行完整映射，以防止丢失信号中的重要特征；模型网络的加深使得模型能够从图像中挖掘出更多的特征，同时也要避免由此带来的梯度弥散现象[21]；在不断迭代以寻找最优模型网络参数的过程中，既要避免模型发生过拟合现象，也要增强模型的泛化能力。以上为刀具磨损值在线监测模型的3项关键技术难点，下面将依次对其中实现细节分别展开论述。

2 关键技术

2.1 时间序列图像编码

(1)

(2)

(3)

其中:ti为时间戳，N为时间序列的总时间段。

在极坐标系下的时间序列蕴含时间相关信息，因此可利用GAF图像编码方法对时间序列进行重构。GAF可以通过不同的方程生成两种图像，式(4)基于余弦函数定义了格拉姆角和场(Gramian Angular Summation Field, GASF)，式(5)基于正弦函数定义了格拉姆角差场(Gramian Angular Difference Field, GADF)。

(4)

(5)

为了显示该方法特征映射的优点，将部分传感器信号进行GAF图像编码，其映射过程如图2所示。在时域波形中存在几段较为明显的波峰和波谷，初始振幅较小，当出现较大波峰时对应的GADF与GASF特征图中呈现出较深的颜色。因此，通过GAF图像编码方法得到的二维图像GADF与GASF，其相应位置的颜色、点、线等不同特征能够完整映射时间序列信号相关信息。

2.2 Resnet卷积神经网络

结合刀具磨损规律和深度学习自身特点，使用GAF图像编码方法将预处理后的一维信号图像化，使用在图像领域表现优异的CNN，通过卷积自适应地提取各信号之间相关特征，池化减少冗余信息，使模型获得较高的监测精度和模型泛化性能，从而建立信号与刀具磨损值之间的映射关系。为避免网络加深带来的梯度爆炸和网络衰退问题，选择带有残差学习网络结构的ResNet残差网络模型[22]作为特征提取模型，该模型可以在加深网络结构的同时，避免随之带来的梯度弥散现象。

ResNet残差网络总体框架如表1所示，其中ResNet101卷积神经网络由(7×7×64)大小的卷积层(Conv)，33个由3个卷积层构成的bottleneck残差模块、池化层及一层全连接层[22]构成。

表1 ResNet网络层结构

续表1

(1)残差学习网络结构(residual learning)

网络堆积层残差模块残差学习示意图如图3所示，特征x作为输入进入残差模块中，则残差模块中网络学习后的数据特征为H(x)。残差学习指利用内部多个有参网络层对输入及输出数据之间的残差F(x)=H(x)-X进行学习调整相应参数。

使用F(x)表示残差模块的输入和输出之间的残差值。X为特征x的恒等映射(identity mapping)[23]。残差模块残差学习的数学表示为：

yl=h(xl)+F(xl,Wl),

(6)

xl+1=f(yl)。

(7)

其中：xl为ResNet网络中第l个残差模块的输入;xl+1为输入图像经过ResNet网络结构中第l个残差模块后的输出;h(xl)=xl表示恒等映射;F(xl,Wl)为残差函数，表示残差模块学习得到的残差，Wl为有参网络层根据残差学习优化后的参数；f表示“Relu”激活函数[25]。

根据式(6)和式(7)，计算得到输入数据从网络第1层到第L层所学到的总特征，如式(8)所示。

(8)

(2)恒等映射(identity mapping)

残差网络模块中的恒等映射结构，是指将当前该层输出不经过参数层直接传入下一层。当残差网络输入和输出的通道数相等时：

y(x)=x+F(x,Wl)。

(9)

当网络的输入与输出通道数不同时，可通过简单地补零操作使二者通道数相等，也可以通过使用1×1的卷积层来表示Ws映射，从而使得输入与输出通道数目相同，即

y(x)=Wsx+F(x,Wl)。

(10)

(3)瓶颈结构(bottleneck architectures)

ResNet残差网络由block和bottleneck两种不用的残差模块堆叠而成。ResNet18/34是由包含两个卷积层的block残差模块堆叠而成。而ResNet50/101/152是由包含3个卷积的bottleneck残差模块堆叠而成，其结构示意图如图4所示。

瓶颈结构[24]包含1×1、3×3和1×1卷积(如图4b)，通过使用尺寸大小为1×1的卷积层使得中间层3×3的卷积层filters[25]不受上一层输入的影响，同时其输出不会对下一层的模块造成干扰，从而达到节省计算时间的目的。

刀具磨损值在线监测模型网络结构图如图5所示，因为原始ResNet101卷积神经网络是分类网络[26]，而本文研究的是刀具磨损值监测问题属于回归问题，所以使用平铺层和FC(3)(三层全连接层)代替原始网络ResNet101的全连接层，神经元数分别为(1 024，512，1)，最终输出层不使用激活函数，前两层使用“Relu”激活函数。大小为7×7×64，步长为2的卷积核对传感器信号输入经过GAF图像编码后得到(224,224,3)信号图像特征提取，从而使得图片长宽降至原来的一半。通过池化层提取样本各区域最大值作为区域代表以降低计算量和参数量[27]，将池化后输出的图像通过33个blottleneck模块，继续提取图像中不同维度的特征，由平铺层将特征平铺化，最后所有特征汇集全连接层FC(3),经过其中不同权重的线性求和，获得当前时刻获取传感器数据所对应的刀具磨损值。此外，规范层通过标准化网络层信号，使其输出能够收敛至均值接近0、标准差接近1，以加速网络收敛速度，进一步降低网络对模型初始权重的敏感性。DroupOut层通过随机隐藏部分神经元连接，来达到防止模型在训练过程中过拟合的目的。

2.3 模型的训练

模型训练流程如图6所示。按照8∶2的比例将传感器采集的历史数据经过数据预处理后划分为训练集和验证集。训练集数据用于模型寻找最优参数，验证集数据不参与模型的训练。整个训练过程中，不断保存训练过程产生的最优参数，并在训练结束时将其作为最终模型参数，使得模型在训练结束后具备较高的精度和泛化性能。

训练集数据输入ResNet模型中，特定一层的输出为：

(11)

式中：xl表示第l层输出;Wl表示第l层权重;f表示Relu激活函数。

模型选用Adam优化算法[26]，以模型输出刀具磨损监测值和实际测量真实值之间的均方误差(Mean Squared Error, MSE)作为损失函数,其计算公式如下：

(12)

使用链式求导法推动模型网络各连接层权重向着减少目标函数方向进行调整更新如下：

(13)

式中λ表示模型所用的优化算法学习率范围为{0，1}。

每次训练按批次选取样本对模型参数权重进行更新。经过多次训练迭代使得监测值逼近真实值，随时更新和保存在训练过程中训练集及验证集表现最优的参数[17]，作为最终的刀具状态监测模型各网络层之间参数。

为了更好地验证模型的优势，通过选用决定系数(R2)和平均绝对百分比误差MAPE作为模型评价标准[18]，从多个角度验证，使得模型评价结果具有普适性。决定系数R2可以表现模型输出磨损量监测值与磨损量真实值之间的拟合程度，R2越接近1,监测值与真实值之间的拟合程度越好。

(14)

MAPE可以更好地反映磨损量监测值与磨损量真实值之间误差的实际情况，

(15)

3 实验验证

3.1 实验条件

为了与同类刀具磨损监测研究进行比较，使用美国PHM协会[28]在2010年提供的高速数控机床刀具健康预测竞赛开放数据中的铣削实验数据。实验所用的主要设备及相关工作参数如表2和表3所示。

表2 PHM data chal lenge实验主要设备

表3 PHM data chal lenge实验切削参数

实验示意图如图7所示，利用安装在工件上的Kirstler传感器测量加工过程中x、y、z三个方向产生的切削力信号和振动信号；在工件上安装Kirsterl声发射传感器测量高频应力波，最终测量得到维度为7的多维数据，采用Kirsterl电荷放大器将传感器测量得到的微弱信号放大，再使用采集卡进行多通道采集(采样频率为50 kHz)。每当铣刀沿着X方向切削108 mm后停机，使用显微设备测量刀具后刀面磨损值并记录。最终每把刀具实验后得到315个刀具磨损值，其对应的原始信号张量大小为(n,7)。

选取3把刀的数据(含标签数据)样本作为算法验证对比实验。通过按照8∶2的比例，随机选取样本作为训练集和验证集。每个样本包含7维传感器信号和3个切削刃中后刀面磨损量，根据刀具实际工作要求，只保留3个切削面后刀面的最大值作为具体工作刀面磨损值。实验硬件平台使用的处理器为Intel Xeon Silver 4210，双路CPU，频率为2.2 GHz，显卡为GeForce RTX 2080Ti，8块GPU，单块显存为11 G，内存为256 GB。基于Tensorflow深度学习框架搭建实验软件平台，训练参数如表4所示。

表4 训练参数

3.2 GADF-CNN与GASF-CNN

为测试GASF与GADF在图像编码特征中的区别，分别对数据集进行GASF与GADF图像编码处理后，统一采用ResNet101结构模型进行训练，训练结果如表5所示。

表5 GADF-GASF对比实验结果

GADF-CNN在训练集和验证集中MSE、MAPE和R2三项评价标准均优于GASF-CNN，因此能够证明GADF的图像编码方法相比较GASF更易于深度学习网络的特征提取，由此在后续试验中，主要使用GADF作为加工信号图像化处理的方法。模型验证集所用时间为1 s，共包含189个实验数据，因此模型处理单个用例所用时间低至5 ms，达到毫秒级别，满足刀具磨损在线监测实时性要求[17]。

通过尝试选择不同深度网络结构的GADF-CNN模型进行训练，来探究不同深度网络结构对模型精度及泛化性影响大小，其损失函数变化趋势如图8和图9所示。从两图中可知，迭代次数持续增加，使得模型挖掘图像的深度不断加深，提取到的特征维度增加，模型网络参数的不断优化调整使得磨损量监测值与磨损量真实值之间的均方误差不断减少，最终达到收敛。经过不同层的对比实验，深层网络相较于浅层网络，其提取图中特征能力更强，但往往网络结构加深会导致参数量的暴增，从而伴随梯度弥散现象发生，使得模型训练时损失函数一直处于较大值且无法继续优化下降。前期经过大量的模型挑选和实验尝试，选择了ResNet101模型作为刀具监测模型。由图8和图9可知，随着训练次数的增加，101层ResNet模型收敛效果最好，最终损失函数在训练集中达到1.165，而在验证集中达到了6.548。在训练和验证集中，GADF-CNN模型都能达到较好的效果，未出现过拟合现象，表明本文提到的此类方法所建立的GADF-CNN模型在监测刀具磨损值的精度最高且泛化性最好。

3.3 GADF-CNN与其他研究方法对比

此类刀具磨损数据也被用于基于HMM、SVR、BPNN、FNN、一维Densnet的刀具磨损在线监测模型[9-10,18]。在对比实验中，模型的评价标准选择MSE、MAPE和R2,7种模型在验证集的对比结果如表6所示。

表6 同类研究对比结果

与传统的机器学习网络与深度学习网络对比，本文提出的方法在各类标准上都表现优异，体现了其极强的提取网络能力及泛化性能。足以证明提出的一维信号数据图像编码化处理增强了信号的特征，相较于原始时域信号，能够更好地被深度神经网络提取隐藏的细微特征。由于验证集不参与模型的训练，模型泛化性能优异可以在验证集中体现。

选取表现最优的模型GADF-CNN进行刀具磨损量监测，其结果如图10～图12所示。从图中可知，模型输出预测结果除局部分值偏离实际值外，基本上能够贴合真实值，精度满足实际加工监测需求。从采集的数据转换成为图像并经过模型输出对应磨损值，整个处理过程为毫秒级别，满足工业在线监测要求[18]。

4 结束语

本文提出一种基于GAF-CNN的刀具磨损量在线监测方法。通过实验验证，该图像化一维数据处理的方法能够增加不同时序信号之间的相关性，同时强化了时序相关特征信息。经过该方法处理后的数据作为卷积神经网络的输入，大幅提高了卷积神经网络提取时序信号特征的能力。用本文方法建立的一维时间序列数据到当前刀具磨损量之间映射关系回归分析模型，精度得到了大幅提升，能够满足加工监测的要求。使用同类研究所用的数据集进行实验，验证了该方法在刀具磨损在线监测中的有效性和可行性，在多项评价标准下其精度较其他几种方法有了较大提高。但是，该模型在前期需要花大量时间在模型训练上，以找到最优参数，部署时对设备的硬件要求较高，未来将针对模型压缩方法进行进一步研究。