基于优化核函数带宽SVDD的机械振动预警模型*

2023-11-27刘晓金陈文武王庆锋

机电工程 2023年11期

刘晓金,陈文武*,王庆锋

(1.中石化安全工程研究院有限公司设备安全研究室,山东青岛 266000;2.北京化工大学高端机械设备健康监控及自愈化北京市重点实验室,北京 100029)

0 引言

作为一种典型的单分类算法,支持向量数据描述(SVDD)仅需正类样本即可训练出一个灵敏的异常值检测模型[1]45。基于这个特点,目前,SVDD在机械设备健康管理与故障预测、化工过程安全等领域中得到了广泛的应用。

例如,LI J J等人[2]基于变步长果蝇优化算法与复高斯小波,提出了一种SVDD模型,并采用该模型对起重机恒减速制动系统的性能退化过程进行了监测。林扬等人[3]提出了一种基于主成分分析与SVDD的异常工况检测方法,并采用该方法对化工过程异常工况进行了检测。王晓慧等人[4]提出了一种基于加权深度SVDD检测方法,并采用该方法对工业故障进行了数据检测。庞菲菲等人[5]使用SVDD剔除了方位异常值,然后将其运用于水下目标的检测,取得了一定的效果。SHI P等人[6]提出了一种将相对密度权重与SVDD相结合的离群点检测算法,并将其运用于实时的水质检测中,取得了良好的应用效果。王斐等人[7]提出了一种基于变分模态分解(variational mode decomposition,VMD)与SVDD的旋转机械性能退化评估模型,该模型可以准确地识别出旋转机械的早期微弱故障。赵聪聪等人[8]基于可拓学与SVDD,提出了一种轴承故障性能退化评估方法,并将其运用到轴承故障性能退化评估中,取得了一定的效果。刘志远等人[9]提出了一种基于自适应混沌粒子群优化与SVDD的检测方法,并对齿轮箱异常状况进行了检测。陈宇晨等人[10]基于集合经验模态分解信息量和K相邻概率SVDD,提出了一种滚动轴承故障诊断方法。周建民等人[11]使用自回归模型,提取了旋转机械故障特征值,然后将其输入一种融合了模糊C均值聚类与SVDD的模型,以此来监测旋转机械的性能退化过程。MAO W等人[12]提出了一种基于自适应深度特征匹配与SVDD的旋转机械早期故障检测模型。YANG C等人[13]针对SVDD易受到轻微波动影响的特点,提出了一种基于增量加权SVDD的异常检测方法。武千惠等人[14]2725提出了一种基于小波包分解与支持向量数据描述的机械剩余寿命预测方法,并用该方法对机械设备的关键部件进行了剩余寿命预测。此外,张世醒等人[15]针对原始SVDD算法没有考虑超球体之间的差异性,没有重复利用SVDD超球体输出信息的问题,提出了一种利用证据理论的多分类SVDD算法。WANG B等人[16]为降低输入特性对SVDD模型的影响,提出了一种将规范变量分析与SVDD相结合的方法。ZHANG L等人[17]为实现正常样本集的在线更新,以及提高离线数据的计算精度和效率,提出了一种改进增量支持向量数据描述的方法。ZHANG C F等人[18]173针对旋转机械微弱的早期故障容易被系统干扰和噪声覆盖的问题,在传统SVDD的基础上,使用正类样本和负类样本构建了鲁棒支持向量数据描述模型,并且改进了超球体半径的计算方法。CHA M等人[19]以目标样本到分类中心的距离为SVDD模型中松弛变量的权重,避免了传统SVDD只考虑样本点与超球体中心的距离,而未将高密度区域的数据点包含在超球体内这一缺陷。

SVDD通常与核函数一起使用。核函数将训练数据映射到高维核空间中,从而使低维空间不可分问题在高维空间中得到解决,其中高斯核函数是目前使用最广泛的核函数。基于高斯核函数的SVDD模型有2个关键参数(惩罚参数C、核函数带宽σ)需要提前确定。部分学者对SVDD的关键参数取值问题进行了相关研究。TAX等人[20-21]的研究结果表明,SVDD对惩罚参数C不敏感。EVANGELISTA等人[22]269-270研究认为,SVDD的性能在很大程度上取决于核函数带宽参数σ的选择。

上述学者的研究成果推动了SVDD的实际工程应用进程,但没有很好地解决核函数带宽的取值问题。例如,文献[11-13]没有说明SVDD关键参数核函数带宽取值问题。文献[14]2727-2728使用粒子群优化算法(PSO)寻找到合适的核函数带宽;但该方法仅限于让SVDD计算出的性能退化指数更加近似于指数劣化过程。文献[3,5,7,8,16,17]依赖于先验知识,分别将核函数带宽默认设置为0.04、500、90、2.5、1 000、0.000 3。文献[18]174需要负类样本不断迭代优化核函数带宽的取值。

众多学者对σ的取值进行了大量的研究。例如,TAX D M等人[1]57-59建议通过最小化支持向量与样本的比率来选择最优σ。SHI P和CHA M等人[6,19]使用k折交叉验证的方法降低模型分类错误率,以此来寻找最优σ。THEISSLER A等人[23]在降低模型误差率的同时,使模型半径接近于1,建立了目标函数,以寻找最优σ。KHAZAI S等人[24]提出了一种基于样本间最大距离准则的最优σ取值方法。WANG H等人[25]使用边界紧密性选择了最佳σ。LIU Z等人[26]24-26通过寻找高维核空间矩阵(简称空间矩阵)方差平方根平均比最大值的方法,以此来选择最佳σ。

上述研究对推动SVDD在工程中的应用起到了很大作用,但是也存在一些不足。比如,TAX D M、WANG B和THEISSLER A的方法计算量太大,KHAZAI S等人的方法容易导致出现欠拟合问题。笔者对TAX D M、LIU Z、SHI P和CHA M等人的方法进行验证时,发现该3类方法在核函数带宽取值较小时,应用效果不佳。

PSO优化算法是一种进化计算技术[27],其灵感来源于鸟群的觅食过程:鸟群中每只小鸟各自寻找食物的同时,又将自己寻找食物过程中所获取的信息分享给鸟群,小鸟综合考虑个体所获取的信息以及从鸟群获取的信息,以此来决定下一次的搜寻方向。由于其参数少、搜索速度快、收敛性好、易于实现等优点[28],PSO优化算法被广泛运用于数学、深度学习、控制工程、电力、通信等领域。

综上所述,基于SVDD的机械设备健康管理与故障预测技术应用广泛,针对其核函数带宽取值难以确定的问题,笔者研究核函数带宽取值对空间矩阵复杂度的影响,将高斯核函数带宽σ与空间矩阵复杂度(通过信息熵来量化)的影响关系作为目标函数,并利用PSO快速计算出高斯核带宽σ的最优值,从而实现在无需专家经验知识、无需负类样本训练超球体的情况下,构建基于优化SVDD核函数带宽的机械振动故障预警模型。

1 支持向量数据描述

SVDD是一个经典的单分类器,其主要思路是:

首先,将低维度的训练数据通过核函数映射到高维空间中;然后,在高维空间中寻找一个球心为a,半径为r的超球体,使得训练数据集的大部分正类样本尽可能地包含在超球体中,同时尽可能地将偶发的异常样本排除在超球体之外。

体积无限大的超球体会将所有的训练样本包含在内,但是也会把负类样本包含进去,故需要权衡超球体的大小以及偶发误差散点的区分情况。即一方面超球体的描述边界需要捕捉到所有正类样本,另一方面要保持超球体的体积最小。

因此,可以将上述优化问题用以下公式进行描述:

F(r,a)=r2

(1)

式中:F(·)为误差函数。

为满足上述要求,需要最小化误差函数,从而尽可能地将正类样本包含在超球体内。

要实现上述目的,需要满足下式的约束:

‖xi-a‖2≤r2,i=1,2,3,…,l

(2)

式中:xi={x1,x2,…,xl}为训练数据集;l为训练数据集中样本的个数。

由于训练数据集中不可避免地出现偶发误差散点,因此训练样本到超球体中心的距离不应该严格满足式(2)。

对于可能出现误差散点的情况,引入松弛变量ξi对其进行惩罚,将式(2)更新如下:

‖xi-a‖2≤r2+ξi

(3)

引入松弛变量ξi(ξi≥0)后,可以允许部分误差散点在超球体之外。式(1)的误差函数不再满足要求,对其进行更新后如下所示:

(4)

式中:C为惩罚参数;ξi为松弛变量。

对式(4)通过引入惩罚参数C来控制松弛变量ξi,从而限制少量负类样本对超球体体积大小的影响。

利用拉格朗日乘数,将式(3)并入式(4),将上述优化问题转换为无约束优化问题,得到的目标函数如下所示:

(5)

式中:αi≥0,βi≥0均为拉格朗日乘算子。

为求解上述优化问题,L应相对于R,a,ξi最小化,相对于αi,βi最大化。将L对于R,a,ξi的偏导设置为0,得到以下约束:

(6)

由于αi=C-ξi,且αi≥0,βi≥0,因此可以得出拉格朗日乘算子αi与C的大小关系如下所示:

0≤αi≤C

(7)

将式(6)代入式(5)中,得到优化函数:

(8)

式中:k(·)是核函数。

通过核函数能够将训练数据集从低维空间映射到高维空间中,使得训练数据能够在高维空间中找到大小适中的超球体。

笔者采用高斯核函数作为SVDD核函数,其表达式如下:

(9)

训练样本与超球体的距离关系如下所示:

(10)

SVDD二维空间超球体示意图如图1所示。

图1 SVDD二维空间超球体示意图

由式(10)与图1可知:当训练样本处于超球体内,αi=0,标记为SV(in);当训练样本处于超球体的描述边界上,0<αi

超球体的广义半径r可由在超球体描述边界上的支持向量到超球体中心a的距离计算得到,具体计算过程如下所示:

r2=‖φ(xsv)-φ(a)‖2=

(11)

对于输入的测试样本z,它与广义球心的距离d可表示为:

d=‖φ(z)-φ(a)‖=

(12)

2 基于优化核函数带宽SVDD的振动预警模型

SVDD的性能在很大程度上取决于参数σ的选择。从SVDD的推导过程来看,基于高斯核函数的SVDD超球体性能严重依赖高斯核函数,其中核函数带宽σ是高斯核函数唯一可调参数即核心参数。

σ取值的大小决定了SVDD超球体描述边界的复杂程度:

当σ过小时,超球体描述边界上以及描述边界外的支撑向量数目会增加,描述边界会更加复杂且逼近SVDD的训练样本,这样虽然会提高SVDD超球体的描述精确度,但也会导致SVDD模型过于敏感,出现描述边界过拟合的问题;

当σ过大时,描述边界远离训练样本,会导致SVDD模型的精度下降,出现描述边界欠拟合的问题。

2.1 核函数带宽与空间矩阵分散性

结合式(3)和式(5),可以得到如下所示的矩阵形式:

L=αTKα-1

(13)

其中:α=[α1,α2,…,αl]T。

式(13)中,空间矩阵K是由训练数据经过核函数映射后,组成对角线为1的对角矩阵,即:

(14)

由于矩阵K是沿着对角线对称的对角矩阵,因此,只需讨论矩阵中的上三角矩阵或下三角矩阵,将上三角矩阵定义为Ktu。

根据式(13)可知:SVDD在训练过程得到的信息都包含在空间矩阵中。空间矩阵K中的核函数值会影响式(5)的求解,从而影响超球体的建立。

因此,如果能设计出一个具有良好性能的空间矩阵,超球体性能也会良好。

EVANGELISTA P F等人[22]274-275指出:如果K中的值是均匀分布的,则式(5)的解α具有合理的稀疏性。

在概率论和数理统计中,方差平均值之比是概率分布离散度的标准度量,其计算公式如下:

(15)

式中:s(σ)为标准差;m(σ)为均值。

式(15)可以很好地描述Ktu中数值的分散性,同时也消除了数据数量级差异的影响,但是当σ过小时,会导致CV(σ)出现较大的值,且Ktu中的元素更为集中。因此,在这种情况下,CV(σ)值不能反映Ktu中元素的分散状况。

EVANGELISTA P F等人在式(15)的基础上,提出了新的表征散度的公式,即:

(16)

式中:ε为无限趋近于0的正数。

式(16)是将方差平方并在分母中,引入ε来避免分母等于零的情况,使该方法更具实用性;但ε如何取值成为了一个新的问题。

LIU Z[26]24-26在EVANGELISTA P F等人的基础上提出了方差平方根平均比法。

该方法计算式如下所示:

(17)

如上所述,学者们的研究集中在如何选取合适的σ,从而使得K中的数据具有良好的分散性。同时,他们逐步改进新的方法,以避免σ太小,从而造成分散性良好的假象。

为了避免σ太大而造成矩阵Ktu中的数值无限接近于1,造成分散性差的状况,σ的最佳取值范围应与输入SVDD中的训练数据的数值范围接近。

笔者提取辛辛那提大学智能维护中心(intelligent maintenance systems,IMS)第二组轴承试验数据集[29]的谱距离指标趋势因子(spectral distance index trend factor,SDITF)和多尺度散布熵趋势因子(multiscale dispersion entropy trend factor,MDETF)[30],以此作为SVDD训练数据。

IMS数据f(σ)-σ曲线如图2所示。

图2 方差平方根平均比-核函数带宽图

由图2可知:f(σ)-σ曲线在[10-5,10-3]中单调递减,故σ的最佳取值为10-5。

不同σ取值情况下,SVDD超球体描述边界图如图3所示。

图3 不同σ取值情况下SVDD超球体描述边界图

由图3可知:实线为超球体在二维平面的描述边界,当σ=10-5时,全部样本均为支持向量,出现了严重的过拟合问题;当σ=10-3时,描述边界过于光滑,出现了欠拟合问题;而当σ=0.000 19时,描述边界与样本之间拟合良好,这说明σ的取值在[10-5,10-3]时,K矩阵的分散性并不是单调递减的。

由此可见,LIU Z等人的方法不适合SVDD训练数据数值特别小的情况。

2.2 基于PSO与空间矩阵复杂度的优化核函数带宽计算方法

1948年,美国数学家香农首次提出了信息熵的概念,用于描述信息中排除了冗余后的信息量[31]。此后,信息熵被广泛应用于生物学、社会学、经济学、信号学、语言学等领域。

一般来说,复杂度高的矩阵分散性更好;复杂度低的矩阵分散性也更低。例如:一个矩阵的数值均为某一常数,其信息熵值为0。因此,可以通过计算空间矩阵的复杂度(信息熵值)来解决σ的取值问题。利用粒子群优化算法寻找空间矩阵K复杂度最大时对应的核函数带宽取值,以加快目标函数收敛,降低运算时间。

核函数带宽σ与惩罚参数C是基于高斯核函数SVDD的仅有的2个参数。文献[1]56认为SVDD模型对C的取值不敏感,当训练数据中不存在异常值时,推荐C值取1。文献[32]的实验结果表明:C越小,超球体描述边界的约束越紧。

在实际工程应用过程中,无法避免训练数据没有干扰项,因此,笔者将C的取值设定为0.3,以平衡误差项的干扰对超球体大小的影响。

为充分考虑C的取值对超球体训练的影响,在利用PSO寻优算法计算出最优解的基础上,当C的取值小于1时,引入惩罚参数C对结果进行略微修正,从而自动求解出最佳核函数带宽的取值。

2.3 机械振动故障预警模型

基于优化核函数带宽SVDD的机械振动故障预警模型构建流程图,如图4所示。

图4 基于优化核函数带宽SVDD的机械振动故障预警模型流程图

由图4可知:基于优化核函数带宽SVDD的机械振动故障预警模型的具体流程为:

步骤一。提取旋转机械历史正常运行状态下的振动信号特征值,将其作为SVDD的训练数据;

步骤二。将步骤一提取的特征值映射到高维空间矩阵K中:得到对角线为1的对角矩阵K,计算对角矩阵K的下三角矩阵Ktu的信息熵;

步骤三。以Ktu的信息熵值为目标函数,利用PSO算法计算出矩阵K复杂度最大值对应的核函数带宽取值σcomplex;

步骤四。采用式(18)计算惩罚参数C修正后的最佳核函数带宽σbest;

(18)

步骤五。将步骤一提取的振动信号特征值作为SVDD训练数据,以步骤四的计算结果为最佳核函数带宽,训练出基于优化核函数带宽SVDD的机械振动故障预警模型。

3 实验验证

3.1 实验室数据和工程案例数据验证

为验证优化核函数带宽计算方法的可靠性,笔者收集了辛辛那提大学智能维护中心轴承试验数据集以及西安交通大学轴承实验数据集[33],以进行实验验证。此外,笔者还收集了4项从企业生产过程中获取的工程案例数据,一同进行实验验证。

工程案例所采集目标设备的概貌图如图5所示。

图5 某石化公司烟气轮机组概貌图

工程案例烟机1～4振动数据集来源于4个不同的烟气轮机。转速稳定时,烟机1～4数据集采样频率为3 380 Hz,每间隔5 min采集一次振动位移信号。

为确保训练数据足够且可靠,笔者使用历史正常运行状态数据集(超过300组的实验室数据和工程案例数据)进行验证。其中,XJTUx-n数据集代表西安交通大学第x组实验第n个轴承的数据,同理IMSx-n数据集代表IMS中心第x组实验第n个轴承的数据。此外,所用粒子群优化算法的代码来源于Yarpiz进化算法工具箱[34],种群数设定为20,迭代次数设定为20。

具体实验数据信息如表1所示。

表1 实验数据信息一览表

基于PSO优化与空间矩阵复杂度的优化核函数带宽计算方法的实用性和可靠性实验验证过程如下所示:

步骤一。提取实验数据的SDITF和MDETF,将其作为SVDD训练数据;

步骤二。应用基于PSO优化与空间矩阵复杂度的优化核函数带宽计算方法,计算出各数据集的高斯核函数带宽σ,并绘制相应的信息熵-核函数带宽图,如图6所示。

图6 不同数据信息熵-核函数带宽图

由图6可知:目标函数为信息熵值,在搜寻范围内均只有一个极大值,避免了PSO优化算法容易陷入局部最优的缺陷。假设在[10-6,10-3],以精度10-7采用遍历计算的方式寻找极值,需要计算10 000次,而PSO寻优只需要计算400次即可(种群规模20×迭代次数20=400)。因此,利用PSO寻优的方式求解目标函数的极大值可以加快计算速度,节省计算机资源,便于在工程上进行应用;

步骤三。通过步骤二计算得到的高斯核函数带宽σ以及步骤一提取的SDITF和MDETF,训练SVDD超球体,绘制各数据集的二维超球体平面图,如图7所示。

图7 不同数据超球体二维平面图

由图7可知:无论是用公开的实验室数据还是工程案例数据验证,采用该计算方法(基于PSO优化与空间矩阵复杂度的优化核函数带宽计算方法)训练出的SVDD超球体大小合适,超球体描述边界没有出现过拟合或欠拟合的现象,超球体合格率为100%;

步骤四。将步骤一提取的SDITF和MDETF作为测试数据依次输入步骤三训练好的超球体中,绘制各测试数据距超球体中心的距离图,如图8所示。

图8 不同数据与超球体球心之间的距离图

由图8可知:采用基于PSO优化与空间矩阵复杂度的优化核函数带宽计算方法训练出的超球体半径与测试样本贴合良好,没有出现严重的偏离或严重的贴近现象;

来自2个不同实验室的轴承振动加速度数据以及工程案例振动位移数据的实验结果均良好,表明该方法构建的机械振动故障预警模型适用于不同设备的数据,且有很强的鲁棒性。

3.2 较大数值训练数据验证

上述实验训练数据的数值较小。为验证基于PSO优化与空间矩阵复杂度的优化核函数带宽计算方法在输入SVDD训练数据数值较大时,训练出SVDD超球体的性能是否良好,笔者提取IMS2-1数据集的谱距离指标(spectral distance index trend factor,SDI)与多尺度散布熵(multiscale dispersion entropy trend factor,MDE)、峭度(kurtosis,Ku)与均方根(root mean square,RMS)共2组数据,进行了实验验证。

IMS2-1谱距离指标与多尺度散布熵的信息熵-核函数带宽图、峭度与均方根的信息熵-核函数带宽图,如图9所示。

由图9可知:2组数值较大的训练数据运用优化核函数带宽计算的方法,计算出的核函数带宽取值分别为0.038 6、0.023 4,没有出现其他的极大值,运用PSO寻优算法能够快速收敛,且不会陷入局部最优。

IMS2-1谱距离指标与多尺度散布的超球体二维平面图,IMS2-1峭度与均方根的超球体二维平面图,如图10所示。

由图10可知:当核函数带宽取值分别为0.038 6、0.023 4时,2组数据训练出的超球体大小适中、超球体描述边界拟合良好。

4 常规方法对比实验

为推动SVDD的实际应用,众多学者已做了相关研究。比如,LIU Z等人[26]24-26提出了通过寻找方差平方根平均比最大值,以此来选择最佳σ(为方便书写,笔者简称此方法为方法一);SVDD的原创作者建议最小化支持向量与样本的比率,以此来选择最优σ(笔者简称此方法为方法二);SHI P和CHA M等人使用k折交叉验证的方法不断降低模型的分类误差率,以此来寻找最优σ(笔者简称其为方法三)。

笔者将获取的历史正常运行状态振动数据集随机分为5等份,每次使用4等份数据来训练SVDD超球体,使用剩下的1等份数据来验证SVDD模型的分类错误率。

为方便对比,笔者均选择IMS2-1前300组数据进行基于SVDD的机械振动故障预警模型训练实验。

如图7(c)所示:当核函数带宽值取1.27×10-4时,用IMS2-1数据集提取的SDITF和MDETF训练出的SVDD超球体性能良好。为方便比较,4种方法均在[10-5,10-3]范围内计算核函数带宽的取值。

常规方法对比验证过程如下:

步骤一。提取IMS2-1数据集前300组振动数据的SDITF和MDETF;

步骤二。在核函数带宽的范围为[10-5,10-3]内,分别计算出下三角空间矩阵Ktu的方差平方根平均比(方法一)、支持向量与样本的比率(方法二)、模型的分类误差率(方法三)、以及基于PSO优化与空间矩阵复杂度的优化核函数带宽计算方法的空间矩阵Ktu的信息熵值;

步骤三。根据步骤二中的计算结果,分别绘制方法一的方差平方根平均比-核函数带宽图,如图11所示。