基于主元分析的SVM动态过程质量异常模式识别

刘玉敏，张 帅

LIU Yu-min, ZHANG Shuai

(郑州大学 商学院，郑州 450001)

0 引言

现代工业不断向复杂化和连续化方向发展，自动化生产及加工过程会产生大量的实时动态数据。随着信息技术的进步，对动态数据实时采集进而实现质量监控已成为可能。以控制图为代表的传统质量监控方法在对动态过程监控中无法有效利用实时数据，因此，基于人工智能的动态过程质量异常模式识别方法引起了愈来愈多学者的关注。而如何有效地提高智能监控的识别精度以及减少模型计算复杂度是动态过程质量诊断的核心问题[1,2]。

目前，国内外学者对动态过程质量异常模式识别的研究主要集中在基于特征提取和分类器优化两个方面[3～7]。在特征提取方面，很多学者使用数据的原始特征对异常模式进行识别和诊断，但是由于数据中往往包含大量噪声，使用原始数据并不能取得很好的识别效果。Susanta等人提出了用9种几何图形特征的提取方法对原始样本数据进行特征提取，取得了不错的识别效果[8]。Vahid等利用小波特征和统计特征结合作为分类器的输入，对控制图模式进行识别[6]。在分类器优化方面，学者们尝试着将SVM算法与其他方法相结合来实现对生产动态过程的质量异常模式识别[7,9,10]。肖应旺提出一种多支持向量机的方法，对生产过程进行监控和诊断[7]。蒋少华等构建了基于四个高斯核函数支持向量机的MSVM识别模型，用于识别鼓风炉冶炼过程的质量异常模式[11]。吴常坤等通过多支持向量机的异常模式识别框架，分别对趋势、阶跃、趋势阶跃混合和周期等控制图异常模式进行识别[12]。

综上所述，虽然现有特征提取方法可以在一定程度上提高识别效率，但是未能考虑到动态数据的实际特点，提取、识别过程中耗时较多，不能满足对动态过程的实时监控。在分类器优化中，由于SVM的核函数及其参数对识别效果有着较大影响，对于SVM参数的选取仍没有权威的方法，所以当前分类器很难在实际生产过程中得到广泛的推广和应用。因此，本文提出了一种基于主元分析的SVM质量异常模式识别模型。首先运用主元分析对原始数据进行特征提取，继而，采用PSO算法对SVM分类器参数进行全局寻优，接着，采用优化后的SVM分类器对生产过程的质量异常模式进行识别。最后，通过仿真实验对模型加以验证，并与其它识别模型进行识别精度的对比。

1 动态过程质量异常模式

在连续生产加工的动态过程中，由于受到诸多因素的交互影响，基本的质量异常模式主要有以下六种，分别为正常模式（NOR）、向上趋势模式（IT）、向下趋势模式（DT）、向上阶跃模式（US）、向下阶跃模式（DS）和周期模式（CC）。具体表现形式如图1所示。

图1 质量异常模式

图1（a）为正常模式，其主要表现形式为质量特性值在设计均值附近随机波动。图1（b）为周期模式，其表现为质量特性值以一定周期进行波动，通常加工部件松动或者电控设备电压不稳定会造成这种模式地出现。当质量特性值随时间地推移出现逐渐上升或者下降的现象时，动态过程被认为处于向上趋势或向下趋势模式如图1（c）、（d）中所示，通常由于设备老化造成这类模式。阶跃模式则表现为在某一时刻质量特性值突然出现大幅上升或者下降如图1（e）、（f）中所示，通常由更换部件等因素造成。动态过程只有在正常模式下才可以使生产成本达到最小化，其他五种质量异常模式都会造成动态过程的异常波动，引起生产成本的增加。

上述六种模式基本代表了动态过程的异常情况，通常被作为异常模式研究的对象。因此，对动态过程的质量异常模式识别与诊断能够实时监控生产过程，及时发现异常因素，减少异常波动对生产的影响，从而减少生产成本，提高生产效率。

2 基于PCA的SVM动态过程质量异常模式识别模型

在进行动态过程质量异常模式识别时，通常需要对样本数据进行预处理，以消除样本数据中存在的大量噪声，提高识别精度；接着选用合适的分类器优化方法，对分类器的结构、参数进行优化；最后，提出质量异常模式识别的方法。本文首先运用主元分析方法对样本数据进行特征提取，将数据特征进行降维、去噪处理；接着，利用PSO算法对支持向量机的参数进行全局优化，得到五个基于PSO算法的SVM分类器；最后，提出一种基于PCA的SVM动态过程质量异常模式识别方法。

2.1 基于PCA的数据特征提取

图2 原始样本数据投影

在生产过程中，质量特性值之间无法避免地会存在较大的相关性，这导致样本数据特征被反复使用[13]。运用PCA方法对样本数据进行特征提取，可以极大地消除原始样本数据中存在的多重共线性，有效地去除了数据中的冗余信息和噪声。主成分分析的基本思路是借助一个正交变换，将分量相关的原随机变量转换成分量不相关的新变量。从几何角度，将原变量系统变换成新的正交系统，使之指向样本点散布最开的正交方向，进而对多维变量系统进行降维和去噪处理[13]。

本文将原始数据进行PCA特征提取前后数据分布情况进行对比，由于版面原因，不能将所有数据特征分布展示，所以只是有选择地将原始样本数据的第1、30、55维原始特征进行投影和特征提取后的第一、二、三主元特征的投影进行说明。如图2所示，未进行PCA特征提取时的原始样本数据中，六种基本模式的投影相互重叠，难以区分。

然而，通过对原始样本数据进行PCA特征提取，我们可以从图3中发现，样本数据在第一主元和第二主元建立的特征空间上的投影能够明显地区分周期模式和趋势模式，但是正常模式和阶跃模式还有部分重叠。我们引入第三主元进行投影发现向上趋势模式、向下趋势模式、向上阶跃模式和向下阶跃模式已经完全区分开，没有重叠。由此可知，对原始样本数据进行PCA预处理后，不仅降低了数据维数，减少模型复杂程度，而且还将原始样本数据的特征突出出来，为后续的分类器分类创造了良好的条件。

2.2 基于SVM的分类器设计

SVM是一种能够有效解决针对小样本数据的分类器。支持向量机的核心思想是通过建立线性的超平面来解决线性可分问题。在线性可分的情况下，利用Lagrnage乘子法可以将寻求最优分类面转化为其对偶问题，求解该问题可得到最优分类函数：

针对生产动态过程质量异常模式所涉及的非线性问题，通过引入核函数，将样本数据映射到高维特征空间，使原本线性不可分的问题 ，在高维特征空间转化为线性可分的问题，这样就可以对其进行分类[14]。核函数k(xi, x)的引入，可得到SVM的分类函数为：

根据其他一些学者的研究发现，用支持向量机做分类时，最大的问题就是如何选取模型的参数[15]。在进行模式识别时，一旦参数选取不合理，识别精度就会受到很大影响。所以，对SVM分类器进行参数寻优是在质量异常模式识别的一个十分关键的步骤。由于粒子群算法无需编码，操作实现比较简单，另外其收敛速度快，使得粒子群算法在优化SVM参数方面得到了广泛应用。本文在进行SVM分类器参数寻优时采用粒子群算法，以期能够快速地找到合适的参数，帮助分类器提高其识别性能。

2.3 动态过程质量异常模式识别流程

从支持向量机的识别原理上可以发现，SVM是专门用于解决二分类问题的。然而，不考虑混合模式情况下，质量异常模式就有6种基本模式，显然属于多分类问题。用SVM来解决质量异常模式识别时，就必须建立多个SVM分类器进行分层次分阶段识别。因此，本文将“一对一”和“一对多”分类方法结合起来，提出了一种新的识别方法，如图4所示，其中SVM1-3为“一对多”分类器用于识别正常模式和周期模式；SVM4-5为“一对一”分类器用于识别上升趋势模式和向下趋势模式以及向上阶跃模式和向下阶跃模式。

图3 特征数据投影

图4 质量异常模式识别模型

如图4所示，本文动态过程质量异常模式识别方法可以概括为如下三步：

首先，在进行分类前，先对原始样本数据进行PCA预处理提取出来样本数据的特征，将训练样本和测试样本的数据进行降维，形成新的训练样本和测试样本作为分类器的输入向量。

其次，通过分类器SVM1判断样本数据是否属于正常模式（NOR）。当分类器输出为1是，表示该模式为正常。若分类器输出为-1，利用SVM2分类器进行识别。同样地，当分类器输出为1时，判断该模式为周期模式。

最后，用SVM3分类器识别趋势模式和阶跃模式。将识别出来的趋势模式放入SVM4分类器进行识别向上趋势和向下趋势模式；将识别出来的阶跃模式放入SVM5分类器中识别向上阶跃和向下阶跃模式。

利用该识别方法，可以在第一次分类时检验出样本数据是否正常，这在实际生产过程中极大地提高了识别效率。不仅如此，生产动态过程质量模式主要集中于正常模式、周期模式、趋势模式和阶跃模式，本文针对这四种模式建立了三个“一对多”分类器就可以全部识别，对趋势模式和阶跃模式建立了两个“一对一”分类器，这样极大地避免了六种模式混在一起错分的情况，提高了识别精度。

3 仿真分析

本文通过Monte Carlo方法对动态过程的质量异常模式进行仿真，并与其他识别方法的结果进行对比，验证了所提出的方法的有效性。

3.1 实验设计

根据其他学者的研究经验，采用Monte Carlo仿真方法来获得生产动态过程中的仿真数据，即：

其中，Y(t)为t时刻的动态数据质量特性值；µ为质量特性的均值，为简化仿真实验，通常取为在t时刻下，由偶然因素造成的随机干扰，通常为服从的高斯白噪声；d(t)为异常因素干扰项。动态数据的各种模式主要就是依靠d(t)的变化而形成的，模式数据如下表所示。

在进行数据仿真的时候，利用上述公式对生产动态过程的六种基本模式进行仿真，每组数据均为60维（60个数据点），每种模式生成100组数据，共生成600组数据，总计仿真36000个质量特性值。每种模式的前40组数据作为支持向量机的训练样本，后60组数据作为测试样本。质量异常模式识别的基本规则就是分类器根据训练样本的数据特征，总结和计算出分类的规律进而建立一定的判断规则，然后在遇到新的质量特性值时，可以根据已经建立的判断规则对其进行分类[11]。通过对生产动态过程的样本数据进行对比实验发现，选取高斯核为核函数时，六种模式的整体识别效果较高，因此仿真实验选取高斯核作为分类器的核函数。

表1 样本数据仿真参数

表2 识别结果

3.2 实验结果及分析

为验证所提出的基于主元分析的PSO-SVM识别模型的性能，分别采用SVM和PSO-SVM与本文提出的方法做对比，采用同样的样本数据进行测试。得到的结果如表1所示。从表1可以看出，未经PCA特征提取，直接用原始样本数据进行训练、分类时，是识别精度达到91.5%，对正常模式和周期模式的识别有很大误差。采用PSO-SVM分类方法，整体识别精度有所提高，但是也很难发现有实质性地提高。然而，利用本文所提出的方法，对正常模式的识别，识别精度从82.1%提升到98.3%,效果十分明显。此外，利用所提出的识别方法可以使平均识别精度达到97.5%，识别结果要优于其他常用的分类方法，特别是对趋势模式的识别能够达到100%，验证了本文提出的识别方法的有效性，为生产动态过程的质量异常模式识别提供了新的方法。

4 结论

动态过程的质量异常模式识别为生产自动化过程在线监控和诊断提供了必要支持，针对动态过程的实际特点，提出了的一种基于主元分析的SVM质量异常模式识别方法。该方法具有以下两个特点，一是运用PCA方法对原始样本数据进行降维处理，发挥了PCA特征提取的优势，消除了原始数据中包含的大量噪声，避免了复杂的计算，简化了后续分类器识别的复杂性；二是利用PSO算法对SVM进行参数寻优，优化后可极大提高分类器的性能，同时保证了分类器具有很好的泛化能力。仿真实验结果表明，这种动态过程质量异常模式识别方法是有效的，并通过与其他识别方法对比发现其具有较高的识别精度，为生产动态过程实现在线监控和诊断提供了一种新的思路。

[1]Shewhart M. Interpreting Statistical Process Control(SPC)Charts Using Machine Learning and Expert System Techniques[A].Aerospace and Electronics Conference[C].Processing of the IEEE1992 National,1992.

[2]Chen, N., Zhou,S.Delectability study for statistical monitoring of multivariate dynamic processes[J].IIE Transactions,2009, 41(7),593-604.

[3]Cheng C S. A Multi-layer Neural Network Model for Detecting Changes in the Process Mean[J].Computers&Industrial Engineering(S0360-8352),1995,28(1):51-61.

[4]Guh R S, Hsich Y C.A Neural Network Based Model for Abnormal Pattern Recognition of Control Charts[J].Computer & Industrial Engineering (S0360-8352),1999,36(1):97-108.

[5]Guh R S, Zorriassatine F.On Line Control Chart Pattern Detection and Discrimination—A Neural Network Approach[J].Arti fi cial Intelligence in Engineering(S0954-1810),1999,13(4):413-425.

[6]Vahid R, Reza G. Application of the PSO-SVM Model for Recognition of Control Chart Patterns[J].ISA Transactions,2010, 49:577-586.

[7]肖应旺.基于小波变换核主元分析和多支持向量机的过程监控[J].小型微型计算机系统,2011,32(7):1348-1353.

[8]Susanta K, Shankar C. Feature-based recognition of control chart patterns[J].Computers & Industrial Engineering,2006,51(5):726-742.

[9]Wang C H, Kuo W. identi fi cation of control chart patterns using wavelet filtering and robust fuzzy clustering[J].Journal of Intelligent Manufacturing, 2007,18(3):343-350.

[10]Cherkassky V,Ma Y.Practical selection of SVM parameters and noise estimation for SVM regression [J]. Neural Networks,2004,17(1):113-126.

[11]蒋少华,桂卫华,阳春花,等.基于核主元分析与多支持向量机的监控诊断方法及其应用[J].系统工程理论与实践,2009,29(9):153-159.

[12]吴常坤,赵丽萍.基于小波分析和SVM的控制图模式识别[J].中国机械工程,2010, 21(13):1572-1576.

[13]杨世元,吴德会.基于PCA和SVM的控制图失控模式智能识别方法[J].系统仿真学报,2006,18(5):1314–1318.

[14]王萌, 孙树栋. 基于相异度核空间的支持向量机算法[J].系统工程理论与实践,2013,33(6):1596-1600.

[15]张敏,程文明.基于自适应粒子群算法和支持向量机的控制图模式识别[J].工业工程,2012,15(5):125-129.