基于粒子群优化支持向量机的测控设备校准间隔预测

岳瑞华 杨学猛 徐中英

第二炮兵工程大学302教研室，西安 710025

美国标准局(NBS，现在为国家标准技术研究院NIST)提出的基于测量过程控制方法的量值传递方式——计量质量保证方案(MAP)[1]，把测量看成一个全过程,通过对测量数据的定期监控和分析,使测量过程始终处于连续的统计控制状态。对大型武器系统的测试设备而言，在MAP的实施过程中如果能利用已有数据进行预测，进而对预测超差的设备提前检定校准，则能够更加及时有效地提供技术支持。

基于统计学习理论的机器学习方法——支持向量机(SVM，support vector machines)较好地解决了以往困扰很多学习方法的小样本、非线性、过学习、高维数、局部极小点等实际问题，具有很强的泛化能力[2-3]，因而可以用来进行校准间隔预测[4-7]。而SVM核函数参数的选择，对于SVM回归估计的精度影响较大[8-9]。本文提出将粒子群优化算法(PSO)应用于SVM核函数参数的选择[10]，利用改进的PSO-SVM对测量仪器的测量值进行预测，依据Shewhart控制图或给定不确定度提前检出超差值，及时对测试设备检定校准。

1 SVM回归

设样本集为：(y1,x1),…,(yl,xl),x∈Rn,y∈R，回归函数用下列线性方程来表示，

f(x)=ωTx+b

(1)

最佳回归函数通过求以下函数的最小极值得出，

(2)

其中，C是设定的惩罚因子值，ξ,ξ*为松弛变量的上限与下限。

Vapnik提出运用下列不敏感损耗函数：

(3)

通过优化方程：

(4)

求解：

(5)

(6)

对于非线性模型，可通过一个非线性映射将数据映射到高维的特征空间中，在其中进行线性回归。非线性SVR的解即可通过下面方程求出：

(7)

回归函数f(x)则为：

(8)

其中，应用最广泛的是RBF核，无论是低维、高维、小样本及大样本等情况，RBF核函数均适用，具有较宽的收敛域。

2 粒子群优化

粒子样优化算法(PSO)是一种进化优化算法，源于对鸟群捕食行为研究，已经被证明是一种很好的优化方法[10]。其数学描述如下：在连续空间坐标系中，设粒子群个数为m，每个粒子的坐标为xi=(xi1,xi2,…,xiD)，每个粒子的飞行速度为vi=(vi1,vi2,…,viD)，每个粒子都有一个优化目标函数决定的适应值，对于第i个粒子，其所经过的历史最好位置记为pi=(pi1,pi2,…,piD)，也称为个体极值pbest；整个群体中所有粒子发现的最好位置记为pg=(g1,g2,…,gD)，也称为全局极值gbest。粒子就是根据这2个极值来不断更新自己的速度和位置：

vij(k+1)=vij(k)+c1r1(pij-xij(k))+

c2r2(gij-xij(k))

(9)

xij(k+1)=xij(k)+vij(k+1)

(10)

其中：i=1,2,…,m，m表示粒子的总个数；j=1,2,…,D，D表示一个粒子的维数，即算法所优化的第j个参数，根据具体的优化问题而定；r1,r2为[0,1]之间相对独立的随机数；c1,c2为加速因子，通常在[0,2]间取值。为保证收敛性和收敛速度，加入收缩因子γ，(9)式即为：

vij(k+1)=γ{vij(k)+c1r1(pij-xij(k))+

c2r2(gij-xij(k))}

(11)

在每一次迭代过程中，每个粒子都需要根据目标函数来计算其适应值大小，目标函数可以是均方误差、方差、标准差等。然后根据适应值来确定当前粒子最优位置pij(k)及群体最优位置pgj(k)，然后根据式(10)和式(11)调整各个粒子的速度及位置。其结束条件为：

1)迭代次数达到设定值，通常设定最大迭代次数为100代[11]；

2)群体迄今为止搜索到的最优位置满足预设最小适应值，通常预设适应值为0。

3 PSO-SVM

SVM的自选参数C，ξ和γ的选择，对于SVM回归估计的精度影响很大。其中参数C可以根据样本数据的特性，决定模型的复杂度和对大于ξ的拟合偏差的惩罚程度。ξ值过大或过小，都会使系统的泛化能力变差。参数表明了系统对估计函数在样本数据上误差的期望，其值影响了构造回归函数的支持矢量数目。ξ值过大，回归估计精度低，支持矢量数量少，会导致过于平滑的估计；ξ值过小，不敏感损失函数作用变小，预测结果的鲁棒性减弱。核函数的参数γ反映了训练数据的特性，对于系统的泛化能力影响较大。因此，只有合理选择参数，才可以使SVM回归估计得到很好的拟合效果。

如何合理选择SVM的参数，目前尚无有效的方法，一般通过交叉验证试算或梯度下降法求解，为此，本文采用粒子群优化算法实现对SVM参数的自动优化选择。为了实现SVM参数的优化选择，首先将样本数据分为2部分：训练样本集和测试样本集。训练样本集用于回归SVM的训练，即求解形如式(4)的二次优化问题，得到SVM的回归估计模型，将训练结果代入式(8)进行预测，采用均方根误差(MSE)作为适应度评价指标：

(12)

本文中，PSO用来选择解决模型选择问题，决定用来预测测试设备校准间隔的SVM回归模型参数值[10]。SVM中参数C,ξ和高斯核函数的参数γ作为PSO算法的决策变量。因此，三维向量中，第i个粒子属性xi=(xi1,xi2,xi3)，pi=(pi1,pi2,…,pi3)，vi=(vi1,vi2,…,vi3)分别对应于参数C，ξ和γ。

采用带收缩因子的局部最优PSO模型，算法流程见图1，具体步骤如下：

步骤1 参数初始化：视向量C，ξ和γ为粒子，确定粒子群规模m，确定加速度因子c1,c2，初始化r1,r2，设置最大迭代次数；

步骤2 将每个粒子的个体极值位置设置为当前位置，计算每个粒子的初始适应度，取适应度最好的粒子所对应的个体极值作为最初的全局极值；

步骤3 按照式(9)、式(10)和式(11)进行迭代计算，更新粒子的位置和速度；

步骤4 由式(12)评价每个粒子的适应值；

步骤5 将更新后的每个粒子的个体极值pbest与全局极值gbest比较，若pbest优于gbest，则gbest=pbest，否则保留原值；

步骤6 更新迭代次数，i=i+1；

步骤7 判断是否满足结束条件，满足则输出全局最优解作为支持向量机的最优参数向量，否则返回步骤3；

步骤8 根据优化的参数向量建立SVM校准间隔预测模型。

图1 粒子群优化支持向量机算法流程图

4 测试设备校准数据预测实例

数据来自于计量站对一大型测控设备某计量标准器的1kΩ电阻10年间的校准记录[12]。该标准在满足统计受控条件下每年由上级计量单位进行一次检定，两次检定期间，利用更高精度的计量标准对其每月进行一次精度核查，共得到120个校准误差数据。

图2(a)，(b)，(c)列出了PSO-SVM与SVM预测效果对比，图2(d)是预测性能的直观展示。

图2 SVM和PSO-SVM的预测结果

用于校准间隔预测的传统SVM方法和所提SPO-SVM方法的均方根误差对比见表1。

表1 预测效果评价

相比参数优化前，MSE降低了0.1503mΩ。由此可见，本文提出基于PSO算法优化的SVM对大型测控设备计量校准间隔进行预测不仅是可行的，而且可以获得较好的预测，是一种有效的预测方法。

5 结语

充分利用了粒子群优化算法对支持向量机的参数进行全局并行寻优能力和SVM强大的非线性映射功能，将PSO与SVM两种方法进行有机组合，提出了基于PSO-SVM的预测方法并应用于大型测控设备的校准间隔的预测。实例验证该方法相比SVM具有更好的预测效果，并可与Shewhart控制图结合，将MAP中发现超差后的校准转变为基于粒子群优化支持向量机的预测校准，该方法对于提高计量质量保障水平具有参考意义。

[1] 王立吉.计量质量保证方案[M].中国计量出版社, 1992.

[2] 张学工.关于统计学习理论与支持向量机[J].自动化学报, 2000(1):36-46.(ZHANG Xuegong.Introduction to Statistical Learning Theory and Support Vector Machines[J].Acta Automatic Sinica, 2000(1):36-46.)

[3] Schölkopf B, Smola A J.Learning with Kernels—Support Vector Machines, Regularization, Optimization, and Beyond [M].MIT Press: London, England,2002.

[4] 孙群, 赵颖, 孟晓风.基于支持向量回归的自动测试系统校准间隔动态优化[J].兵工学报, 2009,(1):76-80.(SUN Qun, ZHAO Ying, MENG Xiaofeng.Optimization of Calibration Interval for Automatic Test System Based on Support Vector Regression[J].Acta Armamentarii, 2009,(1):76-80.)

[5] 尉询楷, 李应红, 张朴, 等.基于支持向量机的时间序列预测模型分析与应用[J].系统工程与电子技术, 2005,(3): 529-532.(WEI Xunkai, LI Yinghong, ZHANG Pu, et al.Analysis and Applications of Time Series Forecasting Model via Support Vector Machines [J].Systems Engineering and Electronics, 2005,(3): 529-532.)

[6] 余学锋, 钱成, 文海.测量仪器校准间隔的确定及其模型[J].计量学报, 2002(1): 74-77.(YU Xuefeng, QIAN Cheng, WEN Hai.Determination of the Calibration Interval for a Measuring Instrument by Stochastic Model [J].Acta Metrologica Sinica, 2002,(1): 74-77.)

[7] 余学锋, 王亚梅, 田建柱.测量设备校准间隔确定方法工程化应用与发展[J].中国测试, 2009,(4):15-18.(YU Xuefeng, WANG Yamei, TIAN Jianzhu.Development and Application of Engineering for Measurement Equipment Calibration Interval Analysis Method [J].China Measurement & Test, 2009,(4):15-18.)

[8] 阎威武, 邵惠鹤.支持向量机和最小二乘支持向量机的比较及应用研究[J].控制与决策, 2003,18(3):358-360.(YAN Weiwu, SHAO Huihe.Application of Support Vector Machines and Least Squares Support Vector Machines to Heart Disease Diagnoses [J] .Control and Decision, 2003,18(3):358-360.)

[9] Yang J, Zhang Y.Application Research of Support Vector Machines in Condition Trend Prediction of Mechanical Equipment[J].Lecture Notes in Computer Science 2005,3498:857-864.

[10] Aydin I, Karakose M, Akin E.A Multi-objective Artificial Immune Algorithm for Parameter Optimization in Support Vector Machine [J].Applied Soft Computing, 2011,11:120-129.

[11] Pai P-F, Hong W-C.Software Reliability Forecasting by Support Vector Machines with Simulated Annealing Algorithms [J].Journal of Systems and Software,2006,79:747-755.

[12] 刘如峰.军事计量标准精度非线性组合预测方法研究[D].西安: 第二炮兵工程学院, 2010.

[13] Bergh F D, Engelbrecht A P.A Study of Particle Swarm Optimization Particle Trajectories [J].Information Science, 2006, 176(8):937-971.

[14] V.K.Support Vector Machines—An Introduction.In Support Vector Machines: Theory and Applications [M].Berlin: Springer, 2005.

[15] 吴晓军, 杨战中, 赵明.均匀搜索粒子群算法[J].电子学报, 2011(6): 1261-1266.(WU Xiaojun, YANG Zhanzhong, ZHAO Ming.The Convergence Analysis of the Uniform Search Particle Swarm Optimization [J].Acta Electronica Sinica, 2011,(6): 1261-1266.)