基于Pareto定律参数优化的径向基近似建模

吴宗谕, 罗文彩, 陈　勇

(国防科学技术大学航天科学与工程学院, 湖南 长沙 410073)



基于Pareto定律参数优化的径向基近似建模

吴宗谕, 罗文彩, 陈勇

(国防科学技术大学航天科学与工程学院, 湖南 长沙 410073)

摘要：针对传统留一交叉验证法计算量大不适用于大规模复杂系统的问题,借鉴经济学中的Pareto定律,选择对全局误差大小起决定性作用的样本点作为关键点,对留一交叉验证法进行了改进,提出了基于Pareto定律的留一交叉验证方法。针对径向基模型形状参数的优化选择问题,将基于Pareto定律的留一交叉验证方法应用于形状参数的优化,提出了基于Pareto定律参数优化的径向基模型构造方法。测试表明,该方法构造的径向基模型具有良好的近似精度和较高的计算效率,具有推广的价值。

关键词：径向基模型; Pareto定律; 留一法; 参数优化

0引言

大规模复杂系统的多学科优化过程中,需要反复调用系统的高精度分析模型,计算精度高但计算量巨大[1-3]。近似模型是多学科优化的关键技术之一,通过少量的高精度分析和近似计算构造显式近似表达式来代替原有系统,是解决多学科优化计算复杂性的有效手段[4],若可以构造出精度较高的近似模型,便可使许多复杂的工程问题迎刃而解。

目前常用的近似模型[5]有多项式响应面模型、Kriging模型、径向基模型、支持向量机模型、神经网络模型。由于径向基模型具有形式简单、各向同性、设置参数少、易于处理等优点[6],对高维问题和非线性问题均具有较好的近似效果,所以本文选择径向基模型为研究对象。形状参数决定了基函数的形状[7],是影响近似模型近似精度的重要因素,合理设置形状参数是构建径向基模型的关键步骤。关于如何选择形状参数,目前常采用基于准则进行优化的方法来确定。交叉验证方法常被用来评估近似模型的泛化性能[8],故可基于交叉验证对形状参数进行优化,以此来构造高近似精度的径向基近似模型。交叉验证有3种形式：Holdout验证、k重交叉验证[9]和留一交叉验证[10-12]。留一法具有泛化误差估计几乎无偏、能排除随机因素影响、确保验证过程可被完全重复等优点,但其高计算成本限制了其在大规模问题上的应用。本文针对这一缺点,对留一法进行了改进,提出了基于Pareto定律的改进留一交叉验证方法,并结合遗传优化算法,对形状参数进行优化,提出了基于Pareto定律参数优化的径向基模型构造方法。该方法进一步提高了径向基模型的泛化能力,可以适用于以飞行器为代表的采样成本高昂的复杂系统,实现以较小的计算代价达到高精度建模的目的。

1径向基插值原理

径向基模型本质上是一种插值方法,通过插值基函数的线性组合构造径向基插值模型,其表达式如下：

(1)

权系数向量W为

(2)

式中，Y=[y1,y2,…,yNs]T为样本点上的真值,矩阵Φ的表达式如下：

(3)

常用的径向基函数有薄板样条插值基函数、高斯插值基函数和MQ插值基函数等,其中2次MQ插值基函数因其收敛率高的特点得到了广泛的应用[13-14]。本文采用2次MQ插值基函数作为径向基函数,把‖x-xi‖记成欧氏空间距离r,则插值基函数可表示为

(4)

式中，c是常数,由于其决定了插值基函数的形状特性,故称其为形状参数。

2基于Pareto定律的留一交叉验证法

交叉验证以其不需要额外增加采样点,只利用现有训练样本点就能验证近似模型精度的特点,对于飞行器这类采样成本高的复杂系统具有明显的优势。

均方根误差(rootmeansquareerror,RMSE)是比较常用的一种误差分析统计量,常用于模型的全局误差估计,将其用于交叉验证,表达式如下：

(5)

式中，yi为xi上的实际响应值。RMSE的值是衡量近似模型精度的常用标准,RMSE越小认为近似精度越高。

当采样点确定后,径向基模型的构造就只依赖于形状参数c。不同的形状参数会导致径向基模型的差异,此时RMSE就变成了c的函数,记为f(c)。

(6)

这种直接基于留一交叉验证优化形状参数的方法缺点是计算量太大,形状参数c每取一个值就要构建Ns次近似模型。以遗传算法为例,初始种群数为50,迭代1 000次后收敛,则整个过程需构建50 000Ns次近似模型。对于大规模复杂问题,这种方法是不可行的。

经济学中著名的Pareto定律[18-20]认为世界上20%的人占有了全世界80%的财富,20%的努力带来80%的收获,20%的顾客带来80%的生意。这种存在于努力和报酬、投入和产出、原因和结果之间的不平衡关系,是无法解释而又真实存在的。一般来说,可以将投入分为2种类型：多数,它们只能起到少许的作用;少数,它们却能起到主要的作用。Pareto定律讲求在平常工作和生活中不要平均地分析、处理和看待问题,要善于抓关键,所以也叫关键少数法则、最省力法则。

m=0;

fori=1:Ns

end

return(m);

式中，μ(0<μ≤1)为最省力系数,可根据需要自行设置大小,本文取为0.8。

(7)

3基于Pareto定律参数优化的径向基模型构造方法

具体步骤如下。

步骤 1试验设计生成样本点。首先采用试验设计的方法生成样本点集X=[x1,x2,…,xNs]T,并计算样本点集X上的真实响应值Y=[y1,y2,…,yNs]T。

步骤 2基于Pareto定律确定全局Pareto点集。形状参数c在取值范围(0,2cemp)上均匀取N个点{c1,c2,…,cN},计算相应的Pareto点集,合并得到全局Pareto点集T。

步骤 3优化形状参数。对全局Pareto点集T进行留一交叉验证,根据式(8)计算PRMSE。将PRMSE作为优化准则,由于PRMSE是形状参数c的函数f′(c),寻找使f′(c)取最小值的问题则转化为以下优化问题

(8)

步骤 4构建径向基模型。将优化后的形状参数,代入插值基函数φ,并计算权系数向量W,最终得到径向基插值模型。

流程图如图1所示。

图1　基于Pareto定律参数优化的径向基模型构造流程

4算例测试

为了验证基于Pareto定律参数优化的径向基模型近似建模方法(optimalparameterbasedonParetolawforradialbasisfunctionapproximationmodeling,OPPRBF)的有效性,选取了3个经典测试函数和一个在高超声速飞行器上的具体应用,以RMSE作为评价近似精度的标准,与传统基于参数优化的径向基模型近似建模方法(optimalparameterforradialbasisfunctionapproximationmodeling,OPRBF)进行比较。

4.1测试函数1：Camelback函数

Camelback函数表达式如下

f(x,y)=(4-2.1x2+x4/3)x2+xy+

(9)

在设计空间[-1,1]×[-1,1]上使用最优拉丁超立方试验设计法采样100个点。分别采取OPPRBF和OPRBF对该函数进行近似,结果如图2(b)、2(c)所示。

图2　Camelback函数近似建模

将关键点率(关键点数在样本点中所占的比率)、建模次数(整个建模过程中构建近似模型的次数)、形状参数(经优化后得到的形状参数值)、RMSE(近似模型的交叉验证均方根误差)列表如表1所示。由表1可知,采用2种方法得到的形状参数相同,RMSE相同;OPRBF的100个采样点都参加了交叉验证,但OPPRBF只有17个关键点参加了交叉验证,占采样点数的17%,相比于OPRBF大大减少;另外,OPPRBF总体建模次数4 330次,远远小于OPRBF的25 000次,近似建模计算效率大幅度提高。

表1　Camelback函数近似建模方法比较

4.2测试函数2：Haupt函数

Haupt函数表达式如下：

f(x,y)=xsin(4x)+1.1ysin(2y)

(10)

在设计空间[0,3.5]×[0,3.5]上使用最优拉丁超立方试验设计法采样100个点。分别采取OPPRBF和OPRBF对该函数进行近似,结果如图3(b)和图3(c)所示。

图3　Haupt函数近似建模

由表2可知,OPRBF得到的形状参数为0.437 5,OPPRBF得到的形状参数为0.435 7,有略微差异;OPRBF的RMSE为0.211 0略优于OPPRBF的0.233 1;OPRBF的100个采样点都参加了交叉验证,但OPPRBF只有21个关键点参加了交叉验证,占采样点数的21%,相比于OPRBF大大减少;另外,OPPRBF总体建模次数5 050次,远远小于OPRBF的26 050次,近似建模计算效率大幅度提高。综合考虑近似精度和计算效率,OPPRBF相比于OPRBF更具有优势。

表2　Haupt函数近似建模方法比较

4.3测试函数3∶20维函数

20维函数表达式如下:

(11)

在设计空间上使用最优拉丁超立方试验设计法采样300个点。分别采取OPPRBF和OPRBF对该函数进行近似,结果如表3所示。

表3　20维函数近似建模方法比较

由表3可知,采用传统OPRBF得到的形状参数为0.022 6,而采用OPPRBF得到的形状参数为0.022 7,相较于OPRBF增大了0.44%;OPRBF的RMSE为6.665 1,OPPRBF的RMSE为6.665 3,较OPRBF增大了0.003%;OPRBF的300个采样点均参加了交叉验证,但OPPRBF只有69个点参加了交叉验证,占采样点数的23%;OPRBF的总建模次数为63 000,OPPRBF的总建模次数为16 800,较OPRBF建模次数减少了73.3%,再一次印证了OPPRBF的高效率。

4.4在高超声速飞行器中的应用

高超声速飞行器长时间在大气层中高速飞行,表面气动加热十分严重,驻点作为飞行器各部件中受热最严重的位置,对其气动热分析显得尤为重要。目前,高超声速飞行器的气动热分析常采用高精度的计算流体力学(computational fluid dynamics， CFD)仿真,但是耗费时间长,计算效率低。本文以图4所示的乘波构型的高超声速飞行器为例,使用OPPRBF代替高精度的CFD仿真模型。

图4　乘波构型高超声速飞行器

以高超声速飞行器的飞行高度和飞行速度作为设计变量。其中,飞行高度的取值范围是10～100 km,飞行速度的取值范围是1～2 km/s。使用最优拉丁超立方试验设计法采样100个点,再用CFD仿真获取这100个样本点上的驻点温度,接着分别采取OPPRBF和OPRBF对驻点温度进行近似,结果如图5所示。

图5　高超声速飞行器驻点温度近似建模

方法关键点率/%建模次数形状参数RMSEOPPRBF420800.12509.1310OPRBF—520000.12499.1270

由表4可知,OPRBF得到的形状参数为0.124 9,OPPRBF得到的形状参数为0.125 0,有略微差异;OPRBF的RMSE为9.127 0略优于OPPRBF的9.131 0;OPRBF的100个采样点都参加了交叉验证,但OPPRBF只有4个关键点参加了交叉验证,占采样点数的4%,相比于OPRBF大大减少;另外,OPPRBF总体建模次数2 080次,远远小于OPRBF的52 000次,近似建模计算效率大幅度提高。综合考虑近似精度和计算效率,OPPRBF相比于OPRBF更具有优势。

5结论

本文针对留一交叉验证法计算量大的问题,对传统留一法进行了改进,提出了基于Pareto定律的留一交叉验证法,并将其应用于径向基模型的形状参数优化,提出了基于Pareto定律参数优化的径向基模型构造方法。主要结论如下。

(1) 本文提出的基于Pareto定律的留一交叉验证法,融合了经济学中少数决定多数的思想,较改进前计算量大幅度减少。

(2) 测试算例表明,基于Pareto定律参数优化的径向基模型构造方法,相比于传统的基于留一法参数优化的径向基模型构造方法,不仅近似精度相近,而且计算效率大幅度提高,是一种可以推广的近似模型构造方法。

参考文献：

[1] Yao W, Chen X Q, Luo W C, et al. Review of uncertainty-based multidisciplinary design optimization methods for aerospace vehicles[J].ProgressinAerospaceSciences, 2011, 47(6):450-479.

[2] Balesdent M, Bérend N, Dépincé P, et al. A survey of multidisciplinary design optimization methods in launch vehicle design[J].StructuralandMultidisciplinaryOptimization, 2012, 45(5):619-642.

[3] Martins J R R A, Lambe A B. Multidisciplinary design optimization:a survey of architectures[J].AIAAJournal, 2013, 51(9):2049-2075.

[4] Deb A, Chou C C, Dutta U, et al. Practical versus RSM-based MDO in vehicle body design[J].SAEInternationalJournalofPassengerCars-MechanicalSystems, 2012, 5(1):110-119.

[5] Queipo N V, Haftka R T, Shyy W, et al. Surrogate based analysis and optimization[J].ProgressinAerospaceSciences, 2005, 41(1):1-28.

[6] Alipanah A, Esmaeili S. Numerical solution of the two-dimensional fredholm integral equations using Gaussian radial basis function[J].JournalofComputationalandAppliedMathematics, 2011, 235(18):5342-5347.

[7] Davydov O, Oanh D T. On the optimal shape parameter for Gaussian radial basis function finite difference approximation of the Poisson equation[J].ComputerandMathematicswithApplications, 2011, 62(5):2143-2161.

[8] Hijmans R J. Cross-validation of species distribution models:removing spatial sorting bias and calibration with a null model[J].Ecology, 2012, 93(3):679-688.

[9] Fushiki T. Estimation of prediction error by usingk-fold cross-validation[J].StatisticsandComputing, 2011, 21(2):137-146.

[10] Mao W T, Mu X X, Zheng Y B, et al. Leave-one-out cross-validation-based model selection for multi-output support vector machine[J].NeuralComputingandApplications, 2014, 24(2):441-451.

[11] Kocaguneli E, Menzies T. Software effort models should be assessed via leave-one-out validation[J].JournalofSystemsandSoftware, 2013, 86(7):1879-1890.

[12] Yuan J, Liu X M, Liu C L. Leave-one-out manifold regularization[J].ExpertSystemswithApplications, 2012, 39(5):5317-5324.

[13] Wang L P, Wang X Y, Zhan H R, et al. The error analysis of element-free method based on radial basis function used in mechanical problems[J].MechanicsinEngineering, 2013, 35(2):67-72. (王立鹏, 王欣彦, 战洪仁, 等. 基于径向基函数的无单元法求解力学问题误差分析[J]. 力学与实践, 2013, 35(2):67-72.)

[14] Bayona V, Moscoso M, Kindelan M. Optimal variable shape parameter for multiquadric based RBF-FD method[J].JournalofComputationalPhysics, 2012, 231(6):2466-2481.

[15] Bayona V, Moscoso M, Kindelan M. Optimal constant shape parameter for multiquadric based RBF-FD method[J].JournalofComputationalPhysics, 2011, 230(19):7384-7399.

[16] Xiang S, Wang K M, Ai Y T, et al. Trigonometric variable shape parameter and exponent strategy for generalized multiquadric radial basis function approximation[J].AppliedMathematicalModelling, 2012, 36(5):1931-1938.

[17] Zhou F L, Zhang J M, Sheng X M, et al. Shape variable radial basis function and its application in dual reciprocity boundary face method[J].EngineeringAnalysiswithBoundaryElements, 2011, 35(2):244-252.

[18] Goerlich F J. A simple and efficient test for the Pareto law[J].EmpiricalEconomics, 2013, 45(3):1367-1381.

[19] Cato S. Social choice without the Pareto principle:a comprehensive analysis[J].SocialChoiceandWelfare, 2012, 39(4):869-889.

[20] Pandey V, Bairwa A, Bhattacharya S. Application of the Pareto principle in rapid application development model[J].InternationalJournalofEngineeringandTechnology, 2013, 5(3):2649-2654.

吴宗谕(1991-),男,硕士研究生,主要研究方向为飞行器多学科优化设计。

E-mail：vjzwzy@outlook.com

罗文彩(1975-),男,副教授,博士,主要研究方向为飞行器总体设计、多学科优化设计。

E-mail：luowencai@sina.com

陈勇(1985-),男,讲师,博士,主要研究方向为声学、流体力学、优化理论。

E-mail：literature.chen@gmail.com

网络优先出版地址：http://www.cnki.net/kcms/detail/11.2422.TN.20141105.1633.014.html

Optimal parameter based on Pareto law for radial basis

function approximation modeling

WU Zong-yu, LUO Wen-cai, CHEN Yong

(CollegeofAerospaceScienceandEngineering,NationalUniversityofDefense

Technology,Changsha410073,China)

Abstract:The traditional leave-one-out method confronts the difficulty of large calculation scale and is not applicable to a large-scale complex system. Learning from the Pareto law in the economic science, sample points which play dominant roles in the global errors are chose as key points. Accordingly, a new leave-one-out method is proposed to improve the traditional one. To obtain the shape parameter of the radial basis function, the method of the optimal parameter based on the Pareto law for radial basis function approximation modeling is proposed by combining the new leave-one-out method and shape parameter optimization. Numerical tests show that the method is accurate and efficient, and deserves to be promoted.

Keywords:radial basis function; Pareto law; leave-one-out; optimal parameter

作者简介：

中图分类号：TP 391.9

文献标志码：ADOI:10.3969/j.issn.1001-506X.2015.05.34

收稿日期：2014-03-18；修回日期：2014-10-11；网络优先出版日期：2014-11-05。