第二十八讲实验研究中多指标综合评价方法及应用

2018-12-07徐静安赵修显张玉梅曹卫宇

上海化工 2018年8期

徐静安赵修显张玉梅曹卫宇

2015年9月—10月间，在“制备超高分子量聚乙烯锂电池隔膜的探索性研究”项目中，张玉梅、王新威等对研究响应隔膜技术指标（孔隙率、拉伸强度、断裂伸长率等）进行综合评分寻优，这个数据处理方法，引起笔者重视。在随后的项目讨论中、发现上海化工研究院不少实验研究项目涉及此类方法，但应用方法不太规范。为此调整讲义编写计划，和同仁一起针对性查阅了多指标综合评价方面的一批资料，剖析了一些案例，并在项目中探索应用。

一概述

1 问题的提出

实验研究中多响应指标是个普遍现象。

超薄沥青混凝土研究：其他条件固定，考察变量是粉料比、料石类型、沥青类型、填料类型、粗料石含量5个因素；选用L8（4×24）设计，极差分析寻优，多响应yj见表1。

液体葡萄糖生产工艺最佳条件选取：其他条件固定，考察粉浆浓度、酸度、稳压时间、工作压力4个因素；选用L9（34）设计，极差分析寻优，多响应yj见表2。VD3光化学合成研究：其他条件固定，考察投料量、某溶剂量、反应时间、反应温度4个因素；选用U7（74）设计，回归建模寻优，多响应yj见表3。

2个响应指标容易直观综合平衡优化。多响应指标一般是指3个及其以上响应指标。每个指标样本响应值构成1个子集，多维子集间形成复杂关系：各个子集的量纲不一致，各个子集值数量级相差大，可能存在定性子集，各个子集优化趋势不一致（子集间存在不同的相关性），有的子集指标值有附加约束，子集的重要性不相同等。显然，仅优化一个响应指标，无法满足其他指标优化的需求。分阶和综合是人类基本的思维模式，科研人员习惯于分阶逐项考察单项指标，但也需面对复杂的多项指标，对其进行综合评价。需求驱动方法的探索。

表1 超薄沥青多指标

表2 液体葡萄糖生产指标

表3 光化学反应多指标

2 综合评价方法一般概念

对多指标进行测试形成的多指标响应进行综合评价是多元统计分析的第二类问题——降维问题，是系统工程有限方案（样本）多目标决策分析中，将多指标进行加工提炼为单一综合目标的一种数学方法，可用于评价、决策、管理等。有的方法还适用于高维、非线性、非正态的复杂系统，已经被用于水质、环境评价、灾情评估、工业竞争力分析、人力资源测评等领域。

“多指标综合评价方法及权重的选择”一文列举了10余种多指标评价方法：层次分析加权法（AHP法）、主成分分析法、TOPSIS法、人工神经网络法、模糊综合评判法、灰关联聚类法、因子分析法、综合指数法，等。DPS软件中还专门介绍了投影寻踪分类法（PPC法）等。显然，不同类型的问题有相应的多指标综合评价方法。

植烟土壤养分评价：有45个乡镇土壤样本，涉及碱解氮、交换性镁等14项养分化学指标；根据前人研究成果，引入拐点值，每个指标子集分成4类，土壤样本综合评价分成5类，采用主成分分析和聚类法进行综合评价。

对某医院1994—1998年的工作质量进行综合评价，涉及门诊量、治疗率、病床周转率、病死率等11项指标的标准值和实际值，采用平均指数法进行综合评价。

某工程项目的风险评价是个4层目标树结构，底层指标涉及钢衍梁制安、柱基础等18个指标，每个指标分为5个等级，采用层次分析法进行综合评价。

有资料认为，对于多响应子集，十几种综合评价法尚不存在“最好的评价方法”，应根据不同专业领域选用“可行的评价方法”。面对系统工程问题，用同一种方法对同一类项目进行综合评价，可以分出“优”“劣”排序，但方法不是惟一的；用不同方法对同一项目进行综合评价，没有较为客观的统计量，可借助验证方法来表征不同方法之间的“优”“劣”。目前对方法的选用：一是依靠带有主观成分的“认可度”；二是同类项目评价方法相对稳定，采用“一致性”的原则。

对于实验研究中的多指标，一般响应不是高维的，都是单层的、没有冗余的，笔者认为综合评价方法可采用改进的简易公式评价方法，这是本讲义讨论的重点。

3 改进简易公式法

改进简易公式法的基本思想是样本多响应指标的无量纲隶属度具有可加性，通过“加权和”得到单一综合评价指标集。

式中：i=1，2，3，...，n，是试验样本量；

j=1，2，3，...，k，是响应指标数；

Wj是各响应子集的权值；Yij为i个样本j指标值yij在j子集中的隶属度。1965年，系统科学家札德（Zadeh L A）提出模糊集合新概念，用隶属度表示某元素与相应子集的关系。本方法引用隶属度Yij表明其在子集中的隶属排序，在闭区间[0,1]中得一对应数据指标，计算如下：

式中：yij为i个样本j响应指标实验值；

yjmax为j响应指标子集中最大实验值；

yjmin为j响应指标子集中最小实验值。

在上述众多综合评价方法中，差异主要体现在无量纲处理、权重选择、综合指标合成的不同上。如TOPSIS法中无量纲归一化处理，采用

而原简易公式评分法是采用子集指标波动的标准差Sj对指标做无量纲处理Yij=yij/Sj，并由此比值表征其在该子集中的排序资格。笔者认为这样的无量纲处理，各子集间比值范围相差可能较大，不如隶属度计算将多维子集映射在[0,1]区间，样本子集间排序也有直观可比性。

在做隶属度无量纲处理前，如果子集含有定性模糊指标，首先要转化为打分定量指标。此外，对指标值应作专业技术上的判断：高优——指标越高越好；低优——指标越低越好。在综合评价中，对低优子集须进行1/yij转换，保持优化趋势一致性后计算隶属度。也有资料对低优子集不作倒数转换，而在隶属度计算时作如下处理：

4 权重系数的选择

从专业技术上分析，实验研究中的多指标响应可分为主响应决定型、主响应突出型、响应加权型三类。前两类较易处理，本文讨论的是响应加权型多指标综合评价方法。

在综合评价方法中，各个指标不同的重要性，权重系数在相当一段时间内是由专家按主观方法确定的，因此称为“专家权”“经验权”。“客观权”权重系数是依靠数据驱动，利用多指标子集的数据开发了熵权法、标准离差法、信息量权数法、独立性权数法等十余种方法。权重系数的选择对评价结果影响较大，被看作是综合评价中的重中之重。

有些方法因过于繁复而难以推广。根据科学、简明、可操作性，笔者推荐采用改进的信息量权数法，其基本思想是根据指标变异性大小来确定客观权重，变异程度越大（即响应子集中yij值波动范围越大），其优、劣差距越大，信息量越多，在综合评价中的作用越大，权重越大。所以可直接利用各子集变异系数Cvj，经归一化后求权重系数；笔者认为，同时要计及指标子集的平均值yj对研究期望yj*的偏离，偏离度大的子集对综合评价优化的影响越大，其权重也应该越大。

子集变异影响的权重系数式中：yj为j指标的平均值；

Sj为j指标的标准差；

子集平均值偏离影响的权重系数：

笔者建议在此客观权重系数基础上，兼顾专业知识和经验仅作小范围调整，降低主观性过度干预。

二方法框架

对多指标综合评价理论概念描述仅限于基本思想、逻辑的合理，但方法框架，必须具体、清晰，以便于规范应用，见图1。

框架图解释如下：

（1）多指标试验设计

在实验研究中，还是推荐使用（UD）均匀设计。由于多指标综合评价优化的复杂性，建议实验样本量N和考察的变量因素M之比（N/M）在2～2.5范围内适当取大些。

图1 多指标综合评价方法框架

（2）结果和判断

多指标综合评价的指标的测试工作量很大，后续计算工作量也大，为少走弯路，在框架图中设置本节点。

由于均匀设计在实验考察变量的多维空间范围内均匀布点，试验设计本身就有优化的功能。针对专业开发的技术指标，相关技术标准，实验结果样本中应该出现接近或达标的响应值，如果没有出现这样的“好点”，也就是试验涉及的变量及范围选择有问题，实验结果没有接近优化值的区域，需要重新设计。对于多指标实验研究，只要有一个指标子集中没有出现“好点”，应予以充分重视，判断是否需要重新设计。

（3）各子集统计建模

子集二次多项式逐步回归建模，是综合评价集建模寻优的技术基础（采用其他模型拟合、映射的复杂对象，另行讨论）。

（4）统计检验

各子集模型的统计检验可以反映多指标实验的数据质量，模型的显著性，以及是否需要补充修整实验。不能有一个子集通不过检验，这是综合评价方法的必要条件。如果子集模型不可信，没有统计显著性，那么综合评价统计模型寻优就没有意义了。

（5）子集优化趋势一致性

实验研究指标在专业上数值越大越好——高优，数值越小越好——低优。在综合评价时各子集优化趋势应一致，将低优样本值作1/yij倒数变换。

（6）子集隶属度计算

经隶属度计算，各子集相应值消除了量纲及数量级的差异，并在[0,1]区间中确定了排序资格。

（7）数据计算权重系数

采用改进信息权数法求得权重系数wj，再根据专业知识、经验进行微调。笔者建议：“客观权”+“专家权”→“综合权”。

（8）综合评价加权和计算

采用改进简易评分公式计算获得降维至一维的综合评分集。

（9）综合评价集建模优化

采用二次多项式逐步回归建模寻优。

（10）统计检验

根据检验结果决定是否需要补充修整实验，是否需要采用人工神经网络反向传播（BP）算法、支向量回归（SVR）等其他方法比对计算、寻优。

（11）优化验证

综合优化工艺条件应予以实验验证，如果结果和综合优化模型预报不一致，可将此组实验作为补充修整实验，再进行统一建模。

（12）按要求编制编写技术文件

实验研究中的多指标综合评价方法和社会科学中的系统工程综合评价方法有所不同。图1方法框架中节点1，2，3，4是本方法的技术基础和必要条件；节点 5，6，7，8，9 是方法的主体；节点 10，11 是实验研究多指标综合评价方法的特点——及时检验、验证。

本方法框架适用于实验研究中采用统计模型寻优的多指标综合评价。

三应用案例

2016年1月4日，上海应用技术大学和上海化工研究院合作培养的专业硕士赵修显的课题立项：土壤中复合重金属化学固化技术研究。在曹卫宇、罗勇等导师的支持之下探索、学习试验设计和数据处理技术。同年6月份完成小论文初稿“基于一种硫磷复配体系的土壤化学固定技术研究”，作者是赵修显、陈东辉、曹卫宇、罗勇、徐静安（刊登于《应用化工》2017年第2期上）。在近半年时间内，我们交流讨论10余次，培育了本应用案例。本讲义侧重方法程序，对其进行引用并解读。

1 实验方案简介

本项目以硫脲和羟基磷酸钙复配体系为固定剂，对土壤中重金属镉（Cd）、铜（Cu）、汞（Hg）、铅（Pb）和锌（Zn）进行固定化研究，应用U10*(108)均匀设计表安排试验。考察硫脲用量X1、氢氧化钠用量X2、羟基磷酸钙用量X3、固定时间X4、土壤含水率X5等5个实验因素。研究目的是寻求综合优化的复配型固定剂及固定化工艺条件。这是一个多因素多响应指标的综合优化工程技术开发项目，由于实验工作量、时间等限制，采用了效率较高的均匀试验设计，而且选用了U10*(108)表，其样本率=样本量/因素数=10/5=2，比较低。为提高实验数据的稳定性采用双样实验。均匀试验设计及部分试验结果见表4。

表4 均匀设计试验及结果

2 实验结果判断

对5个子集镉、铜、汞、铅、锌固定率的直观分析均出现大于期望值90%的结果。以出现大于90%样本量最少的镉为研究对象进行分析，见表4。由于均匀设计是在试验的空间中“均匀布点”，其试验设计方案本身就有获得“好点”的优化概率。出现No.7等“好点”，表明试验范围内存在优化区域，试验因素及其范围的选择合理，为数据处理进一步优化提供了基础。

3 子集建模

采用DPS数据处理二次多项式逐步回归法建模。

限于篇幅，本文仅列出y1镉子集统计模型建模的计算过程，y2铜、y3汞、y4铅、y5锌的子集建模过程省略。

4 子集统计检验

各子集统计模型中变量项的偏相关系数显著水平P值均小于0.05，检验显著，其他统计量汇总由表5所示。

由表5可见，对子集多元回归统计检验，统计模型显著性水平P＜0.01，高度显著；各子集模型中变量偏相关系数的显著水平P＜0.05，显著；各子集模型拟合剩余标准差S的相对标准差小于0.2%，正常；调整决定系数是对模型的决定系数作自由度的调整，后者接近且逼近1正常；残差统计调整量d满足 0＜d＜ 4，d 值接近 2，处于 1～3 之间，表明残差独立性正常。上述统计量检验通过。

5 优化趋势一致性分析

本案例为对土壤中重金属化学固定的配方和工艺研究，多指标相应固定率均为高优，不必变换。

6 子集隶属度计算

由表4的固定化率代入隶属度计算公式（2），即得到y1镉的隶属度，现把5个指标的隶属度计算结果汇总于表6。

7 权重系数选择

本案例前期工作还是按传统方法开展根据专业知识及获得的采用“经验权”实验数据，人为地选择了3组权重系数进行试算，最后选择能兼顾各子集优化的权重分配：

依靠数据驱动、采用改进信息量权数法，将另行讨论。

8 加权和计算

将表6子集隶属度按样本序号代入改进简单评分公式（7），得到综合评分隶属度集表7。

表5 子集统计量汇总

表6 子集隶属度汇总

9 综合建模优化

采用DPS数据处理二次多项式逐步回归法建模，为节省篇幅仅列出计算结果。

10 统计检验

根据DPS软件的拟合结果，得出回归方程的P=0.0052717，决定系数R2=0.999 94，剩余标准差S=0.002 0，调整后决定系数 Ra2=0.999 944，Durbin-Watson统计量d=1.8053，与2接近。模型拟合在统计上有显著意义，预报最优工艺条件见表8。

11 优化验证

统计模型（8）预测最佳工艺组合条件综合评分隶属度Y=1.1001。需要说明的是，此处Y≥1.00在理论上是可能的。因为在各子集隶属度计算时，把实测yimax的隶属度计算定义为1，模型优化值完全可能超过样本的实测好点值。

对表8优化工艺进行验证实验No.11各子集固定化率见表9。

表7 综合评分集

表8 最高指标时各个因素组合

表9 验证No.11各子集固定化率

由表9数据可以按公式（2）计算得到相应子集的隶属度，并由公式（7）计算获得综合评分验证优化值，见表10。

模型（8）预报最优工艺条件Y=1.100 1，验证实验综合评分为0.978 34，则预报相对偏差（1.100 1-0.97834）/0.97834=12.4%。尽管表9各子集重金属固定率均已达到大于90%的期望值，但预报相对偏差12.4%对于实验研究的统计模型而言显得偏大。把No.11验证实验和U10*（108）实验数据一起建模，对统计模型进行修整。计算结果见式（9）。

表10 验证No.11各子集隶属度及综合评分

拟合回归方程P=0.001 318 1，决定系数R2=0.996 095，剩余标准差S=0.032 4，调整后决定系数Ra2=0.986 982，Durbin-Watson 统计量 d=1.214 3,模型拟合在统计上有显著意义。

现有一组实验数据No.12可用于检验模型(9)的预报功能，实验条件见表11，实验结果见表12。

表11 验证No.12工艺条件

表12 验证No.11各子集固定化率

将表12数据由定义式(2)计算得到相应子集的隶属度，并由公式(7)计算获得综合评分值，见表13。

将表11工艺条件代入模型(9)，可得预报值Y=1.027 7，而实验验证（表13）的综合评分为0.954 1，预报相对偏差小于8%。上述模型(8)的预报相对偏差为12.4%，可见模型(8)修整为模型(9)，预报验证的相对偏差得到较大改善，能被土壤改性专业的工程技术研究所接受。

12 初步结论

通过均匀设计U10*(108)的10次实验，追加No.11进行优化验证、学习修整，再追加No.12验证实验，获得了具有显著意义的模型(9)，检验了多指标综合评分采用改进简易公式评价方法的可能性；追加的No.11，No.12的多指标固定化率见表9及表12，5个指标的固定化率全部大于期望值90%，证明了多指标综合评分建模综合寻优的可操作性。