组合方法设计效度分析及医学综合评价问题中的应用比较*

潍坊医学院“健康山东”重大社会风险预测与治理协同创新中心(261053)

李望晨 刘建明 滕文杰 张利平△ 王在翔△

【提 要】 目的 从医学综合评价方法论视角，探索组合设计及效度分析方法，验证其在卫生问题中的应用可行性。方法 以代表方法为基础，经过相容性和相关性分析，基于平均值、信息集成、秩和赋权和相关赋权组合设计，在有效度分析基础上制定优选依据。由某综合医院医疗质量综合评价案例验证可行性。结果 单项方法结果相容、组合设计意义明确、有助于结果收敛一致；四类组合方法与单项方法相关系数均值分别为0.921，0.891，0.921，0.921。平均值、秩和赋权和相关赋权组合设计方法有效，有效度均为0.00217>0。最终将文献排序结果修正为K1，K2，K7，K9，K3，K6，K5，K10，K4，K8。结论 组合方法设计及效度优选法可用于卫生综合评价问题。实际资料、单项方法与组合设计及有效性有关系，须作适配、比较与论证。

在综合评价问题中，方法适配条件和机理性能虽有差异，但建模设计与结果形式都有导向合理性[1]。由于单项方法评价结果非唯一或非一致性，组合设计方法探索与比较引起统计工作者关注。组合方法用于单项方法评价结果之间折中或修正，经过组合设计得出更符合实际的修正结果，比起单项方法结果更易于接受。然而不同组合方法评价结果仍有差异，于是须做有效性优选分析。在卫生或医院管理领域，单项方法惯用于实际问题[2]，组合设计的有效性探索并不多见。下面立足于医疗卫生工作背景，探讨评价方法组合设计相容性问题、有效性分析和优选途径案例验证。首先阐述组合设计及有效性分析流程，然后由医疗质量案例逐步验证有效可行性。须承认，理论上无固定最优组合方法，组合设计及有效性会受实际资料或条件影响[3]。因此本文以单项经典方法为基础，侧重组合方法设计、有效性分析及应用可行性验证。

组合方法

综合评价是多指标测评系统中，由数学模型将群体对象测量信息集结运算，以某种“合成指标”结果形式制定排序依据。由于指标量纲、单位和数量级差异而无法直接比较，须在同趋势或无量纲预处理以后再合成。例如加权求和法是对象按指标测量值加权合成总分，按总分高低排序。TOPSIS法是构建极端理想对象，计算与理想对象距离，再由相对贴近度排序。灰色关联度法是构建理想对象并计算关联系数，再由灰色关联度排序。秩和比法是将对象按每个指标优劣排序，再由次序加权合成为平均秩排序。在对方法组合设计之前，须讨论单项方法之间相容性，必要时经剔除后再组合设计。组合设计是多样的且没有必要穷举阐述，下面以“少数服从多数”思想列述四类组合设计方法。

1.平均值法 假设根据m种方法、对n个对象进行综合评价，汇总这些方法排序结果。标记排序结果矩阵(xij)m×n，其中xij表示由第i种方法对第j个对象的排序结果。

其中，第1种方法排序结果(x11，x12，…，x1n)、第2种方法排序结果(x21，x22，…，x2n)、…、第i种方法排序结果(xi1，xi2，…，xin)、…、第m种方法排序结果(xm1，xm2，…，xmn)。

2. 信息集成法 假设根据m种方法、对n个对象进行综合评价，汇总这些方法评价结果。评价结果是排序的依据，诸如“总分”、“贴近度”、“关联度”和“平均秩”等。标记评价结果矩阵(xij)m×n，其中xij表示由第i种方法对第j个对象的评价结果。

4. 相关赋权法 假设根据m种方法、对n个对象进行综合评价，汇总这些方法排序结果。标记排序结果矩阵(xij)m×n，其中xij表示由第i种方法对第j个对象的排序结果。

效度分析

假设根据m种方法、对n个对象进行综合评价，汇总这些方法排序结果。标记排序结果矩阵(xij)m×n，其中xij表示由第i种方法对第j个对象的评价结果。

对于n个对象，假设(xi1，xi2，…，xin)为第i种方法排序结果，(x*1，x*2，…，x*n)为正确排序结果。若假设第i种方法的排序结果正确，那么在剩余m-1种方法排序结果中找出与(xi1，xi2，…，xin)最为接近者，将排序位置与之一致的对象个数记为ni。

又假设组合设计方法有l类，其中第q类组合方法排序结果为(xq1，xq2，…，xqn)，q=1，2，…，l。同样假设(xi1，xi2，…，xin)为正确排序结果。将(xq1，xq2，…，xqn)与(xi1，xi2，…，xin)进行比较，将排序位置与之一致的对象个数记为nq。np≥ni时组合有效、nq≤ni时组合无效。

定义εqi=(nq-ni)/n为第i种方法是正确排序情况下，第q类组合方法相对有效系数[6]。类似地，分别以m种方法为对象，计算l类组合方法与之相对有效系数εqi，q=1，2，…，l。

由于第i种方法排序结果不能预知是否正确，于是假设正确时的概率为pi。

如果第i种方法排序结果(xi1，xi2，…，xin)与m种方法排序结果越一致，则正确可能性越大。不妨由第i种和第k种方法排序结果计算相关系数rik，由此描述一致性。

实际上，还可由l类组合方法与m种方法评价结果相关性来粗略描述有效性。

案例实证

由案例验证组合设计与效度分析可行性，为医学领域类似问题提供借鉴。文献[7]中对某市综合医院的10个科室，采用多种方法建立医疗质量评价模型。参照指标体系及权重、待评科室K1，K2，K3，…，K10测评数据，见表1。以单项方法结果为基础，分别对四类组合设计的有效性进行实证分析，运算步骤均在excel 2007、SPSS 20.0软件中完成。

表1 指标体系、权重及测评资料

1.主要结果 由加权求和、TOPSIS、灰色关联和秩和比方法建立模型，依次得到科室K1～K10评价依据(总分、贴近度、关联度、平均秩)并由此排序[7]，见表2。

由单项方法排序结果(表2)计算Kendall协调系数(kendall′w系数=0.006)，结果表明方法之间相容性有统计学意义(P=0.985>0.05)，继续计算Spearman等级相关系数，发现方法之间等级相关性有统计学意义(P<0.01)，于是不必剔除个别方法，可全部纳入组合设计，见表3。

表2 单项方法、评价依据及排序结果

表3 单项方法Spearman等级相关系数

**：P<0.01.

2.平均值组合法 将表2中排序结果反向赋分、计算平均值和组合排序，见表4。

3.信息集成法 将表2中评价依据，分别进行线性归一化、信息集成、排序，见表5。

4.秩和赋权法 由表5中评价依据一起编秩并求秩和为206，199，197，218，计算权重0.248，0.257，0.260，0.235，将表2中排序结果加权合成，见表6。

5.相关赋权法 由表3中相关系数计算方法权重，加权求和(0.253)、TOPSIS(0.234)、灰色关联(0.262)、秩和比(0.251)。将表2中排序结果加权合成，结果见表6。

6.有效性分析 将组合方法的排序结果进行汇总，可以认为相容性较好，见表7。

表4 反向赋分、平均值及排序结果

表5 线性归一化、信息集成及排序结果

表6 合成排序结果

*：()内数据为排序结果.

表7 组合方法排序结果

以加权求和法为正确排序，其余方法与之接近者为灰色关联法，8个对象与之排序一致。比较组合方法排序一致性，其中平均值法有10个对象、信息集成法有6个对象、相关赋权法有10个对象，则加权求和法与组合方法相对有效系数分别为0.2，-0.2，0.2。以TOPSIS法为正确排序，秩和比法有3个对象与其排序一致，则相对有效系数分别为-0.1，-0.1，0.1。同理，灰色关联与秩和比法情形下相对有效系数分别为0，-0.4，0与-0.1，-0.1，-0.1。见表8。

表8 组合方法相对有效系数

由表3，已知按相关系数均值分别对单项方法赋予权重0.253，0.234，0.262，0.251，即灰色关联法与其他方法结果更相容，在组合设计中作用更大。由此计算组合方法期望有效度分别为0.00217，-0.20385，0.00217，0.00217，则平均值、秩和赋权和相关赋权法等效。

由表2和表8，计算组合方法与单项方法Spearman等级相关系数(P<0.01)，结果见表9。

表9 组合方法与单项方法相关系数

**：P<0.01.

计算四类组合方法与单项方法相关系数均值分别为0.921，0.891，0.921，0.921，可看出平均值、秩和赋权和相关赋权组合法与单项方法更密切。因此，在单项方法最优组合设计基础上，对医疗质量“优→劣”修正排序为K1，K2，K7，K9，K3，K6，K5，K10，K4，K8，其中K1最好、K8最差。

讨 论

以经典方法为基础，经平均值、信息集成、秩和赋权和相关赋权法设计组合模型，借鉴文献阐述探讨组合设计优选策略。最后由医疗质量评价案例资料验证，某医院10个科室医疗质量评价结果中，方法结果相关有统计学意义(P<0.01)。由于机理视角而导致结果差异，经过组合设计途径将四种方法进行折中，但是组合机理仍会引起结果不同，经有效性分析继续筛选[6]，最终三种组合途径修正医疗质量评价结果科室排序K1，K2，K7，K9，K3，K6，K5，K10，K4，K8，其中K1最好、K8最差，为类似工作提供方法论依据。

1.平均值组合法是将单项方法对全部个案评价以后的排序结果反向赋分、组合为均值，由此均衡单项方法结果和重新排序个案。

2.信息集成组合法是将单项方法对全部个案评价结果合成，不同方法评价结果(即排序依据)信息表现形式不同，如文中求和法“总分”、TOPSIS法“贴进度”、灰色关联法“关联度”、秩和比法“秩次”，于是合成之前须作归一化处理，然后将不同方法信息取均值并合成排序，信息利用充分，可与平均值组合法类似解释。

3.秩和赋权法是将单项方法评价结果(即排序依据)归一化处理，将不同方法全部个案评价结果归一化值合并编秩，再将每种方法全部个案秩次信息加总。其解释依据是单项方法结果之间有差异，如果秩和太大则认为与其他方法“差异悬殊”，将秩和倒数取为较小权重，该方法排序结果予以相应“惩罚”，最后所有方法结果加权组合为新的排序值。

4.相关赋权法是将每种单项方法之下全部个案的排序结果(或归一化结果)，计算等级相关系数(或积差相关系数)，它反映与所有方法评价结果的相似程度。由相关系数作为权重解释为，如果某个方法排序结果与其他方法“更相似”则应“激励”并赋予较大权重，所有方法加权组合为新排序值。

组合设计途径有“结果之间求同存异”、“少数服从于多数倾向”、“部分趋同于整体稳定”导向性特点。组合方法可以改进单项方法不足，理论和应用上是可行的，这些组合方法在应用中仍然可以继续作效度分析。文中第三部分给出效度分析方法并进行验证(理论依据详见文献[5])，但是最终优选结论与实际资料计算有关。经验证，结合经典单项方法、组合方法验证和组合方法效度优选等实施途径，认为平均值、秩和赋权和相关赋权组合法最合适，信息利用更为周全、修正评价结论更为妥当。指标类型、资料特点、样本容量和方法机理是前提条件，组合方法有效性分析有继续探讨意义。