类别数据拟合优度检验功效模拟

刘遵雄

（华东交通大学 信息工程学院，南昌330013）

0 引言

类别数据广泛应用于教育、心理和经济等社会生活方面，如社会调查和心里测验等领域中使用的态度量表（Likert型数据）[1]。当需要考虑收集的一组类别数据符合何种分布问题时，一般采用拟合优度检验方法。类别数据拟合优度检验很多，有卡方（χ2）检验和经验分布类检验（如Kolmogorov-Smirnov检验）等，其中卡方检验是离散类别数据分布检验的首选，而经验分布类检验适用于连续分布数据的检验。

拟合优度检验的功效（power）是指备择假设H1为真时检验方法拒绝零假设H0的能力，定义1-β，其中为犯第二类错误的概率。类别数据拟合优度检验功效无法进行解析表示，一般通过蒙特卡罗模拟来获得功效近似值[2，3]。

本文在对类别数据拟合优度检验方法进行研究的基础上，使用卡方、Mann-Whitney和Kolmogorov-Smirnov检验方法进行10单位（实验结果种类）的均匀零假设分布对不同备择分布数据的拟合优度检验，计算检验方法的功效，并给以分析说明。

1 检验统计量及实验设置

1.1 类别数据拟合优度检验统计量

卡方（χ2）检验法是最重要而典型的类别数据拟合优度检验方法，其对观察频数及期望频数间的差异进行比较，并利用差异的单调函数来衡量给定分布拟合数据的效果。卡方检验统计量表示为：

其中k是实验结果种类数，Oi和Ei分别是第i种实验结果的观察和期望频数（在以下统计量中出现时意义相同）。

Kolmogorov-Smirnov（KS）检验[4]比较样本的经验分布函数（empirical cumulative distribution function,ecdf）和零假设H0情况下的理论经验分布函数（cumulative distribution function,cdf）值差异的最大值，其中cdf可以看作服从[0，1]的均匀分布（U(0，1)）的随机变量。对于离散类别数据，Kolmogorov-Smirnov检验统计量S：

Mann-Whitney（MW）检验[5]假设两样本分别来自除总体均值差别外完全相同的两个总体，目的是检验这两个总体的均值是否有显著的差别。假设服从零假设分布和备择分布的两样本数各自为n0和n1，将这两组样本混合后进行秩排序，得到两组样本的秩和R、R，计算U统计量：

1.2 检验功效模拟实验设置

使用蒙特卡洛模拟方法求得各拟合优度检验的功效，选定零假设分布为10种实验结果的均匀分布，备择分布分别为递降分布、三角形分布和扁平分布（其10种实验结果的发生概率见表1）。模拟实验中的样本大小分别为10，20，30，50，100和200（即对应零均匀分布下每种实验结果的观察数分别为1，2，3，5，10和20）。这些检验的功效是由10000次模拟实验得到的，每次模拟将产生样本数不同的零分布和备择分布数据，检验的置信水平设为0.05。

表1 检验功效模拟实验零假设分布及备择分布

作用于类别数据的这些统计量的模拟分布是离散的，为了获得置信水平0.05下的检验功效，这里采用线性插值方法[5]。假设α为检验的置信水平，α1为小于α的一个置信水平，α2为大于α的一个置信水平，则α置信水平下检验的功效计算为：

2 实验结果分析

2.1 递降备择分布

当备择分布为递降分布时，在不同样本情况下，通过蒙特卡洛模拟求得三种拟合度检验χ2、KS和MW检验的功效（如图1），可见MW检验功效最好，KS检验功效次之，χ2检验功效最差。在样本大小至少是每个实验结果发生次数10以上时，三者的功效基本相当（在0.87以上）。当样本大小为200时，三者的功效都几乎为1。

图1 均匀零分布递降备择分布下三种检验的功效

3.2 三角形备择分布

当备择分布为三角形分布时，在不同样本情况下，三种拟合度检验（χ2、KS和MW检验）的功效如图2。从中可以看出，当类别数据的分布为三角形时，判别该数据是三角形分布还是均匀分布，三种检验效果都不很好（即检验功效低）；同比，χ2检验功效较好，特别是样本大小为200时，χ2检验功效趋近1（为0.9745），KS检验的功效等于0.579。

2.3 扁平备择分布

在扁平备择分布情况下，三种拟合度检验χ2、KS和MW检验对于不同样本大小的功效如图3。同比三角形备择分布，三种检验的功效更低。使用这三种检验方法检验扁平分布数据时，不能很好地将扁平分布数据与均匀分布数据分开。在此条件下χ2检验的功效稍好

图2 均匀零分布三角形备择分布下三种检验的功效

图3 均匀零分布三角形备择分布下三种检验的功效

当样本大小为200时，χ2检验的功效为0.664。而不管样本大小如何，KS和MW两检验的功效都很低。

3 结论

使用三种方法进行类别数据拟合优度检验，通过蒙特卡洛实验获得检验功效近似值，结果显示没有任何一种拟合优度检验方法适合任何情况下的数据拟合检验，也就是说要针对具体问题选择适当的拟合优度检验方法。在零假设均匀分布，递减、三角形和扁平备择分布情况下，三种拟合优度检验（χ2、KS和MW检验）中，χ2检验是适应性较强的类别数据拟合优度检验方法。同时本文将三种方法的检验功效评级列于表2，为应用人员选择拟合优度检验方法提供参考。

表2 拟合优度检验功效评级