自由度的认识与应用
2011-03-09程志明韩兆洲
程志明,韩兆洲
(暨南大学 经济学院,广州 510632)
在推断统计学中,许多统计检验都会涉及到自由度的概念。然而大多数统计学教材介绍自由度时,往往一笔带过,没有给出明确的定义或足够的解释。正如一位学者所说的那样:自由度,统计学中一个难以捉摸的概念。对于初学者来说,自由度就像是一个黑箱子,很难知道里面究竟是什么。本文将对自由度的定义作一个较全面的综述,在此基础上,给出自由度的科学定义。通过列举自由度在统计学中的应用,旨在全面认识自由度。
1 自由度的综述和科学定义
关于自由度的定义,大多数统计学教材中解释很少,仅有的文献对自由度的定义也显得晦涩难懂。
(1)从独立性方面出发的定义
James和Glenn(1976)定义自由度为:确定一个几何体或系统所必需的独立的坐标或参数的个数。这个定义是从几何和物理的角度出发的。Mill、Harlow和Essex(1990)指出自由度在统计中有几种不同的意思,自由度被Fisher引入统计学中,Fisher将它看作类似于动态系统中的自由度的概念,在这种情况下一组样本的自由度就是系统结构中可以任意指定数值的变量的个数。Gravetter和Wallnau(2008)认为:自由度是指样本中有多少个数是独立的,并可以自由变换的。谢启南、韩兆洲(1991)认为自由度是指在一组数据中可以自由取值的个数。贾俊平(2007)指出,自由度可以解释为独立变量的个数,还可以解释为二次型的秩。显然,上述五种定义都强调了自由度的“独立性”。
(2)从样本量方面出发的定义
Mayhew(2004)则从样本量和显著性方面说明自由度,他认为在统计检验中自由度有时直接等于样本容量,有时却要根据样本容量来计算;对不同的显著性检验,自由度的计算是不一样的,正确地计算自由度是进行显著性检验的基础。Everett(2002)解释说,当样本被用来估计总体参数或计算统计量时,实质上自由度是指样本中独立信息的数量。例如,给出一个2×2列联表的行和与列和,这时四个频数只有一个是可以自由变化的,所以该列联表只有一个自由度。Glenn和Littler(1984)给出了更好的定义,因为他们同时考虑到了独立性和样本大小。他们定义:在统计量中,自由度就是所提供的数据中独立的信息的数量,自由度等于总样本容量减去相关总体参数或约束的个数。例如,独立地从总体中抽取n个个体作为样本,这些样本的自由度为n;如果样本均值x已知,样本的自由度就为n-1了,因为一个观察值可以由其他的观察值来确定。如果总体均值μ已知,这时样本的自由度仍是n,因为一个xi无法由其他观察值确定。自由度是一个很重要的概念,它确定了样本的有效容量。
(3)关于自由度的一般定义
Joseph(2008)认为:自由度是在不违背约束条件前提下可以随意变化信息的数量。
(4)关于自由度取值的不同观点
Kotz和Johnson(1982)认为,自由度一般是正整数,但有时它会被近似为一个小数,还有一个偏卡方分布的自由度为零。但是,Spiegel和Stephens(1999)将统计量的自由度V定义为样本中独立观察值的个数N减去要用样本来估计的总体参数的个数K,V=N-K,要求V一定是正整数,不能取非正整数。
(5)关于自由度计算方法
张宏广和郝慧玮(2006)总结了自由度计算的四个方法:①利用自由度的定义求自由度的个数;②自由度的个数等于样本容量减去限制因子的个数;③看总体参数估计量中运用了几个样本统计量,其自由度就等于样本容量减去几;④自由度等于统计量二次型的秩。
上述从不同角度对自由度的概念与定义进行了阐述,我们认为,在推断统计学中,自由度是建立在统计量之上的概念,它是统计量的数学特征。至此,我们可以给出推断统计学中自由度的科学定义:自由度是指在一组样本数据中,能够自由取值且不违反给定约束条件的样本数值的个数。这样,我们就较科学地将实际样本容量和自由度区别开来。下面将进一步举例说明自由度在不同方面的应用。
2 自由度的应用
(1)几何中的自由度
我们从熟悉的几何知识入手,可以对自由度的概念有一个直觉上的认识。平面上的点(x,y),其中x和y的取值是可以随意变化的,要在平面坐标上找到一个点,我们需要知道两个信息:横坐标x和纵坐标y的值。所以平面上的点的自由度为2。曲线y=3x+1上的点(x,y),此时x和y的取值是不能同时随意变化的,只要给定了其中一个值,另一个值也就确定下来。也就是说,要确定曲线y=3x+1上的一个点,我们只要知道一个信息就已足够:x的值或y的值。于是曲线y=3x+1上的点的自由度为1。类似地,平面x+2y+3z=9上点的自由度为2。
(2)样本方差的自由度
许多教科书在列出样本方差的计算公式时都没有说明分子n-1(n为样本容量)就是自由度,也很少解释清楚为什么是除以n-1而不是n。
假设一个容量为10的样本,如果没有其他关于该样本的信息或约束的话,任意从总体中抽取的10个观察值都可以形成这样的样本。也就是说,这10个观察值可以任意地被从总体中抽取的其他观察值所取代。当我们想要计算样本方差时,必须先算出样本均值,设=35。此时,这10个观察值就不能任意地被总体中抽取的其他观察值所取代了。因为n=350,10个观察值的总和必须等于350。这样一来,样本中只有9个观察值可以随意改变,因为如果任意9个观察值确定了,第10个观察值也被这9个值确定了。因此在计算样本方差时自由度等于9。有效样本容量被减少为n-1,在此基础上,我们可以很好地理解为什么作为均方差的样本方差计算时,要用自由度来平均而非用n平均。这也说明了如果从样本数据中估计了一个总体参数,自由度就会减少一个。
因为样本方差的自由度为n-1,所以在比较两个独立总体的均值大小的t检验中,合并方差的自由度等于n1+n2-2= (n1-1)+(n2-1);在比较两个独立总体的方差大小的F检验中,F统计量的自由度为(n1-1,n2-1),其中n1,n2分别为两个样本的容量。
(3)方差分析和回归中的自由度
因为残差平方和SSE等于K个处理的组内离差平方和,所以残差的均方差有(n1-1)+(n2-1)+…+(nk-1)=n-k个自由度,这里运用了自由度的可加性。值得注意的是,总自由度n-1=(k-1)+(n-k),它被分解成组间均方差的自由度与残差均方差的自由度的和。
类似地,自由度也出现在多元回归分析的相关内容中。假设k为解释变量(包括常数项)的个数,调整R2=1-(SSE/nk)/(SST/n-1),SSE和SST分别用各自的有效样就可以确定整张表的信息内容。也就是说列联表有(r-1)(c-1)=(2-1)(3-1)=2个自由度。可以想象,一张r行c列的列联表,在各行和与列和给定的情况下,我们只要填上任意(r-1)行(c-1)列的频数,表中其他的频数也会随之确定下来,样本容量来平均。
(4)独立性检验中的自由度
在独立性的卡方检验中,列联表是必不可少的。我们运用列联表来说明其中自由度的思想。见表1,一张2×3的列联表,它的行和与列和已经给定了。如果不能给出更多的频数,这张表是有空缺的。如果填入一个频数,如(n2,m2)=45,另一个频数(n1,m2)就可以被确定(n1,m2)=45。倘若再给出一个频数,那么整个列联表就填列完整了。如令(n1,m1)=15,则(n2,m1)= 5,(n2,m3)=20,(n1,m3)=20。对于2行3列的列联表,只要给出2个独立的必要的信息,我们就可以确定整张表的信息内容。也就是说列联表有(r-1)(c-1)=(2-1)(3-1)=2个自由度。可以想象,一张r行c列的列联表,在各行和与列和给定的情况下,我们只要填上任意(r-1)行(c-1)列的频数,表中其他的频数也会随之确定下来,所以列联表有(r-1)(c-1)个自由度。
表1:
(5)拟合优度检验中的自由度
最后,我们来考虑一个卡方拟合优度检验。假设从一个服从二项分布B(n,p)的总体中抽取50个独立个体作为样本,已知n=6,p=0.7,于是总体均值μ=np=4.2。因为n=6,所以样本数据可以分为7类,xi=0,1,2,3,4,5,6。每一类子样本的频数代表着卡方检验中的一个信息。但是,因为这7个频数的总和必须等于50,所以其中只有6个频数可以自由变化,而第7个频数取决与其他6个频数的值。因此,卡方统计量的自由度为k-1=7-1=6。
现在假设事件成功概率p是未知的,总体均值μ也就不知道了。这种情况下我们就需要根据样本数据来估计μ,总体参数的估计会损耗一个自由度。假设样本的均值计算得x=4.4。于是这7类的频数不仅其总和要等于50即f1+f2+…+ f7=50,而且还要使得0f1+1f2+2f3+…+6f7=4.4*50=220。7个频数必须满足这两个等式,因此自由度就减少为7-2=5。这个例子有助于我们理解一个原则:每从样本中估计一个总体参数,自由度就会减少一个。
3 结论
本文给出了自由度的科学定义:自由度是指在一组样本数据中,能够自由取值且不违反给定约束条件的样本数值的个数。同时指出自由度就是有效样本容量,强调实际样本容量与有效样本容量的区别。最后列举出自由度在不同方面的应用。本文在认识自由度方面,希望对读者有所裨益。
[1]黄学梁.浅谈“数理统计”中的自由度[J].咸宁学院学报.1982(S1).
[2]谢启南,韩兆洲.统计学原理[M].广州:暨南大学出版社,1991.
[3]张宏广,郝慧玮.自由度的求法[J].承德民族师专学报.2006(2).
[4]贾俊平,统计学(第三版)[M].北京:中国人民大学出版社,2007.
[5]Gravetter and Wallnau.行为科学统计(第七版)[M].北京:中国轻工业出版社,2008.
[6]Everett.The Cambridge Dictionary of Statistics(2ndEdition)[M]. Cambridge,UK:Cambridge University Press,2002.
[7]Glenn,Littler.A Dictionary ofMathematics[M].Totowa,NJ:Barnes and Noble Books,1984.
[8]James,Glenn.Mathematics Dictionary(4thEdition).New York:Van Nostrand Reinhold,1976.
[9]Joseph.Degrees of Freedom[J].Teaching Statistics,2008,30(3).
[10]Mayhew.A Dictionary of Geography(3rdEdition)[M].Oxford,UK: Oxford University Press,2004.
[11]Mill、Harlow,Essex.A Dictionary of Statistical Terms(5thEdition) [M].New York:Wiley.
[12]Kotz,Johnson.Encyclopedia of Statistical Sciences[M].New York: John Wiley and Sons,1982.
[13]Spiegel,Stephens.Schaum’s Outline of Theory and Problems of Statistics(3rdEdition)[M].USA:McGraw-hill,1999.