基于最小化K-L信息的假设检验
2010-09-07张开广孟红玲兰社云
张开广, 孟红玲, 兰社云
(1.郑州师范高等专科学校3S研究所 河南郑州450044;2.中国人民解放军信息工程大学测绘学院 河南郑州450052;3.华东师范大学课程与教学系 上海200241)
基于最小化K-L信息的假设检验
张开广1.2, 孟红玲1,3, 兰社云1
(1.郑州师范高等专科学校3S研究所 河南郑州450044;2.中国人民解放军信息工程大学测绘学院 河南郑州450052;3.华东师范大学课程与教学系 上海200241)
将最小化的K-L信息D(p,p0)应用到假设检验中,讨论简单对简单和简单对复合假设似然检验的误差概率幂指数收敛问题,证明了假设似然检验误差概率是幂指数收敛的.
概率测度;K-L信息;假设检验;决策域
0 引言
K-L信息最小化自从由Kullback[1]提出以来,已被广泛地应用于各种统计推断问题,如密度估计、频谱分析、分类和图识等问题.K-L信息最小化本身也得到了较好的研究,文献[2-3]研究了K-L信息最小化的公理化结构和性质,讨论了可测函数K-L信息最小化问题.
本文主要讨论最小化K-L信息的假设检验中的应用问题.以K-L信息D(p,p0)为距离量度,当D(p, p0)>r否定p0.由文[3]知,若有统计量T(X)=(T1(X),…,Tm(X))T,使Ep(T(X))=θ,则D(p,p0)> DK-L(θ,p0).一般的,在假设检验中,除非有足够的证据,否则不做否定推断,故可以用DK-L(θ,p0)>r时否定p0来代替D(p,p0)>r时否定p0.
关于DK-L(θ,p0)的估计,设X是一组观察值,T(X)是θ的无偏估计为具有n次独立观察值θ的无偏估计.又由文[3]知,DK-L(θ,p0)的估计为
λ^0存在唯一,并且也是λ的最大似然估计.检验准则为DK-L(θ,p0)>c时否定p0,其中c为检验水平.
关于分类,对母体有r个互斥的假设Hi∶p=pi,i=1,…,r,以DK-L(θ,pi)为距离度量,若DK-L(θ,pi)=则接受Hi,即归入i类,确定母体分布为pi(x).
1 简单对简单的假设检验
要验证的假设为
引理1记在的约束条件下,有
使得D(p,p0)和D(p,p1)同时达到最小值
对假设(2),因D K-L(θ,p0)-D K-L(θ,p1)=θ.且当p=p0时θ<0,当p=p1时θ>0,因而可用作为否定域,因为是θ的无偏估计量,所以统计量
定理1以log为检验统计量所做的检验,检验决策域是
其中,u为H0的接受域,uc为H0的否定域,以α,β表示相应的第一、二类错误概率,两类错误概率是指数幂收敛的,并且有α≤exp[-DK-L(c,p0)],β≤exp[-DK-L(c,p1)].
证明
当c=-D(p0,p1)时,DK-L(c,p0)=0,当c=D(p1,p0)时,DK-L(c,p1)=0,又DK-L(c,p0),DK-L(c,p1)是c的严格下凸函数,故当-D(p0,p1) 推论1当具有n次独立观察时,以pn表示p的n次乘积分布,在约束为=nθ,统计量的临界域为 且其两类错误概率α′n,β′n满足 定理2,其中,a为任意给定常数, 证明 记E(c)=min[DK-L(c,p0),DK-L(c,p1)],则macx E(c)=E(c0),由DK-L(c,pi)(i=0,1)的严格单调性知,存在c0使得DK-L(c0,p0)=DK-L(c0,p1),则c0=0,E(c0)=mλax[-log M(λ)]=-mλin[log M(λ)]= -logρ,所以, p0(x)=pl0(x),在P(T,θ)中是使得K-L信息最小化的分布密度.一般的,可以将检验l0变成检验标准形式λ=0,考虑假设 其中,ΩH1=λ∶λ∈Ω0,D(Pn,P0)≥δ,因有D(pλ,p0)=DK-L[θ(λ),p0],故对(1)中为检验统计量,可做如下决策域 定理3 证明由于是θ的强相容估计是θ^(n)的连续函数,所以 推论2记为真,有 引理2[3]设X为实值随机变量,{Xi}(i=1,…,n)为n次独立观察变量,,记 其中B(t)=E[exp(tX)],则 1)当a≤E(X)时,p(sn≤na)≤[m(a)]n, 2)当a≥E(X)时,p(sn≥na)≤[m(a)]n, 且当a≠E(X)时,m(a)<1. 定理4 其中0<γ<δ,且大括号中项小于1. 证明 若λ∈ΩH1,则r<δ≤-λT·θ(λ)-log M(λ),所以,r+log M(λ)<λT·θ(λ).再由引理2知,βn,λ≤[Eλ(a)]n,其中Eλ(a)<1, 象简单对简单的假设检验那样,αn的指数幂收敛性一般也是可以成立的,在一定正则条件下最大似然估计具有指数幂收敛性,是最大似然估计λ^(n)的连续可导函数,因而也有指数幂收敛性. 所以由(11),(12)所确定的检验等价于似然检验. [1] Kullback S.Information Theory and Statistics[M].Now York:Wiley,1959. [2] 孟红玲,乔春平,张开广.正态分布参数函数的估计[J].郑州大学学报:理学版,2005,37(2):38-40. [3] 于向英,孟红玲,张开广.可测函数的K-L信息最小化[J].郑州大学学报:理学版,2006,38(3):28-31. [4] 陈希孺.数理统计引论[M].北京:科学出版社.1981. A Hypothesis Testing Based on the M inim ization of K-L Information ZHANG Kai-guang1,2, M ENG Hong-ling1,3, LAN She-yun1 The minimization of K-L info rmation is used in the hypothesis testing,the convergent p roblem s for the error p robabilitiesof likelihood ratio are delep ly discussed.It is p roved that,for the erro r p robabilitiesof likelihood ratio is pow er series convergent under theminim ization of K-L information. p robability measure;K-L info rmation;hypothesis testing;domain of decision O 212.1 A 1671-6841(2010)03-0027-04 2009-07-12 郑州市人民政府科技攻关项目,编号051SGYS30018. 张开广(1966-),男,副教授,博士,主要从事数理统计和GIS应用研究,E-mail:zzgis@sina.com.
2 正态指数分布族的参数假设检验
(1.3S Institute,Zhengzhou Teacher College,Zhengzhou 450044,China;2.Institute of Surveying and M apping,Inform ation Engineering University,Zhengzhou 450052,China; 3.Department of Curriculm and Instruction,East China N orm al University,Shanghai 200241,China)
