固定情形Logistic回归模型误差方差的经验似然估计*

胡学叶张正家

(广西师范大学 数学与统计学院,广西 桂林 541004)

0 引言

经验似然是由Owen[1-3]提出的一种非参数统计推断方法,石坚[4]研究了线性模型误差方差的经验似然估计.广义线性模型是经典线性模型的推广,陈希孺[5]对广义线性模型的数学原理进行系统的阐述.而Logistic回归模型是常用的广义线性模型之一.舒常江[6]在随机设计情形研究了Logistic回归模型误差方差的经验似然估计.考虑到固定设计情形在应用领域中亦有广泛的应用,本文利用经验似然方法得到了固定设计情形下Logistic回归模型误差方差的经验似然估计,结果表明其方差比传统残差平方和方法得到的估计更小.考虑Logistic回归模型

且连接函数g满足,其中,x∈R p是固定设计矩阵,Y∈R1是响应变量,β∈R p是参数向量,e∈R1是随机误差.这里,只有(x,Y)是可观测的.

令ωi=ηi(1-ηi),1≤i≤n,记W(n)=diag(ω1,…,ωn),并作如下假定:

(A.1)e1,…,e n为独立同分布的随机变量,且

(A.2)存在ε＞0,使得E│e1│4+ε＜∞,记

(A.3)存在正定矩阵S0,S1,使得当n→∞,有,且存在常数C＞0,使得,其 中未知,║·║是R p上的欧式模;

(A.5)当n→0,→∞,其中,易知对某个常数C＞0有

注1:为叙述方便,始终假设C表示一不依赖于n的大于0的常数,且C每次出现可以取不同的值.

设有来自模型的独立同分布样本(x1,Y1),…,(x n,Y n),其中x i=(x i1,…,x ip)′,1≤i≤n,相应地有一组不可观测的随机误差e1,…,e n,使得Y i=η(x i)+e i,1≤i≤n.记x(n)=(x1,…,x n)′,Y(n)=(Y1,…,Y n)′,E(n)=(e1,…,e n)′,E(nn)=(e n1,…,e nn)′.在广义线性模型中,对于参数估计常用的方法是极大似然估计.Logistic回归模型中响应变量Y服从二项分布,其概率分布列为:

其中ηi=η(x i),似然函数为

相应地对数似然函数为

对其取导数,从而得到似然方程的解:

由于上式没有显示解,我们采用牛顿迭代方法[7]求解,得到满足(3)式的β^为β的极大似然估计.具体操作如下:

3)由上述公式得到,若收敛即为所求;否则返回上一步,用代替得到,如此反复迭代直至收敛,即为所求.

为了得到误差方差σ2的估计,利用残差平方和得到:

由拉格朗日数乘法得到:

其中λ满足:

因此可以得到误差方差σ2新的估计,记为

1 主要结论

定理1 若条件(A.1)～(A.6)成立,当n→∞,有

且

由定理知,经验似然得到的误差方差的渐近方差比传统残差平方和得到的渐近方差小.

2 定理的证明

引理1 设B1,B2,…,B n为独立同分布的随机变量序列,若存在α＞0,使得E(│B1│α)＜∞,则有

证明:见Ghosh[8]的引理3.

引理2 若条件(A.1)～(A.5)成立,则有:

证明:(12)式的证明:由于满足(3)式,即

即(12)式得证.

由│e ni│≤│e i│+║x i║│β^-β│,得到

即(13)式得证.

引理3 若条件(A.1)～(A.5)成立,则有

其中v j=E(e ji),j=3,4.

证明:(14)式的证明.因为

其中A n=(I n-W(n)x(n)(x′(n)W(n)x(n))-1x′(n))=(a ij),其中

由独立随机变量求和的矩不等式得到

(15)式的证明:

由于0≤ωi≤1,

令ζi=λe ni,那么,max|ζi|=max|λe ni|=|λ|max|e ni|=n-1/2r nO p(1)o p(n1/(4+ε))=o p(1),

即max|ζi|=o p(1).

定理1中(9)式的证明:

定理1中(10)式的证明:

即(10)式成立.从而定理1得证.