M（s）准则下Stein型根方估计的优良性

梁泽群

【摘要】本文对Stein型根方估计[1]进行了进一步的讨论，计算出其均方误差和均方残差，并给出了M（s）[2]准则，然后计算出了在M（s）准则Stein型根方估计的s与c的关系，找出了Stein型根方估计的最优估计.

【关键词】Stein型根方估计；均方误差；均方残差M（s）准则

对于线性回归模型Y=Xβ+ε，E（ε）=0，Cov（ε）=σ2In.本文讨论当模型的设计阵病态时，因为X′X的某些特征根λi几乎为零，这时最小二乘估计的均方误差MSE（β^）=σ2∑pi=11λi变得很大，这说明最小二乘估计值与真值之间有很大的偏差，所以那些小于1的特征根对MSE（β^）值的影响很大，根方估计[3]就是通过将这些小于1的特征根进行k-1次方（01），自然也能达到减小均方误差MSE（β^）目的.将这两种估计综合一下进行研究，就给出了一种新的估计.

一、叙述模型及估计量

对于线性回归模型：

Y=Xβ+ε，E（ε）=0，Cov（ε）=σ2In，（1.1）

其中，Y是n维观测向量，β是p维未知参数向量，X是n×p设计阵，ε是n维随机误差向量，In为单位阵，Rank（X）=p.

定义1.1[1]对于线性回归模型（1.1），称

β^（k）（c）=c-1（X′X）k-1X′Y，0≤k<1，c≥1（1.2）

为参数β的Stein型根方估计，其中（X′X）k-1定义为[1]

（X′X）k-1=Qλk-11λk-12λk-1p Q′，（1.3）

其中，λ1≥λ2≥…≥λp>0是X′X的特征根，Q是X′X的特征向量矩阵，并且QQ′=1.

很容易得到Stein型根方估计（1.2）有以下特殊情况：

（1）当c=1，k=0时，β^（k）（c）=（X′X）-1X′Y，就是最小二乘估计；

（2）当c=1，0

（3）当c>1，k=0时，β^（k）（c）=（cX′X）-1X′Y，就是Stein估计.

对于线性模型（1.1）里面的X为可知的列满秩矩阵，y是n×1维观察向量，β是p×1维未知参数向量，rk（X）=p≤n，σ2≥0是未知的参数，ε是n×1随機误差向量，In是n阶的单位矩阵.E（ε）表示ε的数学期望，Cov表示协方差矩阵.在线性模型（1.1）中引入变量Z=XQ，α=Q′β，其中Q′为p阶的正交矩阵，它的列向量是X′X的特征向量，Λ=diag（λ1，…，λp），λj≥0是X′X的特征根，这样模型可以得到（1.1）的典则形式

y=Zα+ε，E（ε）=0，Cov（ε）=σ2In.（1.4）

这时Z′Z=Q′X′XQ=Λ.那么典则参数α的最小二乘估计是=Λ-1Z′y，并且MSE（α）=σ2∑pi=11λi.

我们可以得出模型（1.4）中α的Stein型根方估计[1]

α（k）（c）=c-1Λk-1Z′y=Q′β（k）（c）.

性质1.1Stein根方估计β^（k）（c）是β的线性有偏估计.

证明定义1.1

β^（k）（c）=c-1（X′X）k-1X′Y=c-1（X′X）kβ^，

有E（β^（k）（c））=c-1（X′X）β≠β，0≤k<1，c≥1.

性质1.2在模型（1.1）下，记M（c，k）=MSE（β^（k）（c）），Stein型根方估计的均方误差为

M（c，k）=σ2c-2∑pi=1λ2k-1i+∑pi=1（c-1λki-1）2α2i，（1.5）

其中，α=Q′β，λ1≥λ2≥…≥λn>0，0≤k<1，c≥1.

性质1.3在模型（1.1）下，记ΔMSR（β^（k）（c））是Stein型根方估计的均方残差[2]为

ΔMSR（β^（k）（c））=∑pi=1（σ2+α2λ）（λk-c）2c2.（1.6）

证明ΔMSR（β^（k）（c））=E‖Zα（k）（c）-Z‖2

=E‖Z[c-1Λk-1-Λ-1]Z′y‖2

=σ2tr[Z（c-1Λk-1-Λ-1）Z′Z（c-1Λk-1-Λ-1）Z′]+

（Ey）′[Z（c-1Λk-1-Λ-1）Z′Z（c-1Λk-1-Λ-1）Z′]Ey

=σ2tr[Λ2（c-1Λk-1-Λ-1）2]+α′Λ3（c-1Λk-1-Λ-1）2α

=∑pi=1（σ2+α2λ）（λk-c）2c2.

二、M（s）准则

定义2.2在Stein型根方估计中，我们称

M（s）=sMSE（β～（k）（c））+（1-s）ΔMSR（β～（k）（c））（2.1）

为M（s）准则.这里s∈[0，1]是给定的常数.选出c令M（s）最小，从而找出β（k）（c）的最优估计.

三、β（k）（c）在M（s）准则下的优良性

把（1.5）和（1.6）代入到（2.1）中，我们得到

M（s）=s（σ2c-2λ2k-1i+（c-1λki-1）2）α2+（1-s）（c-2（σ2+α2λi）（λki-c）2）.（3.1）

然后我们对（2.2）中的c求偏导数

M（s）c=-2sσ2c-3λ2k-1i-2sα2c-3λ2ki+2sα2c-2λki+

（1-s）[-2c-3λ2ki（σ2+α2λi）+2c-2λki（σ2+α2λi）]

=2sc-2λki[α2-c-1λki（σ2λ-1-α2）]+

（1-s）[（2c-2λki-2c-3λ2ki）（σ2+α2λ）]

令上式等于零，得出结果c（s），这时的β（k）（c）为Stein型根方估计中M（s）准则下的最优估计.

四、结语

通过计算我们得出，只有当c和s的关系满足c（s），我们才能得出Stein型根方估计中M（s）准则下的最优估计.

【参考文献】

[1]申洁丽.线性回归模型参数的Stein型根方估计[D].长沙：湖南大学，2012.

[2]王志福.岭估计中参数选择的一种新方法[J].锦州师范学院学报，2003（1）：51-53.

[3]夏结来.回归系数的根方有偏估计及其应用[J].数理统计与应用概率，1988（1）：21-29.

[4]Stein C.Inadmissibility of the Usual Estimator for the Mean of a Multivariate Normal Distribution[J].Proc Third Berkeley Symp.Math.Statist.Prob.，1956（1）：197-206.

[5]王松桂.线性模型参数估计的新进展[J].数学进展，1985（14）：193-204.