中心K阶中心矩子空间的迭代海塞变换估计

甘胜进　游文杰

摘 要 提出中心K阶条件矩降维子空间，指出与中心K阶中心矩子空间的关系，并给出迭代的海塞变换估计，该方法仅仅需要线性条件，综合了最小二乘和海塞主方向方法.

关键词 降维；CKCMS；OLS；PHD；迭代海塞变换

中图分类号 O213文献标识码 A文章编号 10002537（2016）02009005

Iterative Hessian Transformation Estimation of

Central Kth Conditional Moment Subspace

GAN Shengjin*， YOU Wenjie

（School of Electronical and Information Engineering， Fuqing Branch of Fujian Normal University， Fuqing 350300， China）

Abstract This paper defines the central Kth moment subspace， and has derived its relationship with CKCMS. In addition， iterative Hessian transformation estimation has been proposed， which is a combination of ordinary least square estimation and principal Hessian directions applied only to the linear condition.

Key words dimension reduction； CKCMS； OLS； PHD； IHT

在高维空间中进行统计建模，往往会碰到“维数灾难”（curse of dimensionality）问题，因此降维作为建模之前的数据预处理阶段，显得十分重要.常见的降维方法有主成分回归分析、偏最小二乘回归和投影寻踪等，主成分回归仅仅考虑了自变量之间的相关信息，忽略了与因变量之间的关系，而偏最小二乘虽然同时考虑自变量与因变量之间相关关系，但是仅仅局限于线性关系，没有考虑非线性关系，另外投影寻踪需要估计连接函数，超出数据预处理的范围.

对于一维响应变量Y和p维解释变量X=（X1，X2，…，Xp），考虑它们之间的回归问题本质上是讨论在X给定条件下，Y的条件分布FY|X如何随X变化.Li（1991）[1]提出切片逆回归（sliced inverse regression，简称SIR），即如果存在p×k（k

则FY|X（y|x）=FY|ηTX（y|ηTx），Y对X条件分布是k维的，如果k远小于p，就达到了降维的目的，特别地，当k=1或2时，便可从可视化角度来分析Y与X之间的回归关系，由于Y‖X|ηTXY‖X|（ηB）TX，其中B为k阶可逆方阵，η与ηB所形成的子空间一样，所以关心的是span{η}，而不是η本身，并称span{η}为降维子空间.如果满足（1）的所有η的交集仍然满足（1），则称之为中心降维子空间（central dimension reduction subspace，简称CS），记为SY|X，rank（SY|X）称为结构维数.一般来说，在很弱条件下CS总是存在的.有时候感兴趣的是E（Y|X），Cook和Li（2002）[2]提出中心均值子空间，即：

类似CS，若所有满足（2）的集合的交集仍然满足（2），称之为中心均值降维子空间（central mean dimension reduction subspace，简称CMS），记为SE（Y|X）.估计降维子空间[34]的条件通常为：

（1）线性条件：E（X|ηTX）为ηTX线性函数，即E（X|ηTX）=PηX，η∈Rp，其中投影阵Pη=η（ηTη）-1ηT.

（2）常数方差 ：Var（X|ηTX）为非随机矩阵.

满足线性条件一般要求X是椭圆分布，满足常数方差条件的是多元正态分布.本文分三个部分，第二部分提出中心K阶条件矩降维子空间定义，并指出与中心K阶中心矩子空间的关系，第三部分为利用Cook和Li[5]（2004）提出的迭代海塞变换方法来估计中心K阶条件矩子空间，最后部分给出实例模拟.

1 中心K阶条件矩子空间

Yin和Cook（2002）[6]提出中心K阶中心矩子空间定义：

Y‖{M（1）（Y|X），…，M（k）（Y|X）}|ηTX， （3）

其中Mk（Y|X）=E[{Y-E（Y|X）}k|X]，k≥2，M（1）（Y|X）=E（Y|X），所有满足（3）的集合的交集若仍然满足（3），称之为中心K阶中心矩子空间（central kth conditional moment subspace，简称CKCMS），记为SY|X （k），显然当k=1时，S

式（5）虽然条件弱，但是没有估计出CKCMS中更多的方向，式（6）相对于（5）似乎得到更多估计方向，但是需要条件较为苛刻.本节提出一种新的估计方法，只需要在线性条件下，以最小二乘为种子向量，最小二乘与高阶海塞矩阵[811]不断结合产生新的方向，其理论依据如下.

从表1可以看出：维数相同情况下，迭代海塞变换估计方向与真实方向接近程度的均值越来越大，标准差越来越小，表明样本容量越大，估计的效果越好，说明估计具有相合性；样本容量相同情况下，维数越高，均值越小，而标准差变化不大，表明维数越高，该方法估计的效果越差，但稳定性较好.因此迭代海塞变换收敛速度依赖样本容量和解释变量的维数.图1和图2为100次重复下，维数p=8，样本容量分别为300和500时，迭代海塞变换估计与现常见方法如切片逆回归（切片数量为10）、最小二乘相比较.

通过比较发现：最小二乘估计非常稳定，但是估计的效果远远不及前两者，当样本容量变大时，与其他两种方法估计效果的差距越来越大，一个很重要的原因是最小二乘只能估计降维子空间中的一个方向；切片逆回归性能对切片数量较为敏感，如何选择切片数量至今是个公开的难题，并且当回归函数是偶函数时，该方法失效；相比之下迭代海塞变换随着样本容量增大在估计效果与稳定性方面越来越好.

致谢 感谢审稿人的细致和编辑提出的有益建议！

参考文献：

[1] LI K C. Sliced inverse regression for dimension reduction[J]. J Am Stat Assoc，1991，86（414）：316327.

[2] COOK R D， LI B. Dimension reduction for conditional mean in regression[J].Ann Stat， 2002，30（2）：455474.

[3] COOK R D， LI L X. Dimension reduction in regressions with exponential family predictors[J].J Comput Graph Stat， 2009，18（3）.

[4] PENG Z， YU Z. An integral transform method for estimating the central mean and central subspaces[J]. J Multiv Anal， 2010，101：271290.

[5] COOK R D， LI B. Determing the dimension of iterative Hessian transformation[J]. Ann Stat，2004，32（6）：25012531.

[6] YIN X R， COOK R D. Dimension reduction for the conditional kth moment in regression[J].J Statist Soc B， 2002，64：159175.

[7] YIN X Y， COOK R D. Dimension reduction via marginal high moments in regression[J].Stat Prob Lett， 2006，76：393400.

[8] LI K C. On principal hessian directions for data visualization and dimension reduction ：another application of steins lemma[J].J Am Stat Assoc，1992，87：420.

[9] COOK R D. Principal hessian directions revisited[J]. J Am Stat Assoc， 1998，93：441.

[10] LUE H H. On principal Hessian directions for multivariate response regressions[J]. Comput Stat， 2010，25：619632.

[11] ZHOU Y， DONG Y X， FANG Y. Marginal coordinate tests for central mean subspace with principal Hessian directions[J]. Chin J Appl Proba Stat，2010，26（5）.

[12] ZHU L P， ZHU L X， WEN S Q. On dimension reduction in regression with multivariate responses[J]. Stat Sin， 2010，20：12911307.

[13] RAPHAEL C， STEPHANE G， JEROME S. A new sliced inverse regression method for multivariate response[J]. Comput Stat Data Anal，2014，77：285299.

（编辑 HWJ）