非线性与线性典型相关分析的对比实验

2012-08-07方建斌王雨春

江汉大学学报（自然科学版） 2012年3期

关键词：典型线性变量

方建斌，管琼，王雨春

（1.江汉大学数学与计算机科学学院，湖北武汉 430056；2.湖南理工学院信息与通信工程学院，湖南岳阳 414006； 3.武汉理工大学理学院，湖北武汉 430070）

非线性与线性典型相关分析的对比实验

方建斌1，3，管琼2，王雨春3

（1.江汉大学数学与计算机科学学院，湖北武汉 430056；2.湖南理工学院信息与通信工程学院，湖南岳阳 414006； 3.武汉理工大学理学院，湖北武汉 430070）

线性典型相关分析揭示了两组变量间潜在的线性关系，但实际应用中，变量之间往往还潜在着非线性关系。主要研究非线性典型相关分析算法，揭示变量间潜在的非线性关系，并通过非线性与线性典型相关分析对比实验，验证其优良性能。

典型相关分析；非线性；核函数

典型相关分析是由H.Hotelling于1936年提出，其理论已经比较完善[1］。随着计算机技术及软件技术的迅速发展，典型相关分析的应用越来越广泛[2-4］。但在实际应用中，变量之间的关系往往还潜在着非线性关系。核函数理论[5-7］是最近才兴起的一种方法，该方法利用核技巧，通过一个非线性映射，将原始空间的非线性样本映射到高维特征空间，然后在高维特征空间利用线性算法，间接地实现原始空间的非线性问题的求解。

1 非线性典型相关分析的理论描述

设Xp×n=（x1，x2，…，xn），Yq×n=（y1，y2，…，yn）分别表示两组变量的样本矩阵，其中行表示变量个数，列表示样本个数，φx表示作用于x上的变换，即φx（X）=（φx（x1），…，φx（xn））；同样地，φy表示作用于y上的变换，即φy（Y）=（φy（y1），…，φy（yn）），在变换后的特征空间Fx、Fy中进行典型相关分析。

同典型相关分析，希望找到两个投影向量wx∈Fx和wy∈Fy，使得相关系数ρ最大。该问题也可以转化为一个优化问题：

定义一个核函数代替内积的计算。

然后定义核矩阵：

此时（1）式可表示为

由（8）～（12）式，可以得到（7）式是下式的特征值问题：

其中λ=λx=λy。

核典型相关分析的实现步骤归纳如下：

1）由（6）式计算核矩阵Kx，Ky；

2）由（8）～（12）式计算M，N，L；

3）根据（13）式得到下式，进而得到α、β。

4）根据（3）、（4）式得到经典变量：

进而求得相关系数ρ（u，v）。

不同的内积核函数将形成不同的算法，目前研究最多的核函数主要有3类[10］：

1）多项式核函数：

2）高斯核函数：

3）S形函数内积：

2 非线性典型相关分析与线性典型相关分析的对比试验

下面通过实验来说明非线性典型相关分析的作用。首先构造两组数据，它们具有较强的非线性关系。数据由下式产生：

其中t由[-1，1］上的均匀分布产生，我们随机选取100个数值，得到样本数为100的两组实验数据，其散点分布见图1，其中“*”曲线表示变量x的分布，“o”曲线表示变量y的分布。实际上，这两组变量具有潜在的非线性关系，由（19）式得到：

图1 原始数据散点图

显然，线性典型相关分析对于这种高度非线性相关关系难以处理，而非线性典型相关分析却可以较好地反应它们之间潜在的非线性关系。图2是两种方法得到的第一对典型变量的散点分布，其中非线性典型相关分析算法选用的核函数为高斯核，相应的参数为：σx=0.4，σy=0.2，η=0.1，得到的第一个典型相关系数为：ρ=0.984 5，而线性典型相关分析的第一个典型相关系数为：ρ=0.090 4，说明非线性典型相关分析可以揭示变量间潜在的非线性关系，这与图2曲线的趋势是一致的。

图2 第一对典型向量的散点图

3 结语

非线性典型相关分析在理论上同其他核方法类似，通过一个非线性变换，利用核技巧，在变换空间（即特征空间）进行线性典型相关计算，解决原始空间的非线性问题。和其他核方法（如支持向量机、核主成分分析等）相比，它需要引进两个变换分别作用于两组待分析的变量。实验结果显示，非线性典型相关分析可以挖掘两组变量间潜在的非线性关系。需要说明的是，非线性典型相关分析算法的计算复杂度与训练样本的数目有关，而与样本维数及非线性变换的空间维数无关，因此当训练样本数目较多的时候，需要采用一定的方法，进行特征提取，达到降低复杂度的目的。

[1］孙文爽，陈兰祥.多元统计分析[M］.北京：高等教育出版社，1994：6.

[2］张礼平，杨志勇.典型相关系数及其在短期气候预测中的应用[J］.大气科学，2000，24（3）：427-430.

[3］潘洁.多元分析在分析物价变动主因中的应用[J］.数理统计与管理，1997，16（2）：21-25.

[4］程光文，陈清山.研究分析学生在校成绩的典型相关分析法[J］.武汉科技大学学报：社会科学版，2002，4（4）：70-72.

[5］Fernando P C，Olivier B.Kernel methods and their potential use in signal processing[J］.IEEE Signal Processing Magazine，2004：57-65.

[6］Muller K R，Sebastian M.An introduction to Kernel-Based beaming algorithms[J］.IEEE Transactions on Neural Networks，2001，12（2）：180-201.

[7］Akaho S.A kernel method for canonical correlation analysis[C］.Intematidonal Meeting of Psychometric Society，Osaka，Japan，2001：101-105.

[8］Gao D D，Huang R B.Some results on canonical correlation and their applications to a linear model[J］. Linear Algebra and its Applications，2000，321：47-59.

[9］Thomas M，Michael R，Horst B.Appearance models based on kernel canonical correlation analysis[J］.Pattern Recognition，2003，36：1961-1971.

[10］田盛丰.基于核函数的学习算法[J］.北方交通大学学报，2003，27（2）：1-8.

FANG Jian-bin1，3，GUAN Qiong2，WANG Yu-chun3
（1.School of Mathematics and Computer Sciences，Jianghan University，Wuhan 430056，Hubei，China；2.College of Information and Communication Engineering，Hunan Institute of Science and Technology，Yueyang 414006，Hunan，China；3.School of Science，Wuhan University of Technology，Wuhan 430070，Hubei，China）

Linear canonical correlation analysis reveals potential linear relationship between two groups of variables，but in practical application，there is also potential nonlinear relationship between variables.The paper studies the nonlinear canonical correlation analysis algorithm，reveals variables′potential nonlinear relationships，and verifies their good performance through the contrast experiment.

canonical correlation analysis；nonlinear；kemel function