自适应步长加权正交约束自然梯度ICA算法

唐兴佳，张秀方

(西安电子科技大学理学院，陕西 西安 710071)

在传输通道未知情况下，从观测信号中恢复统计独立的源信号，称为盲信号分离(Base Station Subsystem，BSS)［1］。作为当前信号处理领域研究的热点课题之一，BSS已经在地震勘探、移动通信、语音处理、列阵信号处理及生物医学工程等领域得到广泛应用。

独立分量分析(ICA)［2］起源于BSS中的鸡尾酒会问题，即在多个人的说话声相互混叠的情况下，将各个人的语音单独分离出来。ICA算法主要分为批处理算法和自适应算法两类。批处理算法，如FastICA算法［2］、联合对角化算法［2］等，数值稳定性较好，但不适于观测数据即时更新的系统。自适应算法，如EASI算法［3］、自然梯度 ICA 算法［1］等，计算量较小，且具有在线学习能力，但算法的收敛性和稳定性受学习步长的影响较大。

ICA的核心是通过恢复信号之间的统计独立性，实现信号分离，而信号之间统计独立一定线性不相关。在ICA的基本假设下，限定分离矩阵的正交性约束，等价于分离信号为白化信号。传统的自然梯度IAC算法没有注意到分离信号的这一假设要求，使得分离矩阵的迭代过程不稳定，最终导致恢复的源信号不准确。

为提高算法的稳定性、收敛性以及分离结果的准确性，文中基于自然梯度ICA算法，改进提出一种自适应调整步长的加权正交约束自然梯度ICA算法，然后通过实验仿真验证新算法的优越性。

1 问题描述

在ICA模型中，观测信号来自一组传感器的输出，每个传感器接收到的都是多个源信号的混合。n个信号源发出的源信号st=(s1(t)，s2(t)，…，sn(t))T通过传输通道被m个传感器接收，得到观测信号xt=(x1(t)，x2(t)，…，xm(t))T。在无噪声条件下，ICA 瞬时混合模型可表示为［2］

其中，A为混合矩阵。假设A具有足够的非奇异性，则源信号也可看作观测信号的线性组合。这样，求解ICA问题就是要确定一个矩阵W，称为分离矩阵，使得矩阵变换结果

可作为源信号 st的估计［2］，称 yt=(y1(t)，y2(t)，…，yn(t))T为分离信号。

上述模型的基本假设是［2］:(1)源信号的各个分量相互独立，且最多只有一个分量服从高斯分布;(2)源信号的各个分量具有零均值和单位方差。还需注意的是，在ICA模型中，分离信号相比于源信号会出现顺序和幅度上的不确定性。但由于ICA的主要目的是把源信号分离出来，对分离信号的顺序并没有要求，而幅度的不确定，只需在分离信号前乘以一个适当的系数即可消除，因而，ICA的这两种不确定性对最终结果的影响并不大。

2 自然梯度ICA算法

对于ICA模型，源信号无法被直接观测，且混合矩阵A未知，但源信号的各个分量相互独立是已知的。前文已经指出，ICA的关键就是根据源信号之间的统计独立性，寻找观测信号x的某个特殊的矩阵变换y=Wx，使得变换后的每个分量都能表示一个不同的源信号。因此，求解ICA模型，首先要对分离结果Wx的独立性做出度量，然后将该度量函数作为目标函数，借助梯度下降等优化方法，即可找到问题的解。

文中基于似然度［2］构造独立性度量函数，并得到自然梯度 ICA的在线学习规则［4－7］为

其中，G(y)为分值函数;η(t)为学习步长。通常情况下，由于源信号的概率密度函数未知，因而，分值函数也是未知的。实际应用中，常用某个适当的单调奇函数作为激励函数来代替分值函数，例如G(y)=y3。

3 加权正交约束的考虑

由ICA模型的基本假设可知，源信号s具有单位方差，则恢复的分离信号y也应具有单位方差，即E{yyT}=I。假设观测数据是白化的，即有E{xxT}=Rx= δ2I，于是

式(4)表明，在恢复的源信号y和观测信号x均为单位方差的情况下，分离矩阵W应是对称正交的［1］。但是，观测数据x为单位方差不一定总满足。这样，分离矩阵的对称正交性就是不合实际的。因此，需要考虑加权正交约束WRxWT=I。

综上所述，在不进行观测数据的预白化时，可通过对传统的自然梯度ICA算法引入加权正交约束WRxWT=I，便可达到白化效果［8－9］。文中提出一种近似处理，在自然梯度ICA算法的每步迭代后，对分离矩阵W进行单步正交性修正

4 自适应步长的考虑

在自然梯度ICA算法中，学习步长η的选择对算法的收敛起着关键作用。η越大，收敛速度越快，但收敛后的稳态误差也就越大;η越小，收敛速度越慢，同样会影响到算法的性能。而好的学习步长选择与分离结果和最优值的距离有关。当分离结果y远离其最优值时，应增大η的取值，以加快收敛速度;当分离结果y处于其最优值附近时，应减小η的取值，以减小算法的稳态误差。而且，为保证算法的稳定收敛，还要限制η的取值范围［10－12］。一种简单的方法是将学习步长定义为迭代次数的反比例函数或者指数下降函数，但在时变环境下，这种方法的跟踪搜索能力并没有得到根本改善。

自适应调整步长就是依据上述分析提出的，特别在时变环境中，不但能保证算法收敛速度足够快，而且能提高算法的稳定性。在ICA模型中，不可能事先得到模型的最优解，也就不可能用实际误差来控制学习步长。因此，文中通过引入误差估计函数，提出一种自适应调整的步长。

由式(3)可知，当算法收敛时，分离矩阵的相邻迭代之差W(t)－W(t－1)≈0，换个角度考虑，就是要求η(t)(I－G(y(t))(y(t))T)W(t－1)≈0。这样，可以用式(8)构造误差估计

考虑到延迟误差对学习步长选择的影响，这里取H(t)的平滑形式［13］

由于步长的选择与前一步迭代时的步长及当前迭代的误差估计有关，于是，可以定义自适应步长

其中，β为遗忘因子，一般取接近1的实数，显然β越大，学习步长的调整幅度越小。为ρ比例因子。为了避免η(t)过大，导致算法不稳定，在此设定η(t)有上限

5 仿真实验

为检验新算法的稳定性、收敛性及分离结果的准确性，取以下信号进行实验仿真［14］:s1(t):方波信号sign(cos(2π×155t));s2(t):高频正弦信号sin(2π×800t);s3(t):低频正弦信号sin(2π×90t);s4(t):相位调制信号 sin(2π×300t+6cos(2π×60t));s5(t):幅度调制信号 sin(2π×10t)sin(2π×300t);s6(t):在［－1，1］上服从均匀分布的噪声信号。

假设模型使用6个观测感应器即m=6，n=6;混合矩阵A随机产生，且服从［－1，1］上的均匀分布;信号的采样周期Ts=0.0001 s;算法收敛稳定性能用“串音误差”来衡量［14］

其中，cpq=［W·A］pq称为混合 －分离系统的传递矩阵。

自适应步长加权正交约束自然梯度ICA算法的仿真实验步骤如下:

(1)随机产生混合矩阵，对n个源信号进行线性混合，得到m个混合信号。

(2)初始化分离矩阵 W(0)=In×m，协方差矩阵Rx(0)=Im，学习步长 η(0)=0.01，平滑误差估计0)=In×n。

(3)取遗忘因子β=0.998，比例因子ρ=0.25。

(4)计算y(t)=W(t)x(t)。

(5)更新学习步长η(t)、更新协方差矩阵Rx(t)、更新分离矩阵W(t)。

(6)对分离矩阵W(t)进行单步正交性修正。

(7)计算串音误差Ect(t)。

(8)如果 t≠T，取 t←t+1，返回步骤(4)，否则，迭代结束。

(9)依据y(t)和Ect(t)绘制恢复的源信号波形和算法性能曲线。

具体仿真结果如图1～图4所示。

由图2和图3可以看出，自然梯度ICA算法可以对混合信号进行较为有效的分离，但分离结果的准确性明显不高。相比之下，基于自适应调整步长和加权正交约束的新算法恢复的源信号则要更准确。另外，由图4可以看出，相比于自然梯度ICA算法，改进的新算法在迭代前期具有更快的收敛速度。同时，自然梯度ICA算法的收敛稳定性曲线，在迭代相对稳定后，一直有较大的跳跃，这就意味着算法不稳定。自适应步长加权正交约束自然梯度ICA算法减弱了这一曲线跳跃，算法更稳定，且稳态误差更小。由此可得，新算法的收敛性、稳定性及分离结果的准确性较传统算法得到了一定改善。

6 结束语

传统的自然梯度ICA算法对分离矩阵的正交性约束未做考虑，且算法的稳定性和收敛性受学习步长的影响较大，因此算法性能较差。文中通过引入加权正交约束和自适应调整步长理论，在传统算法的基础上，改进得到一种新的自然梯度ICA算法。仿真实验表明，自适应步长加权正交约束自然梯度ICA算法相比于传统的自然梯度ICA算法具有更快的收敛速度，且算法的稳定性和分离结果的准确性都有较大提高。

［1］ANDRZEJ C，SHUN－CHI A.自适应盲信号与图像处理［M］.吾正国，唐劲松，章林柯，译.北京:电子工业出版社，2004.

［2］HYVARINEN A，KARHUNEN J，OJA E.Independent component analysis［M］.Newyork:Wiley Press，2001.

［3］CARDOSO J F，LAHELD B.Equivariant adaptive source separation ［J］.IEEE Transactions on Signal Processing，1996，45(2):434 －444.

［4］AMARI S.Natural gradient works efficiently in learning［J］.Neural Computation，1998(10):251 －276.

［5］BELOUCHRANI A，MERAIM K，CARDOSO J F，et al.A blind source separation technique using second－order statistics［J］.IEEE Transactions on Signal Processing，1997，45(2):434－444.

［6］ZHANG W T，LIU N，LOU S T.Joint approximate diagonalization using bilateral rank－reducing householder transform with application in blind source separation ［J］.Chinese Journal of Electronics，2009，18(3):471 －476.

［7］DEGERINE S，KANE E.A comparative study of approximate joint diagonalization algorithms for blind source separation in presence of additive noise［J］.IEEE Transactions on Signal Processing，2007，55(6):3022 －3031.

［8］ZHU Xiaolong，ZHANG Xianda，DING Zizhe，et al.Adaptive nonlinear PCA algorithms for blind source separation without prewhitening［J］.IEEE Transactions on Circuits and Systems，2006，53(3):745 －752.

［9］YE Jimin，HUANG Ting.New Fast－ ICA algorithms for blind source separation without prewhitening［J］.Communications in Computer and Information Science，2011，255(2):579－585.

［10］HYVARINEN A.Fast and robust fixed－point algorithms for independent component analysis［J］.IEEE Transactions on Neural Network，1999，10(3):626 －634.

［11］YANG H H，AMARI S.Adaptive on － line learning algorithms for blind separation:maximum entropy and minimum mutual information ［J］.Neural Computation，1997，9(5):1457－1482.

［12］刘宁，张伟涛，楼顺天.可变步长正交性约束的自然梯度盲信号分离算法［J］.中国铁道科学，2010，11(6):98－102.

［13］THOMAS P，ALLEN G，AUGUST N.Step － size control in blind sourse separation［C］.Helsinki，Finland:International Workshop on Independent Component Analysis and Blind Sourse Separation，2000:509 －514.

［14］ZHU Xiaolong，ZHANG Xianda.Blind source separation based on optimally selected estimating functions［J］.Journal of Xidian University，2003，30(3):335－339.