基于负熵的随机双梯度算法

卢中宁　初元红

摘 要 随机双梯度算法是独立分量分析中一个重要的学习算法，但该算法收敛速度慢，稳态误差大，不利于信号的准确适时性处理.论文重点对随机双梯度算法进行了改进，提出一种基于负熵的随机双梯度算法.在改进的算法中，用负熵来度量其中的随机变量非高斯性，从而来克服峭度的不稳健性.论文最后通过理论分析和仿真实验证明这种改进的随机双梯度算法具有较好的分离效果且稳定性高.

关键词 随机双梯度算法；独立分量分析；负熵；峭度

中图分类号 TP301.6 文献标识码 A 文章编号 1000-2537（2014）04-0084-04

Abstract Stochastic dual-gradient algorithm is an important learning algorithm of independent component analysis， whose convergence speed is slow and steady-state error is large， which leads to inaccuracy in timely signal processing. Focusing on the improvement of stochastic dual-gradient algorithm， a stochastic dual-gradient algorithm based on negative entropy is proposed， in which negative entropy is used to measure the non-Gaussian of random variables and thus to overcome the kurtosis of robustness in the improved algorithm. By theoretical analysis and simulation experiments the paper finally proves that the improved Stochastic Dual-Gradient Algorithm has better separation effect and higher stability.

Key words stochastic dual-gradient algorithm； independent component analysis； negative entropy； kurtosis

独立分量分析（ICA）依据独立原则为多维观察信号建立目标函数，利用某种学习算法把这些信号分解成若干独立成分以实现增强和恢复信号的目的，目前已成为一种十分有效的盲信号分离技术 [1-2].从这个定义可以看出，独立分量分析算法由目标函数和学习算法组成.不同的目标函数、学习算法构成的独立分量分析算法不同[3-4].一般来说，处理对象确立了，目标函数也就很容易确定了[5-6].独立分量分析算法的收敛速度、稳定性也取决于所选择的学习算法[7-8].这使得学习算法的研究成为独立分量分析中的一个中心任务.

目前在独立分量分析中也出现了一些较优秀的学习算法[9-12].然而，在独立分量分析中，不管最终选择哪种学习算法，都要在最终的信号分析时具有较快的收敛速度和较小的稳态误差[13].在众多独立分量分析的学习算法中，随机双梯度算法是在随机梯度法、自然梯度法、相对梯度法基础上进行的一种改进算法[14]，虽然性能较原始算法有很大程度上，但是它因采用峭度为目标函数而易受大幅随机脉冲干扰的影响.为此，论文重点对随机双梯度算法进行改进并进行仿真对比实验.

1 随机梯度算法

随机梯度算法是独立分量分析中一类较简单学习算法.例如独立分量分析以公式（1）为目标函数：

该算法优点在于：在波动性较大的情况下，该算法能够快速调整学习方向，使算法向正确方向行进.然而，由于涉及到了矩阵优化，且该矩阵一般是高阶矩阵，这无疑大大增加了求解式（3）的计算量.而且，该算法收敛速度慢，同时还需要对迭代步长的设置有较高的要求.如果迭代步长设置不恰当，那么该算法就很可能失去收敛性.

为了进一步证明本文算法性能的优越性，下面给出这两种算法下原语音信号与对应分离信号之间的相关系数.其结果如表1所示.

从上述仿真实验结果来看，同传统算法相比，论文所提的基于负熵的随机双梯度算法能够分离出与原信号较为接近的信号，据此可知，本文改进算法是可行的.

5 结束语

研究了传统随机双梯度算法，指出其因采用峭度作为目标函数而导致寻找独立分量时易受大幅度随机脉冲干扰影响方面的不足，提出利用负熵作为衡量信号量独立性的构想并给出一个改进的随机双梯度算法，并通过仿真实验证明了该算法的有效性.

参考文献：

[1] 吴宏天，刘 辉.基于方差和峭度的模拟电路故障诊断[J].湖南师范大学自然科学学报， 2011，34（5）：32-36.

[2] 傅丽华，何燕子，朱 云.长株潭核心区土地利用生态风险驱动因子分析[J]. 湖南师范大学自然科学学报， 2012，35（5）：85-89.

[3] 易灵芝，龚会茹，沈建飞.基于相关因子的太阳能光伏发电系统互补复合孤岛检测研究[J].湘潭大学学报：自然科学版， 2011，33（4）：100-104.

[4] 赵知劲， 陈 林， 王海泉. 基于独立分量分析的实正交空时分组码盲识别[J].通信学报， 2012，33（11）：1-7.

[5] 王冬冬.基于独立分量分析的热波检测图像增强[J].科学技术与工程， 2013，13（2）：512-515.

[6] 杨俊美，余 华，韦 岗. 独立分量分析及其在信号处理中的应用[J].华南理工大学学报：自然科学版， 2012，40（11）：1-12.

[7] 吕淑平，方兴杰. 基于独立分量分析的自适应在线算法[J].计算机应用研究， 2010，27（11）：4140-4143.

[8] 于 淼，王曰海，汪国富.基于独立分量分析的跳频通信抗梳状阻塞干扰方法[J]. 解放军理工大学学报：自然科学版， 2012，13（6）：593-598.

[9] 欧世峰，高 颖，赵晓晖.基于随机梯度的变动量因子自适应白化算法[J].自动化学报， 2012，38（8）：1370-1374.

[10] 王法松，张林让.基于自然梯度的独立子空间盲信号处理方法[J]. 南京大学学报：自然科学版， 2011，47（4）：420-425.

[11] 程 娇，王晓凯，李 锋.独立分量分析可调速率相对梯度算法[J]. 信息与电子工程， 2010，8（2）：207-211.

[12] 初铭畅，熊晓路，于 洋.因子分析在创新型科技人才竞争力评价中的应用[J]. 辽宁工业大学学报：自然科学版， 2012，32（5）：343-346.

[13] 张和发，李立萍. 含噪独立分量分析的期望最大化算法[J].电子科技大学学报， 2012，41（4）：527-531.

[14] 高 涛.组合2DFLDA监督的非负矩阵分解和独立分量分析的特征提取方法[J]. 计算机应用研究， 2012，29（4）：1588-1590.

（编辑 胡文杰）