基于EM算法的混合模型参数估计

樊菊兰

摘 要 有限混合模型是用于分析复杂问题的一个有效的建模工具。在诸多的混合模型中，混合高斯模型的应用更为广泛，尤其是在图像处理、人脸识别、通信和信号处理等。理论及数值试验充分证明：混合高斯分布模型能够逼近任何一个光滑分布，而对该模型参数的有效估计是准确分析、模拟复杂问题的必要前提。EM算法自从提出，就已成为一种非常流行地处理不完全数据的极大似然估计的方法。恰好我们经常处理的样本数据集通常可看作是不完全数据，进而EM算法就为混合高斯模型的参数估计提供了一种标准框架。

关键词 EM算法 R软件 混合模型 高斯混合 参数估计

中图分类号：O212 文献标识码：A

0引言

EM 算法就是一种一般的从“不完全数据”中求解模型参数的极大似然估计的方法，它是在观察数据的基础上添加一些“潜在数据”，从而简化计算并完成一系列简单的极大化或模拟。EM 算法的每一步迭代中包括一个 E 步――期望步（Expectation Step）和一个M 步——极大似然步（Maximum Likelihood Step）。算法的优势在于它在一定意义下可靠地收敛到局部极大，也就是说在一般条件下每次迭代都增加似然函数值，当似然函数值是有界的时候，迭代序列收敛到一个稳定值的上确界。缺点是当缺失数据比例较大时候，它的收敛比率比较缓慢。混合分布是有限个分布的组合，它综合了各个分支的性质和特点，它具有许多优势：

（1）可以用来模拟复杂的数据或问题。由于混合模型拥有许多不同类型的混合形式，有相同总体的混合，也有各种不同总体的混合。因此，可以根据数据的不同情况，来选择与之相符的混合模型来进行模拟。

（2）为同性质和异性质的模拟提供了一个方法。当m= l时，该模型就是一个单一分布。当m〉l时，它就是分布的线性组合。在现实生活中，许多现象都非常复杂，不同元素往往具有各不相同的性质，这时，混合模型是一个最合适的工具，因为它可以把元素所满足的分布都综合起来，组合成一个新的分布，在这个新的混合分布的基础上，再进行下一步的分析。它具比单一分布有更多的益处。

综上所述，混合分布可以对大量的数据进行有效的模拟，尤其是在对数据先验知识了解较少的情况下，混合分布是一个很好的选择，它更加灵活、有效。

1同分布同类型的混合分布

一种类型的混合分布有：二项分布，指数分布，泊松分布，正态分布等等。下面我们以二项分布和正态分布为例研究混合分布的EM算法的过程。

1.1 L阶混合二项分布参数估计的EM算法

L阶混合二项分布的概率密度函数为

其中，且为未知参数。

现在设是来自于混合二项分布的样本。我们的目的是求未知参数的极大似然估计。为此先考査其对数似然函数

不难看化直接求它的最大值点很难，我们下面将推导该问题的EM算法：

引入潜在变量，其中，且相互独立，是取值为0或1的指示变量，表示来自于第j个分支密度，且

1.2 M阶混合正态分布（高斯分布）的EM算法估计

随着社会、科学的不断发展，混合模型已经越来越被大家熟悉和认识。有限混合高斯分布的以其独有的特性更是被大家熟知，并被用于实际生活中的各个领域。根据混合模型的介绍我们可以知道，有限混合正态分布就是有限个（2个或2个以上）正态分布的加权组合。它们的组合具有比单一高斯分布更丰富的性质和特点，并且当混合正态分布的阶数不断增加时，它可以逼近任何连续的概率分布。正因为如此，它的应用非常广泛，如在股票、金融、证券、医药、农业等领域都可以用到它。如今，利用它对数据进行拟合，即对其参数的估计已经成为人们非常关心的问题。每个分支都有两个参数需要估计，并且待估计参数的先验分布也比较复杂。

1.2.1当M己知时，用EM算法估计参数

1.2.2当M未知时，基于聚类的EM算法

以上的EM算法是设定混合元个数在计算过程中是不变的，而在实际应用中，混合高斯模型中的混合元个数M一般未知。下面就M未知时给出一种参数估计方法，该方法是建立在聚类算法和EM算法基础上的一种方法，即初始状态的混合元数比最终得到的混合元数要大（通常情况下将初始混合数设定为最终混合数的两倍以上能得到比较好的结果）。这样，在建模过程中可以将相近的两个高斯分量并为一个聚类，然后在重新有EM算法进行建模，以此往复，最终得到想要的混合数，具体步骤如下

（1）设置初始混合数（一般将初始混合数设置为目标混合数的两倍以上）。

（2）用以上方法算得到元混合高斯分布参数估计为。

（3）寻找相近（指均值和方差接近）的两个高斯分量，将它们合并成一个新的高斯分量，并且将混合数减1。合并规则如下：设两个相近高斯分量的参数分别为和，合并后新的高斯分量的参数为，则

（4）这时混合个数减小一个，返回步骤（2）进行EM算法估计，依次下去直到混合数达到需要的混合数M即可。

基于聚类的EM算法在识别率上有所提高，而且其实际运算速度也加快了。这是因为在将聚类算法融合进来以后，相似的高斯分量合并在一起，因而提高了识别率；并且通过不断地合并相似的高斯分量，使EM算法的收敛速度加快，迭代次数降低，从而提高了运算效率.聚类方法的选取和聚类数目的判定是聚类分析中经常遇到的两大问题一般说来，混合元个数越大，用样本对总体拟合度越高，但是计算越复杂，如何选取合适的混合元个数很关键，混合模型聚类常通过贝叶斯信息准则（BIC）选择模型。计算不同模型的BIC值，一般情况下模型的BIC值越大，该模型就越符合实际。BIC值的计算依赖于模型的参数估计，因此EM算法直接影响BIC值的计算。

1.2.3基于EM算法的实例

以3—分支混合高斯分布模型为例做模拟试验来说明EM算法估计混合高斯模型参数的具体过程并且验证该算法的可行性，实验步骤如下：

（1）按照上述产生随机样本点的方法随机产生2000个三分支二維混合高斯分布模型的样本点。

（2）设定EM算法迭代计算过程中所涉及到的各参数的初始值，在本试验中初始值的选择为：先对混合比例执行平均分配原则，各分支的均值从各样本的最大值与最小值之间随机产生，各分支参数的初始值及估计结果如下：

从上表可以看出，通过大样本的数值模拟试验，证实了用EM算法对混合高斯分布模型的概率密度函数做参数估计时，其收敛速度比较快。尤其是在大样本的情况下，其估计结果更加接近参数的真值。

2结语

EM算法可通过对不完全数据进行扩充之后成为完全数据，再对参数进行极大似然估升，使得分析的结果更加有效。

参考文献

[1] 肖枝洪，朱强.统计模拟及其R实现[M].武汉：武汉大学出版社，2010.

[2] 连军艳. EM算法及其改进在混合模型参数估计中的应用研究[D].西安：长安大学， 2006.

[3] 王爱平，张功营，刘方. EM算法研究与应用[J].计算机技术与发展， 2009，19（09）：108-110.

[4] 杨基栋.EM算法理论及其应用[J].安庆师范学院学报（自然科学版），2009，15（04）： 30-35.

[5] 张士峰，混合正态分布参数极大似然估计的EM算法[J].飞行器测控学报，2004，23（04）：47-52.

[6] Dempster，A.P.&D.B.Rubin; . Maximum likelihood estimation from incomplete data via the EM algorithm （with discussion[C].Journal of the Royal Statistical Society Series B，1977：1-3.