基于最大熵原理的确定概率分布的方法经验谈

叶伟锋

摘 要：文章主要对最大熵原理在概率统计中的应用进行研究，基于最大熵原理，给出几种求解最大熵分布函数的方法。因为最大熵原理主要针对的是不确定性求解问题，因此本文讨论的时候按照问题的不确定特点，有的用一次最大熵原理，而有的问题则用到两次最大熵原理。从结果来看，在概率统计问题中，最大熵原理应用的空间非常广泛。

关键词：最大熵原理；概率分布；不确定；方法

在概率统计中引入最大熵原理时，主要针对确定概率分布密度函数与未知参数估计方法两个问题进行研究。从本文的研究的内容来看，在概率统计中运用最大熵原理的前景较为广阔，同时，对概率统计中存在的不确定问题，也可以用最大熵原理来常识解决。

二、利用最大熵原理确定概率分布的方法研究

1.最大熵分布函数的通式

1.1连续型随机变量最大熵分布

定理 假设为随机变量，并且其定义在I上，是的概率密度函数，并且满足下列条件：

要确定的表达式，只需要求出未知参数，即可。

根据以上两个定理，给出了两种随机变量，满足一定条件下的时候，可以得到最大熵分布通式。不同的是离散型随机变量的最大信息熵分布的满足条件是每一个变量取相同的值，连续性随机变量的的通式为负指数类型，在形式上手拉格朗日乘子及约束条件决定。

在客观世界中，随机现象对应的不同分布状态，那么按照最大熵原理，这些复杂的随机现象所服从的概率分布就变得非常简单。如果是离散型变量，那么保证每一个变量取值的概率相同，即可得到最大熵值；如果是连续性随机变量，则受拉格朗日乘子及约束条件的限制，并决定其函数分布形态，这一形态具有唯一性。根据这一结论，就找出了从约束条件来确定概率分布形态的一种思路。

2.从最大熵原理看概率分布的统一

对于离散型变量来说，在概率出现相等的时候，可得到随机最大熵分布。以正态分布、对数正态分布为例对，连续性随机变量最大熵分布特点进行考察，寻找确定约束条件的方法。

根据最大熵原理增加两个约束条件及一个属性条件，对对数正态分布的随机变量最大熵分布进行推导。以下方法与正态分布的推导方法相同，在此不做赘述。

结论：如果某随即变量的对数标准差与几何平均值均为常数，那么其最大熵分布即为对数正态分布，这一现象也是普遍存在的。

三、最大熵分布位置参数的求解方法

在对连续性随机变量未知参数进行求解的时候，主要采用以下方法：首先，非线性规划法，从实际拟合效果来看，该方法求解未知参数是有效的。其次，基于最大熵原理的极大似然估计法，该方法是在样本信息及总体分布密度函数的基础上，对未知参数在模型中进行估计。该方法拟合效果较好，但在局部数值处理方面有一定误差，这种误差可看做随机误差。第三，结构方程解法。从实际运用效果来看，所求得的新数据分布和原始数据分布基本一致，因此是有效的。

四、结论

采用最大熵原理，在特定约束条件的基础上，对离散型随机变量的概率分布函数与连续型随机变量的概率分布函数进行推导，根据推导的结果确定概率分布，该方法为分布函数理论提供了物理背景，将数理统计理论与概率论融合在一起，对解决实际问题起到了较好的作用。

参考文献：

[1]常城.最大熵分布估计算法及其應用[D].太原科技大学，2013（1）.

[2]余海，陈勇，周钦.基于最大熵原理的风险分析先验概率分布确定方法[J].中国科技信息，2008（15）.