浅谈最大信息熵原理及其在通讯系统中的应用

朱碧+张世豪

摘 要：最大信息熵原理的概念先后被香农和Jaynes等人所提及，并在之后的几十年中，该原理被广泛应用到了各个领域，并成为各领域中不可或缺的理论方法。通过最大信息熵原理，我们可以在已知条件不充足的情况下得到最理想的分布并且巧妙地将人为偏倚因素降到了最少，该原理为各个领域的蓬勃发展奠定了坚实的基础。

关键词：最大信息熵原理；通讯系统；应用

一、 最大熵定理的定义及内容

二、 最大熵原理在通讯系统中的应用

无线信道模型的基本原理就是最大熵定理，在只有有限传播环境的多种情况下无线信道模型是可用的。首先，在某些参数（通道能量、平均能量、空间相关矩阵）确定已知的情况下我们可以导出分析模型。一般情况下，这些参数都是未知的（通常是因为接收到的能量或者是空间相关性在随着用户位置的变化而变化），但是这些参数在代表有意义的系统特征时是已知的。鉴于这些情况下，我们可以通过将最大熵分布指定到这些参数上并且将其边缘化，就这样分析信道模型就被推导出来了。而对于具有空间相关性的MIMO情况，这里我们给出了协方差矩阵的分布，我们可以通过它的特征值方便地处理这种分布。这种协方差矩阵的最大熵分布被证明是Wishart分布。另外，信道矩阵相应的概率密度函数是通过一个信道的F-范数函数解析描述的。这种技术可以提供信道模型将阴影衰落和天线之间的空间相关性的效果，而不需要假设这些参数的显式值。

在最大熵MIMO无限信道模型研究中，最大信息熵原理被用于为信道特性的先验知识的各种情况导出的无线平坦衰落信道的若干模型。最大熵MIMO无限信道模型研究了平均通道能量和通道能量的已知上限的情况，并解决了在MIMO信道模型中考虑未知量的空间相关的问题。在平均轨迹约束下熵最大化协方差矩阵的分布被视为Wishart分布，并且相应的概率密度函数信道矩阵被视为通过信道F-范数的函数分析地描述。该模型被推广到协方差矩阵的秩是已知的，不充分的情况，将所提出的信道模型在给定噪声水平的实现的互信息的统计方面与常用的GaussianIID模型进行比较，提出的模型显示略低的平均互信息，符合信道相关减少其容量的规则。并且比高斯IID模型有着更高的方差，反映了阴影衰落的存在。

三、 总结

就目前最大信息熵原理的发展情况来看，其正以迅猛的速度渗透到各个领域，如：通讯系统、计算机科学与技术、统计学等，并为各个领域的蓬勃发展奠定了坚实的基礎。因此我们相信最大信息熵原理将会成为各个领域不可或缺的一部分。在其他领域的应用，我们需通过其他文章给予介绍。

参考文献：

[1]曹雪虹，张宗橙.信息论与编码[M].北京：清华大学出版社，2004.

[2]陈运.信息论与编码（第三版）[M].北京：电子工业出版社，2016.

[3]赵晓群.信息论基础及应用[M].北京：机械工业出版社，2015.

[4]韩宇平，王永兵，冯小明.基于最大熵原理的区域水资源短缺风险综合评价[J].安徽农业科学，2011，39（1）：397-399.

[5]曲炜，朱诗兵.信息论基础及应用[M].北京：清华大学出版社，2005.

[6]杨周，张义民，谢宝臣等.基于最大熵法的车辆零部件可靠性分析[J].机械设计与制造，2011，（12）：22-24.

[7]M Guillaud， M Debbah， AL Moustakas. Maximum Entropy MIMO Wireless Channel Models[C]. USA： 《IEEE Trans Information Theory Dec》，2006.

作者简介：

朱碧，张世豪，河南工业大学理学院。endprint