概率论与数理统计在信息论中的应用浅析

刘垚

摘 要：概率论与数理统计在信息论中的应用越来越普遍，本文在研究概率论与数理统计在信息论中的应用问题时，注重把握信息论与数学理论二者的关联性。同时，注重从概率论和数理统计角度出发，对信息论的基本特点进行了分析和把握，将概率论与数理统计在信息论中进行应用，实现信息论的有效教学和学习目标。

关键词：概率论；数理统计；信息论

当前，统计数学中对信息这一观点进行了阐述，将信息看作是一种信息量。随着信息这一概念的提出，在随后的研究中，学术界对信息的研究不断加深，并在1948年人们对信息论的基本概念和内涵进行了表述，这为现代信息论的发展奠定了基础。信息论的研究与概率论、数理统计学科有着密切的关联性，数理统计和概率论是信息论研究的重要工具，这使信息论学习中，人们对概率论和数理统计问题予以了较高的关注度。研究概率论和数理统计在信息论中的应用，有助于对信息论问题进行更加深入、透彻的分析，从而使对信息论的理解变得更加明确。

1 信息的概念分析

信息科学主要从信息角度出发，以信息作为学科的研究对象，主要的研究内容为信息的运动规律和相关的应用方法。在对信息论研究过程中，计算机技术是主要研究工具，从而实现对人类信息功能的拓展。信息论是一门新兴的综合性学科，其与概率论、数理统计有着密切的关联性，在对信息论研究和学习的过程中，要注重从综合角度出发，对问题予以更加深入的认知。

从信息论的发展来看，人们对信息的研究起步较早，古时候的结绳记事、驿站等，是最简单最原始的信息传递；到了近现代，随着电话技术、电报技术、网络技术等的发展，人类进行信息传递的方式发生了翻天覆地的变化，相关技术水平也得到了大幅度的提升。从信息论的发展情况来看，现代信息论出现之前，人们对信息论的理解局限于“信息传递”，信息也可以被看作是“消息”。但从现代信息论角度来看，信息和消息之间存在着一定的差异，消息更多地表现在符号、语言、图像和文字信息等，这些信息可以被人的感官所获知，可以看作是信息的载体。但从消息的本质来看，其包含的东西较少，在人们获知消息后，消息的量也被确定。而信息则不同，信息与消息相比，最大的特点表现在信息具有不确定的特征，这种不确定性使信息量变得模糊不定。例如在概率论中，比较典型的掷硬币事件，对硬币的正反面确定存在着一定的随机性，实验完成后，人们才能够对硬币最终的情况予以把握。从这一角度来看，信息反映出了事件信息获取过程中不确定量的减少量，这一减少量就是在随机实验中获取的信息量。

关于信息概念的确定，结合概率论的抛硬币事件，可以对信息定义如下：信息是事物运动状态或是存在方式的不确定性的描述。从这一角度来看，可以对信息理解为消除不确定性的东西，不确定性的变化情况，就是信息获取的情况。从这一角度来看，信息论与概率论之间有着密切的关联，并且从这一角度出发，有助于在研究信息论问题时，将概率论更好地引入。

2 通信系统的概率统计模型分析

在对通信系统的概率统计模型分析过程中，首先要注重对通信系统的基本要素予以把握，其包括了信源、信道、信宿、編码、译码、噪声等几个部分。其中噪声可能会对信道信息传输质量产生不利影响，最终影响到信息的传递效果。在研究通信系统的概率统计模型过程中，关于其模型的表达如图1所示：

从通信系统模型的组成来看，信源是模型的基础部分，也是信息产生的来源。信源的产生具有一定的随机性，在对信源问题的理解过程中，可以将其看作是一个随机变量，并利用随机变量对信源进行描述。在对信源表示的过程中，假设信源的信息为随机变量，将其记为：，信源发出的信息集合表示为：。信息源集合设置完成后，接下来需要考虑到随机变量的分布情况。随机变量分布对信息源有着较大的影响，对其表示为：，这样一来，根据随机变量以及信息源集合，信源可以用进行描述。

在通信系统中，信道主要是指信息的传输通道，信道对信息传递有着较大的影响。当信息源进入信道后，可能受到噪声的干扰，从而导致信息的流失或是信息传输受阻。从信道中的噪声干扰情况来看，其具有一定的随机性，输入信号和输出信号之间的函数关系并不确定。从信道的组成来看，当输入信号字母，输出信号，信号转移概率：。通信系统中，信源产生的信息会通过编码将其转化为信号，之后信号进入到信道中进行传输。信道输出信号与转移概率有着一定的关联，在对信道进行标记过程中，利用：进行标记。

通过上文的分析来看，针对于信源和信道的传输概率进行了概率统计模型的构建，针对于这一情况，在对通信系统模型构建过程中，其模型构建如下：

在对通信系统问题研究过程中，借助于概率统计模型构建，对通信系统信息传输问题进行了解释，并且为信息论问题的研究提供了相关基础。

3 信息的度量分析

概率论与数理统计在信息论中的应用，考虑到了现代信息论的随机性问题，这使概率论在解释信息传输问题方面，发挥了重要的作用。而从另一个方面来看，在进行信息论研究过程中，信息量大小的确认，是需要考虑到又一重要问题。从信息的本质来看，其具有一定的可度量性。信息主要是对不确定性东西进行消除，对不确定性进行度量，可以实现对信息的度量。在对信息度量过程中，对离散随机变量进行了考虑，假设随机变量为，其概率分布为：，这样一来，在对随机变量进行确定的过程中，则从其概率分布函数角度出发。当呈现出确定性分布特点的时候，不确定性为0；当信息可能是等可能分布的时候，随机变量取值变大，这也导致了信息不确定性变大。

可加性，利用可以对的函数形式进行最终的确定。

在对函数不确定性进行确定后，根据离散随机变量的数值，对连续随机变量进行确定，这一过程中，假设连续随机变量的概率密度为，则有：

在对连续函数数值计算过程中，考虑到了熵值的分布特点：

在对信息度量过程中，要注重对随机变量的数值予以把握，从而对随机变量的数值进行确定，实现对信息的度量。

4最优编码问题

信息论的创始人C.E.Shannon在研究信息论问题时，将发射信息和接受信息作为通讯过程进行研究，在这一过程中，主要考虑到了信息编码问题。其对系统通讯的一般模型提出，对信息量的计算公式进行了确定。在信息通讯系统中，如何对编码问题进行确定，成为其研究的一个重要内容。在对最优编码问题解决过程中，概率论和数理统计的应用，很好地解决了这一问题。通信系统中，通信的数量和质量是通信考虑的两个基本问题。在这一过程中，在信息传输过程中，以信号进行传输，如何以最少的信号对信息进行传输，关系到了系统传输的效率和质量。信息量的减少，可能导致信源信息受到一定的影响，导致信源的质量有所下降。这一过程中，就需要做好最优编码，并加强信号对信源的干扰，使信源传输的可靠性得到更好地提升。在应对信源干扰问题时，主要通过信源编码、信道编码的方式。信源进行信号传输过程中，信源传输的信号具有一定的随机性和不确定性，在对编码方案确定过程中，要注意对效率的概率予以把握。关于概率论和数理统计在解决最优编码中的应用，如下：

为信源，其中是其中一个变长编码，向量的长度为，则有：

其为变长编码的平均码长。平均码长问题对概率问题进行了考虑，其是消息出现的概率为权的加权平均。

此外，在对最优编码确定过程中，假设存在唯一的可译长码，对其他可变长码都有：

在对最优编码确定过程中，根据概率论，主要应用的有Huffman编码，该编码方法应用过程中，主要步骤针对于Huffman進行数据压缩，对信源的概率分布情况予以考虑，从而对最优编码进行确定。

5 结束语

综上所述，现代信息论在应用过程中，对于现代社会发展有着重要的影响。信息化社会中，信息的获取、传递、处理、控制、利用，关系到了人们生活的各个方面。在对信息论应用过程中，要注重对信息传递的效率和质量予以把握，从而实现信息系统的最优化。信息论在研究信息存储、传输、处理方面，对于提升信息系统功能方面，发挥了重要的作用。在对信息论研究中，概率论和数理统计有助于提升研究的针对性，对信息论中存在的一系列问题做好有效地解释。因此，在研究和学习信息论问题时，要注重对学科之间的相互作用予以把握，将概率论、数理统计学科知识与信息论进行更加紧密地结合，从而使信息论的学习和认知更加明确。

参考文献

[1]徐金暐.现代信息论应用与发展[J].电信快报，2017（05）：42-44.

[2]李志林，刘启亮，高培超.地图信息论：从狭义到广义的发展回顾[J].测绘学报，2016，45（07）：757-767.

[3]王昶，王三秀.政府公信力的生成与流失——基于信息论视角的解读[J].理论月刊，2016（02）：107-111.

[4]张秋闻，王晓.信息论与编码教学模式的研究与探索[J].计算机教育，2015（12）：58-60+73.