热力学熵和信息熵比较探究

左晗琦

摘 要：热力学熵是对一个包含大量微观粒子的宏观热力学系统混乱程度的量化。信息熵是对事件不确定程度的量化。本文通过研究热力学熵和信息熵的物理本质，并对其进行比较探究，阐明了信息是一种负熵的本质原因。

关键词：热力学熵；信息熵；负熵

中图分类号：O414.11 文献标识码：A 文章编号：1671-2064（2018）20-0222-02

宏观系统往往包含大量的微观粒子，这些微观粒子不停的运动和碰撞形成各种各样的微观状态，对这些微观状态的量化即是热力学熵。在网络发达的今天，信息是现代社会的基石，掌握信息的多寡成为一个国家国力的衡量标准之一，信息熵即是对信息量多寡的量化方式。热力学熵是对一个包含大量微观粒子的宏观热力学系统混乱程度的量化，信息熵是对事件不确定程度的量化。它们之间既有联系又有很多的区别，本文主要研究热力学熵和信息熵以及他们之间的共同和差异之处。

1 热力学熵

克劳修斯在1867年将热力学第二定律的“孤立系统的熵永不减少”这一描述推广到全宇宙，把整个宇宙视为一个孤立的热力学系统，那么整个宇宙将会朝着热力学平衡态演化，最终宇宙的熵将会达到极大，整个宇宙的粒子密度处处均匀并且温度处处相等。这就是所谓的“热寂”。热寂说的正确性自提出以来一直备受质疑，比如最近的天文学观测数据表明宇宙正在加速膨胀，这就意味着经典热力学系统的能量守恒定律可能不适用于宇宙这个大系统；另外也有学者提出从有限大小的系统总结出的热力学规律能否用于描述无限大的系统的质疑，这些都表明热寂说可能是错误的，宇宙演化的终点可能并不是冷冰冰的。尽管如此，克劳修斯提出的熵的概念以及热力学第二定律的熵增描述都是有其积极意义的，他使我们从新的角度了解了热力学系统，并引入了量化混乱程度的方式，这为之后其他领域如信息领域的熵的量化奠定了基础。克劳修斯提出的熵S的定义为一个热力学系统在可逆过程中吸收的热量dQ相对于系统温度T的变化率，也就是

（1）

克劳修斯虽然提出了熵的概念并给出了熵的微分表达式，但并没有赋予熵明确的物理含义。

一个典型的热力学系统往往包含大量的微观粒子，这些微观粒子以不同的速度在系统的不同的空间位置做永恒的热运动。某一个微观粒子的状态由三个空间坐标和三个速度坐标表示为（x，y，z，vx，vy，vz），这六个坐标可以确定微观粒子在六维相空间中的位置。如果能获知某一时刻系统中所有粒子在六维相空间中的位置，我们就唯一确定了系统的某一微观状态。由于粒子在不断的运动并可能发生碰撞，运动意味着粒子的位置在不断的改变，而碰撞则会导致不同粒子的速度发生交换或改变，而粒子速度或位置的改变将会导致新的微观状态出现。系统的微观状态总数Ω可视为系统的不确定程度或者混乱程度。玻尔兹曼发现热力学熵S和系统的微观状态总数Ω间有如下关系[1]：

S=klnΩ. （2）

其中k为玻尔兹曼常数。式（2）表明系统的熵正比于系统的微观状态总数，因此热力学熵的物理意义是对一个包含大量微观粒子的宏观热力学系统混乱程度的量化。

若不对孤立热力学系统加以任何限制，粒子可以等概率的处以任意一个单粒子能级的任意一个简并态上，这将会导致系统的平均能量为无穷大。但如果对系统的总能量加以限制，粒子处于不同能级的某个简并态的概率将会不同，我们把粒子依照能级的分布概率称之为粒子的能级分布律，具有相同平均能量的分布律有很多种。最概然统计法指出系统的平衡态应当是所有可能的能级分布中热力学熵最大的分布，这就把热力学熵和系统的能级分布联系了起来。通过求熵极大的状态，就可以得到系统粒子按照能级的分布规律，进而得到其他宏观物理量和微观量之间的关系。

2 信息熵

从生活的角度而言，信息指的是传播在人类社会的所有内容，包括从古至今传承的记录于纸面的知识、口耳相传的音讯、现代通讯系统中处理和传输的对象等。香农认为信息是用来消除事件的不确定性的东西，这一定义被广泛认可并传播使用。但同样的内容在不同人的眼里传递信息的多寡却不相同。比如‘北京这两个字，若讨论范围被限定在新中国的首都，那由于新中国的首都是唯一确定的，因此这两个字没有传递任何信息，新中国的首都和北京是等价的，任何人不通过信息传递都可获知北京这一信息；但若讨论范围被限定在新中国的直辖市，如果没有信息传递，则问题的答案可能是北京、上海、天津和重庆中的任一个，如果传递了‘北京这个信息，则‘北京从四个可能的直辖市中确定了其中一个直辖市，也就是为了消除最终答案的不确定性，必须传递‘北京这个信息。为了给信息量的多寡提供一种量化手段，香农受热力学熵的启发在1948年提出了信息熵的概念。若对于一个事件集合{Xi}，i=1，2，3，…，n，随机事件Xi发生的概率为为pi，其中pi满足=1。则这个事件集合的信息熵被定义为：

. （3）

其中c为常数，log可为以任意数为底的对数[1]。在二进制通道中，常数c被取为1，对数log的底被取为2。在这种情况下得到的信息熵的单位为bit。

从信息熵的定义可以看出，某个信息传递的信息量的多寡的衡量必须在某个确定的事件集合下讨论。若事件集合中所有事件都是等可能的，那么集合包含的事件越多，则对应的信息熵就越大，这就回答了我们之前讨论的‘北京这两个字代表的信息量的问题。同样的信息集合，其概率分布pi越平均，则其信息熵越大，最大值在pi=1/n处取到，这一点可以从概率分布越平均则随机猜测时能猜到正确答案的概率越小这一角度理解。一个事件集合中所有可能的事件在二进制通道中通过字母表和二进制编码一一对应，但不同的编码方式对应不同的平均编码长度，二进制通道下的香农熵还代表了所有可能的编码方式的最短的平均编码长度。

3 热力学熵和信息熵的关系

热力学第二定律和克劳修斯的热寂学说提出后，麦克斯韦为反驳熵增定律提出了被称为‘麦克斯韦妖的思想实验。麦克斯韦妖是一个可以探知粒子运动速度的小妖，它守在一个通过小孔连接的两个处于热平衡态系统A和B的小孔处。若系统A中的一个朝着小孔飞来的粒子速率大于某个速率值v，或者系统B中一个朝着小孔飞来的粒子速率小于速率值v，麦克斯韦妖打开小孔。经过一段很长的时间后，系统A中将只剩下速率小于v的粒子，系统B中都是速率大于v的粒子。系统的温度是系统粒子微观运动剧烈程度的量化，微观运动的剧烈程度就是粒子的运动速率，这就意味着最终系统B的温度将明显高于系统A，整个孤立系统的熵减小，而这违反了热力学第二定律，因此这个思想实验被称为麦克斯韦妖悖论。这个悖论的解决方式是不可能毫无代价的获知粒子的速率信息，获取粒子的速率信息需要向系统输入能量，而根据热力学第二定律，通过向系统输入能量可减少系统的熵，这样麦克斯韦妖悖论和热力学第二定律的矛盾就消失了。从获取信息需要输入能量这一角度而言，信息熵是一种负熵。

香农提出的信息熵是受热力学熵启发的，因此信息熵和热力学熵有许多相似之处。若将宏观系统的每一个微观状态都视为一个可能的事件，根据等概率原理，每个微观状态出现的概率均为，因此该事件集合对应的信息熵为：

. （4）

通过（4）式和（2）式的比较可以看出，通过这种方式定义的信息熵和热力学熵仅仅相差一个常数，因此信息熵和热力学熵具有相同的物理本质。信息熵衡量的是某个事件集合对应的事件的不确定性，信息是消除这种不确定性的东西，因此信息是负的信息熵，或者說信息熵是一种负熵[2]。

从生活角度而言，热力学熵和信息熵的差别似乎颇大。热力学熵多用于研究热力学系统方面，而信息熵多用于衡量信息的传递和信息的获取等方面。但根据上文中我们对这两种熵之间的比较，它们有很多类似的地方。

4 总结与展望

热力学熵是对一个包含大量微观粒子的宏观热力学系统混乱程度的量化，从等概率原理和熵极大出发可推导出系统按能级的分布规律。信息熵是对事件不确定程度的量化，信息消除了事件的不确定性，因此信息熵是一种负熵。熵也可以用来一定程度上解释生活现象。比如，房间不可能自动变得更整洁（有序），而只会随着人的随意活动而更脏乱（无序），人必须付出一定的劳动才能使其变得整洁（外部能量输入使熵降低）。熵的思想还可以拓展到到许多其他范畴，如经济学和社会学等。信息熵只是由热力学熵引申出的熵中的一个分支，熵的概念可进一步推广到更为广泛的范围，这值得我们进一步的研究。

参考文献

[1]魏环.简论热力学熵、信息熵及熵的泛化[J].现代物理知识，1999，（6）：6-7.

[2]李宝立.浅谈熵定律对信息的另一认识[J].科学中国人，2014，（6）：75-75.