信息及其度量计算研究

申海洋 李 林

(1. 巢湖学院机械与电子工程学院， 合肥 238000；2. 北京航空航天大学电子信息工程学院， 北京 100000)

信息及其度量计算研究

申海洋1李 林2

(1. 巢湖学院机械与电子工程学院， 合肥 238000；2. 北京航空航天大学电子信息工程学院， 北京 100000)

剖析了信息的本质意义，通过“六月飞雪”和“寒冬飘雪”的案例对比，揭示了信息量大小和事件发生概率之间的内在关系；通过统计平均的方法推导了平均信息量的计算公式，并以图片内容的多少推演了平均信息量的意义。

信息； 消息； 信息量

当今社会，信息充斥着我们生活中的每一个角落。人们经常将信息同信号、消息等词汇混淆，对信息的内涵很难有准确的认知。此外，我们也时常需要对信息的大小及信息量进行表述。如何对信息量进行计算、对信息量公式进行理解是困扰很多学习者的一个难题。

本次研究以现实生活中书信、短信等为例，揭示了信号、消息和信息之间的内在关系。通过天气预报中的下雨概率和一组图片的对比，揭示出信息量和概率之间的联系，进而验证了信息量的定义公式；最后，通过2幅笑脸图片的对比，给出了平均信息量的推导过程。

1 信息的内涵

信息[1](Information)，它在信息科学中的准确定义为消息中的有效内容。那么什么是消息呢？消息是信息的外在表现形式，它可以是一段语言、一篇文字、一组数据或是一张图片、一段视频等等。日常生活中接触到的消息的表现形式是多种多样的，而接收消息的最终目的就是通过消息来获取某些内在的东西，这些内在的东西就是消息中的有效内容 —— 信息。

以信件为例 。信件是日常生活中常见的事物。当我们收到一封信件的时候，就可以说收到了一个消息。在收到这份信的一瞬间我们并没有立刻获知信的内容，也可以说没有获得新的信息。只有当收信方打开信封阅读信纸上的字后才能知道信的内容，信纸上的字所表述的内容就是我们所说的信息。

假设写信人放错了信纸，把胡乱画了几笔的草稿纸放入信封，那么收信方打开信封阅读后其实没有获得任何有用的东西，也就意味着没有获得任何信息。

因此，只有消息中的有效内容才是通信双方所期盼的信息。随着信息技术的发展，消息的表现形式日新月异，如QQ、微信、微博、手机短信等都是消息，而它们所蕴含的内容就是我们所说的信息。

2 信息量的计算分析

2.1 概率和信息量的联系

天气预报是人们在生产生活中经常接触到的事件。而在天气预报中经常有类似的描述方式“某某地方明天有50%的概率会下雨”。这样的描述方式会使得相当一部分人产生困惑。在人们的理解中明天只有下雨和不下雨这2种可能，而50%的概率会下雨这样一半对一半的概率似乎没有给人任何更多有用的信息。但是同样是50%的下雨概率发生在多雨的南方地区和发生在西北干旱地区，显然会给我们不一样的感受。因此，事件发生概率的大小对人们获取信息量多少的影响是真实存在的。

以图1为例。图1(a)反映的是一个真实的事件。在山西太原入夏以后的某天一位衣着单薄的大学生通宵上网，早晨离开网吧发现室外下了厚厚的一层雪。

图1(b)采集于新年，寒冬里的第1场雪使市内繁忙的交通堵塞。

图1 下雪场景对比

当这2幅图片呈现在学生面前时，几乎所有的目光都停留在图1(a)上。为什么会有这样的现象？大家知道寒冬飘雪是非常大概率和寻常的事情，发生后人们不会觉得意外；而“六月飞雪”却是非常小概率的事件，一旦这样小概率的事件发生后会带给人们极大的震撼和意外，所以大家都把目光聚集在图1(a)上。

所谓给人们的震撼或意外，其本质是小概率事情发生后会给人们更多的信息量，而大概率的事情给人们带来的信息量很少，百分之百会发生的事情不会给人们带来一丝意外。比如告诉学生们国庆节会放假，不会有任何同学觉得意外和惊喜；相反，如果告诉同学们国庆节放假半个月，那么肯定会赢得欢呼。

由此可见，信息量的大小和发生概率之间有密切的关联。小概率事情信息量大，大概率事件信息量小，概率为100%的事件信息量为0。

2.2 信息量的度量

通过分析可知，概率越小的事件发生后越让人吃惊、意外，由此获得的信息量就越大[2-3]。因而信息量和概率之间的关系是：(1) 概率小信息量大，概率大信息量小；(2) 概率为1时信息量为0，概率为0时信息量为无穷大；(3) 2个独立事件构成的消息，其信息量等于二者之和。

关于信息量与概率间的关系中的第3点的解释。假设有2个事件：事件A，在安徽有彩民小瑞中了双色球彩票，其中奖概率为PA；事件B，山西有彩民小鹏中了大乐透彩票，其中奖概率为PB；小瑞中奖和小鹏中奖这两件事情之间本身是没有任何联系的，我们称之为相互独立的事件。若信息量I和概率P之间可以用公式I=f(P)来表述。那么，事件A的信息量IA=f(PA)，事件B的信息量IB=f(PB)。假设，事件A和事件B同时发生，记作事件A&B，那么事件A&B发生的概率PA&B=PA·PB；事件A&B的信息量IA&B=IA+IB[4]。

在自然科学中人们往往对输入和输出间的关系进行统计，并找出其中的规律，然后通过分析规律来尝试建立输入和输出之间的数学表达式。通过信息量和概率之间的关系论证后，发现信息量和概率之间满足对数关系。在图2中， 当x在区间[0，1]内时，y值随着x的增大而递减。当x=0时，y无穷大；x=1时，y取值为0；且满足y=-logax(a>1)。

图2 对数函数曲线

此时：ya=-logaxa；yb=-logaxb

ya&b=-logaxa·xb=-logaxa-logaxb=ya+yb

由此可见，概率和信息量之间的计算关系可以由某些对数函数来表示。

1928年，R．V．L．哈特莱提出了信息定量化的初步设想，他将符号可能的取值个数M的对数定义为信息量，即I=log2M；1948年，香农指出信号源给出的符号是随机的，信号源的信息量应是概率的函数，即I=-log2P。

因此，香农对信息量的定义公式与我们对信息量计算的验证过程一致。

某个事件X的发生概率为P(x)[5]，则接收X获得的信息量I(x)为

2.3 平均信息量的计算

在数字信号中，其本质是用多个不同的码元符号组成的码元序列来传递不同的信息。那么平均信息量是如何进行计算的？我们通过如下例子来进行推演论证。

假设有M种码元，当码元序列的总数为n个时，总的信息量值I为多少？

可以将每种码元的总数计算出来，然后乘以一个码元的信息量，得到码元序列中这种码元总的信息量。利用同样的方法分别将各种码元的信息量进行计算，最后进行累加，得到总的信息量。

在得到码元序列的总信息量I总后，用总的信息量除以总数n即得到平均信息量I平均：

以图3的2张笑脸来说明平均信息量的现实意义。

图3 2张相同尺寸的“笑脸”

图3描述的是2张笑脸的图片。2张图尺寸相同，即像素点个数相同。图3(a)是二进制黑白图片，图3(b)是灰度图片。对比发现，图3(b)大小为54.6 KiB，图3(a)大小为6.2 KiB。同样尺寸的照片为什么会有如此之大的差别？其本质就是2幅图片的最小单位像素点的平均信息量不一样。黑白图片每个像素点的取值概率都是12，而灰度图片的像素点的取某个值的概率要小于12，因此相比之下黑白图片的单个像素的信息量低于灰度图片，所以相同尺寸情况下灰度图片图3(b)的数据量大于图3(a)图片的。

3 结 语

指出了消息的多种表现形式，并结合生活中概率与信息量获取间的关系，以实际生活中类似例子进一步阐明了信息的概念；通过分层次地计算单个码元信息量、某种码元总信息量和所有码元信息量，得到最终的平均信息量；最后，通过实例简明地阐述了平均信息量的现实意义。

[1] 余重秀.信息及其度量[J].大学物理，1997，16(5)：28-31.

[2] 樊昌信，曹丽娜.通信原理[M].北京：国防工业出版社，2006：10-12.

[3] 曹丽娜.现代通信原理与技术[M].西安：西安电子科技大学出版社，2002：25-57.

[4] 沈希忠.信息论与编码教学改革[J].中国科教创新导刊，2012(11)：186-187.

[5] 刘刚，郭漪.探究式教学在《信息论与编码理论》课程的实践与探索[J].Creative Education Studies，2015，3(2)：42.

Research on Information and Its Measurement

SHENHaiyang1LILin2

(1. College of Mechanical and Electronic Engineering, Chaohu University, Hefei 238000, China;2. College of Electronic Information Engineering, Beijing University of Aeronautics and Astronautics, Beijing 100000, China)

Based on deep analysis of the meaning and nature of information, the internal relations between the size and the incident probability are revealed through comparison of "snow in June" and "winter snow" cases. The calculation formula of the average amount of information is deduced through the statistical average method. Mean value of information is also studied based on the volume of pictures.

information; message; information content

2016-10-08

合肥市软科学研究项目“信息技术在环巢湖旅游产业中的应用研究”(2015-13)

申海洋(1984 — )，男，硕士，助教，研究方向为信号处理。

TP751； G201

A

1673-1980(2017)01-0089-03