什么是信息？香农这样说

差评君

在30岁出头的时候，他仅用两篇论文解决了许多悬而未决的问题，阐明了通信的基本问题，给出了通信系统模型，提出了信息量数学表达式、解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。他提出的信息论向各个学科发起了冲击，最终的研究规模像雪球一样越滚越大，几乎触及了一切领域，他，就是人称信息学创世神的克劳德·艾尔伍德·香农。

我们现在能用滴滴打车、能刷手机听歌追剧，都欠香农一声感谢。作为信息学开创者，这个信息时代的一切科技——近到电脑、手机，远到5G、AI、大数据都通通离不开他的理论。有人这样形容香农，作为信息学的创世神，在创世之日就宣布了这个学科的终点。后来者的努力，无异于在他的前沿理论上做脚注，并一遍遍地证明他说得没错。

缘起于专业的“双修”

1916年4月30日香农出生在美国密歇根州的小城盖洛德。比起传奇的后半生，他的童年略显平凡，除了爱鼓捣机械之外平平无奇。他的父亲沉迷社交，一天下来都没有什么时间照顾他，所以小香农就和小伙伴们自由地搜罗大人们不要的机械器材。小香农就靠着这些捡来的零件，在邻居家的谷仓搭了一台升降机。照这样下去，小香农本该成为一个草根发明家，但好在他还有个姐姐。她姐姐有事没事就爱找小香农解数学题，小香农自然就对数学产生了浓厚的兴趣。等香农上了大学，再也没有人能阻止他对机械的向往了。他踏上了同时攻读数学和工程学两个专业的旅程，当时的专业划分没现在这么细，工程学和数学更像是针尖对麦芒：数学以抽象为美，工程学则是以应用为前提，因此两边谁也看不惯谁。这让香农在年仅20岁时就成了另类的“双修选手”，并前往麻省理工学院师从范内瓦·布什攻读电子工程学硕士。

正是在布什的引导下，香农逐渐成为“一人开创一学科”的天才。而布什这位老师比香农还狠，仅学位就有6个。参加过一战的布什，当时正奉命研发更先进的计算机，用于美军轰炸机瞄准和火力控制系统。相比现代计算机而言，当时的计算机不仅算得慢，而且只能计算特定的问题。布什发明的这台微积分分析机已经算得上当时性能最棒的，但这台重达100多吨的大家伙，算个微积分方程也依然要嘎吱嘎吱跑上好几天。这台机械版分析机要靠电力驱动齿轮、轴承这类的机械转动部件，最终指针指哪，哪就是运算的结果。不仅用起来很麻烦，平时还得把机器伺候好，给齿轮上油、做保养，再按图纸精确组装到位。建个方程组就要耗上好几天，哪里还有力气改变世界？于是这担子自然就落到了资历最浅的香农肩上，虽说能摸到当时地表最强的计算装置固然不错，但天天上油打蜡也不是个正经活儿。于是香农就开始琢磨，到底要怎么解放自己？他很快就发现，分析计算都是机械装置在拖后腿，如果全交给电路来计算的话，不用上油不说，速度还可以翻上几倍。尽管电路的电平变化可以实现逻辑运算的理论如今很多人都知道，但是当时根本没有人会想到去给电路赋能，更没想过用它去解数学题。

因为当时工程师不会把数学研究很深，数学家更不会去钻研不优雅的机械，这事就成了死结。这对工数双修才21岁的香农根本不是个事儿，他掏出大学学过的布尔代数，用电路的开与关来表示二进制的0和1，一款不用拆卸保养的电路数字计算机的雏形就这样问世了。香农在1937年把想法完善成了论文《继电器和开关电路的符号分析》。至此电气工程师们第一次有公式可循，他的论文也成了有史以来最重要的硕士论文。布什也注意到了香农的才华，开始有意识地锻炼香农，为了让香农的数学继续进步，他曾去求隔壁数学系让香农攻读博士学位。甚至在香农决定博士论文要研究遗传学方向之后，布什也没有反对，还托关系让香农接触国家机密级的相关资料。香农也不负众望，他的博士论文做出了领先当时10年的成果，要知道遗传学专业并非他主攻的领域。

“信息论”的蜕变

香农横飞的才华也让他几经辗转来到了科学圣地——美国的贝尔实验室，电话、晶体管、C语言、Unix系统等一系列技术都是从这个实验室走出来的。可就算在这个神仙打架的地方，香农也依然是特立独行的。同事很多时候都跟不上他的思路，香农只好一个人做研究，而他的研究结果太超前，在历史上最重要的硕士论文发表的10年之后，1947年香农发表了论文《通信的数学理论（A Mathematics Theory of Communication）》，一举开创了信息学。这篇文章厉害到什么程度呢？它发表后直接启发了两个领域的发展方向，同时也是人类历史上被引用次数最多的论文。信息论虽难，但说白了就是两件事情：什么是信息，以及怎么传输信息。之前大家都认为信息的核心是内容，而香农却说信息就是不确定性的减少。“过去可知却不可控，未来可控却不可知”这句话就出自他口。

范内瓦·布什从1930年开始着手设计能够求解微分方程的“微分分析机”的工作，造出世界上首台模拟电子计算机。这一开创性工作为二战后数字计算机的诞生扫清了道路。40年代早期，范内瓦·布什作为罗斯福总统的科学顾问，组织和领导了制造第一颗原子弹的著名的“曼哈顿计划”。

这是香农为他的机械老鼠设计的迷宫箱，箱子表面是机械老鼠和迷宫，而箱体内是用早期电路开关设计的逻辑通路。

当然如果要用数学去考量信息，就得先把信息量化。于是香农定义了一个概念——信息熵。信息熵越大，信息的不确定性就越高。通过度量不确定的程度，三下五除二就从侧面把信息量化了。用语言来举例，信息熵越低，产生歧义的可能性就越小。香农自己算了一下，每个英语单词的信息熵只有2.62，远低于汉字的9.6。这也是为什么英语交流的不确定性会比中文要小得多。作为汉语使用者，我们需要把重要的事情重复三遍，因为总担心别人会误解自己的意思，以至于大家觉得信息根本没办法做到无损传输。

而香农用这个公式证明了在一定条件下，不仅信息能够无损传输，还能在不损失信息量的前提下，变法子压缩传输，他连压缩的效率都直接给定好了。香农甚至还用它教人们该如何定义通信技术，今天我们用的宽带、手机信号也是基于他的理论，早在70多年前就已经把5G的下载速度给定好了。而这篇文章在第二年就被直接改了名，从《通信的数学理论》改为“信息论”，寥寥数字之差就是学者到宗师的蜕变。在香农功成名就之后，他做了只机械老鼠，让这只老鼠通過不断自主学习，最终走出迷宫。他还做了一台下棋机器人，天天抓同事给机器人当陪练。因为对这两个小机器的思考，他成了达特茅斯会议的发起人，催生了人工智能革命。

爱因斯坦提前100年预言了引力波，带我们了解这个物质世界，而香农则是教我们如何在物质世界中再造一个数字世界。爱因斯坦阐述了世界，香农重新定义了世界，解决无数难题后的香农在2001年因阿尔茨海默症去世。此时的人们以为吃透了信息论，逐渐让“字节”的概念进入了普通人的生活，可是数字世界越完善，我们才越发察觉这些年信息领域中出现的所有进步，其实早就在1947年就被香农一板一眼地写进了“信息论”。

（责编：南名俊岳）

信息熵

举个例子，一副52张的扑克牌，取一张做底牌，最多猜51次就能猜到正确答案，每猜错一次，没被猜过的牌就变少了，这就是香农所说的“不确定性在减少”。当然，如果直接猜对了，不确定性就直接归零。这个过程中每次猜牌的对和错都是信息，对与错、是与非都是二选一，这和他硕士论文里解决0和1问题相同，每个0和1都代表了一个确定信息，称为“一字节（1bit）”。把一个问题分成无数个是非题，那文字、图片、声音等就能用开关状态进行表达。