基于问题引导的“信息论”课程教学探索

杨 杰，吴莎莎

（北京理工大学信息与电子学院，北京100081）

0 引言

在传统的教学中，经常采用的模式是先定义一个概念（比如“导数、速度”），接着是围绕概念给出其基本计算，之后是通过应用题方式加深概念的应用。这种方式的好处是概念与基本计算的关联性很强，提到概念，就能直接想到基本计算方法，但对概念的物理意义的理解则依赖于应用题的设计和覆盖面。对于一些较为抽象的概念（比如“信息论”中的“熵”），由于其无量纲的特性，应用题的设计非常困难，以至于很多的学生对其物理意义的理解不够，影响了其对相关知识的学习与应用。

“信息论”课程是以香农信息理论为核心的一门课程，而香农信息理论是诞生于通信技术研究的一门基础理论，是揭示信息传输系统基本规律的理论［1］。其主要内容涉及到一系列以熵为核心的测度量概念（如：熵、互信息、条件熵、联合熵、信道容量、率失真函数等）、围绕这些测度量的计算以及三大优化定理［2］。香农信息论有两大特点：

（1）所有的测度量都是建立在“香农信息”概念的基础上的。由于“香农信息”剥离了信息的语义和语用价值，虽然具备客观属性，但却与自然人感受的信息产生了巨大的差异，因此“信息论”中的这一系列以熵为核心的测度量都是无量纲的，而要从物理意义上深入理解这些测度概念则是很困难的。

（2）“信息论”是以存在性研究为主体的，三大优化定理只给出了最优编码的存在性（只有第一定理在证明过程中给出了构造性方法），没有构造方法的编码定理不仅证明过程抽象，而且难以直接应用，即无法以其指导工程实践［3］。

（3）正因为这些特点，很多学生都把该课程当成一门数学课程来学习，甚至很多教师也把该课程当做“概率论”课程的一门后续的数学课程来教学，对信息论概念的物理意义以及信息论编码定理对信息传输系统设计与优化的指导性意义没有进行深入的探讨和认知。在很多面向研究生的信息论教学中，虽然课程也常常以“应用信息论”为名称，但课程的主要内容是信息论编码应用成果的介绍，为研究生传授具体编码方法的知识。但作为信息技术领域的一门方法论课程，“信息论”中“提出问题-分析问题-解决问题”的思维方法比具体的知识更为重要。这如同“鱼”与“渔”的关系，若只以计算方法和编码方法作为教学重点，就只授学生以“鱼”，若能够以信息论思想、信息论方法为核心组织教学，就可能做到授学生以“渔”。

笔者从事了多年的信息论教学，也做了多年的科研实践，越来越深刻地感受到信息论思想对科研、教学甚至对生活的指导意义，因此在教学中也试图将这种思想传达给学生，探索一种以问题引导的教学设计，将信息论的基本概念、基本计算、基本定理等基础知识用若干层次递进的问题链接起来，让学生更深地体会到信息论概念的物理意义和提出问题-分析问题-解决问题的思维方式。

1 问题设计

“信息论”顾名思义就是论信息，因此问题的设计始终应围绕信息概念展开，从明确“信息论”要论的信息定义出发，最终以回答信息如何能被很好地传输结束。具体问题链如图1所示。

2 教学内容组织

图1中问题链中的每一个问题所涉及的内容都非常丰富，信息论思想的一个核心就是“匹配的才是最佳的”，教学内容的组织需要匹配授课对象的知识和专业背景。在有限学时的约束下，只有根据授课对象的特点合理安排教学内容，才能让学生在课程内真正掌握和提升必需的知识与能力。

图1 基于问题引导的信息论课程问题链

对于并未接触过通信类课程的授课对象，如大二、大三的本科生或者本科专业不是通信与信息系统相关专业的研究生而言，“信息论”课程对于他们来说是一门信息工程领域的基础课程，所以一般会以“信息论”或“信息论基础”作为课程名称。“信息”的概念、特点、表示、测度方法以及基本传输方法是课程的主要内容，通过这些问题的讨论，学生建立起信息传输的基本框架，这为其后续相关的专业课程奠定基础。

对于通信相关专业的学生而言，“信息论”课程于他们是“通信系统”的一门基础课程，所以一般会以“信息论”或“信息论与编码”作为课程名称。除了“信息”的概念、特点、表示、测度方法以及基本传输方法外，“信息如何能传输得好？”这一问题探究也是必要的内容，通过这些问题的讨论学生对现有通信系统的组成、具体编码方法的设计思路和性能评价方法有清晰的认识，为后续的各类信息传输与信息处理类的课程（如：“语音／图像处理技术”、“导航系统”、“移动通信”等）的学习奠定理论基础。

对于具有信息技术领域更多专业基础的学生（如信息技术相关专业的博士研究生或具有一定信息传输专业知识的硕士研究生）而言，“信息论”课程于他们是一门为各类信息技术提供理论基础和方法来源的课程。所以一般会以“应用信息论”作为课程名称。除了“信息”的概念、特点、表示、测度方法以及基本传输方法和编码方法外，还需要对测度概念、编码定理的扩展应用建立认知，对信息论思想和信息论研究方法进行深入的理解，并结合信息论在不同领域的应用成果学会用全局的、系统的观点，科学的方法和数学的语言去提出问题-分析问题，实现突破与创新。

如下便以“信息论基础”课程为例，给出围绕问题链中各个问题组织的教学内容。

2．1 信息是什么？

围绕“信息是什么？”的问题，需要回答一系列更为具体的问题，如：“信息论”论的“信息”是什么？有什么特点？为什么能通过数学手段去“论”？与自然人感受到的信息有何区别和联系？在此基础上，才能明确“香农信息”的概念。为了辨析目前围绕着“信息”的一些专业术语与“香农信息”的区别与联系，还需讨论信息、信息技术、信息理论、信息科学等术语的含义与应用现状。对于信息传输系统而言，不仅需要清晰界定“信息”的外延，还需要对信息的三个表达层次：信息、消息、信号进行定义和比较［4］。最终的目标是让学生在比较中明确“信息论”所论的信息是“香农信息”，其客观属性决定了“信息论”是用数学方法定量研究信息传输规律的科学。具体内容包括：

（1）香农信息概念

（2）全信息、技术术语信息与香农信息（3）信息、消息与信号

2．2 信息如何表示？

在明确“信息论”论的是“香农信息”的基础上，对“信息”进行数学表示就成为可行且必要的了。从观察者和被观察事物的角度，将观察者获得的信息和被观察事物自身“不确定性”建立关联，同时引入概率论等数学工具，建立随机变量的“随机性”与香农信息的“不确定性”的联系，最终目标是让学生明确：客观事物的不确定性可以表示“香农信息”，客观事物“不确定性”的减少量可以表示观察者获得的信息量的结论［5］。具体内容包括：

（1）随机变量的“随机性”与“不确定性”

（2）随机变量的“随机性”与概率

（3）信息量与随机变量的“不确定性”

2．3 信息如何测度？

回答了“信息如何表示？”的问题后，信息测度的问题就可以很清晰地转化为对客观事物“不确定性”的测度问题。从随机变量的离散／连续、一维／多维、有记忆／无记忆、平稳／非平稳等角度；引入熵、联合熵、条件熵、熵率、微分熵、互信息等概念的定义、单位和性质及其相互关系，并结合通信系统实例解释物理意义［6］。最终目标是让学生明确：观察者获得的信息量可以从观察客观事物本身以及观察与该事物有关的另一客观事物两个角度，通过熵的减少量和互信息来测度。具体内容包括：

（1）离散随机变量的熵

（2）熵函数的单位

（3）熵函数的性质

（4）联合熵与条件熵

（5）连续随机变量的微分熵

（6）互信息与互信息函数的性质

2．4 信息如何传输？

对于信息如何传输的问题，首先需要理解广义通信系统模型，从广义信息传输系统的角度理解信源、信道、信宿的概念和作用；明确以电磁波作为信号载体的信息传输系统（通信系统）的特点，基于不同的信源、信道特性了解通信系统的分类［7］；学习用数学语言描述及测度通信系统的方法。最终目标是让学生建立通信系统的基本框架，明确通信系统的功能，并能够对通信系统的各个模块进行数学建模和定量分析。具体内容包括：

（1）广义通信系统模型

（2）通信系统的分类

（3）信源特性与信源建模

（4）信源输出信息量的测度

（5）信道特性与信道建模

（6）信道传输信息量的测度

（7）信宿特性与建模

（8）信道接收信息量的测度

2．5 信息如何传输得好？

在确立了通信系统的基本功能是传输信息的基础上，“信息如何传输得好？”是紧接着需要讨论的通信系统性能问题，通过信息传输的数和量的角度归纳出通信系统的基本问题为：“有效性、可靠性”（很多文献和书籍认为还应有“安全性”，考虑到“安全性”本质上是人为干扰下的可靠性，且对安全性的讨论需要更多的数学基础，故除非针对特定的授课对象，一般不在“信息论基础”课程中讨论），由此引出有效性和可靠性的测度方法以及提高有效性和可靠性的方法。具体内容包括：

（1）无失真信源输出信号携带信息的有效性测度（信源冗余度、信源效率）

（2）限失真信源输出信号携带信息的有效性测度（失真度、率失真函数）

（3）信道传输的有效性测度（信道容量、信道效率）

（4）信道传输的可靠性测度（译码规则、误码率）

（5）提高无失真信源输出信号携带信息有效性的方法（无失真信源编码定理、具体编码实例）

（6）提高限失真信源输出信号携带信息有效性的方法（限失真信源编码定理、具体编码实例）

（7）提高信道传输有效性的方法（充分利用信道容量、等效提高信道容量）

（8）提高信道传输可靠性的方法（信道编码定理、具体编码实例）

上述所列各条内容后的括号中的描述，是为了说明具体内容与目前主流的“信息论”教材的章节题目对应关系。可以看到，对于“信息如何传输得好？”问题的讨论内容，包含了信息论的重要概念：信道容量、率失真函数以及香农三大编码定理，它们都是信息论最为重要的知识点。如果以“信息如何传输得好？”问题为导引，那么可以将这些重要的概念和定理在通信系统的基础上有机地联系起来，这就如同将散落的珠子，用引线串成了美丽的项链。

3 “信息论”课程与其他课程的关系

讨论完上节有关的问题后，“信息论”课程的基本内容已经全部包括，但问题的探讨并未结束，信息论揭示了信息传输的基本规律、三大编码定理以存在性描述方法给出了解决“有效性、可靠性”问题的方向。在实际中，具体的传输系统还有其特有规律和约束条件，解决问题的具体方法的设计与实现则由相应的课程继续深化。因此为了更进一步理解信息论是信息技术方法论的意义，还应结合课程体系，说明“信息论”课程与其他课程的关系。由于不同授课对象的课程设置不同，在此仅以“通信原理”课程为例，简单说明“信息论”课程与“通信原理”课程的关系。

“信息论”和“通信原理”课程的研究对象都是通信系统。但研究的目标不同，其系统框图的组成也不尽相同。

“信息论”研究目标是揭示信息传输的基本规律，寻求在“有效、可靠”性能上优化的通信系统。“信息论”研究成果告诉我们：一个理想的通信系统是有效而可靠的，而实现有效性和可靠性的技术途径是信源编码和信道编码。因此“信息论”课程中一般描述通信系统组成的框图如图2所示。“通信原理”课程的研究目标是通信系统设计与实现的基本原理，实际上正是在“信息论”思想指导下，针对具体信源、信道和信宿的特点，研究实现有效性和可靠性的具体编码方法，因此在“通信原理”课程中，对通信系统的组成框图的描述更细，如图3所示。

图2 “信息论”课程中的通信系统组成

图3 “通信原理”课程中的通信系统组成

比较图2和图3，可以看到，“信息论”提出了通信系统的基本问题是有效性和可靠性问题，指出解决问题的方法是编码；“通信原理”则给出了具体编码实现的基本原理和性能分析方法［8］。因此两门课程的关系可以看成：“信息论”回答了“为什么要进行信源编码和信道编码？”的问题；“通信原理”则回答了“如何进行信源编码和信道编码？”的问题。

“信息论”中的香农三大定理告诉我们，存在“好的”编码方法使得系统可以达到好的有效性和可靠性，而“好的”编码方法是匹配信源、信道特性的方法。很多信息传输和信息处理类的课程，如：“移动通信”、“卫星通信”、“语音信号处理”、“图像信号处理”等，所研究和探讨的内容，正是沿着这个思路，通过深入分析具体的信源、信道特性，寻求匹配这些特性的编码方法，并对其性能进行分析，进一步回答“在具体应用背景下，如何进行信源编码和信道编码？”的问题。因此信息论作为方法论一直在信息技术领域发挥着很好的指导意义。

4 结语

为了帮助学生深刻理解信息论概念和信息论方法的物理意义，本文探索以问题引导式的教学方法，将“信息论”课程的内容通过问题链连接起来。给出了问题的设计，围绕每个问题将课程内容进行了组织。并以“通信原理”课程为例，分析了“信息论”课程与“通信原理”课程的关系，并分析了信息论作为信息技术方法论的意义。