信息论与编码课程中拉格朗日乘子法的应用

徐伟业　耿苏燕　周正　周珩

摘要：拉格朗日乘子法是數学中求解极值的一种重要方法，而信息论与编码理论中涉及到的许多理论都存在一个极值求解问题，文章将几个重要且典型的信息理论的极值问题分类列出，并且引入拉格朗日乘子法理论归类求解，将多元函数的极值问题大大简单化。

关键词：拉格朗日乘子法；DMC信道；信息率失真函数；加性连续信道

中图分类号：G642.41 文献标志码：A 文章编号：1674-9324（2017）50-0203-02

一、引言

《信息论与编码》课程是通信工程、电子信息工程以及信息科技类等专业的选修或者必修课程。该课程中涉及到大量的理论推导与证明，运用到较多的数学知识，对学生来说感觉生涩难懂，在课堂教学中容易失去兴趣[1]。实际上，经过认真总结与梳理，该课程中所涉及到的许多理论都围绕一个问题——极值问题！并且这个极值的求解都被特定条件约束，这就自然而然地转到学生早已学过的数学知识——拉格朗日（Lagrange）乘子法条件极值理论。

本来学生学过的数学知识在后续的课程中应用属于正常的教学秩序与模式，但是不容乐观。分析其原因，主要有以下两点：

1.时间跨度大，容易忘记。数学上的这个Lagrange乘子法的知识点是固定安排在大学本科期间的第二学期，而信息论课程一般是安排在第6学期（部分院校可能有提前一学期授课），这样，在讲解信息论时再用此数学理论时，大概有2—3年之久，这么长时间的间隔，学生一般都想不起来具体内容。

2.理论与实际应用存在一定的分离性，特别还是信息论上比较复杂的应用。当时的数学讲解涵盖在单纯的数学理论范畴，没有引入实际的工程应用背景，换句话说，数学课上是数学上的推导，遇到稍微复杂的工程问题，不能灵活应用，特别是多变量的数学模型求解，学生接受难度大大增加！

但是如果将这几个常用的、比较复杂的极值问题进行归类与总结，问题就被大大简化，推导与运算也变得顺理成章，大大减少学生的畏难情绪并增强学生的学习兴趣。

二、Lagrange乘子法的运用

四、结论

信息论与编码课程中的许多理论都是根据严格的数学逻辑与推导才得出的，信息论的鼻祖文章名字就叫《通信中的数学》，可见数学在信息论中的超然地位，但是也因为数学理论的过多应用，导致学生学起来特别费神。本文将几个重要的，常用的并且典型的信息理论的极值问题列出，引入Lagrange乘子法理论归类求解，虽然每次计算的变量都非常多，但是因为已经进行了归类计算，所以反而条理清楚，一目了然，达到了将复杂的信息论理论与计算简单化的目的。

参考文献：

[1]高博，等.“信息论与编码”理论与实验教学研究[J].中国电力教育，2012，（4）.

[2]徐伟业，等.任意DMC信道容量的计算与仿真[J].信息技术，2017，（7）.

Abstract：Lagrange multiplier method is an important one to solve the extreme values in Mathematics，and most of theoretical analysis in information theory and coding theory can be transformed to evaluate the extreme value problem. For this reason，some important and typical information theoretic extreme value problems are classified，and the Lagrange multiplier method is introduced to solve the corresponding solutions. As a result，the extreme value problems of multivariate functions are simplified greatly.

Key words：Lagrange multiplier method；DMCchannel；R（D）；Additive continuous channel