基于主题模型的教学评价研究

张扬武

摘要：教学评价在促进课堂教学方面所起到的作用越来越重要，学生的主观评价内容往往过于繁杂，而且主题分散，不容易形成中心聚焦。针对教学评价中的内容分散，难以凝聚情感倾向的问题，本文提出一种基于主题模型的教学评价方法，根据贝叶斯概率理论，学生评价语句是学生对教师教学效果的情感主题的分布，然后在一定主题下的词语分布中产生一个词语，这个产生过程通过发现潜在主题分布，获得有价值的主题。实验结果表明，主题模型教学评价比传统方法更能获得真实有效的评价数据，帮助教师提升教学质量。

关键词：教学评价；主题模型；LDA

中图分类号：TP183 文献标识码：A

文章编号：1009-3044（2019）07-0032-03

Abstract：Teaching evaluation plays a more and more important role in promoting teaching.Aiming at the problem of scattered content and difficult to condense emotional tendency in teaching evaluation， this paper proposes a teaching evaluation method based on topic model.According to Bayesian probability theory， the evaluation sentences are the distribution of emotional topics of students' teaching effect to teachers， and then a word is generated in the distribution of words under certain themes. The experimental results show that the model of teaching evaluation can obtain more real and effective evaluation data than traditional methods， and help teachers to improve the quality of teaching.

Key words： Teaching evaluation； Topic model； LDA

1 引言

隨着以计算机技术为代表的因特网的快速发展，数据生产涉及社会各个方面，其中包括社交、学习和工作等。数据访问具有移动、存储量大和带宽高等特点，因此，对数据的存储、访问以及使用将会越来越困难，也将越来越迫切。在海量分布的数据中发现有用的模式，以及如何对数据进行挖掘成为当前技术研究的热点和应用场景的要求。主题模型（Latent Dirichlet Allocation， LDA）是主题模型领域非常著名的算法，由David M. Blei等人于2003年提出的[1]。LDA模型是一种基于概率的非监督机器学习方法，可以识别大规模文档集或语料库中潜在的隐藏信息。文档中的词语是有背后隐藏主题随机抽取出来的，因此，LDA可以说是由文档产生主题分布，由主题产生词分布的概率生成模型，在文本分类、话题跟踪、数据挖掘和情感发现等领域有着广泛地应用。

教学评价是为了激发和调动学生学习的积极性，引导教师开展课堂教学活动，促进学校教育教学质量的提升，落实教学中心地位[2]。依据教学目标对课堂实施过程进行教学评价，评价结果用来服务提升教学质量的教学决策。很多学校开始逐渐从代替传统的纸质方式过渡到网络方式开展对课堂的教学评价。建立合理的教学评价机制是衡量教学水平的重要标志，评价结果可读性是发挥教学评价机制作用的前提和保障。提高结果可读性需要从大量评价数据中搜索隐藏其中的重要信息，通过规则和统计规律获得可解释的内容，主题模型就是一种统计模型。

2 相关工作

LDA模型已经被学术界广泛接受，给应用带来前所未有的启发和高度，能够满足大数据需求，适用各种文本生产，解决用户生成数据问题。LDA主题模型是一种多项式分布的概率生成模型，可以上溯到巴塞尔问题，欧拉在解决巴塞尔问题的同时，发现了gamma函数，被广泛应用在概率论。解析数论的创建者Dirichlet提出了Dirichlet分布。二项分布的参数符合Beta分布，而多项式分布的参数符合Dirichlet分布，并且后验分布和先验分布是一对共轭分布。后来，Blei发展了PLSA模型，在Dirichlet分布的基础上，结合贝叶斯先验概率，提出了LDA模型。LDA模型隐含变量和参数非常多，求解问题十分复杂，最初用EM变分方法训练，后来使用吉布斯采样来求解[3]。在主题模型中，每个词的产生过程属于独立同分布的重复实验。当一个词被产生时，根据贝叶斯假设的概率选择某个主题，继而以另一个假设概率在该主题下产生某个词典中的词[4]，周而复始地重复此过程便产生了语料集。独立同分布的主题分布，根据文档和频率学派，生成潜在主题分布和观察结果的词，这是一种词袋模型[5]。教学评价中的词主观性强、上下文强和多义性强等特点，如果只是简单分类，将会导致主题分布具有一定的局限性[6]。很显然，在教学评价文本中，在统计概率模型上进行分类和发现。本文提出一种主题模型的教学评价分类方法，在词与词之间发现背后的主题联系，按照主题进行分类和排序。

3 教学评价主题模型

3.1 LDA模型

对于数据集中的每一篇文档，文档生成过程分为三步[7]，其过程如图1所示。方框表示独立重复实验次数，也就是采样次数。因此，M为文档总数，也就是M框图里的步骤重复次数。N为文档中单词数量[8]，主题数量为K。

3.2 评价主题模型

中文词语与英文单词不一样，英文单词用空格分开间隔，而中文句子之间才有标点符号，句子内部词语之间并没有确定的间隔标识，此外，还要考虑到中文词汇的复杂上下文环境，词语的歧义和多义性。因此，中文文本在预处理阶段需要分词，并且还需要进行去除标点符号、删除高频词和过滤停止词等等操作[12]。

根据教学评价指标和教学质量管理决策领域，设定主题数目K。依据先验参数经验，设置文档到主题分布的超参数α，以及主题到词分布的超参数β。对应语料集和词典数量，分配隐含主题Ζ矩阵和初始化LDA教学评价模型。然后，设置迭代次数，进行吉布斯采样。达到停止条件后，输出各个词的主题编号Ζ矩阵，生成tassgin文件。输出文档到主题的分布θ矩阵，生成theta文件，M行K列。输出文档到主题的分布φ矩阵，生成phi文件，K行V列。教学评价主题模型框架如图2所示。

吉布斯采样是一种统计学中用于马尔科夫蒙特卡洛（MCMC）的算法，在难以直接采样时，从某一多变量概率分布中近似抽取样本序列，然后用后验概率伪随机数来估计变量，该序列可用于近似联合分布、部分变量的边缘分布或计算积分，吉布斯采样伪代码如图3所示。

4 实验结果

实验语料集选自教学管理系统，评价数为686篇，经过分词后的词典中词数为1783，主题数量设置如表1所示。设置文档到主题分布超参数α为0.5，设置主题到词分布超参数β也为0.5，迭代次数为1000，各个主题下排序的词数为5。

将上述参数值更新到配置文件setting.conf中，读取语料集文件train.dat。按照迭代次数进行吉布斯采样，完成后输出4个文件，分别是model_theta、model_phi、model_tassign和model_twords文件。model_theta是文档到主题的分布，model_phi是主题到词的分布，model_tassign是词的隐含主题编号，model_twords是每个主题下按分布概率进行排序并且位置靠前的词，排序情况如表2所示。

5 结束语

教学评价越来越重视主观评价，评价用语越来越倾向网络语言化趋势，有着与普通文本不同的特征。针对学生的主观评价内容分散和不容易形成突出點，本文提出一种基于主题模型的教学评价方法，通过中文文本预处理，将分词词语输入到教学评价模型，根据参评学生数量合理设置主题数量，然后在贝叶斯概率模型和Dirichlet分布的基础上进行吉布斯抽样，输出词语的主题分布情况。实验结果表明，主题模型教学评价比传统方法可以获得更好的分类效果和主题推荐词，为教育教学决策活动提供有效支持。

参考文献：

[1] David M. Blei， Andrew Y. Ng， Michael I. Jordan. Latent Dirichlet Allocation[J]. Journal of Machine Learning Research，2003（3）：993-1022.

[2] 李民.强化教学评价机制推动临床医学教学质量提升[J].重庆医学，2011，40（11）：1131-1133.

[3] David M. Blei， J. Lafferty. Correlated Topic Models. The Proceeding of International Conference on Machine Learning， 113-120， 2006.

[4] David M. Blei， J. Lafferty， D. John. Dynamic Topic Models. The Proceedings of the International Conference Machine Learning， 113-120， 2006.

[5] Y. Yao， Q. Li. Term Weighting Schemes for Emerging Event Detection. The IEEE International Conference on Web Intelligence & Intelligent Agent Technology， Vol.1：105-112， 2013.

[6] P. A. Chew. Terms Weighting Schemes for Latent Dirichlet Allocation. The Proceeding of the North American Chapters of the Association for Computation Linguistics， 2010（3）：465-473.

[7] 徐戈， 王厚峰. 自然语言处理中主题模型的发展[J].计算机学报， 2011，34（8） .

[8] 张晨逸，孙建伶. 基于MB-LDA模型的微博主题挖掘[J].计算机研究与发展，2011，48（10）.

[9] 郭蓝天，李扬等.一种基于LDA主题模型的话题发现方法[J].西北工业大学学报，2016，34（4）：697-701.

[10] 石晶，胡明，石鑫.基于LDA模型的文本分割[J].计算机学报，2008，31（10）.

[11] 李文波， 孙乐.基于Labeled-LDA模型的文本分类新算法[J].计算机学报，2008，31（4）.

[12] 王和勇，崔蓉.在线用户评论的主题研究[J].现代情报，2015，35（5）.