采用非线性决策树的学生课堂教学满意度研究

盖秋艳，吴 倩，向 武，吴 锡

（成都信息工程学院，四川成都610225）

0 引言

学生反馈获得的课堂教学满意度是衡量高等院校课堂教学质量的重要指标，较为常见的3种指标：教师表现、课程学习便利度和教学效果[1－5]。教师表现指教师营造积极、愉快的课堂气氛的能力，以及是否能够清楚地解释讲授的内容[6－7]。总体教学满意度与获取教师表现呈正相关。假设前提条件和教学资源是充足的[7]，例如，课程结构的均衡性和长度方面[2]，对于课程学习便利度而言，总体教学满意度随着学生对培训内容的认可度的增加而上升[8]。最后，教学效果与总体教学满意度呈正相关。教学效果与教学目的及教育方法相结合，如明确的教学目标，课前预习等方面对教学效果有重要的影响[9－10]。现有研究介绍了另外一些方法，例如对课程及参与者的特点研究[11－12]；分析其他感知结构的作用[13]，如易用性的学习概念，这一概念从文献信息系统衍生而来，反映一个系统的接受度不仅取决于系统的效能及操作的条件，同时也依赖于对系统易用性的感知[14－15]。

学生反馈则是对课堂教学质量进行评价的重要手段，通常采用学生主观问卷的形式进行数据收集，理想状态下，这些统计数据能够对建立改进教师教学的建设性机制有帮助。但是，现有常用学生主观问卷仅作为课堂教学的辅助性指标，一般对此类数据只进行简单的统计处理，并不提供问卷信息的深层次分析，特别是多个统计参数间的相关性基本被忽略。

基于以上论述，为使学生反馈的有效性达到最大化，采用数据挖掘技术对学生课堂教学满意度的测量构建基于非线性决策树的定量分析统计模型，并通过数据预处理、模型分析等方法在现有教学质量统计的基础上，对线性和非线性决策树模型进行分析，并使用Logit决策树对成都信息工程学院开设的本科专业必修课程《数字图像处理》的学生反馈问卷进行课堂满意度分析。

1 方法

实证数据的采集，包括数据清理，预处理和建模。

符号用于作为标记，一个标量x∈R表示正常的脚本，矢量x∈Rn用粗体。矩阵X∈RN×n是加粗的大写符号。Xi（j）是X矩阵的一个表示jth实例的属性值。N代表数据集中的数量属性。c由y的值来决定，c是叉状分枝的二分法计算。

1.1 数据收集

数据来源于成都信息工程学院电子信息工程专业开设的本科专业必修课程《数字图像处理》，收集时间跨度为连续3个学年，391名学生。学生反馈调查问卷表的设置根据对课堂教学质量的3种指标分为3大类别，分别是课程学习便利度、教师表现和教学效果如表1所示。

表1 学生反馈问卷调查表

1.2 数据预处理

为了建立实际的教育评价模型，首先需对数据进行预处理，包括数据清理和滤波器。

1.2.1 数据清理

目标分为4个级别（如对一门课的总体评价），1分最低，4分最高。一些技术无法处理缺失值（如逻辑回归），在属性连续的情况下，这些值将被属性的中值取代。在类属性的前提下，将使用众数归因。如果实效值超过10%，实效值关联的实例将从数据集中删除。目标属性实效值也将被删除。具有一定顺序的类属性使用thermometer编码，否则使用虚拟编码。

1.2.2 mRMR滤波器

在数据挖掘技术中，高维数据中的重复数据不容易被筛选[9，16－17]。在数据分析之前使用mRMR滤波技术。使用启发式方法选择最显著的数据集。这种方法相对于不同的因子分析和主分量分析节省计算量，选出的数据不需要修正。

采用Peng的最小冗余和最大关联滤波器[10]。滤波器建立在Shannon的信息理论基础上，使用相互信息表达独立的数据集属性[18－19]。使Sm∈X包含m属性，x（j），j＝1，…，m。mRMR滤波器采用最大关联及最小冗余的标准，子集S的关联性被定义为：

S子集的冗余性定义为：

I（x（j）；x（j′）表示在2个任意变量x（j）和x（j′）的相互信息，定义为：

mRMR滤波器最终将相关性和冗余性计算成一个公式：

使用滤波器技术，每次对10个最好的子集特征进行建模。

1.3 分类器选择

使用基于决策树的方法进行数据分析，但是由于简单的线性决策树无法获得准确结果，在此基础上使用对数回归（Logistic Regression）构筑非线性模型进行分析[20－21]。

决策树分类器由于其灵活性、计算效率高以及便于理解得到广泛应用，其典型包括分类和决策树（Classification and Regression Tree，CART）和间接分类器1（Oblique Classifier 1，OC1），前者产生一元的树结果，后者产生的树则在每个分支考虑多种参数。

CART同时实现分类的回归过程，在每个分支，树的产生算法仅考虑单一参数，其分类准则一般使用Gini分散指数（Gini Diversity Index，GDI）[22]：

不同于一元树，OC1试图获得式6的超平面，在允许合理灵活性的基础上获得更精确结果：

当输出是普通参数时，一般使用普通回归进行模型拟合，而对数回归则将输出限制在0～1，便于将输出用于表示为类的概率，则累积对数回归模型对类k使用式7描述其累积对数概率：

1.4 分类性能估计

用于测量分级性能最直接的参数是正确分类的比 例 （Percentage of Correctly Classification，PCC）[23]。PCC实质是有混淆矩阵所有对角元素之和被实例总和相除。这种方法被广泛应用到多元分类，在混淆矩阵中的每一个元素（k，r）代表属于k类的实例，由r类实例标记。在这个运算中，每一个实例被分配到所有c关联类中的最高隶属值中。根据PCC，使用从信用评估领域中的notch差异图表[18]。PCC对于等误分类进行假设，得出了不同种类的等误分类，通过观察，这种假设并不是最适合的方法[24]。假设目标分类的值是按自然顺序排列，区分属于类别3中的类别1实例相比区分类别2中相同的实例会产生错误数据，因为类别2数据来源于实际数据和预测数据之间的1notch差异。因此notch差异图表要比PCC提供更精准的数据信息，notch差异图是信用评分相关的一种统计方法，如图1所示。

图1 notch差异图

1.5 分类器可理解度

较之分类性能，不存在单一的算子对模型的可理解度进行量化分析[25]。理解度被认为在某种程度上是对分类模型理解的心理适应过程，具有一定的主观性[26]，这种心理适应的受模型的类别和大小影响。个人差异如经验和教育程度对决策模型中可获知的理解性有重要影响[27]。

研究中，对多种线性和非线性模型的可理解度进行分析，分析方法包括2个方面。首先是表征方法，基于符号的表征方法更便于视觉接受和理解[22，28]，第二是模型复杂度，一般认为，越简单的模型，越便于理解，但是对于分类器模型可理解度和模型复杂度的关系目前并未见相关资料，使用决策树的叶节点数量表征模型复杂度，叶节点越多，其复杂度越高。

2 结果

首先对CART、OC1和Logit 3种分类器的性能进行比较分析，分析数据集中数据显著性在10%以内数据，对分析结果选择其中效果较好的Logit分类器对成都信息工程学院本科专业必修课程《数字图像处理》学生调查数据建模和分析。

如表2所示，3种分类器中，性能最好的为Logit分类器，其PCC最高，达到0.65，明显高于另2种线性分类器，而CART和OC1 2种线性决策树性能较差的原因，可能在于其无法充分获取数据间的非线性相关性。对于其可理解性，Logit模型的叶节点数量相对不是最低，但是较之平均节点最少的OC1，OC1其节点数量方差达到3.43，说明该分类器并不稳定，基于综合考虑选择Logit决策树进行全部数据的分析。

表2 分类器性能和可理解度比较

如图2所示，Logit决策树表示学生对于使用数据集的课堂教学的反馈度，由图可知，学生最关注的是课程学习的便利程度，如果该指标较低，就算教师表现较好，仍然无法获得较高的学生课堂满意度，该结论可以用于解释和指导双语教学的效果，当在专业课程中，使用英语程度过高，学生难于学习和接受课堂内容时，即使学生对教师个人素质认可较高，仍会对课程存在不同程度的意见。其次，当课程学习便利程度较高时，教师表现较之其他参数具有更高的重要性，反之，当课程学习便利程度较低时，课堂教学的有效性则更重要。这样的结论也与实际观察相符合，由于双语教学使用英文原版教材，学生受英语水平、专业能力等影响，对于原版教材具有较高排斥，在这种教学不便条件下，在课堂上，对教材的关键内容进行细致深入讲解后，学生对课堂教学的认同度则相对较高，如果忽略教材的细致讲解，将会造成学生因为教材不易理解，从而导致对教学质量产生负面评价。

图2 Logit决策树状数据

3 结论

使用Logit决策树对《数字图像处理》双语课程近3年的学生课堂教学满意度调查问卷进行数据挖掘和定量建模分析，经过数据预处理、模型评估，选择非线性的Logit决策树对学生3个类别、10个不同变量的反馈调查问卷进行分析，并构筑树状模型。结果表明，该模型符合对学生课堂满意度的主观解读，可为课堂教学管理提供有效的定量分析工具。针对调查问卷获得的抽象信息，使用决策树的技术进行数据挖掘，对问卷信息进行定量准确分析。基于此思路，首先强调使用决策树技术的有效性和可靠性，在此基础上对于线性和非线性决策树的优缺点进行比较和总结，其作用和优点主要有两方面，第一，结果简洁直观，如图2所示。不同情况的分析结果可由决策树直接描述，避免了问卷多个内容反映一个信息，输出信息量繁杂带来的误解；第二，结果定量可靠，推测结果由其不同概率的统计结论支持，避免不同条件下的主观分析差异。

[1] J Chih，C Liu，H Lee.Relationship between trainee attitudes and dimensions of training satisfaction：an empirical study with training institute employees[J].International Journal of Management，2008，25（4）：756－763.

[2] A Giangreco，A Carugati，A Sebastiano，et al.Trainees’reactions to training：shaping groups and courses for happier trainees in an italian context[J].The International Journal of Human Resources Management，2010，21（13）：2468－2487.

[3] A Giangreco，A Sebastiano，R Peccei.Trainees’reactions to training：an analysis of the factors affecting overall satisfaction with training[J].The International Journal of Human Resources Management 2009，20（1）：96－111.

[4] L Long，C Dubois，R Faley.Online training：the value of capturing trainee reactions[J].Journal of Workplace Learning 2008，20（1）：21－37.

[5] L Sargent，B Allen，J Frahm，et al.Enhancing the experience of student teams in large classes[J].Journal of Management Education 2009，33（5）：526－552.

[6] M Gatta，P Ross.Rethinking occupational integration[J].Sociological Forum，2005，20（3）：369－402.

[7] G Rabey.Diagnose then ACT.Some thoughts on Training Today[J].Industrial and Commercial Training 2007，39（3）：164－169.

[8] P Kidder，J Rouiller.Evaluating the success of a large－scale training effort[J].National Productivity Review，1997，16（2）：79－89.

[9] T Menzies，J Greenwald，A Frank.Data mining static code attributes to learn defect predictors[J].IEEE Transactions on Software Engineering，2007，32（11）2－13.

[10] C Shannon，W Weaver.The Mathematical Theory of Communication[M].University of Illinois Press：Urbana，1949.

[11] C M Bishop.Neural Networks for Pattern Recognition[M].Oxford University Press：Oxford，1995.

[12] T Sitzmann，K Brown，W Casper K，et al.Zimmerman，A review and misanalysis of the nomological network of trainee reactions[J].Journal of Applied Psychology 2008，93：280－295.

[13] A Giangreco，F Goethals.Students’overall satisfaction with training in a business education institution going through international accreditation processes[D].Working paper，IESEG School of Management，2011.

[14] F Davis.Perceived usefulness，perceived ease of use，and user acceptance of information[J].MIS Quarterly 1989，13（3）：319－339.

[15] V Venkatesh，M Morris，G Davis，et al.User acceptance of information technology：toward a unified view[J].MIS Quarterly，2003，27（3）：425－478.

[16] K Dejaeger，W Verbeke，D Martens，et al.Data mining techniques for software effort estimation：a comparative study [J]. IEEE Transactions on Software Engineering [EB／OL].http：／／doi.ieeecomputersociety.org／10.1109／TSE.2011.55.

[17] W Verbeke，K Dejaeger，D.Martens，et al.New insights into churn prediction in the telecommunication sector：aprofit driven data mining approach[J].European Journal of Operational Research，2012，28（1）：211－229.

[18] E Altman，H Rijken.How rating agencies achieve rating stability[J].Journal of Banking ＆ Finance，2004，28（11）：2679－2714.

[19] H Peng，F Long，C Ding.Feature selection based on mutual information：criteria of max－dependency，max－relevance，and min－redundancy[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（8）：1226－1238.

[20] P Domingos.The role of Occam’s razor in knowledge discovery[J].Data Mining and Knowledge Discovery，1999，9（4）：409－425.

[21] W Loh，Y Shih.Split selection methods for classification trees[J].Statistica Sinica7，1997：815－840.

[22] W Arthur Jr，W Bennet Jr，P A.Edens.et al.Effectiveness of training in organizations：a meta－analysis of design and evaluation features[J].Journal of Applied Psychology，2003，88（2）：627－635.

[23] B Baesens，C Mues，D Martens，et al.50years of data mining and OR：upcoming trends and challenges[J].Journal of the Operational Research Society，2009，60：16－23.

[24] D Hand，R Till.A simple generalisation of the area under the ROC curve for multiple class classification problems[J].Machine Learning，2001，45：171－186.

[25] J Huysmans，K Dejaeger，C Mues，et al.An empirical evaluation of the comprehensibility of decision table，tree and rule based predictive systems[J].Decision Support Systems，2011，51（1）：141－154.

[26] I Askira－Gelman.Knowledge discovery：comprehensibility of the results[C].in：Proceedings of the 31th Annual Hawaii International Conference on SystemSciences，USA，1998，5：245－256.

[27] I Benbasat，R N Taylor.Behavioral aspects of information processing for the design of management information systems[C].IEEE Transactions on Systems，Man，and Cybernetics，1982，12（4）：439－450.

[28] R Velada，A Caetano.Training transfer：the mediating role of perception of learning[J].Journal of European Industrial Training，2007，31（4）：283－296.