基于次序选择模型的本科高校教学质量学生评价因素研究

孙大岩, 陈 磊, 陈文茹

(1.东北财经大学 经济学院， 辽宁 大连 116025； 2.内蒙古民族大学 经济学院， 内蒙古 通辽 028000；3.内蒙古东部乡村振兴研究基地, 内蒙古 通辽 028000)

习近平主席在2018年9月10日的全国教育大会上指出“要深化教育体制改革，健全立德树人落实机制，扭转不科学的教育评价导向，坚决克服唯分数、唯升学、唯文凭、唯论文、唯帽子的顽瘴痼疾，从根本上解决教育评价指挥棒问题”，这充分表达了对教育和教学质量进行科学评价的重要性。

某大学将学生培养目标定位为“培养具有坚定的理想信念、高尚的家国情怀、深厚的人文底蕴、扎实的专业知识和较强创新能力的应用型人才。” 这对各学院不同专业课堂教学质量和学生满意度提出了更高要求。在该校逐渐推进混合式教学改革(含ISEC项目)的状况下，本文将针对多个学院多个专业、年级发放调查问卷来具体研究不同课程课堂教学质量与其影响因素的数量关系。

本文首先使用规范分析法对课堂教学质量的概念和以往的研究文献进行了归纳和阐释，其次运用调查分析法和实证分析法来探讨影响某大学多个学院专业多门课程课堂教学质量的主要因素,最后对如何提高课堂教学质量提出了相应的对策建议。

1 文献综述

对于现代教育质量的监测与评价西方学者做了大量的工作。斯塔弗尔比姆曾提出将背景、输入、过程与结果这4种评价相结合的评价模式。斯塔克则首次提出应答评价模式并和古柏等人做了深入完善。Boyer指出：“抛弃古老令人生厌‘科研与教学’争论的机会已经来临，为了确定各方面学术工作的合理性，我们应该给予尊敬和熟知的‘学术’更多容量和更广泛的含义。”[1]马尔什等的观点是，很多因素可以影响教学的有效性，包括班级大小、课程特征、学生的能力水平和对有效教学的认识等。霍华德·加德纳在对同行、在校学生、毕业学生和独立评教者做出的评价结果进行比较后得出结论：毕业学生和在校学生在教学效果评价效度上高于同行评价、教师自评和他人评价[2]。

国内相关的研究起步较晚，成果主要集中在2000年之后。蔡永红[3]研究认为学生的主动探索力、创造力和判断力在非结构性约束的情况下才能有所表现。潘涌[4]认为，在教学评价中要有计划和目的地进行多次进课堂听课，了解教学的整个过程，切忌“一课定论”，使评教从形式化向有品位、有内涵的制度性转变。王永斌等[5]通过对甘肃工科院校进行问卷调查研究认为，学校的硬件设施及经费投入、教师素质水平和学校的管理水平是3个影响高校教学质量的最重要元素。胡绍元[6]指出，客观性原则、一致性原则、全面性原则、目的性原则和可行性原则是教师进行教学质量评价的5条基本原则。马陆亭[7]认为，通过两种方法可让专业教育和通识教育得到互补和相融，一种是把通识教育作为基础来发展专业教育，另一种是通识教育以专业教育为基础进行。叶赋桂[8]认为当今中国教育存在着评价价值的贫困、实质评价的贫困、评价伦理和评价功用的贫困，提出的改善措施包括：评价结果要和人事决策脱钩、评价要把价值放在第一位、评价要遵循评价伦理等。钟春华等认为教学环节能影响学生评教，同时也受很多非教学因素的影响。具体包括评教系统设置是否完善、他人评价及个人心情、课程类别属性、课程学习属性、评教者主观心态、课程前瞻性等[9]。

综上，以往研究成果主要包括两大类：一类是关于教学质量的定性分析，当然研究视角也是多元的，有的侧重于本科教学评估，有的侧重于教学工程和教学团队，有的侧重于实践教学和教学改革等；另一类是评价教学质量的定量分析，常见的统计和计量方法有模糊综合评价法、主成分和因子分析法、聚类法、决策树法、神经网络法、非参数检验法等。而本文运用有序Logit模型和有序Probit模型从概率的角度来分析教学质量和影响因素的关系，这并不多见[10]。

2 方法介绍

2.1 Logit模型

Logit模型是离散选择模型的一种，用来描述因变量取值概率和自变量间的关系。它主要包括二分类、无序多分类和有序多分类3种类型。Logit模型的因变量非连续，误差服从二项而非正态分布，因此要使用极大似然估计而非最小二乘法来估计系数，使用瓦尔德和似然比而非F和t统计量来检验系数的显著性。本文主要使用有序变量的logistic回归，下面介绍一下其模型定义：

设因变量y为有k个等级的有序变量：y=1,2,3,…,k；xT=(x1,x2,…,xh)为自变量。记y的等级为i的概率为P(y=i|x)=pi,i=1,2,…,k)。则等级小于等于i的概率为：

P(y≤i|x)=P(y=1|x)+P(y=2|x)+…+P(i|x)=p1+p2+…+pi

(1)

将P(y≤i|x)称为级别小于等于i的累积性概率。对其进行Logit变换有：

Logit(P(y>i|x))=ln[P(y>i|x)/1-P(y>i|x)]

(2)

有序变量的logistic回归模型定义为：

i=1,2,…,k-1

(3)

(4)

等价于

(5)

2.2 Probit模型

Probit模型用来描述离散选择变量与解释变量的关系，源于生物学领域，后逐渐扩展到其他社科领域，是最重要的非线性统计模型之一。经过多年发展，它已经形成了包含一元Probit模型、多元Probit模型、多项Probit模型和有序Probit模型的方法体系。1975年，Richard 和 Mckelvey借鉴前辈的研究基础，将模型用于处理分类数据，形成了有序Probit模型，下面介绍一下其模型定义。

对于有序变量Y，可以表示为一组从属变量：

(5)

P(Yij=1)=P(Yi∈Rj)=P(μj-1

(6)

令μ1=0,σ=1，则上式化为：

P(Yij=1)=Φ(μj-X′iβ)-Φ(μj-1-X′iβ)

(7)

3 影响因素分析与指标构建

3.1 影响教学质量的因素

教学质量是高校教学体系的生命线，特别是在当前高校教育规模不断扩大的背景下，保障以及提升教学质量已成为高校人才培养工作的重中之重。科学、有效地对影响教学质量的诸多因素进行探讨和实证分析，在此基础上提出进一步提升教学质量的途径显得尤为必要。影响教学质量的因素一般包括教学态度、教学内容、教学方法和教学效果等几个维度。教学态度是教学质量的基础，教师的教学态度对学生具有强烈的感染作用，是提升教学质量的动力来源和催化剂。教学态度一般可以从精神充沛度、课后辅导答疑完成度、遵守教学规范程度等几方面进行衡量；教学内容是教学质量的内核，教材的选择、教学内容的设计直接关系到教学质量能否达成，教学内容一般可以通过教学内容熟悉程度、教材适当性、作业体现度和批改度等方面体现出来；教学方法是教学质量的依托，有效的教学方法能够点燃学生的学习热情，激发学生学习积极性，能够培养学生自主学习能力。可以从启发激励程度、调动积极性程度、培养明辨性思维能力、课堂活跃度等视角衡量学习方法是否有效；教学效果是教学取得的成效，也是衡量教学质量的外在指标，可以从价值型获取、提高兴趣感、内容理解度、分析与解决问题能力、方法论等方面对教学效果进行评价。

3.1 构建原则

对教学质量进行描述是通过构建指标体系来完成的，其构建要依据一定原则，主要包含以下几点。

3.1.1 科学性原则

科学性原则是指标设计既要符合专业特点和教学规律，又要客观全面，以及与研究目的相一致。指标体系的建立要综合专家督导、教学管理部门、同行和学生等多方面的共同意见，特别是作为参与课堂和教学的第一受众学生的态度和建议。

3.1.2 系统与可行性原则

质量评价是包含多个侧面的综合评价，每个侧面都要选择一些重要指标，保证完备性；同时各个指标间又要保持独立性，防止因指标重复影响权重，所选指标要有可行和可测性，要抓住研究问题的本质选择有代表性的少数指标，而且这些指标既要贴近实际又可以通过问卷、访谈等方式容易获得数据结果。

3.1.3 发展性原则

所选指标应该能够体现教师和学生的未来发展性。对于老师来说，指标要更多地体现其发展性而非终结性，按照研究建议修正后可以产生长时间的正向影响；另外，教学质量总体评价结果应该和教师的职称评定、评优评奖以及年终考核等相挂钩，使其从个人发展的长远角度来重视教学质量。对于学生来说，指标要更多注重培养学生技能和解决实际问题的能力。

4 数据来源与实证分析

4.1 数据来源和变量说明

本文主要针对某大学多个学院的部分课程课堂教学的满意度进行问卷调查，数据来源于多个专业大一、大二、大三的学生。调查问卷共有两部分内容：第一部分是学生的基本概况和对评教的态度，包括性别、年龄、高中阶段文理科、对待评价主体的态度和是否认同学校的评教活动；第二部分是由1个总体评价指标和4个一级指标下的19个二阶指标构成的表格，而且为了更通俗易懂，把每一个指标都转化成了同义的文字语句[11]。所有指标均按照李克特五级量表给出，即将优、良、中、及格、不及格分别用5、4、3、2、1 5个数值来表示。问卷通过互联网和纸质版向学生发放，时间从2019年10月1日到12月1日，总共发放1 150份问卷，去掉一些无效问卷(包括未收回的、有未填项的、填写态度不认真的等)后剩余有效问卷1 083份，有效问卷率达到94.2%。为保护个人隐私，问卷中隐去了学生姓名。

本文共引入20个变量，其中因变量Y表示学生对教师的总体满意度，自变量X1,…,X19分别代表4个教学质量评价一级指标下的19个二级指标，在表1的第二列中简要说明了各自的含义。由于选择的自变量都衡量因素的积极一面，所以设定的影响方向都为正。从平均值来看，自变量值最小的是“提高了解决问题的能力”的4.232，最大的是“授课内容很熟悉，游刃有余”的4.524；因变量的值高达4.633，所以学生对老师各个方面的评价都较高。标准差介于0.686和0.927之间，说明值波动性较大。

表1 变量的含义及统计描述Table 1 Meaning and statistical description of variables

4.2 统计与计量分析

4.2.1 评价主体统计结果分析

对“你认为谁应该是教学质量评价的最重要的主体”问题的问卷调查结果(图1)显示有862位同学认为自己应该最有资格对教学质量进行评价，占总数80%，突出显示了其作为课堂教学受众主体的主人翁责任感。有143位同学认为教师自己最适合评价自己，占总数13%，这部分同学认为教学的好坏应该主要由教师自己来评价，更加强调教师对自我的监督。有58位同学认为应该由同行教师来评价其他教师的教学质量，占总数5%。这部分同学可能更相信督导同行才是专家，才更清楚课堂教学的基本规则和标准，能够给出更合理的评价和有益的意见。只有20位同学认为更应该由教学管理者来评价教师的教学效果，仅占总数的2%，这说明绝大部分同学认为管理者只能在教学态度、教学准备方面给出评价。

图1 最重要的评价主体调查结果Fig. 1 Survey results of the mostimportant evaluation sbject

4.2.2 认同度统计结果分析

评教是学生行使话语权的重要途径。学生网上评教反馈的信息与结果，能够帮助教师根据同学们的需求与建议调整教学内容与方式，不断提高课堂教学质量。对“你是否认同学校非常重视学生的评教活动”问题的问卷调查结果显示有470位同学非常认同，接近总数的一半；有411位同学比较认同，也达到了38%；有168位同学态度一般，占总数16%；有22位同学不太认同，仅占2%；有12位同学很不认同，仅占1%，见图2。从总体上看，接近9成的同学认为学校很重视学生的评教，当然也有少数同学不太满意，认为相关工作有必要改进。

图2 认同度调查结果Fig. 2 Identification survey results

4.2.3 信度与效度分析

信度衡量调查结果的一致性和稳定性，一致性主要反映不同量表同一现象的相似程度，稳定性指在不同时间点对相同的研究对象进行测验，所得结果的相似程度。信度越高表明测量结果越可信，问卷信度检验结果见表2。由表2知，相应的α系数值和基于标准化项的α系数值都在0.8以上，说明问卷信度较高，具有稳定性和可靠性。

表2 问卷信度检验结果Tab. 2 Reliability test results of questionnaire

效度也称有效性，表示测量手段或者工具能在多大程度上测出被测事物。效度越高说明测量结果与被测对象的内容越接近。效度主要包含结构效度和内容效度。如表3所示，由表3知，KMO的值为0.969，大于0.5，相应的P值小于0.001，说明可以通过提取少量因子来解释大部分方差。如表4所示，由表4知，本文提取4个因子就能使得方差贡献率达到66.92%，综上知调查问卷数据可以用于因子分析，而且内容效度很好。通过计算各因子间以及各因子与总分间的相关性发现，总体满意度与变量X4的Pearson相关系数值最小，但也达到了0.424；同时X4与X5的相关系数最大，但也仅为0.768，这即说明数据的结构效度很好，又说明变量间存在的多重共线性程度不强。

表3 KMO和Bartlett检验结果Tab. 3 KMO and Bartlett test results

表4 总方差分析结果Tab. 4 Results of total analysis of variance

4.2.4 差异性分析

下面分析一下性别、文理分科和年级的不同在填写问卷时是否有显著差异。性别和文理分科只包括“是”和“否”两种情况，使用T检验来确定是否有显著性差异。年级包括大一、大二和大三3种情况，使用方差分析来研究差异性。当将性别作为分组变量，Y,X1,…,X19作为检验变量时，输出结果显示对于变量X3，双侧检验下t值对应的显著性水平都小于0.01，说明男生和女生对“我熟悉了讲述的内容”的评价有显著性的差异，其他变量都显示不同性别间没有显著差异。当对文理分科进行上述类似操作时，所有变量都显示文科生和理科生间没有显著差异。当对年级进行方差分析时，发现大多数变量都满足方差齐性假定，总体满意度在不同年级没有表现出明显差异，各单项指标X1,…,X9,X11,X12,X16,X17,X18表现出了一定程度的年级差异性。

4.2.5 次序选择回归分析

基于变量均取李克特五级值，下面分别使用次序Logit和次序Probit模型来对总体满意度Y和各个单项指标X1,…,X19进行回归分析。通过表5的模型回归结果可知，两个模型系数回归的结果基本一致。从临界截断值来看，Logit的值均大于Probit的值。相应的pseudoR2的值分别为0.359和0.339，十分接近。LR统计量的值分别为583.835和616.710，相应的P值均为零，说明模型整体显著。表6计算的方差膨胀因子VIF的数值都小于5，说明模型不存在较严重的多重共线性[12]。

表5 模型回归结果Tab. 5 Model regression results

表6 方差膨胀因子检验结果Tab. 6 Test results of variance expansion factor

5 结论与建议

5.1 结论

本文对某大学多个学院的部分教师和课程进行了问卷调查，并对提取的数据进行了统计学和计量经济学分析，得到了如下结论：

(1) 本文随机抽取了20位教师的20门课程进行了调研，这些教师年龄上涵盖老、中、青三代，职称上包括高级、中级和初级。所选课程既有通识课，又有专业课；既有专业必修课，又有专业基础课；既有理科课，又有文科课。从调研结果来看，同学们对教师总体满意度指标和具体二级指标的打分值都很高，平均值都在4分以上，达到优秀级别。这充分说明教师整体的教学质量很好，得到了大家的普遍认可。

(2) 通过T检验知不同性别和高中时文理不同分科的评分结果基本没有显著性差异。这和一般的观点不一致，很多人认为到了大学，女生相对于男生、理科生相对于文科生更爱学习，更专注于课堂听课，而男生和文科生将更多的精力放到课外和感兴趣的事情上。通过方差分析可知不同年级的评分结果在一些指标上表现出了差异性。大一的学生刚来到大学，对课堂和知识充满了好奇，所以上课更加专注；大二的学生开始学习专业课，基于对本专业知识的兴趣也能较为认真地听课；到了大三，为了考研和以后工作的需要，很多同学将更多的精力放到考研课程和对就业有帮助的考取各种从业资格证的考试上。

(3) 由Logit回归结果可知以显著性水平0.05通过检验的指标包括：X10、X15、X18和X19。以显著性水平0.10通过检验的指标包括X2、X7、X9、X11和X14。而且X11和X14的系数估计值为负，和理论不符。由Probit回归结果可知以显著性水平0.05通过检验的指标包括：X7、X10、X11、X15、X18和X19。以显著性水平0.10通过检验的指标包括X6和X17。而且X11的系数估计值为负，和理论不符。综合Logit和Probit两个模型的结果知同时通过系数检验的变量是X10、X15、X18和X19。

5.2 建议

在贯彻落实全国教育大会精神背景下，本文对某大学多个学院的部分学生进行了抽样调查，并对收集到的数据进行了T显著性检验，单因素方差分析，次序选择模型和多重共线性等多种统计学和计量经济学方法的处理。得到的结论是X10(老师对授课内容很熟悉，游刃有余)，X15(作业能体现老师所强调的学习内容)，X18(老师为人师表，遵守上课纪律，不迟到早退)和X19(老师上课对课堂纪律要求严格)4个二级指标对教师课堂教学的总体满意度有显著正向影响，而其他指标或者没通过显著性检验，或者系数符号为负与事实不符，或者Logit和Probit回归的结果不一致。下面我们给出具体的建议：

(1) 调查问卷顺利地通过了信度和效度检验，说明问卷设计和整个数据提取的科学性得到了认可。因此在以后构建教学质量评价指标体系时，既要坚持科学性、系统性、可行性和发展性的原则，又要广泛采纳管理部门(包括发展规划处、教师发展中心、教务处、学生处)、校级和院级教学督导、同行优秀教师的有关建议。

(2) 在评价主体的统计中，认为更应该由学生和教师自身来评价课堂教学质量的人数所占比重超过了九成，这充分体现了由课堂真实参与者来进行评价的主人翁意识。因此学校在教学质量评价和研究中要多关注学生的诉求和教师自身的态度，这一点也在认同度统计中得到了认可，非常认同和比较认同“学校重视学生的评教活动”的人数占比超过了八成。

(3) 由于性别和高中阶段的文理分科对教学评价没有显著差异，所以在以后的教学研究中也不必进行区别对待；考虑到不同年级存在的评教差异性，可以根据各自的特点适度调整课程内容和形式。比如针对大一学生的好奇心，可以在专业基础课中多加入一些案例来提高知识的实用性；针对大二学生对专业课的浓厚兴趣，可以安排有资历教学水平高的教师来授课；针对大三学生对于考研和从业资格证考试的需要，可以设置一些相应的辅助性课程或者在授课中多加入一些有关的知识内容。

(4) 由模型实证结果可知，教师可以通过以下措施来继续提高学生的评教满意度：要熟悉所讲授的课程内容，做到对知识的实时更新和融会贯通；布置的作业应该更有针对性，更能体现所讲授知识的核心内容；要树立良好形象和管理好班级，教师本人要为人师表，遵守上课纪律，不迟到早退；俗语讲“严师出高徒”，教师对课堂纪律要严格要求，这样学生不仅不会反感，反而会给出更高的评价。

(5) 在调查过程中学生还提出了很多问卷中没有涉及到的有益问题，比如：理论课和实践课的教学设施陈旧，或安排不合理不方便使用，需要更新或者改善；讲课乏味，应该更多地使用PPT以加强形象思维的培养；理论性强的课程应该适度增加课时量；多安排小组讨论，通过头脑风暴打开彼此思路；应该更加风趣幽默一些，以提高学生的注意力；多安排一些实验和实践课程内容以提高学生的操作能力等，这些建议都值得认真借鉴从而改进教学质量。