基于学生体验的大学公选课学习质量评价工具的编制*

2016-11-24袁天光

高教探索 2016年10期

黄娟黄磊袁天光

黄娟黄磊袁天光

本研究探讨大学公选课教学质量的测量工具及应用。在前期深入访谈的基础上，以广受好评的美国大学生体验问卷、大学生参与度调查问卷、澳大利亚课程体验问卷为参考，设计了基于学习体验的大学公选课教学质量评价问卷。问卷包含学习过程体验和学习结果体验2个子问卷，通过探索性因子分析和验证性因子分析对问卷的信度和效度进行了验证。结果验证了学习过程体验问卷包含5个因素：良好教学、课程中的交流反馈、清晰的目标和标准、适当的难度和课业负担、恰当的考核。学习结果体验问卷包含2个因素：能力改变和收获、课程总体感受。经过信度、效度的研究，问卷可作为普通高校大学公选课的质量评价工具，进行课程的评价。

大学公选课;课程体验评价法;问卷编制;因子分析

一、问题提出

1999年6月13日由中共中央办公厅颁发的《中共中央国务院关于深化教育改革全面推进素质教育的决定》指出，高等教育要重视培养大学生的创新能力、实践能力和创业精神，普遍提高大学生的人文素养和科学素质。20世纪90年代末起，在加强大学生素质教育、实施通识教育的推动下，公共选修课(以下简称“公选课”)开始成为我国大学课程体系中重要的组成部分[1]，国内高校都要求大学生选择一定数量(6-16学时)的文理科公选课进行学习，且要求跨学科课程占一定比例。[2]这种以人文素质与科学素质教育为核心的基本课程和专业课程之外的课程，囊括了自然科学、文史哲、经济管理、外语、心理、医学及生命科学等众多门类。

开设公选课的理念可归纳为三个要点:“兴趣、思维方式和综合素质”[3]，目的是要“促进学生发展”。即，优化学生的知识结构，改变传统的思维方式，提高学生的综合素质与能力。那么，作为占国内高校课程体系相当比重的公选课，能否达到上述目的，课程质量如何评价，确实需要认真研究探讨。目前国内外学者就此已进行了有益的探索。

学生的学习行为(如学生在有意义的教学活动上投入的时间和精力，包括学生课堂内外时间的分配利用、课堂提问、与同学合作和讨论、课外阅读等行为)被证实与学习结果、学生发展积极相关。[4]被广泛使用于美国高校学习质量测评的2个典型问卷即美国印第安纳大学中学后研究与规划中心设计的大学生经验调查问卷(CSEQ)和美国大学生参与度调查(NSSE)，都关注学生在整个学校学习中的投入度或参与度，其调查结果就是促进大学生的发展。[5]CSEQ和NSSE主要指标包括：学生参与学习活动的程度、学生对学习目标收获的估计、自主学习与协作学习、师生互动、支持性的学校学习环境(与不同背景的人交流、使用技术、见习等)、总体满意度等。[6]美国大学教学质量评价表关注焦点的次序分布比率由高到低分别为：教学热情、师生互动、学习/价值感、人际和谐。[7]可见，美国本科学习阶段的教学质量评价工具中的问题非常具体，指向目标达成、能力提高、具体方法等方面，美国的问卷更倾向于“学生学习行为”的调查。

关于高校课程质量调查，澳大利亚的课程体验问卷(CEQ)也是在高等教育评估中广泛施行的一种调查问卷。[8][9]问卷面向所有完成课业的毕业生发放，目的是寻求学生对教学质量的反馈，常常以课程为调查对象。大多数澳洲大学通过此项问卷的内部调查，实现自我评估与不断完善。课程体验问卷CEQ包括五个维度：良好教学、清晰的目标与标准、适当的难度和课业负担、恰当的考核、基本技能提高情况。澳大利亚课程体验问卷中的前4项是针对教师的“教”，而“基本技能提高情况”则是针对“学习结果”的测量，着重考察“教”和“学”的关系。

国内高校关于促进学生学习发展的课程质量评价，主要代表是肖贻杰对清华大学、北京师范大学、湖南大学、天津职业技术学院等几个高校的学生进行的调查研究。该研究的评价涉及到与学生发展息息相关的“学习行为”、“基本技能提高情况”等内容，具体指标包括教学内容、良好教学策略、学习方法指导、鼓励交流、培养学生能力等。研究发现，学生得分低的项目主要表现在学习方法指导、问题解决能力提高、创新能力培养、学习方法指导、促进课程理解等方面，这些方面有待高校和教师的进一步重视。[10]

国内更多的关于高校公选课质量的评价，主要集中在大学生对课程及教学的满意度调查，主要指标为教学管理、教学内容、教学方法、考试等方面的学习满意度。研究结果表明：大学生对我国高校公选课的满意度低[11][12][13][14]，具体表现在外部因素和内部因素两方面。外部因素包括：(1)学校对选修课的监管不到位；(2)教师和学生对公选课的重要性认识不够。内部因素包括:(1)教学内容一般或偏窄、不系统；(2)教学方法陈旧、单一，缺乏实践和互动的情况[15]；(3)公选课的考试形式比较多的是论文，大量的选课学生抄袭情况严重，教师也难以反馈[16]。

从学生体验方面来说，国内高校公选课整体满意度不高。具体可以归因于两点：(1)我国高校教师普遍重视“教”，不重视“学”，重视“知识传授”，不重视“能力培养”“方法指导”，也不重视学生“是否理解”。(2)我国的学生评教也仅仅注重评价教师的“教”，而不重视学生的“学”，不重视学生的“学习结果”，不重视“教”和“学”的关系，即“教”是否能促进“学”，缺乏关于学生学习行为方面的真实体验和感受，以及这些学习行为和学习结果的关系，缺乏能否达到“提高学生的综合素质与能力，促进学生发展”的教学目标的有效评估。

比较美国和我国高校的课程评价，发现国内关于大学课程质量评价的研究存在以下问题：(1)与培养目标相关的课程质量评价研究较少；(2)评价指标不全面，缺乏与学生发展有关的相关指标，如教学目标、学生学习行为、学习投入时间、教学互动情况、基本技能提高情况。

可见，我国高校公选课课程评估缺乏促进学生发展的相关策略和有效评价工具，缺乏通过质量评估促进学生发展，从而使得大学公选课目标达成的机制。比如说，“什么样的教学”能带来比较好的学习体验，能达到培养综合素质和能力的目标？我们需要更为清晰和具体的指标去测量课堂活动和学生体验，进而了解“良好教学”和“学习效果”的关系。

作为以培养学生综合素质和能力为目标的大学公选课来说，既需要反映教师“教”的依据，也需要反映学生“学”的指标，更需要能检测学习结果的“能”的测量工具。尤其是需要能真实反映学生学习情况的评价工具去衡量，才能更好地监控教学质量，促进学生发展。因此，非常有必要借助国外较为先进的质量评价工具，设计适合国内学生的测量工具，调查学生的学习行为和学习结果，诊断课程和学习过程中的问题，进而为改善课程和促进学生发展提供依据。

此研究中，我们借鉴了澳大利亚的课程体验问卷中良好教学和学习结果的部分，又借鉴了美国调查问卷中学生学习行为的部分，设计了基于学生学习体验的大学公选课课程评价工具，用来检测大学生公选课学习效果。

二、研究方法与结果(基于学习体验的大学公选课教学质量评估问卷的编制)

本研究包括两个部分：第一部分是编制问卷题目、收集数据，对各问卷进行探索性因子分析，以确定正式研究的问卷项目；第二部分利用调查数据对问卷做验证性因子分析，验证问卷的理论结构。

结合我国大学以教为主的特征，笔者主要参考了澳大利亚的课程体验问卷(CEQ)中关于教学、总体效果的部分，另笔者参考美国大学生经验调查问卷(CSEQ)、参与度调查问卷(NSSE)中关于学生投入、学习行为参与等因素，结合笔者前期研究公选课的结论[17]，编制了基于学习体验的大学公选课教学质量评估问卷，主要包括课程体验问卷和课程效果问卷。课程体验问卷主要包括以下维度：良好教学，课程中的交流反馈，清晰的目标和标准，适当的难度和课业负担，恰当的考核。课程效果问卷的主要维度包括：学生的改变和收获，课程总体感受。问卷共计56题，以“很符合、符合、中立、不符合、很不符合”5点作为选项。

问卷制定好之后，在2015年初学期结束的考试期间，笔者对所在高校各学院大二、大三学生进行了问卷调查，发放问卷750份，回收620份，有效问卷562份。

之后用excel中的随机数函数将562人随机分为两组，其中探索性因子分析组280人，验证性因子分析组282人(因数据缺失，实为281人)，验证了问卷的适用性和合理性，检验了课程体验问卷和课程效果问卷之间的关系。数据处理工具用的是SPSS20和lisrel8.70。

(一) 项目区分度

项目区分度是指测验项目对被试所测量心理特征的区分能力或鉴别能力，是反映项目优劣的一个重要指标。本研究采取临界比率法(CR 值)进行项目分析，通过对总分进行高低排序后，进行高低分组，前 27%为高分组，后 27%为低分组，求两组在每个项目上的显著性差异系数t，即为CR值。CR值显著则说明项目具有鉴别力。结果表明，所编制的56个项目中，所有项目均达到显著性水平，项目具有较高鉴别力，可以进行下一步分析。

(二) 关于学习过程问卷的探索性因素分析

在因子分析过程中，采用主成分分析法，并以正交法(Varimax)进行因子旋转，抽取特征值大于1的因子。通过第一次因子分析，删除第19、30题，KMO值为0.918，抽取8个因子，累计解释方差65.2%。KMO值越大，表明变量间共同因素越多，越适合因素分析。然后继续做第二次分析，删除第20、21题，KMO值为0.916，抽取7个因子，累计解释方差63.7%。第三次分析，删除第26、27题，KMO值为0.917，抽取7个因子，累计解释方差65.1%。第四次分析，删除第20、21题，KMO值为0.918；删除第9、18题，抽取6个因子，累计解释方差63.7%。第五次分析，删除第20、21题，KMO值为0.912，抽取5个因子，累计解释方差61.2%。将之前删除的第26、27、19、20、21题依次单独或组合加入，都会提取出6个因子，每个因子包含的题目含义难以解释，而且因增加题目而增加的累计方差解释比例并没有明显提高。因此，选取5个因子作为公共因子，各项目的因素负荷见表1。

表1 学习体验过程问卷的因子负荷

采用Vmarimax法转轴之后，第1-8题在第一个因子上负荷较高，因此命名为“良好教学”，内部一致性系数α=0.886；第10-17题在第二个因子上负荷较高，命名为“课程中的交流反馈”，内部一致性系数α=0.881；第22-25题在第三个因子上负荷较高，命名为“清晰的目标和标准”，内部一致性系数α=0.860；第28-30题在第四个因子上负荷较高，命名为“适当的难度和课业负担”，内部一致性系数α=0.881；第32-37题在第五个因子上负荷较高，命名为“恰当的考核”，内部一致性系数α=0.772。

依据本次因子分析结果，确定最终的问卷结构见表2，整个问卷的内部一致性系数α=0.917。

表2 学习体验过程问卷的题目

(三) 学习过程问卷的验证性因素分析

根据前面探索性因子分析的结果，将学习过程问卷保留为29个题目、5维度的问卷。利用另一半数据进行验证性因子分析。模型指标拟合程度如表3。

表3 学习体验过程问卷的结构拟合指数

其中，x2/df是直接检验样本协方差矩阵和估计协方差矩阵间的相似程度的统计量，它的理论期望值是1，x2/df约接近1，表示协方差矩阵和估计的协方差矩阵之间的相似程度越大，模型的拟合性越好。实际研究中，x2/df在2～5之间表示模型可以接受，若大于10表明整体模型非常差。NFI(Normed Fit Index)、IFI(Incremental Fit Index)、CFI(Comparative Fit Index)等指标的值均在0～1之间，也是越接近1越好。RMSEA(Root Mean Square Error of Approximation)受样本容量影响较少，是比较理想的绝对拟合指数。它在0.05以下表示模型拟合得很好；在0.08或以下，模型的拟合仍是可以接受的；超过0.1则表明拟合不佳。根据上述数据，可以看到模型拟合良好，说明本问卷具有良好的结构效度。图1为学习体验问卷的验证性因子分析结构图。

图1 学习体验问卷的验证性因子分析结构图

(四) 学习结果问卷的因子分析

在因子分析过程中，采用主成分分析法。根据一个题目不能在2个及以上因子上有超过0.4的高负荷的原则，依次删除t52，t39，t38，t41,t42,t50,t56。KMO=0.911，提取2个因子，累计解释方差63.528%。因子分析结果如表4。

表4 学习结果问卷的因子负载

最终保留的题目如表5所示。

四季柚苗木定值后半个月即可长出嫩芽，意味着新根开始生长，此期开始追肥，以薄稀人粪尿（10%浓度）进行浇根，每15天浇一次，也可以用水溶性肥浇根。幼苗期，用10%碳铵、过钙液（碳铵：过钙液=1：1）浇根，幼苗生长快。当新稍长到20 cm左右时，注意摘心，促使新稍老熟，萌发二次梢。新芽长出后要及时喷施农药，防治病虫害。九月份之后不施肥，以防促长嫩梢，避免冻害。

表5 学习结果问卷的题目

所以问卷2可以抽取2个因子，分别是：维度1：40，43-50题，在第一个因子上负荷较高，命名为“课程总体感受”，内部一致性系数α=0.915；维度2：53-55题，在第二个因子上负荷较高，命名为“改变和收获”，内部一致性系数α=0.818。整个问卷内部一致性系数α=0.911。

(五) 学习结果问卷的验证性因子分析

表6 学习体验结果问卷的结构拟合指数

Chi-Square=142.70，df=53，P-value=0.00000，RMSEA=0.078

模型x2dfx2/dfNFICFIIFIRMSEA142.70532.690.970.980.980.078

根据表6数据，可以看到模型拟合良好，说明本问卷具有良好的结构效度。

该问卷的结构模型为图2所示。

图2 学习结果问卷的验证性因子分析结构图

(六) 学习过程体验问卷与学习结果体验问卷的信度分析

根据验证性因素分析的问卷结构，计算各维度的内部一致性信度。从表7可以看出，问卷的各维度的信度均很高，表明本问卷的心理测量指标非常好，可以用作评价工具使用。

表7 各因子的信度

三、讨论与建议

笔者所在的研究团队利用质性研究的方法深入研究了“切块拼接法”学习策略公选课中的应用情况，深入研究了大学生在公选课中的课程体验。研究表明，切块拼接法协作学习方式通过“任务分割”“角色互换”“认知学徒”“多种互动”等方式增加了学生的凝聚力和学习体验，确保了公选课的出勤率、任务的参与度，加深了对相关知识的理解，提升了学生能力。[18]很显然，通过质性研究能够更好地了解学生的真实体验。在此基础上，为了再从量的角度去寻找和发现“良好教学”的指标和实现“综合素质和能力培养”为主的学习效果的关系，因此，笔者提出了站在促进学生发展的角度去编制大学生公选课学习体验评估问卷的课题，并进行了调查问卷的设计和研究。下面对上述研究结果进行讨论。

本研究在前期质性研究的基础上，借鉴基于学生体验和学生发展的澳、美课程质量评价工具，设计了基于学习体验的大学公选课教学质量评价问卷，包含学习过程体验和学习结果体验2个子问卷，并对问卷的信度和效度进行了验证。依据数据分析结果，依次剔除删掉第9、18、19、20、21、26、27、31、38、39、41、42、51、52、56等问题，剩41题，结果显示问卷的信度和效度良好。

探索性因素分析结果基本验证了学习过程体验问卷最初设定的5个因素，即良好教学、课程中的交流反馈、清晰的目标和标准、适当的难度和课业负担、恰当的考核；也验证了学习结果体验问卷包含的2个因素，即能力改变和收获、课程价值总体感受。验证性因子分析确认了学习体验过程问卷和结果问卷的结构良好。

研究表明，本研究所设计的基于学习体验的大学生公选课问卷，适合作为大学生公选课质量评价工具来使用，可进一步调查各类课程的质量评测。

(二) 关于检验过程中删除一些调查题目的讨论

在对“学习过程体验问卷”的探索性因子分析过程中，课程中交流反馈的2个相关题目，即Q9“教师上课时会关注学生的状况并随时调整教学”、Q10“学生在课外获得了教师的指导”被删除，可能的原因是，教师对公选课的态度不是很积极，授课方式比较死板，以讲授为主，课外基本上也不再对学生进行指导。

对于清晰的目标和标准方面的几个问题，如Q19“课程目标主要是知识获取”，Q20“课程目标主要是操作技能提供”，Q21“课程目标主要是综合能力提升”，Q27“评价(测验、作业等)反映课程目标”，Q31“考核内容对记忆力要求很高，教师似乎对我记住什么更感兴趣”，从题目内容看，题目相关度不高，所以被删除。可能的原因正如在访谈研究中学生所提及的，大部分公选课较为注重“知识传递”，以“技能培养”和“能力培养”为目标的课程很少，课程的考试和评价基本上是学期末的“小论文”，且考核也难以体现对学生“综合水平”的要求。教师和学生对公选课的付出都相对较少，教师“对学生的期望”也较为含糊，可见在本校的公选课教学中，学生在“作业和反馈”“能力评价”“评价反映目标”这方面学习行为的体验较少，课程较少注意到学生发展方面的培养。

适当的难度和课业负担部分，Q26“作业的数量和性质适宜”，Q27“评价(测验、作业等)反映课程目标”被删除，从访谈中可以了解到，教师对公选课不是很重视，对作业的反馈时间和反馈质量，以及课外指导都很少涉及，因此学生在这方面的打分应该是比较含糊，没有代表性，因此将这几个题目删除。但笔者认为这几个项目非常重要，因为作业的数量和难度是学生投入学习的重要指标，在澳洲和美国的问卷中都是必要项目，但这几个问题必须是在整个大学对学生作业反馈和指导方面的要求提高和实际教学质量提升之后，相关项目的调查才有意义。

学生能力改变和收获方面，部分能力提升的相关题目被删除。如：Q38“我的学习态度从被动变得主动了”， Q39“我的自主学习能力得到了提高”，Q41“我的沟通交流能力得到了提高”，Q42“我的自信心得到加强”，Q51“我的思维得到了发展”，Q52“我对公选课的认识有了改变”。分析其原因，这几个题目是在笔者访谈研究的基础上而设定的，笔者开展切块拼接法实验过程中，使用新方法进行课堂教学改革，因学习策略的有效，使得学生在谈及学习效果时频频提到这几方面的能力改变，而这些方面都是学生参与的重要指标，参与式、体验式学习使得学生的能力得到发展。而在此次的调查中，大部分课程因不具备充分的体验学习的机会，而使得问题不具代表性而被删除。

对课程价值的总体感受，笔者认为很重要的题目Q56“我在本课程中的收获很大”居然无法归类，探索性因子分析56题是负载在因子2上的，但这个结果进行验证性因子分析时拟合不好，RMSEA=0.102>0.08，多次更改要素，拟合都不好，RMSEA都比较高，大于0.08，最终决定删除Q56。可能的原因是，“收获”应是体现在上述的Q40-Q50的很多具体方面，因此这个总体感受方面的“收获”就不必要了。

(三) 关于大学公选课问卷编制过程的思考

美国基于学生发展的策略工具NSSE主要包括“学校投入”、“学生学习行为”，尤其是“自身发展程度”几个调查，其中与课堂教学有关的具体指标包括“创造性的学习”、“积极与合作学习的数量”、“师生互动的质量”等方面。反观我们的调查结果，与师生互动、作业反馈、“能力提高”等挑战性学习活动、师生投入较多的互动行为、高质量学习行为有关的一些问题竟然因数据结果不好而被剔除。部分原因可能是，我国高校公选课的设置和具体实施，很少基于学生能力发展方面去考虑。学校和教师在管理和制定关于公选课的教学目标、具体学习策略和学习评价等方面，要更多地站在学生发展的角度去设计和考虑。纵观关于中国高校教学现状的研究文献，基于学生发展的教学及研究非常之少，这将是一个长期努力的过程。

另外，因本研究侧重的是问卷编制，因此关注更多的是问题的信度、效度分析。通过更详细的差异分析，可揭示更为深刻的关系。比如说，学生对不同课程的体验状况如何？体验好的课程到底有哪些特质？还比如，不同学院的学生在公选课的体验方面是否存在差异？这些我们将另一篇论文中详述。

本文的研究局限性为：所调查的对象来自于同一所高校，因此大学生公选课体验问卷的具体项目，是否大面积适合于其他高校，进而是否适用于专业课学习等其他课程，还需做进一步的研究验证。

[1]靳娟,司杨.高校公共选修课建设与管理中存在的问题及对策2011——以北京邮电大学公共选修课为例[J].教育研究，2011(2):24-26.

[2]邓责梦.高校公共选修课教学管理中存在的问题及对策[J].黑龙江教育(高教研究与评估)，2009(1-2):158-159.

[3]赵存生,关海庭,金顶兵. 通选课——素质教育的一项重要举措[J]. 中国高等教育,2003(21):31-32.

[4]罗晓燕, 陈洁瑜.以学生学习为中心的高等教育质量评估[J].比较教育研究，2007(10).

[5]邵娟，大学生课程体验调查工具在澳、英两国的发展与改良[J].黑龙江教育(高教研究与评估), 2012(8).

[6]李奇.试析美国本科教育质量评估中的问卷调查[J]. 比较教育研究,2008(3):70-75.

[7]卢家婧. 基于内容分析法的中美大学教学质量评价比较研究[J]. 继续教育研究,2008(5):87-89.

[8]李晓东,黄娟,焦璨.课程体验问卷在中小学教师远程继续教育教学质量评估中的应用[J].远程教育杂志,2013(6):103-109.

[9]邵娟.高等教育质量管理中学生参与评价的研究述评[J].中国高等教育评估,2008(4):50-52.

[10]肖贻杰. 大学教师有效教学研究[D].湖南大学,2003.