高校课程思政综合评价指标体系构建——基于CIPP评价模式的理论框架

许祥云，王佳佳

(1.南昌大学 公共管理学院；2.南昌大学 马克思主义学院，江西 南昌 330031)

一、问题缘起

2016年12月，习近平总书记在全国高校思想政治工作会议上强调，做好高校思想政治工作，要因事而化、因时而进、因势而新；要遵循思想政治工作规律，遵循教书育人规律，遵循学生成长规律，不断提高工作能力和水平；要用好课堂教学这个主渠道，思想政治理论课要坚持在改进中加强，提升思想政治教育亲和力和针对性，满足学生成长发展需求和期待，其他各门课都要守好一段渠、种好责任田，使各类课程与思想政治理论课同向同行，形成协同效应。与此同时，教育部党组颁发《关于学习贯彻落实全国高校思想政治工作会议精神的通知》，提出要把思想政治工作贯穿教育教学全过程，实现全程育人、全方位育人。自此，全国高校纷纷开展课程思政改革与探索，学界也从不同视角展开了一系列研究。

时至今日，课程思政教育理念已在全国高校得以深入贯彻。为了解高校课程思政的开展情况，本课题组于2020年2—3月对全国高校2 497名本科生进行了问卷调查，结果显示：有93.79%的学生反映教师在学科专业课程教学中会融入不同类型的思政元素，有75.41%的学生认为在学科专业课程教学中开展课程思政有必要性；但也有58.31%的学生认为有一半以上的任课教师不能做到将思政元素自然、有效地融入学科专业课程教学中，且有51.03%的学生认为自己在课程思政教学中的收获为一般、很小或几乎没有，甚至有10.45%的学生认为部分教师生搬硬套式地实施课程思政，干扰了正常教学。这一调查进一步验证了部分学者的担忧，即课程思政开展与体系构建过程中存在育人元素发掘不够、应用不当和教学效果不佳的问题[1]。所以，如何提高课程思政教学效果是当务之急，而建立一套科学的课程思政综合评价指标体系则是提高课程思政教学效果的有力保障。

二、文献回顾与CIPP评价模式的引入

(一)文献回顾

课程思政已然成为近年来国内学界关注的热点。本研究以“课程思政”为篇名，在中国知网搜索到15 908条记录，其中涉及高校课程思政的文献有2 498篇。本研究通过分析现有文献发现，当前学界主要从课程思政的概念与内涵[2-3]、课程思政的本质[4]、课程思政的功能与价值[5-8]、课程思政与思政课程的关系以及两者的结合方法[9-10]、高校课程思政的技术路径[11-12]、高校课程思政建设的问题与对策[13-14]、高校课程思政满意度评价[15]等方面开展研究，只有极个别学者的研究涉及课程思政的有效性评价、课程思政的绩效评价及绩效评价指标体系的构建。在有效性评价方面，有学者通过层次分析法初步建立了以课程设计、师资队伍、学生认知、学生发展、课程考核5个维度为基本框架的评价模型[16]。在课程思政绩效评价及其指标体系构建方面，有学者从课程开发、教材建设、教学设计、教学过程、教学效果、思政元素映射6个维度和知识传授、能力培养、价值引领3个层次上建立了评价体系[17]。还有学者以教学团队、教学管理、教学特色、教学研究4个一级指标和能力素养、师德师风、团队构成、课堂教学、课程设计、教学质量、表彰评优、社会评价、教学改革、教学研讨10个二级指标为基本框架建立了评价指标体系[18]。

本研究通过分析现有文献发现，关于课程思政有效性、绩效评价及其指标体系构建的研究在2020年才刚刚起步，所构建的指标体系多是基于学生视角的单一评价，或仅仅以学生满意度的单一结果为依据片面地构建指标体系，并且局限于教学团队构成、师资素养或水平、课程设计与教学过程、教学考核等方面，忽视了对课程思政背景及目标设置合理性的评判，对课程思政方案设计与实施过程的评价以及对课程思政情境创设、资源投入与教学保障、教师行动能力提升过程、课程思政目标达成度等方面的评价。另外，已有研究指标权重的确定仅限于主观赋值法，缺乏统计学意义，难以全面、立体、量化地考查高校课程思政的开展情况。

(二)CIPP评价模式的引入

从广义上讲，课程思政就是通过思政课、综合素养课和专业课“三位一体”的课程体系进行思想政治教育[19]，是特定育人理念支配下的教育教学行动。从这层意义上说，对高校课程思政开展情况进行评价完全属于教育评价的范畴。

20世纪80年代，教育评价从西方引入我国，并通过不断的实践、探索和提升，逐步形成了一系列具有中国特色的教育评价模式，一定程度上推动了我国教育学科的发展和教育事业的进步。在长期的教育评价实践中，人们借鉴、应用较多的就是CIPP评价模式。CIPP评价模式强调教育评价的改进作用，能够满足教育改革活动评价及教育教学效果评价的需要，因此在高等教育各项实践活动中借鉴CIPP评价模式有着积极的意义[20]。

CIPP评价模式是由美国学者丹尼尔·勒罗伊·斯塔弗尔比姆(Daniel Leroy Stufflebeam)于1967年对泰勒行为目标模式进行反思的基础上提出的，这一模式由背景评价(Context Evalua-tion)、输入评价(Input Evaluation)、过程评价(Process Evaluation)和结果评价(Product Evaluation)4项评价活动组成(见图1)，充分体现了评价的发展性功能。其中，背景评价旨在分析育人环境、明确教育需求，是对教育环境的影响进行评价；输入评价是对达到目标所需的资源、条件等进行评价，使实施方案切实可行；过程评价主要考查教师与学生的表现以及教师在方案实施过程中是否进行了连续的监督、检查和反馈，是否对方案进行了持续的修正和改进；结果评价是对方案实施结果、成效及影响的评价，并以此确定目标是否继续、修改或完善[21]。由此可见，CIPP评价模式具有过程性、反馈性和全覆盖3个显著特征，对高校课程思政教育活动的评价具有重要的借鉴意义。

图1 CIPP评价模式

基于以上分析，本研究对高校课程思政开展情况进行综合评价的内容框架包括以下4个方面。一是系统分析高校开展课程思政所处的内部个性环境。二是对高校开展课程思政所需并投入的各类教学资源、经费等条件以及教师开展课程思政的能力进行综合评价。三是审视教师课程思政的教学方案、教学过程与表现以及学生学习过程与表现等。四是对课程思政目标的达成度、课程思政教育活动的效果及影响等进行综合性评价，以判断课程思政教育活动的效果与影响。

三、指标的选取与检验

(一)技术路线

对高校课程思政教育活动进行综合评价，评价指标体系的构建是关键。为了确保所选指标的精准性、适用性和覆盖度，本研究确立了指标选取与检验的6个步骤。一是对2016年12月习近平总书记在全国高校思想政治工作会议上的讲话、教育部党组发布的《关于学习贯彻落实全国高校思想政治工作会议精神的通知》以及教育部印发的《高等学校课程思政建设指导纲要》等政策文本进行分析。二是以政策文本和CIPP理论框架为基础，确立质性访谈主题并开展质性访谈。三是梳理政策文本的核心语句和质性访谈记录，初选评价指标。四是利用德尔菲法对初选指标进行理论饱和度检验，同时进行精简和筛选。五是利用精简和筛选后的指标编制问卷并进行测试，收集各指标的重要性数据。六是利用指标重要性数据，探索指标体系的内在结构，对指标体系进行区分度、结构效度和信度检验。具体技术路线见图2。

图2 指标选取与检验的技术路线

(二)质性访谈与指标框架建立

在对政策文本进行分析的基础上，本研究基于CIPP评价模式，围绕“背景、输入、过程、结果”4项评价活动确立了质性访谈主题，具体包括以下4个方面。一是背景性主题，包括高校课程思政教育活动的政治环境、政策环境和制度环境等。二是输入性主题，包括高校课程思政的条件、资源、经费支持及教师能力基础等。三是过程性主题，包括高校教师课程思政的教学方案、教学过程与师生的表现等。四是结果性主题，包括课程思政的教学效果与课程影响等。

依据上述访谈主题，课题组对部分高校领导，教务处、督导与评估中心、二级学院、系或专业的负责人以及部分实施课程思政教学的教学名师、普通教师等共计23人进行了一对一的访谈。本研究在参考政策文本核心语句的基础上以“背景、输入、过程、结果”为理论框架对访谈记录中的相关语句进行分类梳理，初步提炼了47项关于高校课程思政教育活动综合评价的描述性指标；然后通过德尔菲法进行内容效度检验，即将47项描述性指标背靠背地征询了包括高校课程管理研究专家、课程思政任课教师、教务人员、教学督导人员在内的16位专家学者和相关工作人员的意见，对所选指标进行理论饱和度检验，在没有发现新的描述性评价指标后，形成了高校课程思政综合评价描述性指标框架(见表1)。

表1 高校课程思政综合评价描述性指标框架

(三)指标区分度与信效度检验

本研究首先以表1中的47项描述性指标作为观测指标编制问卷(量表)，对指标的重要性进行判断。每个观测指标均以陈述句形式出现，对应设置“非常重要、比较重要、一般性重要、不重要、非常不重要”5个答案选项，并分别赋值“5、4、3、2、1”，构建了一份李克特五点量表。其次，本研究通过“问卷星”在全国范围内随机发放问卷。测试对象为高校教务部门、督导评估部门、学工部门的工作人员，二级学院的院系领导、专职教师、专职辅导员、其他职员共7类人员。最后，本研究在剔除无效问卷后，得到有效问卷753份。测试样本分布如表2所示。

本研究利用SPSS26.0统计软件，首先使用极端组法对47项指标进行项目分析以检验指标的区分度。经检验，本研究删除了第7、11、13、14、21、22、40题共7个题项。余下的40个指标均有较好的区分度(t值介于9.566～21.942；P<0.000)。其次，本研究采用主成分分析法对40个指标进行了3次探索性因子分析，删除第17、45题2个题项后，共提取了4个公共因子(KMO值为0.939，P<0.000)。38个指标的因子载荷及归属符合预设要求，而且4个公共因子所纳入的指标内涵验证了“背景、输入、过程、结果”四维结构划分的合理性(详见表3)。最后，本研究再次采用主成分分析法(固定因子数量)分别对4个公共因子(维度)逐个进行因子分析，在“背景、输入、过程”中各提取了3个公共因子，在“结果”中提取了2个公共因子(各维度的KMO值分别为0.937、0.921、0.918、0.868，均大于0.800，且P<0.000)。4个维度在提取公共因子后的累积方差均在70%以上，且38个观测指标层次分明地被分别纳入11个不同因子(二级指标)中，同一因子中的各个观测指标均指向某一特定概念内涵，而且可以较好地进行命名。α内部一致性信度检验结果显示，各因子的信度系数均在0.750以上，4个维度的α信度系数均大于0.900，且删除本项的α系数均小于对应维度的α系数(见表3)。由此可知，由38个观测指标所组成的指标体系具有良好结构效度和内部一致性。

表2 指标重要性测试样本分布(N=753)

表3 指标体系的结构效度与信度检验

(续表)

四、指标权重的确定

(一)数据获取

为了获得指标体系的表现性数据，本研究利用上述经过检验后的38个指标构建了一份李克特五点量表(量表题项与表8的观测指标相同)，对应设置“非常符合、比较符合、一般性符合、不符合、非常不符合”5个答案选项，并分别赋值“5、4、3、2、1”，然后利用“问卷星”在全国高校任课教师中进行随机发放，在剔除未开展课程思政教师的问卷及无效问卷后，共保留有效问卷1 192份。调查样本分布见表4。

表4 指标权重测试样本分布(N=1 192)

(二)指标赋权

1.方差贡献率与因子得分系数计算。本研究利用所获取的1 192份样本数据对量表进行验证性因子分析(限定因子数为4)。38个指标依因子负荷大小分别归入4个因子(维度)，且各维度归入的观测指标符合前文设计。表5为4个因子(维度)的解释总方差(限于篇幅，省略了旋转因子矩阵及其因子载荷ai值表)，由表中各因子所归入的指标内涵可知，因子1、因子2、因子3、因子4分别对应“过程、输入、结果、背景”4个维度，其方差贡献率分别为20.533%、19.270%、15.016%、14.040%，累积贡献率为68.860%，大于60%，符合统计要求。本研究在对38个观测指标进行因子分析的过程中，在SPSS对话框中勾选“显示因子得分系数(D)”，即可计算出38个观测指标(X1～X38)在4个维度上的因子得分系数(详见表6)。

表5 解释的总方差

表6 因子得分计算

表7 指标权重赋值

(续表)

五、研究结果

(一)指标体系的构成

综合前文的分析与计算，本研究构建了高校课程思政综合评价指标体系。这一评价指标体系由4个一级指标、11个二级指标和38个观测指标构成。根据测量句式的要求，本研究对最终保留的38个指标按量表的测量句式进行了转换，且由评价者对被评高校或被评教师的课程思政教学现状进行逐项考察后，依据实情按五级梯度计分制对各观测指标(Xi)进行计分，具体划分为“优(A=90～100分)、良(B=75～89分)、中(C=60～74分)、较差(D=45～59分)、差(E=0～44分)”5个等级(见表8)。

表8 高校课程思政综合评价指标体系

(续表)

(二)指标体系使用方法说明

高校课程思政综合评价指标体系可视情况并根据需要用于总体评价和个体评价，具体方法如下。

1.总体评价。总体评价即对高校或二级学院层面的课程思政教育教学活动情况进行综合评价。评价者需同时采用“背景评价(C)、输入评价(I)、过程评价(P)和结果评价(P)”4个一级指标、11个二级指标和38个观测指标来进行综合评价。各一级指标得分计算式如下：

(1)

(2)

(3)

(4)

上式中的Xi为评价人对Xi项目的评分值。总体评价的总分计算式为(百分制)：

(5)

2.个体评价。个体评价即对教师个体开展课程思政的教学情况进行评价。评价者只需同时采用“过程评价(P)和结果评价(P)”2个一级指标、5个二级指标和19个观测指标进行评价即可。各一级指标的得分计算式可由式(3)(4)进行转换，具体如式(6)(7)所示：

(6)

(7)

同理，Xi为评价人对Xi项目的评分值。个体评价的总分计算式为(百分制)：

(8)

六、相关讨论与不足之处

(一)讨论

1.关于CIPP评价模式理论框架的适用性。本研究基于CIPP评价模式所建立的高校课程思政有效性评价指标体系通过了区分度、结构效度和信度检验，验证了“背景评价、输入评价、过程评价和结果评价”4个维度划分的合理性，且11个二级指标均具有良好的结构效度和内部一致性，这充分说明CIPP评价模式的理论框架适用于高校课程思政综合评价指标体系的构建。

2.关于指标体系的覆盖度与关注面。本研究观测指标的选取以质性访谈结果为基本依据，并充分参考了教育部《高等学校课程思政建设指导纲要》等政策文件的基本要求，所选观测指标涵盖了《高等学校课程思政建设指导纲要》所提出的“课程思政建设目标要求和内容重点”，并且全面贯彻了习近平总书记在全国高校思想政治工作会议上的讲话精神和教育部党组《关于学习贯彻落实全国高校思想政治工作会议精神的通知》精神，所以具有较好的覆盖面和广泛的关注度。高校课程思政综合评价指标体系适用于各类高校、各学科专业课程思政教学的综合评价。使用者通过对指标体系4个维度的取舍，可分别对单位(高校)和个人(教师)的课程思政教学情况进行综合评价。

3.关于评价指标的适用性。本研究所构建的指标体系不仅关注政治环境、政策环境、制度环境等背景性指标，也关注教学资源、能力基础、经费支持等输入性指标，还关注了教学方案、教师教学与表现、学生学习与表现等过程性指标以及教学效果和课程影响等结果性指标。从这11个方面的二级指标来看，该指标体系既关注了形成性评价，也关注了结果性评价，能够比较系统、完整地反映高校课程思政教学的基本状态，具有较好的适用性。

4.关于4项评价活动的侧重点。从指标体系的构成及其权重分布来看，过程评价至关重要(权重占39%)，是4项评价活动的重点，这凸显了高校广大教师和教育工作者对“过程评价”的关注，尤其关注其中的“教师教学与表现”；当然输入评价也同样受到重视(占28%)，尤其是其中的“教学资源”；在背景评价中，学校“政治环境”的创建所占权重最大。

5.关于评价的实践问题。本研究所构建的是一个量化的评价指标体系，但在具体评价实践中，评价者不应将量化评价结果(得分)绝对化，不宜简单地以量化评价结果作为教师课程思政教学活动评价的唯一依据，应当坚持定量评价与定性评价相结合，使评价结果更具可信度和说服力。

(二)研究不足

本指标体系是基于政策文本分析、质性访谈和统计分析等方法构建而成的，可能会由于政策文本分析的主观偏差、质性访谈资料整合的疏漏、样本数据的局限性等导致指标提取的失当或指标权重赋值的偏误，对此，有待今后做进一步的实证检验和修正。