研究生在线教学质量评价体系的构建与应用

钟亮

(重庆交通大学 河海学院，重庆 400074)

自2015年3月李克强总理在政府工作报告中首次提出“互联网+”行动计划以来，各行业围绕“互联网+”的新业态发展迅速，教育行业也正朝着数字化、网络化和智能化的方向发展[1]。《教育部关于加强高等学校在线开放课程建设应用与管理的意见》(教高〔2015〕3号)指出：“鼓励高校结合本校人才培养目标和需求，通过在线学习、在线学习与课堂教学相结合等多种方式应用在线开放课程，不断创新校内、校际课程共享与应用模式。鼓励高校制订在线开放课程教学质量认定标准，将通过本校认定的在线课程纳入培养方案和教学计划，并制订在线课程的教学效果评价办法和学生修读在线课程的学分认定办法。”在线教学一般指80%以上的课程内容是在线完成的教学[2]，具有学习灵活、资源丰富、知识更新快等优点，是移动互联网时代高等教育教学发展的必然趋势。研究生教育位居高等教育金字塔的上端，课程学习是研究生特别是硕士研究生培养的重要环节，在研究生教育中开展在线教学，充分应用网络优势教学资源，对提高研究生培养质量具有重要作用。

在线课程建设的目的在于应用[3]，研究生在线教学应用质量需要采用一个科学合理的评价体系进行评判。目前，在本科生在线课程的设计建设[4]、教学模式[5]、教学方法[6]、学分认定[7]和评价体系[8-10]等方面已有一些研究，这些研究成果为进一步构建研究生在线教学质量评价体系提供了有益参考。然而，由于本科生阶段课程教学注重宽泛性，研究生阶段课程教学偏向窄深性，两者在知识广度、深度和专业能力等方面的要求存在明显差异，研究生在线教学质量评价不能完全沿用本科生在线教学质量的评价体系，而应该采用适合研究生教育培养特点的评价体系，但目前这方面的研究还非常薄弱。因此，本文将围绕研究生在线教学要求，结合重庆交通大学水利工程硕士研究生培养实际，探讨如何构建课前、课中和课后全覆盖的研究生在线教学质量评价体系，为研究生在线课程质量评价提供依据。

1 研究生在线教学要求

在线教学是研究生教学方式的重要组成部分，研究生在线课程教学应满足以下要求。一是聚焦学生能力的培养。研究生教育承担着为国家培养高层次创新人才的重任[11]，研究生在线教育应利用优质网络教学资源，改革教学模式，加强教学设计，引领学生开展深度学习，强化学生的问题意识和学术探究意识，培养学生的创新能力和解决问题能力。二是坚持以学生为中心的教学理念。研究生在线教育应改变传统的灌输式教学模式，创设“以学生为中心”的课程教学组织新模式，教师通过安排学生课前网络资源学习、课中交流讨论和课后课程实践，加强师生互动，让学生变被动学习为主动学习，提升在线学习的自主性和积极性。三是加强学习效果评价。在线教学课程考核应覆盖课前、课中和课后，采用多元化考核评价学生全程学习成效，精准获得学生的学习状态数据，实时监测评估学习效果和反馈存在问题，实现教学质量的全程有效监控和持续针对改进。

2 教学过程全覆盖的研究生在线教学质量评价体系

重庆交通大学水利工程学科是省级“一流学科”建设点，涵盖了水文学及水资源、水力学及河流动力学、水工结构工程、水利水电工程、港口海岸与近海工程5个二级学科。根据培养方案，水利工程学科研究生课程包括公共学位课、基础学位课、专业学位课、公共非学位课、专业非学位课和实践教学环节课程，并在课程设置时引入了一些学科前沿和行业新技术课程。尽管目前我校水利工程硕士研究生大多采用线下教学方式，但在研究生教育中融入线上教学，充分发挥在线教学学习灵活、资源丰富、知识更新快等优势，是现代研究生教育的大势所趋。为保障我校水利工程研究生在线教学的顺利开展和研究生在线教学质量，结合研究生在线教学要求和我校实际，本文提出基于“资源建设+教学设计+教师教学+学生学习+效果评价”一级评价指标的多维度评价体系，根据各维度指标内涵，给出了各一级评价指标的二级指标、观测点及描述和分值，见表1。

表1 在线教学质量评价指标及观测点

本文“5维度14指标”的研究生在线教学质量评价体系响应了研究生在线教学要求，秉持“学生中心、产出导向和持续改进”的OBE教育理念，充分利用在线教学的优势，激发学习热情，培养研究生的创新能力和解决问题能力。

3 研究生在线教学质量综合评级方法及应用

3.1 指标点权重确定方法

各指标在同级所有指标中所占的比重称为权重，一般采用数据形式进行量化。目前确定权重的方法包括专家意见平均法、德尔菲法、层次分析法和模糊综合评价法等[12]。其中，层次分析法(Analytic Hierarchy Process，简称AHP法)是一种定量、定性分析相结合的多维分析决策方法，应用广泛，本文将采用AHP法确定评价体系指标点的权重。

AHP法将复杂的评价模型分解成若干相关层，征询专家意见后确定每一层指标的相对重要性并构建判断矩阵，通过计算判断矩阵和检验一致性获得当前层各个指标的相对权重[13]，具体步骤如下。

(1)对同一层的各指标ui两两比较，结合专家咨询意见确定各指标的相对重要性，根据判断矩阵标度[13]赋予重要性标度值xij，构建判断矩阵。

(5)根据AW=λmaxW计算判断矩阵A的最大特征根λmax。

(6)计算一致性比例CR=CI/RI，其中，判断矩阵的一致性指标CI=(λmax-n)/(n-1)，平均一致性指标RI与矩阵的阶数有关，可查表2确定[14]。若CR< 0.1，则判断矩阵A通过一致性检验，特征向量W即为各指标权重值。

表2 平均一致性指标RI值

3.2 综合评级阈值确定方法

本文综合评级阈值采用模糊综合评价法确定，该法基于模糊数学的隶属度理论，将定性评价转为定量评价，分析步骤如下[14]。

(1)构建评价因素集。设某一层级的指标有m个，则评价因素集可记为V={v1,v2,…,vm}。

(2)建立评语集。按5级划分，记为D={d1,d2,d3,d4,d5}={很差，较差，一般，良好，优秀}。

(3)确定各个指标的隶属度r。r代表各个指标在评语集中的隶属程度，假设共有t名专家对某一指标进行评价，其中有s名专家认定了该指标的评语等级，则该指标对于该评语集的隶属度r=s/t。

(4)确定模糊关系矩阵。根据专家意见确定隶属度后，确认模糊关系矩阵

(5)计算综合评定向量。

(6)对指标进行量化评估。在评语集当中对指标划分了5个等级，由此可以得到赋值矩阵P，将综合评定向量B与P相乘，获得该指标体系的量化评估值

3.3 研究生在线教学质量评价体系的应用

这里以某研究生在线课程为例，说明前文所构建的研究生在线教学质量评价体系的具体应用过程。应用AHP法确定在线教学质量评价体系各指标权重，以一级指标为例，通过两两比较各指标的重要程度并采用1～9标度法量化，得到判断矩阵。一级指标相对重要性程度直接采用矩阵A表示。

对判断矩阵A各列进行归一化处理(见表3)，得到特征向量W=(0.325，0.298，0.151，0.162，0.065)。根据最大特征根公式求出λmax=5.060，对该判断矩阵的计算结果进行一致性检验，由于该判断矩阵为5阶矩阵，查表2可知，RI=1.12，并计算出一致性指标CI=0.015，从而一致性比例CR=0.013 < 0.1，判断矩阵的一致性检验通过，该特征向量W即为各一级指标的权重值。各二级指标的权重值采用类似方法获得，计算结果见表4。

表3 判断矩阵A归一化处理结果

表4 各级指标权重确认

为获得在线教学质量综合评级阈值，构建了在线教学质量评价体系评语集，在教学质量综合评级判定中引入“优秀、良好、一般、较差、很差”等模糊概念进行评判，每个评价等级赋分见表5。根据专家意见对各指标评级进行打分，可求出指标隶属度，表6以二级指标为例，给出了专家对在线教学质量综合能力的隶属度打分。

表5 在线教学质量评价体系评级标准

表6 在线教学体系各指标隶属度

基于各二级指标的隶属度和权重值，利用公式B=W·R可算出各二级指标相对于一级指标的综合评定向量B，其中B1，B2，B3，B4，B5分别代表相对于资源建设、教学设计、教师教学、学生学习、效果评价的综合评定向量。

B1=(0.355，0.265，0.301，0.080，0)

B2=(0.272，0.293，0.160，0.252，0.023)

B3=(0.100，0.199，0.565，0.100，0.033)

B4=(0.200，0.300，0.350，0.050，0.100)

B5=(0.267，0.200，0.366，0.166，0)

二级指标的隶属度矩阵

R=

综合评定向量B=W·R=(0.260，0.265，0.311，0.135，0.028)。

由此，该在线课程的教学质量综合评级为良好。

评级结果表明，该在线课程的教学质量还存在进一步提升的空间。根据专家打分隶属度和权重，该课程在“教学目标”“教学方法”“学生调动”和“教学考核”等方面隶属度评级为“优秀”的占比较低，均为0.1，且存在“较差”的评级；“教学组织”“学生调动”“学习成果”和“教学互动”等方面隶属度评级还出现了“很差”的评级，后续可围绕上述二级指标进行有针对性的改进。一是结合办学定位和人才培养要求，完善课程教学目标，坚持知识、能力和素质的有机融合，培养学生的创新意识，提升学生的创新能力和实践能力；二是采用多式协同的教学方法，加强教学互动，实现从以教为中心向以学为中心的转变，激发学生的学习热情，充分调动学生的学习积极性；三是采用多元化考核方式，丰富探究式、论文式和报告答辩式等作业评价方式，加强非标准化和综合性等评价；四是坚持以学生为中心的课程教学组织，深度融合现代水利信息技术；五是加强学习成果的展示、分享与交流。

4 结语

研究生教育是我国国民高等教育的最高层次，在研究生教育中开展在线教学，对充分利用优势学习资源、了解学科前沿和扩大学生知识面等具有重要作用。然而，目前我国研究生在线教学尚属起步阶段，还存在在线教学课程建设滞后、在线教学质量评价体系尚未形成、在线教学质量保障机制仍未建立等突出问题，本文结合研究生在线教学要求和我校实际，重点针对研究生在线教学质量评价体系构建问题开展了研究。通过研究，构建了课前、课中和课后全覆盖的在线教学质量评价体系，提出了“资源建设+教学设计+教师教学+学生学习+效果评价”的一级评价指标，阐明了各评价指标的二级指标和观测点，探讨了指标点权重和综合评级阈值的确定方法，应用所建立的评价体系进行了在线课程教学质量评价，并根据评价结果给出了课程教学质量的改进措施。

本文所建立的研究生在线教学质量评价体系可从教学资源多样性、教学设计合理性、教学组织有效性和教学改进针对性等方面对研究生在线教学质量进行定量评价和全面诊断，并找出其中的薄弱环节。同时，该评价体系可推广应用于相近学科研究生在线教学质量评价，具有较为广泛的应用前景，对有效促进研究生在线教学发展具有积极作用。