网络化的MOOC的教学评价系统开发与应用

陆妙琴

(咸阳职业技术学院 基础部， 陕西 咸阳 712000)

0 引言

随着“互联网+”在教学领域的深入应用于发展以及终身学习理念，催生出了在线学习这一新教学模式，MOOC新型教育资源受到教育界及公众持续的关注和追捧，为我国高校教学质量提升及教学管理改革创新带来了新的机遇和挑战，有关MOOC的研究和探索在不断深入，极大的丰富了在线学习形式及资源内容，MOOC同各类学校间的联系也在不断加深，教学质量评价作为教育教学管理的核心环节需同MOOC进行有效对接和融合，在创新教育理念和教育模式的过程中需有机结合自身需求，充分发挥MOOC的优势，进一步提高教育教学水平及质量，MOOC教学质量评价在继承传统教学模式评价标准和方法的基础上构建了针对新教学模式的有效的评价指标及评价体系[1]。

1 现状分析

2 层次结构模型的构建

本文在现有研究成果的基础上在MOOC的教学评价过程中引入了层次分析法，通过教学绩效评价实现对课程教学资源的优势和短板的精准识别过程，教育工作者可据此充分挖掘学习者的兴趣点和关注点，对教学的流程和方法进行持续有效的优化，进而实现各层次学生学习能力及学习水平的水平全面提升。

2.1 MOOC教学质量评价指标的选取

传统以线下教学为主的教学模式通常将网络教学作为提供线上学习资源的平台，以学习者作为学习主体的MOOC更加注重学习者的学习体验，提倡自主性、探究性和研究性的学习过程，教育工作者对MOOC的学习活动、教学环境及资源、个性化服务等的重视程度不断提高。开展MOOC课程教学绩效评价已经成为提升教育教学质量的重要手段，根据《精品资源共享课建设工作实施办法》，可从该具有权威性和指导性的评估指标体系中提取出适用于MOOC的指标或MOOC借鉴的指标，如教育教学水平、课程与教学质量等，系统技术、学生学习、教学效果、教师行为等是MOOC教学质量评价过程的重要指标[3]。结合现有文献的研究成果，可在评价指标体系中融入学生的学习态度、协作精神等；学习效果、教学效果设计为一级指标，对应学习者成绩(以学习积极性与持续性、课程互动等作为主要观测点)和教学评价(以教师评价、学习者评价等作为主要观测点)等二级指标；将学生学习(包含学习动机、学习效果、自我监督等二级指标)、学习评价、教学活动(包含以知识讲解、教学行为和问答互动等作为主要观测点的教师活动和以课程访问、课程学习、在线交互等情况作为主要观测点的学生活动等二级指标)、教学技术(包含是视频的检索、分类、控制、切换等的科学合理性作为主要观测点的用户界面布局和视频质量等二级指标)、将系统特性(包含稳定性、响应速度、兼容性等)和视频质量作为一级指标[4]。综合了定性和定量分析方法的层次分析法(AHP)将目标问题划分成不同的组成因素并在此基础上完成若干层次的聚集组合处理，最终形成多层次的分析结构模型。本文基于Delphi专家评价法通过采用AHP法完成对评价指标体系权重的分配和计算确定[5]。

2.2 层次分析结构模型

基于传统的教学评价指标体系对上述主要观测点进行分析比较和分类，MOOC的评价指标中应对教学的内容/设计/效果/师资队伍、包括拓展资源在内的课程资源、学生及教师活动、系统性能和设计等指标作为重点考量对象，本文采用AHP方法构建了分为目标层、准则层、指标层的层次分析结构模型。目标层对应为MOOC教学质量的科学合理评价(A)；准则层主要包括师资队伍(B1)、课程内容与资源(B2、B4)、教学设计(B3)、学习活动与指导服务(B5)、教学效果(包括社会效益，B6)和系统技术与设计(B7)等7项;指标层主要包括教师素养(C1)、学术水平(C2)、教学水平(C3)、课程目标(C4)、教学内容和计划(C5、C6)、教学组织(C7)、教学方法与手段(C8)、教学评价方式(C9)、教学视频(C10)、基本资源(课件等，C11)、拓展资源(试题库等，C12)、学习行为(C13)、学习氛围(C14)、教师监督与指导个性化服务(C15)、同行及学习者评教(C17、C18)、优势特色(C19)、推广应用(C20)、系统性能(C21)、媒体技术质量(C22)和界面设计(C23)等23项[6]。

3 评价指标体系的建立

3.1 构造判断矩阵

对于集中在教学的内容、资源及效果方面的一级指标权重的确定，主要结合国家级相关评审指标体系和专家意见确定。准则层上依次表现出的重要程度顺序为课程资源、课程内容、教学效果、教师队伍、教学设计、教学活动、系统技术与设计等，据此构建标度由Mij表示(取值为1～9及其倒数)的判断矩阵，用于表示本层各元素间的相对重要程度(相比于上一层的某因素，两两比较)，2个因素同等重要由1表示，一个元素比另一个稍重要由3表示，一个元素明显比另一个重要由5表示，一个比另一个强烈重要由7表示，一个比另一个极端重要由9表示，两相邻判断的中间值分别由2、4、6、8表示，两因素交换次序比较的重要性用倒数表示。结合现有文献数据研究成果及专家建议构建了MOOC教学质量评价的判断矩阵，如图1所示[7]。

图1 各层次因素的判断矩阵

3.2 层次排序和一致性检验

计算获取判断矩阵最大特征值和特征向量(使用层次分析法，采用近似计算)，在矩阵A=(aij)n×m的最大特征值(由λ表示)约等于n的情况下可确定其具有一致性，此时A的各个因素的比重可由特征向量W=(w1，w2，…，wn)反映；若判断矩阵不具有满意的一致性需进行调整[8]。一致性指标：CI=(λ-n)/(n-1)，本文通过结合运用matlab(作为计算工具)和eig()函数(用于求取特征值和特征向量)完成了层次排序和一致性检验，一致性比率：CR=CI/RI， RI(1～9阶的矩阵)∈(0，0，0.58，0.90，1.12，1.24，1.32，1.41，1.45)表示平均随机一致性指标，CR<0. 1时具有满意的一致性，分别完成A、B1、B2、B3、B4、B5、B6、B7数组的构建，保存为mat矩阵文件以供程序读取、计算和调整，以A矩阵为例，计算其权重向量和一致性检验的主要流程可描述为：对命令窗口和工作空间的内容进行清除，加载A矩阵的mat矩阵文件，求矩阵的全部特征值和A的特征向量分别构成对角阵D和V的列向量，求对角阵D的最大值和其每一行的最大值，找到最大特征值所在行列位置并获得对应特征向量，从而获取矩阵的规模，计算 CI，根据RI计算一致性比率，并生成零矩阵，归一化处理对特征向量，输出权重向量、最大特征值、CI、 RI、CR，主要代码如下[9]。

clc；

Clear；

load A .mat；

在纪念“枫桥经验”50周年之际，习近平总书记作出重要指示，充分肯定“枫桥经验”的重大意义，强调要把“枫桥经验”坚持好、发展好，把党的群众路线坚持好、贯彻好。2013年10月11日，纪念毛泽东同志批示“枫桥经验”50周年大会在杭州召开，会议就如何贯彻落实党的十八大和习近平总书记重要指示精神作出重要部署。

[V，D] =eig(A)；

lmd=max(hmax)；

hmax=max(D)；

[row，col]=find(D==imd)；

W = V(:，col) ；

[ m，n]=size(A)；

CI= (lmd-n)/(n-1)；

RI = [0 0 0.58 0.9 1.12 1.24 1.32 1.41 1. 45]；

CR = CI/ RI(1，n)；

If CR<0.10

WW =zeros(n，1)；

For i =1：n

WW(i ，1)=W(i ，1)/sum(W(：，1 ))；

end

WW 、LMD、CI、RI、CR

else

disp(未通过一致性检验需调整)；

end

反复调整判断矩阵最终确定了图1所示的判断矩阵，利用MATLAB程序获取的层次排序和一致性检验结果，如表1所示。

表1 层次排序和一致性检验结果

CR均小于0.1说明具有满意的一致性，验证了该模型及指标权重的合理性。假定评价采取百分制，第Bi个准则的权重及其所包含的第Cj个指标的权重分别由WBi、WCj表示，使用计算式MCj=100＊WBi＊WCj分别计算各指标的分值(从上到下)，据此完成各指标评定等级的制定及对应各个等级的系数，评价总分计算式为M=∑KiMCj(Ki和MCj分别表示等级系数和指标分值)[10]。

4 总结

MOOC教学质量评价过程需在继承传统教学模式的评价标准和方法的基础上，对新教学模式的教学质量的重要影响因素(包括系统设计方法与技术、教学资源及效果、学习活动、社会效益等方面)以及多指标体系建立方法进行充分考虑与研究。本文通过AHP 法的使用完成了MOOC教学评价指标体系及相应层次结构模型的构建，并在此基础上完成了对相关指标分配权重科学合理的计算过程，并完成了一致性检验(通过MATLAB完成)，根据实际评价需要给出了计算总评分数的方法，为MOOC评价系统的进一步完善提供参考。