“教学评价”研究热点与主题可视化分析*
2018-01-26张俊飞毕志升吴小玲
张俊飞，毕志升，吴小玲
（1.广州医科大学 数字与语音实验中心，广东 广州 511436；2.广州医科大学 信息教研室，广东 广州 511436）
引言
《国家中长期教育改革和发展规划纲要（2010-2020年）》明确提出了“改革考试评价制度和学校考核办法，建立科学的教育质量评价体系，改进教育教学评价”的总体发展目标。教学评价被誉为现代教育科学研究的三大领域之一，其意义不言而喻。教育评价思想开始于我国古代教育，早在西周时代已经形成比较完备的考试选拔制度，在历代的封建王朝时代，“分科举人”、“开科纳士”等考试制度，正是教育评价思想的渊源。
本研究利用社会网络化分析、多维尺度分析和聚类分析等多元分析方法，将“教学评价”领域内的重要关键词进行提取、分类、关系分析操作，从而总结归纳出该领域研究的热点和主题，以进一步掌握“教学评价”研究路线以及未来研究方向，为后续科研提供参考。
本研究同样秉承可视化分析的思路，结合多元分析方法。可视化分析是指将计算机进行科学计算的中间数据和结果数据，以某种容易理解的视觉方式展示出来的方法。[1]可视化分析利用计算机数据表示、处理技术实现数据可视化，[2]使数据用图表、曲线显示，并能对数据的相互关系和模式进行分类、组合、可视化呈现。在大数据时代，数据可视化已经逐渐成为主流。
一、数据来源与处理
1.数据来源
本研究以中国知网CNKI为搜索引擎，采用高级检索功能，检索2014-2016年在核心期刊、CSSCI期刊中发表的包含“教学评价”主题的文章，共847篇，过滤掉与主题无关的7篇文献，共得到840篇样本文献，并以NoteFirst格式导出。
2.提取高频关键词
利用BICOMB2.0书目共现分析软件，创建项目，选择“cnki..
3.构建词篇矩阵、共现矩阵与相异矩阵
采用Ucinet6和SPSS22软件对66个高频关键词做矩阵分析，首当其冲的是准备分析数据——高频关键词的词篇矩阵（见表2）、高频关键词的相异矩阵（见表3）、高频关键词的共现矩阵（见表4）。首先在BICOMB2.0软件中设置阈值条件为5≤频次≤148，生成词篇矩阵和共现矩阵；利用SPSS22软件对词篇矩阵进行相似矩阵距离分析处理，设置度量标准为二分类Ochiai系数，生成相似矩阵。为了消除由于关键词共现次数差异所带来的影响，相异矩阵由相似矩阵导出到Excel中，并利用数字“1”与相似矩阵中的相似值相减生成。[5]
表1 高频关键词（部分）
表2 高频关键词词篇矩阵（部分）
表3 高频关键词相异矩阵（部分）
表4 高频关键词共现矩阵（部分）
二、研究热点及其关系
为了获取教学评价研究热点及其关系，需要将先前统计出的高频关键词共现矩阵导入到Ucinet6软件中，生成二维社会网络关系图谱。将共现矩阵导入到Ucinet6软件中，对高频关键词进行节点中间度分析，如表5所示，并生成可视化高频关键词社会网络关系图谱，在图谱的基础上进行中间中心度（Betweenness）操作和K-cores分析操作，得图1。
图1 高频关键词社会网络关系图谱
通过Ucinet6菜单项 “网络-中心度-Freeman中间度-节点中间度”操作统计节点中间度。从表5中可以看出，教学评价主要围绕评价体系、教学模式、教学改革、实践教学、课堂教学、教学质量等主题展开研究的。在社会网路关系图谱中可以看出，通过中间中心度和K-cores分析，各个节点在网络中作用大小有不同大小显示和颜色变化。节点正方形大小标识占据网络核心位置，红色表示该领域的研究热点，其他研究基本都是围绕这些热点主题展开的。在社会网络关系图谱中，除了可以看出研究的热点，还可以通过热点间连线的粗细和紧密程度，说明热点研究的成熟度。除了核心关键词外，其他节点联系较为松散，说明没有形成明显的研究主题。
表5 高频关键词节点中心度（部分）
三、主流研究领域结构及其关系
1.高频关键词聚类分析
关键词聚类分析的原理是以关键词两两在同一篇文章中出现的频率（共词）为分析对象，利用聚类的统计学方法，把关联密切的关键词聚集在一起形成类团。[6]在SPSS22中，把词篇矩阵导入，进行系统聚类分析，聚类方法采用组之间的链接，以二分类Ochiai系数为测量标准，得到图2所示的主题谱系图。聚类结果显示，教学评价领域的研究热点主要集中在九类主题——教学评价指标、教学评价方式、教学模式改革、教学评价体系、学生评价、教学评价的意义、课程评价、教师评价、教学过程与要素。
图2 主题谱系图
种类一涉及教学评价指标的设计。高校开设科目众多，课程性质多样，如实验课、双语课、讨论课、体育课、见习课等，不能采用单一教师评价指标全面覆盖所有教师。另外评价对象除了教师以外，还有学生和课程等教学过程要素，应该针对学生和课程根据不同的标准提出不同的评价指标。只有建立多维度的教学评价指标体系才能符合教学情况，才能更具有针对性。魏翼飞[7]等通过研究大学生评教心理因素，设计了分阶段的教学质量评价指标，提出多元评价方式和以教学质量综合指数为标准的评教手段。
种类二是评价方式。随着信息化的发展，教学评价方式呈现多样化趋势。韦文荣[8]等结合移动学习的特征对思政课进行教学改革，构建基于移动学习的评价方式。徐镇凯[9]等综合应用大数据多层变权云计算方法优化教学质量评价体系机制。信息化评价软件的出现促进了评价方式的革新，学生群体作为教学评价的主体，从自身实践经验出发带有很强的主观性，因此需要信息化技术应用到评价中对数据清洗，剔除无效数据。
种类三是教学模式改革。信息化的发展，促进了网络课程的开设，“微课”、“慕课”、“CDIO”、“移动学习”等教学新名词井喷出现。王冠军[10]等基于翻转课堂与MOOC的嵌入式软件工程实践教学促进了学生对理论知识的掌握与理解。
种类四是评价体系。教学评价体系研究近年来日益丰富。从总体上分析，主要研究内容包括两部分：①多视角研究教学体系的结构，包括教学课程设置、教学模式、人才培养等；②教学质量监控与评价体系，包括相关软硬件的设计、开发与使用，师资保障以及制度建设。这些对高校教学发展、人才培养等都有重要指导和促进作用。
种类五是学生评价。建构主义学习观认为：学习是学习者利用已有知识经验了解构建新知识的过程。当前，对学生的评价主要是改善学生的学习和甄别学生学习水平。通过学生评价数据，教师可以了解教学得失从而改进教学方法，同时也可以及时了解学生学习和身心发展状况，方便给予引导和帮助。
种类六是教学评价意义。教学评价作为一个独立的研究领域始于20世纪初，其发展经历了四个时期，由最初的测量、测验评价阶段，到是否达到教学目标描述时期，再到确定评价是价值判断、具有过程性的判断时期，直到最终认为评价是共同建构的成熟期。教学评价反馈被视为评价者和被评价者“协商”进行的共同心理建设过程。学生评价，是授课教师对学生学习的一个反馈，让学生获得自己的学习水平层次，知晓在学习中取得的进步和存在的不足，有益于学生学习及成长。教师评价的两大基本目的，就是保证教学质量和推动教师的专业发展，[11]使教师在完成业绩目标的同时也成为实现自我发展及完善的过程。[12]课程评价的主体是学生，真实地反映课程开设情况，及时反映给教学管理者，为教学管理者的科学决策及工作方针的制订提供依据。简言之，教学评价反馈具有教学诊断、激励、调控功能。
种类七是课程评价。课程评价是事实与价值判断的合体，是课程价值的发现和创造。[13]课程的发展是伴随着时代的要求，对课程的评价更能体现课程是否符合现实，是否促进学生对科学文化的掌握。杨烨[14]依据美国“概念体育”课程理论，构建了基于体育生活方式的学校体育课程，使学生形成科学、健康的体育生活方式，掌握熟练的运动技能和知识。
种类八是教师评价。教育大计，教师为本，《关于深化教育改革全面推进素质教育的决定》要求教师评价机制作为一项全面推进素质教育的重要措施。教师评价研究是建立教师管理制度的重要方面和首要环节，教师对自身的教育活动进行自我评价，实际上是一个反思、修正的过程，可以促进教师的专业成长。
种类九是教学过程与要素。教学过程是学生认知身心发展的过程，在教学过程中，教师按照教学计划引导学生进行有意义的认知活动，学生自觉调整自己的认知结构，提高自己的智力、体力、品德等方面。对教学过程的研究是对教学本质的研究、对教学更深入的认识。教学基本要素有多种研究说法，如三要素说、四要素说、五要素说、六要素说、七要素说和三三构成说等。无论是哪种说法教学要素就是在教学过程中对教学产生影响的因子，对因子的研究有助于教学的顺利开展。
2.高频关键词知识图谱分析
知识图谱主要用于科学文献中知识发现，用以揭示领域知识结构和领域的研究重点。[15]多维尺度分析生成的知识图谱是一个二维坐标图，其中横坐标表示某个研究领域的向心度，描述了该领域在整个领域中的地位，值越大说明该研究领域越重要；纵坐标表示某个领域研究的密度，衡量该领域中内部知识研究的联系强度，值越大表示该领域研究的框架结构越完整，该领域研究现状很成熟前景良好。图中的圆点代表高频关键词在知识图谱中所处的位置。各个领域的不同位置在知识图谱中表示不同的含义。第一象限包含的高频词组具有较高的向心度和紧密的密度，说明这些词组代表的研究领域是整个领域的核心地位，并且研究的层次结构完善。第二象限关键词组的向心度低但密度紧密，这说明其代表的研究领域虽然不占据整个领域的重要地位，但是其具有较完整的框架结构、系统的体系。第三象限关键词组具有较低的向心度和密度，这说明其代表的研究领域在整个领域的边缘，且之间关联疏松，结构不完整、不系统。第四象限关键词组的向心度高但是密度低，这说明其代表的研究领域在整个领域中还很重要，但是内部研究不系统，结构松散。
知识图谱由SPSS22ALSCAL多维尺度分析生成。将先前准备的高频关键词相异矩阵输入到SPSS22软件中，以区间为测量级别并设置Eudidean距离为度量模型，输出数据矩阵，得到热点知识图谱如图3所示。
图3 多维尺度分析图谱
第一象限呈现大部分种类一、三、九高频关键词，这说明在教学评价领域评价指标、教学模式、教学过程与要素在该领域中处于研究重要地位，并且研究趋于完整成熟。但是，在第四象限还有部分种类三、九部分高频关键词，如“翻转课堂”、“学习过程”等，这说明种类三、九还有些领域虽然具有研究价值，但是还没有形成完整体系。第二象限呈现大部分种类二、四、六、八高频关键词，这说明教学评价方式、评价体系、评价意义、教师评价，虽然研究得比较系统化，研究的层次很完善，但是研究的热度处于该领域的边缘。第三象限呈现大部分种类五、七高频关键词，这说明学生评价、课程评价两个领域研究热度不够、处于该领域边缘，并且研究的框架结构也不完善，是个比较薄弱的环节。
四、结论与反思
教学评价作为学校教育活动体系中不可缺少的组成部分，对优化教育管理、提高教育质量等具有重要的作用。教学评价是教学活动的重要因素之一，是修改和完善教学的基础。在教学活动实施过程中，评价活动也始终贯穿其中。本研究对我国教学评价的未来发展提出以下几个意见，供其他学者参考。
1.评价主体、客体要全
只对一个或者几个教学要素进行评价，必将导致评价指向偏离，评价结果价值降低。评价主体必须包含如下方面：①教学督导、领导。一般由在职的资深教授组成，旨在利用他们丰富的教学经验，发现课堂教学中的问题，规范教学秩序，监督教学行为，并对授课教师提供必要的建议和引导，提升他们的教学能力。②学生。依据自身的听课感受及其认知进行主观价值判断。③教师。教师参与评价的形式应是教师在日常工作中对自身工作持续不断的反思、改进的记录。
弗·鲍良克[16]认为：“教师、学生、教学内容是教学的三个基本要素，它被称为教学论的三角形。”刘克兰[17]认为：“教学过程是教师的教和学生的学以教材为中介的共同活动过程。”本研究坚持教学过程三要素观点，教学评价应该围绕对学生评价、对教师评价、对课程评价三个维度，来诠释教学质量评价。然现代教学评价对象更多的是教师，仅从教师角度去评价教学无疑管中窥豹。学生、教师、课程作为教学活动三要素，对教学效果都有着重要的影响，都应成为被评价的客体。
2.多种评价方式
形成性评价强调教学过程，使教学成为一个自我纠正系统；总结性评价强调绩效责任，检验教学目标达标程度；发展性评价实现评价者和评价对象共同商定发展目标，以促进被评价者不断地发展。当前，教学模式的多种化、教学方法的多样化都需要多种评价方式并存，更好地对教学过程、效果进行评估与监控。
3.评价指标要具有信度和效度
信度和效度是教育评价指标体系实施的前提条件，是衡量教育评价指标体系构建质量的重要尺度。信度是指评价指标要贴合实际、能评出真实情况；效度指评价指标的准确性和代表性。针对不同的评价对象，要设计不同的评价指标体系，体现评价指标的多维化特性。如对教师的评价指标可以按照课程性质，设置不同的评价标准。
4.评价数据处理要具有科学性
按照数据类型，评价数据可以分为量化数据和质性数据。针对两种类型数据可采取两种方法：①教育评价信息的定量分析评判法，如加权平均法、模糊综合评判法、集体综合评价法等。②教育评价信息的定性分析描述法，如等级评价法、评语鉴定法、写实分析法等。随着信息化技术的发展，数据可视化也逐渐成为一种成熟的科学处理方法，增强了数据的可读性。
[1]张家华,邹琴,祝智庭.国内近五年学习分析研究现状的可视化综述[J].浙江师范大学学报(社会科学版),2017(1)：117-124.
[2]高玥.大数据时代背景下的数据可视化概念研究[J].电子技术与软件工程,2014(19)：216.
[3]王佑镁,陈慧斌.近十年我国电子书包研究热点与发展趋势——基于共词矩阵的知识图谱分析[J].中国电化教育,2014(5)：4-10.
[4]梁乐明,曹俏俏,张宝辉.微课程设计模式研究——基于国内外微课程的对比分析[J].开放教育研究,2013(1)：65-73.
[5]郭文斌,方俊明.关键词共词分析法：高等教育研究的新方法[J].高教探索,2015(9)：15-21,26.
[6]王敏,郭文斌.我国近十年情绪调节研究热点知识图谱[J].心理研究,2011(5)：56-59.
[7]魏翼飞,王铁军.教学质量评价心理因素研究与评价体系设计[J].北京邮电大学学报(社会科学版),2016(6)：103-110.
[8]韦文荣,黄振宣.基于移动学习的思政课学习效果评价体系[J].教育与职业,2016(24)：101-103.
[9]徐镇凯,温勇兵,魏博文,谷明晗.基于大数据多层变权云计算的高校工科教师授课质量综合评价[J].现代教育管理,2016(9)：93-96.
[10]王冠军,周勇,江海峰,赵莹,李向群.基于翻转课堂与MOOC的嵌入式软件工程实践教学研究[J].实验技术与管理,2016(4)：176-178,185.
[11]唐善梅,裴育.美国教师评价研究对我国高校教师评价制度的启示[J].继续教育,2010(6)：127-129.
[12]朱志良.建立发展性教师评价体系刍议[J].高等工程教育研究,2005(6)：38-41.
[13]蒋雅俊.课程评价：课程价值的创造与实现[J].华南师范大学学报(社会科学版),2014(3)：63-68,162.
[14]杨烨.基于体育生活方式的学校体育课程评价标准[J].上海体育学院学报,2014(2)：74-77.
[15]任红娟,张志强.基于文献计量的科学知识图谱发展研究[J].情报杂志,2009(12)：86-90.
[16]Bacic,B..Computer at the university：opportunities for tailoring automated marking and digital feedback,F,2003[C].IEEE.
[17]刘克兰.现代教学论[M].重庆：西南师范大学出版社,1998：41-44.
