“实时网络听评课”效果评估技术体系的设计与实现——以听课教师的专业发展为导向

李 蕾

(中央电化教育馆，北京 100031)

“实时网络听评课”效果评估技术体系的设计与实现
——以听课教师的专业发展为导向

李 蕾

(中央电化教育馆，北京 100031)

实时网络听评课是基于网络平台且在原则上可以边听课边评议的听评课教研活动，合理评估这一形态的听评课效果，是客观认识其价值、做出科学决策的基本依据，也是分析不足、改进提升的重要基础。该文以听课教师的专业发展为导向，通过探索性因子分析，确定从“参与程度”和“专业发展”两个维度评估实时网络听评课的效果，重点设计了实时网络听评课效果评估调查问卷、基于问卷的实时网络听评课效果得分综合模型、评议交流质量的内容分析编码体系等3个评估工具，并为实施评估构建了包括原则、方法、工具在内的横纵交织的评估技术体系，增强了评估实践的可操作性。

网络听评课；教师专业发展；评估技术

一直以来，听评课是教师培训与研修活动的重要形式与内容，对教师专业发展具有举足轻重的作用[1]。随着网络的普及，研究者们探索了网络条件下听评课环境构建技术，分享了网络听评课实践的经验[2]，认为网络听评课“具有传统听评课教研方式所没有的优势和教研效果”[3]，但效果如何评估，现有文献则较少涉及。合理评估网络听评课效果，是客观认识其价值、做出科学决策的基本依据，也是分析不足、改进提升的重要基础。网络听评课有多种形态，本研究界定其中的一种形态——实时网络听评课，为评估这一形态的听评课效果构建一套技术体系，使评估过程行有可依，评估结果真实有效，为比较不同实时网络听评课效果、考察效果变化提供客观依据。

一、概念与分析单位界定

(一)实时网络听评课

实时网络听评课是指不少于两位听课教师共时参与的、在网络环境中通过必要的IT制品进行的听评课教研活动。在听课过程中，听课教师原则上可以随时发表评议意见，是个体听课与评议的实时同步；听课群体同时在线进行听与评，听课教师之间交流互动的关系是实时的。课程结束后，评议可以有组织地或自组织地线上或线下持续进行，所持续的时间可以是有限的，也可以是无限的。

(二)实时网络听评课效果

实时网络听评课效果是指符合实时网络听评课概念条件的教研活动的效果。本研究以听课教师的专业发展为导向，由此约定：效果由听课教师体现，并与他们的专业发展相关。至于可能反映活动效果的其他方面，如上课教师的发展、学校文化、校本资源建设等维度，不在本研究范围内。

(三)分析单位

每一次听评课活动，有该次活动的即时效果、短期效果、长期效果；多次的听评课活动，有累积效果。本研究主要针对每一次实时网络听评课活动，评估即时效果。听评课是群体活动。群体动力学指出，群体不是人们个体的简单集合，而是一个人与环境耦合的动力整体。个体听评课的效果与群体听评课的效果不是简单的代表与加合的关系，因此，本研究的分析单位既有个体又有作为动力整体的群体。

二、实时网络听评课效果评估维度的提出

(一)评估维度的理论构想

构建评估技术体系的首要问题是要明确从哪些方面评估实时网络听评课的效果。效果由听课教师体现，并与他们的专业发展相关，因此听课教师的“专业发展”是一个重要的评估维度。一些学者指出现场听评课中普遍存在听课教师不投入的现象，如评议缺互动、关注点单一、课堂中丰富而重要的信息未被予以应有的关注等。这些现象在“网络”“实时”“同步”等要素的存在下有无改观，则表明实时网络听评课在改变教师参与程度方面是否产生了效果。因此，听课教师的“参与程度”也是评估实时网络听评课效果的维度。“专业发展”“参与程度”两个维度是否表征实时网络听评课效果的本质结构，还需要通过探索性因子分析法做进一步研究，其基础是观测变量的设计。

(二)各维度测量题项的设计

为评价具体的教师专业发展活动的实效，古斯基(Thomas R.Guskey)构建了5个评价层次，指出这5个评价层次既可以整体使用，又可以独立使用其中的某些层次[4]。情境学习理论认为，绩效评估应着眼于学习者在学习过程中可能得到的成长与发展，应关注学习者在真实实践情境中所表现出来的理解水平、思维品质、行动改进及其过程[5]。国际培训、绩效及教学标准委员会(IBSTPI)和一些国内研究者提出了教师能力标准、教师专业发展绩效评估指标或观测变量，虽不适用本研究的分析单位，但启发了本研究测量题项的设计。

作为对具体活动的即时评估，本研究主要考察教师在听评课情境中的行为表现，并重视那些可以推知可能得到发展的行为，从听课教师对所听的课的关注情况、对群体评议内容的关注情况以及自我反思等方面，设计了10个可观测题项，釆用里克特5点量表计分，形成预试问卷。

(三)评估维度的确定

预试问卷的调查对象为分布在全国城市和农村地区的中小学教师群体。依据随机抽样原则，采用不记名的网络问卷方式，收取113份问卷，有效问卷107份，其中城市学校的教师占41.1%，农村学校的教师占58.9%。使用正交转轴法中的“最大变异旋转法”，配合“限定抽取共同因素法”，通过4次探索性因素分析，确定“专业发展”和“参与程度”是有效反映实时网络听评课效果的核心因子，并保留6个测量题项。数据表明，“专业发展”和“参与程度”两个维度的联合解释变异量为69.51%，作为因素相当理想，与理论构想的维度一致；6个题项的因素负荷均在0.50以上，表明题项可以有效反映各指标变量；α值大于0.8，表明量表的信度甚佳，可用于评估实时网络听评课效果的正式测量。

三、内容分析编码体系的设计

教师之间评议交流，是以语言为媒介的对话交往。根据哈贝马斯(Jürgen Habermas)的交往行为理论，言语的意义取决于说话背后的理由，要理解该言语，听话人必须能够思考(并决定是接受还是否决)话语背后的理由、揣测说话人的意图。这就要求听话人反思自身经验，并在对话过程中与说话人实现意义建构，增长自身经验和动力群体的共同经验。

反思既是内隐的思维活动又是外显的探究行为，评议意见的表达便是反思的外显行为。对于反思内容，可以从两个维度进行考察：一是教学反思内容的广度即教学反思的指向，二是教学反思内容的深度即教学反思水平[6]。Sparks-Langer等人根据教师对教学事件的描述方式以及对事件做解释的方法和准则，提出了7种不同层次的反思水平。范梅南(Van Manen)等人将反思分为技术合理性水平、实用行动水平和批判反思水平。一些学者提出了行动水平，分析行动背后的实践和理论原因水平以及对行为进行伦理辩护的水平[7]。对于有效交流，李克东认为针对同一帖子循环评论的次数(即交互层数)是重要的评判标准。以此为依据，严亚利与黎加厚提出了以回复次数为依据的“教师博客交互深度”的内容分析框架[8]。

参考上述关于反思水平的划分、交互层数的指标设定，本研究从伦理辩护的水平、是否有优化教学的建议、评议内容指向的广度、对同一话题的交互层数、有无破坏性言论等方面设计编码类目，并结合实时网络听评课评议话语与交互层数的特点，设计了评估听课教师评议交流质量的内容分析编码体系。

四、效果评估技术体系的构建

前文设计的效果测量题项和内容分析编码体系是独立使用还是联合使用？由谁来用？在什么情况下用？还有无其他评估实时网络听评课效果的方法和工具？解决这些与评估实施有关的问题，需要构建一个综合的评估技术体系。

(一)方法

1.问卷调查法

问卷调查法是由听课教师填答问卷，评估者统计分析分卷而得到评估结果的方法。根据对问卷中封闭式问题和非封闭式问题的统计分析，可以获得某现象的绝对数、相对比例和分布状况等数据，也可以用来验证假设、探究因果、发现规律，形成定性研究或定量研究的结论。

2.内容分析法

内容分析法是一种半定量研究方法，它以前面设计的评议交流质量内容分析编码体系为分析框架，由两个或两个以上的评判者对教师在实时网络听评课中评议交流的文本进行平行操作，形成量化描述，可以较为有效地评判教师评课交流的整体质量，了解个体教师在实时网络听评课中的专业表现。

3.专家评估法

专家评估法是依靠专家的专业知识、经验和对听课教师以往情况与现状的了解，通过直观归纳，对听课教师的听评课实际效果做出判断。为保证主观判断对复杂问题评估标准的统一性、评估操作的常态化，在评估对象规模不大的情况下，可采用专家评估法中的个人判断法，即依靠个别专家对评估对象做出判断[9]。

4.实地研究法

利用网络的便捷性，评估者可以方便地进入听评课现场，感受、倾听和观察老师们在听评课中的行为表现，直接获得他们在系统平台中的在线痕迹和言语资料，并对听课教师或其他与活动相关的人员进行在线或非在线访谈，依靠评估者本人对第一手资料的理解和抽象概括，得出评估结论。实地研究法和专家评估法的区别在于得出评估结论的依据和途径不同，实地研究法更注重对一手资料的收集和运用。

5.其他

评估实时网络听评课效果，还有访谈法、观察法、个案研究法等多种方法。

(二)工具

1.实时网络听评课效果得分综合模型

在定量研究实时网络听评课效果时，为使效果总值更合理，应考虑具体测量题项对整体测量结果的权重贡献。基于因子分析中的主成份分析法，可以计算出“专业发展”与“参与程度”两个主成份的线性组合，再将线性组合的系数做加权平均和归一化处理，可以得到指标权重[10]，并得出实时网络听评课效果得分综合模型：F=0.177q1+0.162q2+0.166q3+0.149q5+0.166q6+0.179q7。该模型中的前三项是听评课“参与程度”得分模型，后三项是“专业发展”得分模型。结合各题项的权重，可以对问卷结果做分项分析，发现与具体题项或题项组合有关的非表象信息。通过比较多次效果值的高低变化，可以发现活动效果的变化，比较不同活动效果的差异。

2.问卷

本研究设计了测量实时网络听评课效果的主要题项，并经过预测试后进行修订，形成正式问卷。问卷中除封闭型题项，还有少量可随需修改的半开放式问题与开放式问题，便于评估者结合具体情境获得更有针对性的信息，并在使用中适度修改，增强问卷的实用性。

3.其他

美国著名教育家杜威提出，教学不应是直截了当地注入知识，而应诱导学生在活动汇总得到经验和知识。新课标倡导探究性学习，就是力图改变学生的学习方式，帮助学生领悟科学的本质，而且关注创新精神和实践能力的培养。在教学中，教师应该针对学生认知特点，创造性地组织探究活动，让学生立足书本，进行层层递进地观察、实验，收集和分析证据，在体验探究的过程中，形成一定的科学探究能力和科学态度与价值观，激发创新意识。

广义地看，与评估效果有关的工具，还包括访谈提纲、观察结构表以及和记录信息、分析资料有关的其他设备、软件等，如摄录机器、SPSS软件等。以工具视角来看，人既是实施评估的主体，又是技术体系中的重要工具，尤其是专家评估法中的“专家”、采用实地研究法的研究者、采用观察法的观察者等。

(三)原则

1.方法联用，资料互证

实时网络听评课是复杂情境下的教育实践活动，单一的评价技术难以获得对主体和教育事实全面、整体、解释性的理解，应结合实施效果评估的目的、所具备的评估条件，对方法与工具进行合理选择、组合使用。通过多种方法和工具联合并用，利用多种来源的资料，可以增加交叉性优势，减少非重叠性弱势，消除评判资料的不确定性，保证听评课效果评估的效度。

2.不拘表面，深度评估

定性研究与定量研究相结合，已基本成为教育研究的共识。定性与定量研究的区别不止在方法论上，更在于认识论、理论基础、研究过程等方面的区别。在研究过程中对同一材料不同的分析程度，对同一工具的不同使用，可能会使典型的定量研究方法与工具止步于定性研究的结论，或使可以有量化结果的质性材料因缺乏抽象而损失资讯价值。因此，在实施评估时不停留于表面材料、浅层操作，应深入认识方法和工具可以有的评估效能，深入分析和运用材料中所蕴含的丰富信息，使评估结果全面、深入、客观、易应用。

3.主体合作，共同评估

评估主体应是实时网络听评课活动的促进者、组织者和参与者的不同组合。多元主体相互配合，共同评估，一方面有益于保证评估结果的效度，一方面有利于各类主体对评估指标形成共识，进而完善指标，促进听评课活动的组织与实施，发挥评估指标的行为导向作用。

(四)效果评估技术体系的整体结构

实时网络听评课效果评估技术体系是一个横纵交织的开放性系统。方法、工具和原则是纵向维度的基本结构，每一具体的方法、工具和原则是纵向结构中的具体构件。“方法”中的构件有问卷调查法、内容分析法、专家评估法、实地研究法、访谈法、观察法、个案研究法等；“工具”中的构件有调查问卷、效果得分综合模型、内容分析编码体系、访谈提纲、专家等；“原则”中的构件有“方法联用，资料互证”“不拘表面，深度评估”“主体合作，共同评估”等。在横向维度上是构件之间的多向联结——相互依赖、互为支撑、协同作用。当前列举的构件，非穷举，其他构件可以进入系统，发挥效用。从整体上看，系统具有生长性和开放性，既有构件的增补、修订，又有构件的沉没、淡出，并允许对构件分解，以适应不同的评估需要。

五、结语

本研究构建了评估实时网络听评课效果的技术体系，特别设计了可以用于定量和半定量研究的工具，既有助于保证评估结果的信度、效度，又可以减弱对评估者的专业性要求，增强了评估实践的可操作性。当然，作为定量研究的专业性工具，本研究设计的调查问卷还需要在长期实践中进一步检验、修订，并不断改进评估技术体系中的其他构件，为科学评估实时网络听评课效果提供更为坚实的技术支撑。

[1] 胡燕,樊允浩等.近十年关于听课、评课研究的相关综述[J].创新与创业教育,2010,(5):62-67.

[2] 李蕾.听评课技术研究[J].中国电化教育,2015,(6):74-79.

[3] 陆晔.网络听评课:品德学科教研的一种新尝试[J].教育科研论坛(小学教育教学),2010,(11):31-34.

[4] 陈霞.教师专业发展的实效性研究[M].北京:北京大学出版社,2012.

[5] 王陆.教师在线实践社区COP的绩效评估方法与技术[J].中国电化教育,2012,(1):61-72.

[6] 申继亮,刘加霞.论教师的教学反思[J].华东师范大学学报:教育科学版,2004,(3):44-49.

[7] 刘家霞.国外教学反思内涵研究评述[J].比较教育研究,2003,(10):30-34.

[8] 严亚利,黎加厚.教师在线交流与深度互动的能力评估研究——以海盐教师博客群体的互动深度分析为例[J].远程教育杂志,2010,(2):68-71.

[9] 赵轶.市场调查与预测[J].重庆:东北财经大学出版社,2015.177.

[10] 张文霖.主成分分析在满意度权重确定的中的应用[J].市场研究,2006,(6):18-22.

Design and Research of Technology System of Evaluating the Effect of Real-time Network “Observing and Discussing Lesson”—Aims at the Professional Development of Visiting Teachers

Li Lei
(National Center for Educational Technology, Beijing 100031)

Real-time Network “Observing and Discussing Lesson” is a teaching and research activity, which is Based on the network platform. This study framed the dimensions of representing the effect of the activities including "profound involvement" and"professional development” through questionnaires and factor analysis with SPSS. Three elementary evaluation tools were designed,which included questionnaires for evaluating the e ff ect of Real-time Network “Observing and Discussing Lesson(O&D)”, the score synthesis model of the effect of Real-time Network O&D, which was based on the questionnaires, and the coding system of the content analysis for evaluating the depth and scope of communication. Besides these tools, a technology system of evaluating was also constructed including the principles, methods and tools interacting with each other, so as to obtain the exact and objective result and enhance the operability of the evaluation practice.

Observing and Discussing Lesson in Network; Teacher Professional Development; Technology System of Evaluating

G434

A

李蕾：博士，编辑，研究方向为数字资源建设、教师教育、教育信息化(happy5518@qq.com)。

2016年10月12日

责任编辑：赵兴龙

1006—9860(2016)12—0146—04