开放教育视角下网上教学检查评价模型构建——以国家开放大学为例

马 宁 周 文

(国家开放大学，北京 100039)

网上教学检查对开放教育而言，就是运用科学的手段、方法和技术，对网上教学过程进行全面评价、检查分析的行为。通过定期的网上教学检查使各分部和学院更加重视网上教学资源质量、教学活动组织和教学效果以及学习支持服务等情况。国家开放大学自2003年起每年定期组织开展网上教学检查，对网上教学检查的方式进行了不断的探索，以这种方式来促进教学工作的顺利进行，推进教学改革和保证教学质量。

2012年国家开放大学正式挂牌成立，之后，国家开放大学学习网(以下简称“学习网”)逐步替代了原有的电大在线学习平台。2015年起，网上教学检查由对分部的电大在线平台的检查全面转变为对学习网的检查。2016年秋季学期起，一百余门网络核心课在全国铺开运行。学习网的启用和网络核心课的广泛使用令以往的网上教学检查评价标准产生了一定的不适用性，并且尽管在十余年网上教学检查历程中取得了一定的突破和进展，但网上教学检查仍旧存在一些问题：其一，评价方式仍需改进。历年的网上教学检查方法以自检报告和专家检查为主，数据采集、调查问卷和工作人员检查等方式为辅。目前，自检报告的内容存在政策层面导向、历年问题未有效反馈和撰写内容形式化的问题；专家检查存在评分过度依赖、评分主观性偏差和专业课程选择与专家领域未匹配导致检查结果无法纵向比较等问题。数据采集方式仅通过分部上报的方式获取，缺少一定的效度分析，需要通过评价方式的改进以适应新平台的转变。其二，缺乏过程检查。每年网上教学检查的时间基本集中在秋季学期末，经常出现分部或学院为应付检查在学期末突击上传资源，集中开展教学活动等问题，这就需要探索新的时效性强的督促和评价方式。

学习网平台与以往电大在线平台相比，其优点在于：有强大的教学设计功能和管理控制功能，能方便地获得学生的学习过程数据，并且其开源的特性使课程设计具有灵活性。基于新平台的转变和以上存在的问题，探索基于国家开放大学学习网的网上教学检查模型必将成为迫切的需求。需要按照不同的评价维度对检查指标进行重构，将评价指标进一步分解为可操作的评价标准，规范评价过程，保证评价结果的客观性，使网上教学检查能够真实地反映国家开放大学办学体系的教学管理和教学环节落实情况，这对推进国家开放大学六网融通人才模式具有重要的实践价值。

一、国内外相关研究简述

近年来，国内外专家学者对网上教学评价进行了不断的探索，形成了一系列较为完善的网上教学评价理论。国外著名的网络教育评价标准——在线学习的认证标准(E-Learning Certification Standards)由美国学者利奈特·吉利斯(Lynette Gillis)博士为主创，这一标准从三个方面对在线学习进行了评价，即可用性、技术性和教学性。[1]“虚拟学习环境的教育评价框架(A Framework for Pedagogical Evaluation of Virtual Learning Environments)”由英国威尔士班戈大学(Wales-Bangor University)的两位学者共同提出，该框架分为会话模型和控制论模型[2]。在线学习质量(Quality On The Line)由美国国家教育协会和黑板公司联合发布的基于互联网的远程学习评价标准，包括体系结构、课程开发、教学与学习、课程结构、学生支持系统、教师支持系统、评价与评估系统等七个方面。[3]

国内对教学评价的模型中，网络课程实施的质量标准包括了学习资源、教师、教/学过程、监控评价四个方面，又将这四个方面细化为十个必要的核心子指标项和五个建议子指标。[4]余胜泉对于教学评价提出三方面含义，即价值判断、评价发展和参照标准，认为交互是网络教学中必不可少的环节，而管理与支持评价内容也是网络教学评价中必须要重视的方面。[5]

在虚拟学习环境的教育评价框架中，将会话模型单独作为一个评价体系提出，突出教与学的交互，将学习的过程都看作是教师与学生的交互，具有很强的借鉴意义。而对于在线学习质量评价模型，则将支持系统分为学生支持与教师支持两个部分，突出了学习支持服务在网络环境中的重要性。国内外的相关研究都具有很好的指导意义，然而对于国家开放大学独特的开放教育模式而言，在评价模型的结构上，还需要考虑网上教学的其他构成要素如教育规模、地域分布、组织机构多样化等问题，对评价模型进行整体化设计，按照开放教育的管理体系构建评价指标，保证网上教学检查的有效开展。

二、网上教学检查评价模型指标体系结构

1.网上教学检查评价模型建构原则

(1)应用导向。网上教学检查的目的是了解各分部和学院实际的网上教学的运行情况，通过了解实际教学情况反映出真实的问题，并对问题进行改正，最终促进各分部和学院对网上教学的重视。因此，网上教学检查评价模型的构建必须从整体出发，要反映整个分部的网上教学运行效果并非只针对课程的教学评价。此外，评价指标的构成应尽可能直接客观地反映问题，在设定的过程中，应去掉不确定性或主观性较强的评价标准，确保评价模型的实用性。

(2)基于Moodle平台[ Moodle(Modular Object-Oriented Dynamic Learning Environment)平台，是一个用于制作网络课程或网站的软件包]模块。Moodle平台是目前被广泛认可的开源学习管理系统，其平台日志的功能较为完善。通过对Moodle平台日志数据所记录的各种教学和学习行为数据的有效分析与利用，不仅能够重构教学开展过程中教与学的互动过程，同时教与学数据的实时统计也可以实现教与学过程化的监督与管理，这正是通过数据驱动评价体系重构，驱动教学管理科学化价值的体现。[6]Moodle平台在教学中的应用框架由教师模块和学生模块构成，在评价模型的构建过程中应重点考虑这两个模块的应用。

(3)定量与定性相结合。定量分析是依据统计数据，建立数学模型，并用数学模型计算出分析对象的各项指标及其数值的一种方法。定性分析则是主要凭分析者的直觉、经验，凭分析对象过去和现在的延续状况及最新的信息资料，对分析对象的性质、特点、发展变化规律作出判断的一种方法。任何教育现象的存在状态都具有一定的量的特征，但是教育现象自身的存在状态具有不确定性，教育现象所表现的量多为变量，量与量之间的关系也不是确定的，因此很难精确地用数学语言描述。为此，唯有定量分析与定性分析的结合才真正地符合质与量的辩证统一，适合教育科学和数学各自的特性。[7]

2.网上教学检查评价模型指标基本内容

网上教学检查评价模型建构原则下的各项指标应真实地反映出网上教学的实际运行效果，具体包括网上教学资源的质量、教学活动的组织开展、学生学习的效果以及学习支持服务等情况。根据具体目标制定评价内容，形成一级评价指标。根据开放教育本身的特点及国家开放大学制定的发展规划方向，确定了五方面的评价内容：教学管理、教与学的交互、课程资源与活动、学习支持服务、监控与评估。

(1)教学管理。教学管理综合反映了开放教育网上教学各环节工作的组织与实施情况，为提高开放教育教学质量，满足学习者的多种学习需求，实现教育目标的全部过程，具体包括对教学过程的计划、组织、指挥、协调、控制等。

(2)教与学的交互。在网上教学过程中，可以发现，教师和学生的任何行为几乎都与交互相关，即便是涉及学习动机、学习态度、知识的迁移等隐性能力，与交互也是密不可分的。因此，把教与学的交互作为一级指标而非分散放在子指标里是十分必要的。根据美国心理学家阿尔伯特·班杜拉(Albert Bandura)提出的班杜拉交互决定论，[8]交互主要包括教师与学生的交互、学生与学生的交互、学生与环境的交互以及学生与学习资源的交互四种类型，同时有效地实现这四类交互的相互作用，才能确保网上教学质量的有效性。

(3)课程资源与活动。课程资源与活动是整个网络教学过程的主线，课程资源的利用率和活动的效果直接关系到教学的质量，因此对课程资源与活动设计仍是网上教学检查评价的主要内容。对于资源的评价侧重于课程资源设计的整体结构完整性以及内容符合远程学习者的学习特点，要根据课程教学的实际需要及时更新和补充教学资源。活动资源的评价侧重于设计的内容、形式等是否达到了一定的应用效果。评价还需要从课程的整体进行评价，如课程在教学模式、团队建设、教学改革、考核设计、实习实践等方面取得的进展和效果。

(4)学习支持服务。学习支持服务是整合办学系统的一体化的业务流和信息流，作为与课程建设、教学、管理、技术、后勤等诸多办学环节密切结合的一个重要环节。这一指标的评价主要针对学术支持服务和非学术支持服务两方面内容，而学习支持服务体系是否完善、高效和到位，直接影响到学生的学习效果，因此将参与度与效果放在其子指标当中。学术性支持服务主要是与学习内容相关的知识性服务，保证每个学生在学习过程中能够解决学科和专业学习的相关问题；非学术性服务主要是支撑完成学习相关的管理性服务，保证教师和学生在教学过程中遇到的相关技术问题能够得到解决；参与度与效果包括学生登录次数，作业和形考的完成情况等，在一定程度上反映出学生的学习能力和学习态度。

(5)监控与评估。通过数据监控及时了解教师和学生在教学和学习过程中的行为，实现对教学质量的过程管理、监控、反馈，并通过有效的评价手段对教学内容和方式进行一定的更新和调整，如表1所示。

表1 网上教学检查评价模型指标

一级指标二级指标描述和要点学习支持服务学术支持服务与学习内容相关的知识性服务,通过学术支持服务,提高教学过程实施、教学反馈的有效性,保证每个学生在学习过程中能够解决学科和专业学习的相关问题定期开展教师培训,组织教研学术活动非学术支持服务支撑完成学习相关的管理性服务,保证教师和学生在教学过程中遇到的相关技术问题得到解决,鼓励教师进行课程开发有相关的教师职责手册、学生学习操作手册,有效引导教师顺利开展教学工作,使学生进行有效学习非学术支持服务学生网上学习的参与度较高学生在学习过程中能及时、高质量地完成作业课程结束时完成考试监控与评估教学追踪监控通过数据统计及时了解教师在教学过程中的行为收集平台记录和保留有关教师教学过程的资料,如作业批改、辅导答疑、上传资源等,以此作为教师考核的依据学习追踪监控通过数据统计及时了解学生在学习过程中的行为收集平台记录和保留有关学生学习过程的资料,如作业、参与答疑与讨论的情况、测验结果以及调查问卷结果等,作为形成性评价的依据针对学生在学习中存在的问题主动提供指导和建议评估通过网络等收集学生对教师、课程资源、管理部门以及学习支持服务的评价意见,及时做出答复和相应的改进通过评估对教学内容和方式进行一定的更新和调整

3.主体评价

根据网上教学检查评价模型建构原则从整体角度出发，并考虑到学习平台本身教师模块和学生模块的应用架构，将评价模型的主体定位为机构、教师和学生。三个主体关系如图所示。

图1 评价模型主体评价

(1)机构。机构的管理是贯穿于学生从开始选课到最终完成形成性考核的全部过程，有效保证了对课程平台、支持服务、评估监控和管理各方面工作的协调，并对整个教学质量进行把控。

(2)教师。教师在网上教学过程中设计课程资源和活动并及时更新完善，通过日常辅导答疑、作业批阅、监控等方式对学生的学习情况进行评价并提供有效反馈。教师与教师间的协作，形成一定规模的教学团队，通过教学团队明确目标、职责、分工等定期开展教学研讨，提升教师自身专业发展。

(3)学生。在开放教育中，学生是学习的主体，通过个体认知、交互、课程资源和活动利用、作业和测试等环节全程接受网上教学服务，是对教学质量的优良最重要的评价主体。同时，学生也是交互的主体，教师与学生的交互、学生与学生的交互、学生与环境的交互以及学生与学习资源的交互四种类型均以学生为中心，通过交互行为判别学生在学习过程中的学习效果。

4.评价指标权重分配

评价指标的权重分配主要采取由专家估测的方法，这种方法的优势在于专家具备较高的学术水平和丰富经验。根据评价指标，对每个指标均定出评价的等级，用分值为每个等级的标准进行标注，然后以分值为基准，由专家对评价指标进行分析和评价，确定每个评价指标的分值及权数，采用加法评分法、乘法评分法或加乘评分法求出各个评价标准的总分，从而得到权重。

三、网上教学检查评价方法

网上教学检查评价有别于普通基于课程的评价，它既对整个机构网上教学运行效果进行评价，也涉及教学过程中教师和学生所发生的所有交互行为。网上教学检查评价模型建构原则可将评价内容通过定量和定性相结合的方式进行评价，评价结果将客观地反映出网上教学效果。

1.数据定量评价

数据定量评价采取统计和分析平台数据的方式，直接对机构、教师和学生在网上教学过程中做出定量结果的判断。数据定量评价的优点在于数据客观、准确、高效，可以支持高频度、短周期的过程性评价，如图2所示。

图2 数据定量评价

对机构的数据定量评价主要包括选课率、师生比、活跃度等方面，从综合层面反映了机构在网上的教学管理是否有规范，网上教学秩序是否顺畅。教师定量评价主要通过对论坛发帖率和回帖率等交互行为进行判断，能够反映教师在网上教学过程中的日常辅导、答疑、作业批改等情况。学生的定量评价通过学生使用资源和活动模块利用率、形成性测试完成率、人机交互类别行为频次，能够反映出学生的学习效果，也从隐性层次反映出学生的学习习惯、学习态度等。评价模型中指标项和主体之间的对应关系，形成了可量化指标，如表2所示。

表2 网上教学检查评价模型可量化指标

一级指标可量化指标描述教与学的交互学生帖回复率教师回复学生帖子与全部学生帖总数的百分比教师人际交互类别行为数教师在论坛、聊天室、Wiki、作业等需要师生互动、生生互动的模块中的行为次数学生人际交互类别行为数学生在论坛、聊天室、Wiki、作业等需要师生互动、生生互动的模块中的行为次数学生人机交互类别行为数学生在测验、问卷调查等需要学生与平台交互的模块中的行为次数学生其他类别行为数学生在课程登录、教学日历、学习进度、查看成绩等辅助模块中的行为次数课程资源与活动教师更新资源次数教师在更新资源时的次数学生资源类别人均行为数学生点击文本、视频、音频、PPT等资源的次数活动模块利用个数学生点击参与过的不同活动的个数活动人均个数学生点击参与过的活动个数占课程活动总数的百分比资源模块利用个数学生点击浏览过的不同资源的个数资源人均个数学生点击浏览过的资源个数占课程资源总数的百分比学习支持服务学生已批改作业个数教师批改学生作业个数占学生提交作业个数的百分比学生课程学习得分学生课程学习的得分情况学生完成测试个数学生完成所有测试题的个数监控与评估教师行为次数总和教师在所有模块中的发生的行为次数总和教师人均活跃天数教师有多少个自然日在课程中有教学行为,反映教师在整个教学周期内的持续程度学生行为次数总和学生在所有模块中的发生的行为次数总和学生人均活跃天数学生有多少个自然日在课程中有学习行为,反映学生在整个学习周期内的持续程度

2.专家定性评价

由于定量评价仅能反映出某种程度上网上教学的应用效果，因此必须由定性评价来判别教学质量，通过定性评价来分析学生学习的深度和广度、自主学习能力、解决问题的能力和协作能力及分析教师课程资源和活动、论坛回帖的质量等。定性评价根据专家对评价对象的具体行为表现的观察和分析，对评价对象做出定性结论的价值判断。专家的主观经验、评价指标内容的合理性、指标权重的分配，将影响到整个评价结果的准确性。

四、关于网上教学检查评价模型的思考

一个完整的网上教学检查评价模型将涉及整个网上教学过程的各个组成部分，从各分部和学院的教学管理各项制度的建立，师资队伍建设到课程资源的设计，活动的组织和实施，教与学的监控与评价等各项内容，都需要综合考虑。本文建构的基于国家开放大学学习网的网上教学评价模型仍存在一定缺陷。主要表现在：其一，在评价指标中的教师班级覆盖率，应作为一个系数影响某些指标的评价，因各种班级规模下达不到一定师生配比度，必将影响教学的效果。尽管班级覆盖率可以纳入机构的评价因素中，仍对整体评价不构成太大影响。其二，网上教学检查评价模型的权重仍未建立，应通过科学的方式对权重进行确定。其三，专家的选取方式没有在本篇文章涉及，专业课程选择与专家领域未匹配导致检查结果无法纵向比较的问题还需要进一步考虑。

对于新平台的转变，建立一套完整的，具有可操作性、时效性较强的模型必须要经过长期的探索和实践。开放教育是一个开放的、动态性的教学过程，在评价模型的使用过程中，应不断地适应开放性的特点，评价标准和方法随教学环境的变化而改进，依据网上教学检查评价模型得出的公平、客观的评价结果，将会使各级分部(学院)更加重视网上教学工作的开展。