开放教育360度学习资源开发评价体系的构建

古小华

(国家开放大学，北京 100039)

开放教育的一个本质特征就是教的行为和学的行为在时空上是分离的(Desmond Keegan)。这样的特征，决定了开放教育主要是基于学习资源的教育，学习资源承担着教师、教学、教室的功能。在互联网时代，开放教育学生使用的主要学习资源是网络课程，因而，网络课程开发质量对于开放教育质量保证至关重要。然而，目前影响我国开放教育发展的瓶颈是网络课程的设计与开发(魏志慧等，2005)。好的网络课程是设计出来的，也是开发出来的。网络课程开发是一个科学的过程，它由多个开发环节构成，包括规划—立项—制定设计方案—样例制作—评价—全面制作—中期评价—上线试运行—整体评价—正式上线，每一环节都很重要，仅仅重视网络课程设计，未必能够开发出好的网络课程。在开发过程中，通过对学习资源设计方案、开发质量进行评价，可以验证学习资源设计是否科学、合理并修订、补充、完善设计方案，通过事前控制，保证学习资源开发质量；可以验证学习资源开发是否达到了预期的标准，通过过程控制，及时纠偏，保证学习资源开发质量；可以验证学习资源开发体系、评价体系的科学性，通过事后反馈控制，完善学习资源开发体系、评价体系，保证学习资源开发质量。学习资源开发评价是学习资源质量保障机制的重要环节，也是重要保证。

国家开放大学(以下简称国开)是我国开放教育的龙头，整体办学规范、成熟。本文以国开的网络课程开发评价为对象进行分析，通过分析发现问题，并针对问题提出有效解决方案，从而充分发挥学习资源开发评价的作用，建设优质学习资源，为国开学历教育创优提质战略服务。

一、国开学习资源开发评价现状与问题

(一)国开学习资源开发评价现状

国开学习资源开发评价主要有三个环节，具体见下表。

评价环节时间节点评价形式评价主体评价内容评价结果第一个环节制定出设计方案并开发出样例线下审定会形式教育技术专家从教学设计角度评价学习栏目设计、学习内容设计、交互设计、学习路径设计、页面设计、测评设计等。学科专家从学科内容角度评价内容的科学性、合理性、适用性等。专家组给出一个审定意见,主要阐明学习资源设计方案及样例是否可行,需要进行哪些修改;课程组需要根据专家意见对设计方案和样例进行修订。第二个环节全面开发完成线下审定会形式教育技术专家是否按照专家意见对设计方案和样例进行了修订。学科专家学科内容是否存在科学性和政治性问题。课程上线试运行或者修改后课程上线试运行。第三个环节课程上线试运行一年后远程匿名方式教育技术专家从教学设计角度对网络课程进行整体评价。学科专家从学科内容角度对网络课程进行整体评价。专家对课程进行打分,60分以上为合格,课程可以正式使用;60分以下为不合格,课程需要根据专家意见整改。

由上表可知，国开学习资源评价主体主要是学科专家和教育技术专家，是一种专家评审。评价的内容主要有两个方面：一是内容的科学性，二是教学设计的合理性。评价的形式主要是通过现场会议的形式进行。这样的评价设计比较合理，但也存在一些问题。

(二)国开学习资源开发评价存在的问题

1.评价制度设计不完善，主体单一，容易出现评价结果失真问题

在学习资源评价中，专家评价与“客户”评价是不可或缺的。然而，在国开的学习资源评价制度中，学科专家和教育技术专家是主体，学生和辅导教师作为“客户”，却没有实际参与评价。这样的设计与“权威崇拜”有关，也与制度设计理念是“以教师、教学为中心”而不是“以学生、学习为中心”有关。在国开的学习资源评价中，学生和辅导教师的评价是在课程开发完成后，在进行整体评价时，通过问卷调查的方式参与评价。这样的设计存在的主要问题是：问卷是由课程组从分部找辅导教师填写，再由辅导教师组织学生填写。课程团队一般都会找自己熟悉的分部教师组织填写。国开体系是分级办学，国开总部教师对于分部教师来讲，近似于“领导”。在“官本位”文化影响下，容易出现评价失真问题。并且，学生和辅导教师参与评价被安排在学习资源开发的末端，而不是过程中，学生与辅导教师的意见只是打分的一个参考，影响的主要是课程的评分高低，并不涉及课程的修改完善，从这个意义上讲，是一种“形式意义”上的评价而不是“实质评价”。

2.现场会议评价形式，容易出现评价结果失真问题

国开的学习资源评价采取的是现场会议形式。我国是一个人情味较浓的国家，采用现场会议形式开展评价容易出现结果“失真”问题。评审时，学科专家由课程组聘请，课程组多会聘请自己熟悉的专家。教育技术专家由学习资源部或者教学部聘请，聘请的专家有本校的教师，也有来自普通高校、行业、企业的专家。本校教师与课程组教师是同事关系，有些又互为评审专家。评价者与被评价者都是知识分子，当面提意见往往会把握分寸，给被评价者留面子。在这种“熟人文化”与“面子文化”的双重影响下，评价者经常是提一些不痛不痒的、普适化的问题，很少提出真问题。

3.缺乏对专家的培训、监督，容易出现评价结果失真问题

评价标准是评价的依据和“指挥棒”，熟悉标准、严格按照标准进行评价是做好评价的基础，也是基本要求。通过调查我们发现，国开聘请的专家并不都了解国开学习资源评价标准的内容。国开也没有对专家进行培训，以使他们对评价标准及如何评价有详细的了解。因而，他们只是根据个人的理解、认识与喜好提意见而不是“标准评价”，这样的专家意见经常说不到“点子”上。

在实际评价过程中，国开对专家的评价活动也没有监督，所以，评价容易出现“应付”现象。据我们调查，一是熟人原因，二是体系外专家是“稀缺资源”，他们一般比较繁忙，没有时间充分准备，会前也很少认真审看课程，经常是在会上边听课程组汇报边提意见，不能全面准确地评价课程，是一种“出席式”评价。

由此观之，国开学习资源评价存在虚化、弱化、形式化和结果“失真”的问题。

二、建立360度学习资源开发评价体系，充分发挥评价的作用

学习资源评价无论是流程设计、评价主体选择、采取的方式方法，还是要实现的目的，都是一种管理行为。只有加强对学习资源评价的综合管理，改革完善评价主体的选择方式与结构构成，改革完善评价标准及方式、方法，才能保证学习资源开发评价质量。360度绩效评估法是在管理实践中被证明有效的评价方法。学习资源评价本质上评价的是被评价者和评价者，是对人的评价。我们可以借鉴这一评价方法，通过建立360度评价体系(见下图)，即全方位评价体系来提高评价质量与效度。该评价包括“自评价”“他评价”(客户评、专家评、对评价者评)和“元评价”(对整个评价体系评)，并且引入量化评价，能够确保评价的真实性、有效性。

360度学习资源评价体系

(一)通过课程组“自评价”建立“自控机制”

改革完善国开学习资源开发评价，首先需要建立课程组自我评价。课程组撰写出设计方案并开发出样例后，要对照评价标准逐条自评并写出自评报告，通过“对标”“对表”找出差距、发现问题，自行纠正。课程组自我整改后，要将自评报告作为设计方案的一部分，发给评审专家评价，自评报告是专家评价的一项内容。自评是一种自我总结、自我反思，是一种事前预防措施，也是一种开发人员的“自控机制”。通过这种方式也可以提高开发者的标准意识，建立起学习资源内部质量保证，以内动力推动学习资源开发，即通过激发开发者的责任意识和责任感来自我纠正开发过程中出现的偏差，预防问题发生。

(二)通过改革完善“他评价”建立有效的“他控机制”

1.开展远程匿名评价，建立“过程控制”

为避免人情因素“面子文化”导致的问题，国开需要改革评价主体构成、产生方式以及评价方式。国开的学习资源评价主体应由教育技术专家、学科专家和辅导教师三部分人组成。由学习资源部建立教育技术专家库，各个专业建立学科专家库(包括行业专家)和辅导教师库。需要开展评价时，由学习资源部从三个库里，随机抽取组成一个评价组，并指定一名组长组成评审专家组。评价采用远程匿名方式(这种方式也可以打破地域限制，从全国聘请专家，丰富专家资源)。由三名专家各自对设计方案(含自评报告)及样例按照评价标准逐条写出评价意见，同时写出总的意见。学科专家侧重于内容科学性的审定，教育技术专家侧重于教学设计审定，辅导教师主要从教学运行角度和学生角度对教学设计和内容易学性进行审定。专家意见由组长汇总，对于专家意见不一致的地方，由组长通过微信、QQ、电话、邮件等方式沟通协调，必要时可以利用微信群视频、QQ群视频、腾讯会议等方式召开远程会议，达成一致意见后，将评价意见提交给学习资源部。学习资源部隐去专家姓名，将评价意见发给各教学部负责人，负责人审看后发给课程组。课程组需要对专家意见逐条给予答复，对于专家意见有异议的地方，要详细写明理由，提交给教学部负责人，负责人审看后给出意见并发给学习资源部，学习资源部发给专家组长。课程组对于专家意见有异议的地方，专家组要研商，如果专家组仍坚持自己的意见，则由学习资源部根据有异议的地方是属于学科问题，还是教学设计问题，另外聘请专家给出最终意见。开发完成后，由相同的专家按照上面的程序和方法继续开展评价。这样的评价主体构成、产生方式与评价方式能够保证评价的真实、有效。

2.引入“客户”评价建立“反馈控制”

由于客观原因，国开的学习资源开发过程缺乏学生的参与，虽然在学习资源开发和评价过程中，辅导教师在一定程度上能够弥补这一不足。但是真正学生的意见，更真实、更客观、更有价值。国开学习资源部要会同各专业教师，设计各专业的学生调查问卷，要求每一个学习课程的学生在课程学习结束后，均要在网上填写调查问卷，检验“用户”对于“产品”质量的满意度。国开需要开发出智能分析软件，对于问卷进行智能分析，自动形成分析报告。分析报告要发给课程组，课程组要根据分析报告对课程进行修订。

3.对评价者进行评价

国开要对实施学习资源评价的主体及其评价行为进行评价，建立起对评价者的监督机制。学习资源部和各教学部要定期对各个专家实际参与的评价行为，包括所提意见的科学性、客观性和适切性及完成评价的时效性等方面进行评价。对于表现差的专家要移出专家库，同时补充新的人员。对于好的评价者要给予更多参与评价的机会。通过这样的机制，确保专家库里都是责任心强、工作认真、工作效果好的专家，以强专家确保优评价。

(三)开展学习资源开发质量“元评价”

学习资源开发“元评价”是对学习资源开发质量评价的评价，即对学校学习资源开发质量保障体系及运转情况的评价。它评价的是：学校为达成质量目标而采取的质量保障机制是否有效，学校采取的达成质量标准的手段与方式的效率。通过“元评价”推动国开学习资源开发质量保障体系及运转的完善。国开可以委托社会上权威性评价机构组织专家开展评价，专家组成员要包括政府教育行政部门官员、质量管理专家、网院专家、开放教育研究专家、行业企业专家、国开办学体系的管理者、教师以及学生共同组成。专家组要评价国开为达成既定目标而建立的学习资源开发质量保障机制，国开学习资源开发质量保障机制与程序的效度，国开学习资源开发存在的问题及改进的建议。学习资源开发“元评价”其实是一种第三方评价，是国开给自己建立的一个独立的外部监督系统。这种评价更客观、更有权威性。“元评价”除了能够改进国开学习资源开发质量，也能够通过这种评价，逐步建立比较完善的第三方评估，树立国开品牌。

(四)利用智能评估技术开展量化评价

在评价时，除了专家与“客户”的定性评价外，还要利用智能评估技术进行量化评价，将质性评价与量性评价结合起来，提高评价的全面性与科学性。国开需要对网络学习平台进行技术开发与改进，使学习平台能够自动统计学生的上线时间，学习时长，浏览网页的时长、内容，完成测评的数量，交互情况等，利用智能评价和大数据对学习资源使用情况进行有效监控。监控的结果应能够自动生成分析报告，并将分析报告发给专家，作为整体评价的依据。分析报告也要发给课程组，课程组要根据分析报告对课程进行修改、完善。

(五)筑牢学习资源评价工作基础

1.完善学习资源评价标准

学习资源评价标准是学习资源开发的目标导向和评价依据。在学习资源开发过程中，国开要针对开发中发现的问题、学生的变化、学习资源发展变化趋势、国开办学特色，及时修订和完善学习资源评价标准，保证标准的科学性、可比性和操作性，使之更加科学、合理，符合学校学习资源开发的总体目标，充分发挥“指挥棒”作用，指引课程组开发出高质量的学习资源。

2.对专家进行培训，提高评价质量

为了提高专家评价的针对性和有效性，国开需要对专家进行培训，使其明晰国开学习资源评价标准、评价要点及注意事项。由于国开聘请的一些专家是国开办学体系外的，采用现场培训的方式不现实，可以由学习资源部制作出《国家开放大学学习资源评价标准解读》，对评价标准逐条详细说明，并结合评价案例说明应该怎样把握标准，《解读》要做成微课形式和文本形式。在聘请专家时，提前将《解读》发给专家学习。

以上我们以国开学习资源开发评价为例，指出了存在的问题，并针对这些问题，构建了360度学习资源评价体系。该评价体系通过全方位、全链条评价，能够充分发挥评价在学习资源开发中的作用，保证并提高学习资源开发质量，进而有助于保证开放教育人才培养质量，这一评价体系也适用于开放教育其他类型学习资源开发。