高等教育“三阶段评估法”探析
2015-02-20崔瑞锋罗曦
崔瑞锋,罗曦
高等教育“三阶段评估法”探析
崔瑞锋1,罗曦2
(1. 西安交通大学人文社会科学学院,陕西西安710049;2. 武警总医院,北京 100039)
高等教育质量评估制度、方法和指标体系的构建及完善已成为当前高等教育领域高度关注并积极探索的重大问题。“三阶段评估法”是基于美国高等教育评估实践和实证研究开发出的一种用于评估高等教育质量和效率的新方法。按照这一方法,在评估任何高等教育提供者或者学生学习的质量和效率时都应遵循(1)确定教育和职业发展的目标;(2)选择绩效指标;(3)使用量表评估绩效这一基本顺序。在这三步中可以运用多种方法以保证绩效测量的效度和信度。另外,平衡记分卡可用来整合这三个步骤。这一方法所揭示的重要原则对完善我国高等教育评估和质量保障工作具有重要启示和借鉴意义。
三阶段评估法;高等教育;绩效指标;评估
近年来,高等教育绩效责任日益受到重视[1],高等教育评估在提高高等教育质量和保障社会各界知情权及相关者利益方面的作用得以凸显[2]。高等教育质量评估制度、方法和指标体系的构建及完善已成为世界高等教育领域高度关注并积极探索的重大问题[3]。高校评估应是一项十分理性的活动,需要清晰的思路、科学的方法以及客观的评判[4],然而,在实际评估中也存在评估制度和指标体系不够合理、方法单一、程序不规范等问题,导致许多评估结果事与愿违。另一方面,尽管有关高等教育评估研究的文献很多,也取得了许多成果,但此类研究往往仅仅关注评估教育提供者的某个方面或某个步骤①。作为兰德公司实施的一项全国性研究计划的成果,·盖茨等学者在深入调研的基础上,结合美国高等教育评估实际,开发出用于评估高等教育质量和效率的“三阶段评估法”,科学揭示了用于提升评估实践的具有普遍适用性的重要原则,很好地解答了高等教育评估领域长期困扰人们的难题[5]。本文分析这一方法的基本内容及特点,以期为我国提供借鉴和参考。
一、“三阶段评估法”的三个步骤
根据三阶段评估法,在评估任何教育提供者或者学生学习的质量和效率时,无论选择哪一种评估模式,都应遵循以下三个步骤:第一,确定目标;第二,选择指标;第三,使用量表评估绩效。最后需要整合这三个步骤。设计这三个步骤旨在确定教育提供者是否满足利益相关者的需要②。
(一)确定教育和职业发展的目标
这些目标应反映评估者的使命、愿景和价值观,并应针对教育与职业发展正力图解决的问题。评估者依据这些目标来评估教育提供者的绩效或者对学生进行评估。
1. 确定目标的重要性。(1)描述目标可以确保教育活动的所有重要方面都能接受评估。(2)设置目标的过程可以保证不会出现一些无关指标。但在实际评估中人们往往忽略了这一步,并在没有目标框架的情况下试图确定用以测量的指标。这样选出的指标可能未必能反映评估者的核心价值观。同时,那些必须为评估指标提供数据的机构将会相信这些指标很重要,因此,可能会将大量时间、精力和其他资源投入到那些不能真正反映评估者核心价值观的活动中。而且,如果评估者将评估的意义与绩效指标联系起来,那么评估对象就可能会有更大的动机去关注指标所要求的绩效,即使这些指标既未反映评估者也未反映被评估者的目标。因而,从评估指标就可以推断出目标和价值,然而它们可能不是评估者想要选择的目标和价值。其结果是,他们要么可能开发一些不重要的指标,要么忽略了那些能够反映系统核心目标的指标。
2. 如何设置目标。(1)关注那些易于处理的目标的数量。限制目标数能够使评估关注那些对评估者来说最为重要的目标以及需要优先完成的重点目标,也有助于降低成本。总的来说是一种行之有效的方法。(2)充分考虑目标确定的参与程度,以便符合不同利益相关者的需要并建立这种参与机制。在决定哪些利益相关者应参与目标设置时,评估者应明确评估旨在让谁受益,应邀请预期的受益者参加目标设置工作。
在美国,许多教育与职业发展项目的提供者举行镇民大会或组织一些团体,将家长、社区成员、业主及政府官员等重要利益相关者召集在一起,以了解他们对高等教育目标的看法。如果这一过程没有利益相关者的广泛参与,那么将难以保证评估使他们受益。在中介组织控制评估过程的情况下,目标鉴定往往变得更为复杂。大多数中介组织在系统一级,甚至在系统外部运行,因此,在教育提供者和利益相关者提出的目标与中介组织确定的教育提供者的目标之间就会出现某种冲突。例如,州高等教育委员会经常出面调解并处理系统一级目标与院校一级目标间的显著脱节问题。在州一级,政策制定者关心的是与整个州所有人都有关的议题,比如,接受高等教育的机会和教育公平等问题。然而,这些关注可能与院校领导们期望他们学校应该达到的目标不一致。比如,一所大学想开发一项新课程计划,但大学所在州却认定这一计划是在重复其他学校已在实施的项目。
另外,美国不同的组织在处理中介组织的目标与利益相关者/教育提供者的目标之间的不协调状况的方式上呈现出多样化特征。一些中介组织确定本组织的评估目标时未考虑利益相关者或教育提供者的目标。《美国新闻与世界报道》(以下简称《美新》)就是中介组织评估的一个典型例子,它在确定目标时几乎不考虑利益相关者及教育提供者的意见。因而,他们进行的大学排名因其未能对重要绩效的维度做出合理的解释而一直备受教育提供者和顾客的非议。但《美新》却自认为这种做法很好。其他一些中介组织在设置目标过程中需要利益相关者和教育提供者的参与。这样做通常是为确保评估满足利益相关者的需求,也可能是因为中介组织一方缺乏权威性。如果中介组织权威性很小,它就可能通过充当利益相关者的召集人以及他们目标的信息交换场所来获得可信度。如果中介组织确实想在目标设置过程中收集利益相关者提供的信息,那么来自美国州委员会、认证协会以及企业的一些做法可供借鉴。例如,肯塔基州中学后教育委员会现任主席一上任就走访本州每一所公立高校。同时,他运用焦点小组法约见本州公民以了解他们所关心的高等教育问题。该委员会和各院校领导每月举行一次例会,旨在促进各方就高校目标以及需要优先解决的议题达成一致。这种会谈使委员会能及时掌握学校所关心的问题以及所做的创新。而西部院校认证机构联合会则代表一些认证组织新的发展方向。该联合会基于各个高校的使命来开发新的认证方法。因此,评估所依据的目标能够反映每一所学校的使命,而不是一套适用于所有院校的认证标准。在朝着新的评估方式转变的过程中,联合会已征求过一些利益相关者的反馈意见并将这种交流方式称为“对话邀请”,包括来自各高校代表和其他高等教育专家在内的许多利益相关者已参与了整个对话过程。通过这种方式,联合会能够恰当地表明它要努力实现的目标。
此外,美国企业学习型组织在确定职业发展与教育目标所使用的方法上具有一些共同特征。通常情况下,此类组织的学习目标是基于企业的战略计划、核心能力及其他被认为对有效完成企业主要业务具有重大影响的能力,因而学习目标与行业目标相关。企业使用多种方法以吸引多方人士参与目标的制定。以朗讯科技公司(以下简称朗讯)为例,该公司教育和培训活动分为15个课程领域,每一领域都设有一个包括公司骨干人员在内的商业绩效委员会。这些委员会中有160多人,其中包括一名系主任和大约20位课程领域的专家。商业绩效委员会被视为教育和培训的利益相关者,因为他们负责的不仅仅是教育和培训计划,而是关注教育和职业发展与公司目标之间的联系,并考虑到所有与专门学科领域相关的战略性问题,特别是把教育和培训问题视为关键的战略性商业问题,并将其纳入反映公司商业需求的教育与培训目标体系当中。
(二)选择绩效指标
即开发绩效指标。绩效指标通常被定义为“定期收集的、用来跟踪一个系统绩效的信息”[6],这些指标应与第一步确立的目标相联系。将目标与指标联系起来可以保证所有目标都能够得到处理,也可以确保不会开发无关的指标。
1. 指标类型。有三种绩效指标可用来测量高等教育质量:有关投入的指标、有关过程的指标以及结果指标,其中使用最多的是结果指标[7]。
(1)投入指标。投入指教育过程中所使用的任何资源,例如,学习者入学时的知识和能力水平、教师、技术或图书馆资源、课程开发的经费。教育和职业发展活动中经常会用到投入指标。投入指标的使用基于这样一种假设:投入越多、越好,产出就会越多、越好。有时投入与产出的相关性可建立在经验的基础上。例如,美国培训与开发基准点(benchmarking)计划协会发现,每个员工的培训费用与公司绩效相关,由此,将每个员工的培训费用作为一项绩效指标就具有了好的信度。投入指标通常包括教育和培训费用在工资中所占的比重、每个员工每年的培训时间、每年接受培训的员工比例、每个学习者的培训费用、员工和学生的特征(例如,标准化测试成绩)。对于普通高等教育而言,这类指标一般包括学生的SAT(Scholastic Assessment Test)或ACT(American College Test)成绩,学生在班级的排名或所获得的奖学金被认可的程度、教师的研究生学位课程计划排名,教师是否为学生提供科研经费、教师所提交的出版物数量等。(2)过程指标。过程是指开展教育和培训的方式。过程指标包括教学方法、有关教学材料内容的选择、师生交往、生均教师数,也包括一些更抽象的概念。比如,学习经历包括与全职教师的直接交往吗?它要求学生运用批判思维的技能吗?运用非同步学习技能吗?所有这些问题都和教育与职业发展方式有关。这种过程指标正变得越来越重要,在高等教育领域的使用率很高。人们对过程指标越来越感兴趣,部分原因在于一些商业模式的流行,比如,全面质量管理和持续质量改进就是为产生更好的结果而强调生产过程的作用。过程指标的使用基于这样一种假设:特定的过程是与预期的产出相联系的。如果一个程序有缺陷,即使它在启动时拥有高质量生源和师资,也无法保证取得令人满意的结果。研究发现,高校优秀学生的培养过程主要涉及以下要素:师生交往(如,与学术指导老师商讨)、学生间的合作(如,参与学习小组)、自主学习(如,每周使用图书馆的频率、撰写论文)、担任学生领导、及时反馈、完成学习任务的时间、高期望值以及对不同人才的尊重。对教师来说,过程指标可能包括备课时间,在教学中使用新技术情况以及如何证实教师对学生的评价。作为一种典型的效率指标,单位产出的成本是另一种过程指标。当系统的产出呈现出多样化特征时(例如,一学年的课程和2学时的专题研讨课),那么运用一种能够将这种多样性加以综合的方法很有效。例如,郎讯学习与绩效中心计算出每个学习者每学时的费用,这为不同类型学习活动(例如,7学时的课程和1学时的导师辅导课)之间的比较提供了一个共同标准。(3)产出指标。产出不仅包括诸如毕业生数量等教育活动所产生的结果,也包括教育和职业发展所产生的所有影响③。产出通常与教育和职业发展活动的目标紧密相关,通常包括学习经历对学习者的工作绩效、终身收入、专门技能的习得或知识水平的影响。人们之所以关注产出指标是因为它们与目标直接相关。高等教育所使用的产出指标包括毕业生百分比、学位授予数、毕业生资格证考试通过率(按学科或专业领域划分)、取得职业技能证书情况、就业情况、高级入学考试成绩、进入研究生院深造的学生所占的百分比、教师的出版物数量、工作绩效评估。然而这些指标表示的仅仅是一种数量概念,而不能表明质量的内涵。现在,人们越来越期望对结果的质量或等级的测量(“测量附加值”),这可以通过进入顶级研究生院的学生数、与同类研究生院相比他们的平均起点工资以及被其他学者和出版物引用的教师出版物的数量来说明。与通常描述组织特征的投入和过程指标不同,产出指标的显著特征在于它们检验的是组织的影响。这种影响一般与组织目标相似。例如,一个产出指标(和一个组织目标)可能使毕业率更高。单独考察产出能够为辨别教育和职业发展问题提供有效的工具,然而,在针对缺陷提出解决方案时,仅有产出指标还不够,对产出的测量应该与对投入和过程的测量结合起来,以便评估者能了解影响产出的过程。例如,如果一门课程考试及格率很低,那么评估者需将这个比率与学生入学(投入)时的水平、所学课程以及其接受教育过程中的其他经历联系起来。
2. 如何选择指标。(1)尽量开发能够将投入、过程和产出指标结合起来的量表。尽管在教育、培训和职业发展活动中投入指标经常被作为质量指标来使用,但美国州政府、高校和企业现在越来越重视这三种指标的联合使用。这种关注源于人们对针对预期目标所取得进步的证据的有效性和可靠性的期望。投入或资源指标最初受到关注最多是因为它们最易于测量。20世纪80年代,人们开始对评估产出产生极大的兴趣。自田纳西州实施绩效拨款制度以来,3/4的州已采取一种让公立高校收集并汇报某类产出信息的政策。90年代以来戴明等人认为仅仅测量结果既不能从根本上也不能自然而然地达到改进的目的,因而还需要仔细考察导致结果的过程。这促使人们把注意力转到了运用资源产生结果的干预过程上来。
(2)超越现有指标的束缚。研究发现,美国州一级高等教育评估往往关注的是现有指标。大多数州测量的是学生入学率、保有率、进步程度和毕业率。尽管收集这些数据可能确实收到了一些实效,但如果不收集更多、更广泛的数据,那么另外一些目标将很可能不会被纳入测量范围中。许多教育提供者和评估者已经认识到现成指标不能用来解释重要的目标,因而已经着手实施几项计划来收集替代现成指标的信息:①德克萨斯州高等教育协调委员会已开发出学术绩效指标体系。包括有关学生的纵向数据(人口统计信息、专门鉴定、课程注册人数以及完成学业情况)、课程(包括课程开课时的学生数和修完课程的学生数)及学生产出(毕业和就业情况),用来跟踪学生在大学或高等教育系统的表现,甚至可以通过将社会保险金额与德克萨斯劳动力委员会的数据联系起来,来跟踪学生参加工作后的表现情况。这样以来,学校能够了解毕业生的发展状况。这些数据有助于确定德克萨斯州的教育机构是否达到了学生在校期间及毕业后的成就目标。②菲尼克斯大学开发出用来测量他们自身目标完成情况的自我评估工具。如,认知结果综合评估和成人学习效果评估是在每门课程学习开始及结束时对学生实施的测试,以检验学生学习程度或结果。前者是一种认知评估工具,而后者是一种情感/行为评估工具。作为入学考试和毕业要求,所有学生都要参加这两种评估。考察这些测试成绩有助于大学工作人员鉴定学校在学生成就方面是否达到了诸如学生学习是否涉及到了课程目标所要求的重要技能等预期目标。该大学也定期对校友和雇主进行调查,以确保达到学校为社会输送合格劳动力作好准备这一目标。③Kirkpatrick模式。是企业及政府部门用来评估职业发展和教育的质量和效率的一种方法。它建议本模式所描述的下列四个层次的每一层都应使用多项指标:第一,使用课程评估、满意度调查和其他工具测量学习者的满意度;第二,运用技能测试、观察和及格率等指标评估课程学习结果;第三,使用面试、焦点小组法以及经理给学生评分等方法测量学习者所学的知识在工作中的运用情况;第四,运用顾客满意度调查、顾客保有率和学习者对教育或培训的继续需求状况等指标测量组织影响力的大小。
(3)选择指标时必须考虑成本价值。虽然不应受易于获取的指标的束缚,但开发指标往往成本很高。在实际评估中评估者所面临的一个问题是需要花费多少精力用来收集数据以构建绩效指标。每一个评估者必须处理好高成本与有关教育提供者达到预期目标程度的好信息之间的关系。以菲尼克斯大学为例,鉴于开发适于本校的测量工具的成本巨大,该校更愿意选择外部开发的测试题,以便他们的学生可以同国家标准进行比较,然而,由于在大多数所需的学科领域中没有可供其使用的好的测试题,所以该校最终决定投入经费自主开发测试题。
(4)如果利益相关者参与指标的收集或评估,那么从他们那里得到有关指标的反馈信息很重要。而选取部分人口作为对象进行试测通常是一种既实用又高效的获取反馈信息的方式。
(5)针对每一个目标开发多种指标,以保证目标测量的信度和效度。
(三)运用多种方法开展绩效评估
按照三阶段评估法,教育和职业发展背景下用于绩效评估的基本方法有四种:
1. 与外部同行的绩效指标进行比较。这种方法称为外部基准评估法,是用同样的指标将教育提供者或学生的绩效与同类的外部教育提供者或学生的绩效进行比较。它是在教育提供者评估自身计划改进以及中介组织以问责为目的对教育系统进行评估时所使用的一种传统评估方法。例如,美国许多州高等教育协调委员会对本州教育机构进行分类,并以此为基础比较同行机构的绩效。在其他情况下,教育机构自己确定同行机构的名单,并且将自身绩效与其他同行进行比较,这样做通常是为了促进课程计划的改进。在城市大学档案袋评估计划中,一些城市高校联合设计了一套与它们特定任务以及学生团体相关的指标。肯塔基州使用《重视儿童》排名(根据各州在促进儿童幸福方面的成就对它们进行排名)和高等教育在学率等一些高水平绩效指标,将本州与别的州进行比较。对同行机构的鉴定能够增加来自教育提供者的买进(buy-in),因为这样以来,他们就可以跟同行机构进行比较。使用这种方法通常需要满足三个条件:(1)必须有合适的同行机构。(2)这些同行必须提供必要的数据。一些组织依靠第三方来收集相关数据,然后这些数据也可以被教育提供者自身用作基准评估。例如,美国培训和发展协会从一组最佳办学机构中收集与绩效改进有关的投入和过程指标,国家高校事务官员协会利用从高校收集到的数据也开展类似的活动。在判断外部基准的可行性时,数据的有效性是一个重要因素,因为它要求教育提供者或第三方忠实并始终如一地提供有关行业标准的信息。(3)评估者必须相信同行提供的数据。作为使用外部基准评估的一个典型,《美新》排名在有关用于开发排名指标体系所使用信息的信度方面受到诸多批评。由于公众对排名愈来愈关注,因而高校就有更大的动机提供虚假信息。
2. 与预先确定的绩效标准进行比较。这种方法是将绩效与预先设定的标准做比较。美国一些州高等教育协调委员会使用这种方法来为每个高等教育机构撰写成绩鉴定报告,这些报告单将每个机构已完成的绩效与预先设定的标准,如入学率、保有率、毕业率、学生学习、学术计划(即计划认证)、教师效率及财政问责等进行对比、排名。例如,田纳西州和南卡罗来纳州的成绩报告单系统为不同类型学校设计了具体的绩效目标。实际上,当评估者试图评估一个由不同类型教育提供者组成的群体时所面临的一个挑战是如何设置适于不同类型教育提供者的标准。这种方法的一个缺陷是它可能会抑制任何为超过这些标准所做的改善绩效的动机。而且,如果评估结果仅仅是鉴定机构是否达标,那么将导致利益相关者无法在教育提供者之间辨别出优劣。这种批评是针对认证方法提出的,传统上这种方法是将一个组织的绩效指标和认证所要求的预设标准进行比较。这种方法一般适合问责而不是改进,而这与评估对象的愿望不符。
3. 与内部同行的绩效指标进行比较。这种方法是将组织自身绩效与内部同行的绩效做比较,主要适用于学校教育环境中,其中,有可以用来做对比的内部同行,比如,在一所多校区大学或者一个由多个机构组成的高等教育系统内部。例如,作为评估过程的一部分,菲尼克斯大学对65个校区的绩效开展基准测评。该校运用一种内容广泛的档案袋评估方法,既可以在不同校区之间进行课程质量的比较,又能进行行政管理业务的比较。虽然各校区不会因绩效差而降级或受处罚,但它们相互间可进行比较。这种激励方式旨在将评估结果与奖励挂钩。
4. 与教育提供者或学生过去的绩效进行比较。这种方法称为历史基准法,是组织将现在的绩效与其过去的绩效比较。在这种情况下,组织确定基准数据,并将过去绩效与现在绩效进行对比。这一方法将自身绩效进行前后对比,关注的是绩效是否提高了,而不是跟其他机构做比较。可见,它适用于改进而非问责。它不要求评估者鉴别同行或收集外部数据,尤其是在组织已建立起合适的信息系统的情况下,收集和持续跟踪有关单个教育提供者或学生的同一类信息相对比较容易,因而深受教育提供者的欢迎,应用很普遍。例如,郎讯学习与绩效中心密切跟踪每个学习者每学时的成本,并将其与过去的成本绩效做比较,结果使公司这笔开支降低了50%。调查显示,田纳西等7个州已使用这一方法来评估本州高等教育机构的绩效改善状况。但它的一大缺陷是缺乏外部视角,所以人们通常将它和外部基准法结合使用。
以上四种方法并非相互排斥,多样化的方法也有助于保证测量的信度和效度,为了对结果进行更全面的解释,评估者可以综合运用这几种方法,鼓励评估者使用两种或多种方法。研究表明,在各种评估方法中并不存在一种最好的方法。每一种方法都有其自身的优缺点,因此,需要根据评估的具体环境、可以获取的数据以及组织内部或外部同行的存在状况等实际情况来确定。
二、运用多种方法保证绩效测量的效度和信度
效度和信度关注的是指标在实际调查中是否像预先设计的那样能够做出正确的价值判断[8]。测量的效度和信度是所有这三个步骤中都应考虑的重要问题。为保证测量的信度和效度,以下四种方法可供选择,它们都和这三个评估步骤相关:(1)不断征集专家的反馈意见;(2)在正式使用前,运用指标对目标群体进行广泛的试测;(3)使用多种指标评估其内在的结构;(4)将使用指标的结果与其他用于相似群体的量表和测量结果进行比较。正如目标的确定一样,在第一步中,应广泛征求来自包括那些参与鉴定目标达成情况在内的合适的利益相关者的反馈意见。正如选择指标一样,在第二步中,应收集来自利益相关者的反馈意见以确保目标能够反映评估的实际情况。在开发这些指标时,评估者应确保针对每个目标使用多种指标。一旦指标开发出来,应选取预期人群中的一部分进行试测。在第三步中,当用这些指标开展评估时,应将它们作为独立的指标来进行评估,但如果可能,也应将它们跟其他已有的指标做比较。虽然这些做法未必能保证测量的效度和信度,但确实是朝着这个方向努力的很好措施。
三、运用平衡记分卡整合三个评估步骤
将指标和评估与目标联系起来是许多教育与职业发展活动中各种教育提供者所采用的一种最优方法。作为一种新兴的绩效评估方法,平衡记分卡(Balanced Scorecard)为指导中介组织整合这三个步骤提供了一种很实用的理论模型。它通过数据包络分析法,来评估高等教育的投入和产出。作为一个体系,它旨在在考虑到顾客、内部业务流程、学习与成长等多样化视角的同时,帮助组织将其想法和使命转化为能够测量的绩效目标。供应商将它作为评估工具,首先用来确定目标并将其转化为可以操作的绩效指标。由于它能够将短期目标和长远目标有机联系起来,因此许多企业、非营利性组织、大学以及政府机构已将其作为一种战略管理体系而加以利用。平衡记分卡基于转化设想、沟通和联合、业务计划、反馈和学习这四个主要程序,旨在在整个组织内建立对优先考虑事务的协调性和统一性并确保绩效评估的有效性。转化设想旨在通过描述成功管理所应包含的一套有机的目标和指标体系来体现对组织观点的一种理解[9]。接着,整个组织成员就观点和策略展开交流与沟通,以确保成员个人及部门的目标与组织长远战略目标相一致。业务计划方面,将预算与战略规划及绩效评估挂钩,以便决策者能够合理安排资源。最后,反馈和学习机制为决策者提供了一个审核绩效结果、评估组织策略以及绩效指标效度的有效途径。它注重不断调整、更新策略和指标,以便能够准确及时地反映处在变化中的操作环境。它允许教育提供者在确定目标时如有必要应邀请尽可能多的利益相关者参与。尽管控制每一种视角领域的目标数量很有必要,但由于目标需要随着组织运行环境的变化而变化,因而目标范围和数量具有很大的灵活性。南加利福尼亚大学教育学院评估官员认为,限制目标数可以对校务委员会施以纪律约束并确保其成员关注他们优先考虑的重点目标。而且,这一模式鼓励组织确定与其所确立的目标相关的有限指标数。在这一过程中,对指标的评估取决于该绩效与外部同行(基准)绩效的比较。事实上,这种对基准的需要以及利用或获得此类基准评估信息的可能性影响着绩效指标的选择。使用平衡记分卡为管理者选择有助于其监控一些关键目标进展情况的指标提供了便利。
四、三个评估步骤与教育评估者的相关性
三阶段评估法强调以下几点:
首先,这三个步骤应该有先后顺序。每一个步骤应该与其它步骤相联系,并且作为一个整体,这种方法应是目标驱动的。应该避免在确定目标之前或者在没有确定目标的情况下选择指标。高等教育、企业及政府机构的评估者强调这样一个趋势,即人们越来越关注测量和评估的内容,而不是将所测量的内容与活动的目标联系起来。因此,对于评估者来说,必须确保他们所使用的指标与关键目标紧密相关。另外,组织应持续并定期地重新考察评估过程所包含的三个步骤中的每一步。
其次,在选择目标时,就可以操作的目标数达成一致意见很重要。应限制那些推迟评估活动的目标数。而且,一般来说,评估者在确定目标过程中应包括所有可能在评估中受益的利益相关者和教育提供者。换言之,如果一个利益相关者,比如毕业生的雇主预期可能在评估中受益,那么就应让这些雇主参与评估目标的设计。这样做也有助于增加评估者的合法性。参加会议、现场访问、焦点小组法以及建立董事会或委员会等方法可用来收集此类信息。在确定目标时,应建立一个定期的可循环的程序,这一过程可以是正式的或非正式的,这有助于确保目标反映当前的需要。
再次,在选择指标时,评估者应确保指标来自所选择的目标。在此范围内,评估者应确保所选择的指标能够反映投入、过程及产出情况。开发与目标相关的指标尤为关键。通常情况下要开发适合特定目标的绩效指标并非一件轻而易举的事,但使用一个针对特定目标的不完善的指标体系比使用一套用于不同评估的“完善的”指标体系更可取。在此过程中确保不同利益相关者参与其中有助于使他们集中完成既定目标。利益相关者参与和反馈机制已成为波多里奇国家质量奖计划和平衡记分卡的重要内容。另外,不应仅局限于易于获得的现有指标,而应为每个目标选择多种指标,以确保每个目标都包含信度和效度都很高的指标。但这项工作往往需要很大的开支,因此必须考虑成本的价值。最后,评估者应当考虑在接受评估的机构中选取部分人群使用这些指标进行试测,以保证指标与这些机构的目标相一致。
最后,就绩效评估而言,评估者可以选择以下四种方法:将指标绩效与外部同行进行比较;与预先设置的标准进行比较;与内部同行进行比较;与先前的绩效进行比较。在设计每一个指标时都应考虑所有这些评估方法,并鼓励综合运用多种方法。这有助于保证测量的信度和效度。
五、结语
提高质量已成为新时期我国高等教育发展的核心任务,促进人的全面发展、适应社会需要已被确定为衡量教育质量的根本标准[11]。但我国高等教育评估制度仍亟待完善。基于上文的分析,结合我国实际,可以得出以下结论:
首先,在进行高校评估时,一般应遵循“确定目标→选择指标→使用量表评估绩效”这一先后顺序。在确定目标时,评估者应就可操作的目标数达成一致,应使所有利益相关者和教育提供者参与进来,限制那些推迟评估活动的目标数,应力求避免在未确定目标的情况下选择指标。在选择指标时,评估者应确保指标来自于所选择的目标,确保所使用的评估指标与关键目标紧密相关,并确保所选择的指标能够反映投入、过程及产出情况。不应局限于易于获得的现有指标,应为每个目标选择多种指标,但必须考虑成本效益问题。就绩效评估而言,评估者可以将指标绩效与外部同行、预先设置的标准、内部同行以及以前的绩效进行比较。在设计每个指标时都应考虑所有这些方法,并且鼓励综合运用多种方法,坚持政府、学校、专门机构和社会多元评估相结合。应经常征集专家反馈意见以确保测量的信度和效度;在正式测量前应运用指标对目标人群进行试测;使用多种指标评估其内在结构;将使用量表的结果与其他同类量表测量的结果进行比较。另外,需要整合这三个步骤并应持续并定期地重新考察每一个步骤。
其次,从上文分析可以看出,高等教育评估的一个重要发展趋势是较少关注投入指标,更多关注过程与产出(结果)指标。英国学者麦尔肯·弗雷泽认为,高等教育质量首先是指学生发展质量,即学生在整个学习过程中所学的东西,包括所知、所能做的及其态度[12]。目前,世界高等教育评估呈现出重视学生学习效果的趋势,教育发达国家开始将评估重心由院校向学生转移,由资源占有量向资源使用效率和学生学习效果转移,更加关注教学活动本身、教学质量生成过程以及学生学习效果。对于评估者而言,仅仅测量结果并不能导致改进,但对利用资源来产生结果的干预过程的关注,就会为计划改进提供了更有用的信息。人才培养质量是高等教育质量的第一体现,评估归根结底是为了学生[13]。因此,应把促进学生健康成长作为高校一切工作的出发点和落脚点,把促进人的全面发展和适应社会需要作为衡量人才培养水平的根本标准,合理设计评估指标,建立符合我国国情、公信力高的人才培养质量标准体系,更加重视教育教学过程和学生学习效果,重视教育教学基本状态的常态监测以及学生学习效果评估工具的开发。另外,应更加重视高等教育利益相关者的需要,引导更多利益相关者参与高校评估,共同促进高等教育质量的提高。
最后,探索高等教育评估规律,改革评估制度是一个持续质量改进的过程,既非为了比较和追求结果,也非朝夕之事。评估的根本目的是教育教学质量的提高。当前,我国高等教育所处的环境正经历着深刻的变化,与此同时,欧美各国高等教育质量保障体系建设的一个新进展是把评估仅仅视为高等教育质量保障体系中的一个环节[14]。高校作为一个开放、复杂的学术自组织系统,与政府、社会等外部环境发生着日益密切的联系[15],包括评估在内的高等教育活动往往属于担负着某种使命的更大的系统的一部分,而这种使命又远远超出教育的范畴。因此,新的形势和环境的变化,要求高校、政府、中介组织和社会公众共同努力,在借鉴国外先进经验的基础上,尽快建立有中国特色的高等教育评估制度,进而超越评估,构建适合我国国情的高等教育质量保障体系,以推动我国高等教育质量的全面提高。
[注 释]
① 本文所说的高等教育既包括普通高等教育,也包括高等职业教育、企业培训及相关继续教育等;相应的,教育提供者也不仅指高等学校,也包括相关的职业发展和教育培训机构。
② 一个教育系统通常是由教育消费者、教育提供者和进行调解、监督、评估教育服务的中介组织组成的。所有这一切都是这一系统内的利益相关者,他们对所提供的教育服务感兴趣,并且在评估活动中扮演各自的角色。同时,他们也是自身系统外的利益相关者,可以为教育系统提供基金资助,或者很可能会从其服务中获利或者二者兼而有之。对于大学而言,利益相关者通常包括教师、学生、管理人员、学生家长、雇主、研究团体、校友、当地社区以及社会。
③ 以往有关评价的文献强调的是产出与结果之间的区别。产出反映的是教育活动所产生的,而结果反映的则是教育与职业发展活动总的影响,并且与教育与职业发展目标的联系更为紧密。产出通常以数量的形式来表示:在校学生的数量、毕业生数量,等等。而结果涉及的内容则广泛得多,而且可以包括学习经历对学习者工作绩效或终身收入的影响。现在此类文献倾向于将产出和结果都归为结果,因为这两者都与目标密切相关,因而都可被理解为教育过程的结果。本文采用了这样一种理解。
[1] 周满生.国际高等教育发展的若干趋向[J].教育研究,2007(11):30-33.
[2] 钟秉林,周海涛.国际高等教育质量评估发展的新特点、影响及启示[J].高等教育研究,2009(1):1-5.
[3] 魏红,钟秉林.重视学生学习效果改善教育评估效能——国际高等教育评估发展新趋势及其启示[J].中国高教研究,2009(10):16-19.
[4] 刘理,张彦通.以退为进改进中国高校评估[N].中国社会科学报,2010-10-28(09).
[5] SUSAN M GATES,CATHERINE H AUGUSTINE,ROGER BENJAMIN,etc.Ensuring Quality and Productivity in Higher Education:An Analysis of Assessment Practices[M].San Francisco:JOSSEY-BASS. A Wiley Company,2002:61-85.
[6] FITZ GIBBON C T.Monitoring Education:Indicators,Quality and Effectiveness[M].New York:Continuum,1996:5.
[7] GERALD GAITBER,BRIAN P NEDWEK,JOHN E NEAL.Measuring Up:The Promises and Pitfalls of Performance Indicators in Higher Education[M].ASHE-ERIC higher education report; 1994, no5. Washington DC. : Jossey-Bass.1994: ⅸ-Ⅺ.
[8] AMERICAN PSYCHOLOGICAL ASSOCIATION.Standards for educational and psychological testing[M].Washington:American Psychological Association,1985:1-36.
[9] KAPLAN R S,NORTON D.Using the balanced scorecard as a strategic management system[J].Harvard Business Review,1996,74(1):75-85.
[10] O’NEIL H,BENSIMON E,DIAMOND M,etc.Designing and implementing an academic scorecard[J].Change,1999 (11∕12):34-40.
[11] 中华人民共和国国务院.国家中长期教育改革和发展规划纲要(2010-2020年) [EB/OL].http://news.xinhuanet.com/2010-07/29/c_12389320.htm.
[12] 陈玉琨,杨晓江.高等教育质量保障体系概论[M].北京:北京师范大学出版社,2004:59.
[13] 黄达人.以评估为契机,以育人为根本[J].中国高等教育,2007(12):19-21.
[14] 赵炬明.超越评估(上)——中国高等教育质量保障体系建设之设想[J].高等工程教育研究,2008(6):39-49.
[15] 刘献君.关于建设我国高等教育质量保证体系的若干思考[J].高等教育研究,2008(7):1-5.
The Inquiry into the Method of Three-Step Process of Assessment in Higher Education
CUI RUIFENG1, LUO XI2
At present, Construction and improvement of higher education quality evaluation system, methods and indicator system have become a big concern and active exploration for the field of higher education. According to the method of three-step process of assessment, which is based on USA assessment practices and empirical research, three key steps must be included in quality and productivity assessment of any higher education provider or student: identifying goals that the education and professional development is designed to accomplish, measuring performance related to those goals and, evaluating performance measures related to the goals. In the above steps, several techniques can be used to ensure measurement validity and reliability. In addition, Balanced Scorecard can be used to integrate all the three steps. The important principles for promoting assessment practices and quality insurance that the method uncovers provide a nice way to draw on US experiences and thus promoting the development of similar work in China.
the method of three-step process of assessment; higher education; performance indicators; assessment
G640
A
1008-472X(2015)05-0100-09
2015-04-08
2013年度西安交通大学基本科研业务费专项科研项目 (SK2013002);陕西省教育科学规划课题(SGH12242);西安社科规划基金课题(14S27);2015年度陕西省软科学研究计划面上项目(2015KRM008)
崔瑞锋(1969-),男,陕西西安人,西安交通大学人文社会科学学院博士研究生,西安交通大学公共政策与管理学院讲师,研究方向:教育政策分析、比较教育研究;
罗曦(1979-),女,湖南岳阳市人,武警总医院,研究方向:信息化医院、医院管理、研究生管理。
本文推荐专家:
刘朔,西安交通大学公共政策与管理学院,副教授,研究方向:研究生教育管理。
王若梅,西北政法大学高等教育研究所,研究员,研究方向:高等教育管理、大学教师与教学。