命题质量保障体系与风险控制研究*
2014-11-28林正展
林正展
命题是考试各个环节中的核心和关键环节。当前正在进行高考、高中学业水平考试、自学考试等各项考试改革,其改革目标最终要通过命题来实现和完成。随着教育考试事业不断发展,新的考试命题业务不断增多,新参与命题工作的人员也随着增多,考试命题管理工作的内外部环境也发生相应的变化,产生了许多不确定性的、存在顾虑的、可能转变成命题工作风险的威胁和问题,命题管理工作任务日益复杂和艰巨。本文试用系统论的原理,对考试命题工作质量保障体系和风险控制进行分析研究,力求命题工作质量保障体系运作于动态循环状况,保证命题工作风险减轻与可控,促进命题管理质量提升和教育考试事业的发展。
一、命题质量保障体系的系统分析与功能划分
(一)命题质量保障体系系统分析
命题质量保障体系可以由命题质量指挥系统、命题质量执行控制系统、命题质量评估诊断系统、命题质量信息收集反馈系统等子系统组成。各子系统完成各自的任务并通过信息互相联系、相互影响,通过协调配合,形成强有力的内部质量保障体系。由于考试命题系统的特殊性,其各子系统功能通常由系统内各组织共同完成,同时系统内各单位也同时发挥着不同子系统的功能。这几个系统相互配合、相互制约,它们之间也形成了内部闭环控制系统,经过不断反馈和调整,最终实现命题工作的质量保证。
(二)命题质量保障体系功能划分
命题质量指挥系统:其功能是根据既定的考试性质和要求,制定命题工作质量总目标及各学科质量目标体系,并确定系统内部有关命题工作的政策、规章制度,指挥和协调系统内部各子系统的正常运转,根据质量信息反馈子系统的信息,负责解释质量信息并不断修订命题工作质量总体目标,总结质量保障成果。
命题质量执行控制系统:其功能是对命题工作质量总目标体系进行贯彻和执行,命题系统内部各学科组要根据目标体系进行分解,制订出本学科具体的执行计划,并根据命题工作的总体和学科质量目标体系文件,建立一系列过程管理控制程序,并组织命题和试卷质量的审核,制订试卷研磨修改及管理整改方案,以减少产生系统误差。
命题质量评估诊断系统:该系统要对命题工作的质量进行预评和诊断,包括试题测量指标和命题管理工作过程质量,制定出具体的评估诊断程序。通过在施测前的内部质量评价,为质量管理和改进提供参考。
命题质量信息收集反馈系统:其主要功能是搜集的命题质量信息。搜集试题考后实测指标,搜集来自考生、教师、高校、中学、教育评估中介机构、政府管理部门、学生家长等各有关方面对命题工作的评价信息,并对这些信息进行分析和整理,使信息具有可靠性、及时性、全面性,并将分析后的数据和信息反馈给命题质量指挥系统,命题质量指挥系统再进行调整和改进质量总目标及目标体系。
为了保证命题质量保障体系充分发挥各子系统的作用,持续提升命题工作有效性,命题工作过程要采用质量体系文件对命题工作过程进行监督和控制,实行文件化管理。首先要制定质量手册,包括质量方针、质量总目标和工作框架,再根据质量手册的要求制定具体的工作步骤、工作流程,最后再制定每个工作流程的实施办法和工作指导文件。
命题工作整体质量的提高有赖于命题工作各内部子系统质量的提高。命题质量保障体系通过命题质量的输出值与目标值相比较所得到的偏差,再通过反馈实现其自身控制功能的自检与更新,不断自我完善,来调节未来行为,使系统处于不断优化、不断完善的过程之中〔1〕。
二、命题工作风险的识别与分类
由于命题过程中潜在的不确定以及所特有的复杂性、创新性和危害后果不可弥补性,使命题工作会存在安全和质量等工作风险。为有效控制和消除命题工作风险,首先必须对命题工作风险进行科学地识别和分类。
(一)命题工作风险的识别
命题工作风险识别过程是一个系统过程,要用系统的观点去识别和分析。风险识别在整个命题工作中又是一个连续的过程,在命题工作的各个阶段都要进行命题风险识别。命题工作风险识别是命题风险控制最基础也最重要的任务。命题工作风险识别不只是命题业务负责人或领导小组的工作,而是全体命题工作人员参与并共同完成的任务。收集与命题工作相关的信息是命题工作风险识别的重要基础性工作,命题工作风险识别要求收集到信息要具有全面性、及时性、准确性。风险识别是一项综合性较强的工作,在识别技术和信息收集等方面都具有综合的特性。命题风险识别可以通过检查表、流程图、情景分析法及SWOT分析法等等工具和方法加以识别。
1.质量检查表。命题工作质量检查表是在一个表列出命题工作可能演变成风险的顾虑和潜在问题,供命题人员进行检查核对,用来判别命题是否存在表中所列或类似的风险。检查表包含试题是否超纲、难易程度、有无政治性、科学性、公平性问题、有无强化社会负面影响的试题和素材、以及答题用时、答题空间、满分值、各小题分值等等几十项内容,可以有效地避免命题工作风险。
2.流程图。制作命题工作过程流程图并加以分析,可以发现和识别命题工作风险在各个过程发生的可能和风险类别。在制定命题规划、编制试卷细目表、命题、审题、组卷、审卷、预估难度、反馈、试题研磨等命题工作过程之间都有相应的材料和信息的传递,有单向传递、双向传递和循环传递。通过对命题工作流程图的分析,可以帮助命题人员分析和了解命题风险可能所处的具体环节和风险的起因与后果。
表1 命题质量检查表
3.情景分析法。通过命题工作过程有关信息及其它相关数据,对试题施测情景或考后试题测量性能指标状况进行比较详细的描绘和预估,分析相关考试风险和命题风险发生场景,从而识别引起这些工作风险的风险源及其影响程度。情景分析法重在对可能发生成为风险的顾虑、问题和不确定性进行模拟、监测、诊断和排查。通过风险场景模拟、仔细检查、征兆鉴别的方法和手段,识别可以造成考试严重后果的威胁因素。
4.SWOT分析法。通过对命题工作内部的优势和劣势分析,并准确判断影响命题工作质量的外部机遇和威胁,把外部的机遇和约束同自身的优劣结合起来,分析识别风险因素,制定出抓住机遇、发挥优势、规避威胁、弥补缺点等相关的命题工作策略。通过SWOT分析,命题管理者可识别影响命题任务完成的内外部风险源的存在。
风险识别的手段和工具还有很多,如流水作业法、头脑风暴法等等。命题工作风险在命题工作过程中时时存在,这就要求命题工作者要用系统和权变的观点,根据命题工作内部条件和外部环境及其它命题工作资源的变化,通过利用自己在命题工作方面的经验和考试命题理论知识来识别命题工作存在着不确定性、问题和顾虑等演变成风险的可能,适时、定期进行命题工作全过程的风险识别。
(二)命题工作风险的分类
按命题工作风险来源划分,本文将命题工作风险分为自然风险和人为风险。
1.自然风险。由于不可抗力或外力的作用,在命题工作期间或接送卷过程中,造成命题人员身体伤害或命题保密材料泄露作废的风险。
2.人为风险。由于人的活动而带来的命题工作风险,根据发生风险的主体不同,本文将命题工作人为风险细分为管理风险、行为风险、组织风险、认知风险。
(1)管理风险。命题工作组织活动过程,由于命题管理组目标不清、管理制度不完善、管理人员职责不明、管理措施不力而引起的失泄密、返工、命题进度拖延、命题教师抵触情绪大等命题工作风险。
(2)行为风险。由于命题人员个人的过失、疏忽、侥幸等不正当行为造成的失泄密、命题质量问题等命题工作风险。
(3)组织风险。由于命题管理组成员或命题组内有关命题教师之间关系不协调以及其他不确定性而引起的意见分歧、长时间扯皮、严重影响命题工作的进展。
(4)认知风险。由于命题教师或命题管理人员认知水平不足和命题经验不够,在政治性、科学性、公平性、规范性和信度、效度、难度和区分度等测量性能指性方面审查把关不严,而引起命题工作质量出现严重问题。
三、命题工作风险的监控与应对
由于命题工作的创新性、独特性、复杂性及一次性的特点,命题工作风险无法全面度量和彻底消除,命题工作风险损失又具有难以弥补和工作被动的特点,因此,命题工作风险监控和应对尤显重要。
(一)命题工作风险的监控
命题工作风险的监控应采用系统管理方法,建立有效的命题工作风险预警机制,消除或最大限度地控制风险的发生或避免其产生的不利后果。
命题工作风险预警机制就是要熟悉各种风险产生的表象和征兆,采用预先防范的措施,一旦发现有发生风险征兆的发生,可以及时纠正〔2〕。如当命题工作进度与日程安排发生偏差时,就有可能存在不可控制的质量风险和任务完成风险。当发现某个命题组对某道试题争论不止时,命题风险预警机制就要预示试题有可能存在质量问题,提醒管理人员要去处理潜在认知风险的发生。
命题工作风险监控就是为了最大限度地限制风险的产生,促使管理人员采取一定的措施使风险发生的概率接近为零。在入闱命题期间,要防止已存在的风险因素转化成现实风险,要限制已经存在的风险和其它人员与材料的接触程度,做好风险规划和风险教育,增强风险意识。
在命题风险监控过程中,及时发现那些新出现的风险因素,以及预先制定的风险管理策略不见效的风险和命题工作过程中随机产生的工作风险,要及时反馈和评估风险性质和风险发生可能产生的后果,重新进行风险管理。
(二)命题工作风险的应对
命题工作风险应对就是要综合考虑命题风险发生的概率、后果严重程度以及其他因素,提出命题风险处置方案,从而决定采用什么措施应对风险。
1.预防风险
现代管理理论强调预防为主,做为命题管理者就是要预先识别在命题工作过程中存在着哪些潜在的风险,并且预见到命题工作风险发生可能引起的危害程度,并采取各种措施预防风险。
(1)有效组织岗前培训和教育。为避免参与命题工作人员不当行为产生的风险,应该对所有参与命题工作人员进行风险教育,教育内容应包括考试性质、命题工作重要性、保密法、失泄密后果和责任、入闱工作纪律以及与命题工作有关的法规、制度和规范,签订协议书。教育的目的是使全体人员清楚地明白命题工作所面临的种种风险,了解和掌握预防风险的方法,避免因个人不当行为而造成不可弥补的损失。
(2)严格实行命题工作程序管理。命题工作所制定各种管理计划、试题命题工作流程以及过程管理中所采用的涉密材料交接和保管、试题质量的审查、流水作业方式等严密的工作程序一般都能反映命题工作的客观规律,其中任何一个程序都必须遵守,并通过教育培训,努力使所有的人都能够依照相应的工作程序第一次就把工作做对,避免图省事、走捷径等行为的发生,以程序法、制度化的方式管理命题工作过程,可以较好地预防各类风险发生的可能。
(3)合理组建命题工作组织形式。命题承办部门认真考虑命题管理模式,认真设计入闱命题期间各职能小组和学科命题组结构和人员组成,合理设计命题工作组织形式,防止风险因素的出现,并严格控制涉密人员数量,可以有效地避免风险源的产生。
2.回避风险
当命题工作潜在问题演变成风险的可能性太大,不利后果也严重,又无计可施的情况,采取主动放弃或改变命题工作执行方案,从而规避风险。命题工作过程中,采取命题工作人员回避制度、回避在学术上尚未定论的观点、充分考虑到城乡、民族、行业差异、避免使用强化社会负面影响的素材等等都是避开风险的措施。命题工作的复杂性和高风险性等特点,要求命题管理人员要充分发挥主观能动性,要对风险出现的可能性和后果的严重性有充分的认识,要采取适当措施回避工作风险。当存在泄密等工作风险的潜在威胁,应该采取完全放弃的回避策略。
3.减轻风险
在命题工作风险发生的潜在阶段,通过限制和隔离风险源或其它管理手段,达到减少风险产生的目的。对于已知的风险,如团队中个别人的协作能力不强引起的组织风险,命题管理组就可以采取现有的资源和办法降低风险的严重后果,提高团队协作能力和团队工作效率。对于不可预测的风险,要通过各环节的多次核查,采取风险检查表、流程图、流水线等过程管理方法,降低和减少风险发生的可能,使不可预测的风险变得已知风险,就可以采取适当办法减轻和消除风险。减轻命题工作风险就是要将命题工作每个风险都减轻到最低程度或消除,各个风险发生的可能降低了,整体风险就会在一定程度上降低。
4.处置风险
由于命题工作潜在的风险和威胁是无形的,又可能随着系统内外部环境变化随机产生,所以命题工作风险在命题工作过程是难以全面度量,有些风险基本上是在无风险征兆的情况下发生的,而且在问题发生时无法全部解决,势必造成一定的后果。在风险事件发生时,只能采取主动接受风险的应对策略,马上执行应急计划,并立即找到问题所在并迅速找到解决问题的办法。知晓风险发生时,应马上根据风险类别和风险等级,采取不同应对措施,如启动试卷风险应急预案、控制风险扩散范围、稳定考场秩序、使用备用卷等等,去消减风险事件产生所带来的影响〔3〕。在处理风险事件发生的同时,还必须重新识别命题工作过程的潜在风险,反馈于新的命题管理工作,实现命题工作质量的持续提升。
当前,在教育考试内部和外部的环境发生许多变化情况下,命题管理可以根据系统工程理论和权变管理理论,采用科学管理的技术和方法,加强对工作各环节的质量管理和风险控制,不断提高命题工作质量。命题质量管理水平和风险控制能力的持续提升必将成为教育考试持久竞争优势和核心竞争力。
〔1〕林正展.高等教育自学考试质量保障体系构建研究〔J〕.集美大学学报,2010(3):71-75
〔2〕沈建明.项目风险管理〔M〕.机械工业出版社,2003(12):150-156
〔3〕林正展.关于自学考试命题管理持续改进的思考〔J〕.教育与考试,2010(4):11-13