职业能力测评的若干问题

赵志群

（北京师范大学 职业与成人教育教育研究所，北京 100081）

问：赵教授，我们都知道您做了大量的职业能力测评研究和实践，但对于大多数没有参与过或者接触过职业能力测评的人来说，对于什么是职业能力测评，为什么要开展职业能力测评等的认识还不太清楚，能否请您介绍一下这方面的情况？

赵：好的。我先说为什么要开展职业能力测评。大家知道，目前全球范围内教育评估正在发生着一个“范式转变”，即评估范式从“投入导向”转为“产出导向”。产出导向的教育评估，是按照既定标准对教育的结果和影响进行判定，对教育机构的组织、程序和系统运行质量进行评价，在此基础上对整个教育过程进行优化和质量控制。教育的“产出”是指学习的结果和成果，包括知识、技能和基本工作能力。那么如何全面衡量职业教育的产出？例如，高就业率肯定是一个重要产出，但是就业率与地方经济发展状况有很大关系。顺德学校的就业率很高，但在辽宁就难说了，这里有很多复杂因素的影响。职业教育的产出质量无法用一个简单指标表示。在选择评价学习产出质量的指标时我们发现，第一，学校内部教学评估达不到大规模教育评估的信度和效度要求，无法借此进行校际间和区域间的比较。例如我国高校的毕业率几乎达到100%，而美国还不到40%，但这并不能说明我国高等教育质量一定比美国高。第二，我们希望获得大量深入和有效的数据，但又不能产生过多经费和时间投入，如果开展大规模的技能测试，则无法解决成本高昂和评分者信度低的技术难题。例如在奥运会这种典型的技能测评中，即使针对一个标准的跳水动作，裁判打出的分数差别也很大。这说明，连标准技能的考试都很难找到满足高信度要求的评价方法，对复杂职业技能的考试就更难了。根据考官的观察结果进行技能评价，如果要达到足够的科学性，必须有大量考官同时参与并进行多次重复性考试，这时费用会高到令人无法接受的地步。要想解决这个问题，职业能力测评是一个必然的选择。

科学的职业能力测评，可以评估诊断学生的职业能力和职业认同感发展水平，从而对不同地区、不同院校、不同班级间的教学质量进行比较，可以藉此获得人才培养质量的准确信息和重要参数，为各级政府制定政策提供依据，为职业院校课程和教学改革提供启发。

开展科学的职业能力测评，首先要建立科学的能力模型和测评模型，只有这样才能对测评结果和人才培养模式之间的关系进行科学地解释。这里的测评，严格意义上是大规模的能力诊断（large-scale diagnostics）。我们在技术上无法精确测量某一个个体的职业能力，因为能力是人的认知特征，有很多主观性成分。大规模能力测评能对一个群体的能力发展状况做出诊断性评价，即这个班级怎么样，那个学校怎么样。

开展大规模能力测评的第二个重要原因，是可以为决策者提供对不同发展趋势的预测。大家知道世界经合组织（OECD）的PISA测评。可以说，PISA是人类历史上规模最大、质量最高的一个比较教育研究项目，几乎所有发达国家都派了优秀的教育科学家参与这个项目。COMET职业能力测评借鉴了PISA的基本理念，即“评价学生在现实生活和终生职业发展所必须的知识和技能，而不仅仅是考虑他现在具备什么操作技能；不是测试学生掌握了多少书本知识，而是考察学生能否在实际生活和工作情境中创造性地运用已有知识技能解决复杂的实际问题”。

职业教育的能力测评比PISA更难，因为PISA测评中语文、数学和科学的内容在各国基本一致，而职业教育的地区差异巨大，如顺德和四川的厨师的工作要求就有很大的差别。另外，职业教育专业众多，技术更新很快，因此在职业教育领域进行能力测评要比普通教育难得多。

问：既然职业能力测评这么重要，较之PISA等大规模能力测评又更为复杂，那么如何开展职业能力测评？让职业能力测评的先进理念落地，是不是一件特别困难的事情？

赵：职业能力测评既重要又复杂，但要让职业能力测评成为现实也是可能的。简单地说，要把职业能力测评的理念付诸实施，需要科学的工具，在此必须建立能力模型和测评模型，之后还要开发满足心理测评技术要求的测评题库，如图1所示。

图1 开展职业能力测评的三个步骤

作为职业能力测评的基础，能力模型要建立在最新和全面的相关科学研究成果基础上。在此，首先要厘清技能和能力的关系。技能是从事一项工作必备的客观条件，人是技能的载体，通过接受学习培训获得技能。技能有规范，所以可以考试，但能力就不同了。能力是特定领域的心理认知特征和发展潜力，能力的获得是人格或者素养的组成部分，能力的应用是开放的。开放意味着没有标准答案，要根据具体情境提供不同的解决方案。比如说，飞行员不但要有安全降落的技能，也要有安全降落的能力，能够在复杂气象条件和机械状况下（如小的机械故障）安全降落，解决不可预知的、没有标准答案的专业问题，这就是职业能力。职业教育不仅要培训技能，更重要的是促进职业能力的发展。职业能力是“满足个体当前就业需要和终身职业发展所需要的能力，是理解、反思、评估和完成典型职业工作任务以及在承担社会、经济和生态责任的前提下，共同参与设计技术和社会发展的能力。”职业能力测评的重要性，也体现在它与一般职业技能考试的区别上。

在职业能力测评中，我们十分重视职业动机，即不但关心能不能做，还关注愿意不愿意做，这与PISA也不一样。我们希望劳动者有生产高质量产品的能力，还希望他们有生产高品质产品的动力和意愿。对职业教育来讲，有没有能力做好和有没有意愿做好同样重要，后者涉及职业承诺和职业认同感范畴，即职业精神和职业道德。目前有关工匠精神的热烈讨论也反映了这一问题的重要性。对承诺和意愿的重视，是职业教育能力测评与普通教育能力测评的重要区别。基于多方面考虑，我们建立了COMET职业能力的三维模型，如图2所示。

图2 职业能力测评的COMET三维模型

问：职业能力测评的COMET三维模型，和我们平常对职业能力水平、职业能力内容的理解有很大不同，能否请您具体解释一下？

赵：好，首先解释一下职业能力的内容维度。职业能力有丰富的内涵，人们可以以多种方式对其进行划分、归类、解释和一定程度的评价，但这还称不上是科学研究。最新学习理论研究结果证明，对去情境化的对抽象的能力点的评价是没有意义的。职业能力测评只能建立在能力发展理论基础上，职业能力的内容维度必须反映职业能力发展的逻辑规律。由美国科学家郝威斯（R.J.Havighhurst）、德莱福斯兄弟（H.Dreyfus和S.E.Dreyfus）以及德国职业教育家劳耐尔（F.Rauner）等建立发展的“从初学者到专家”的能力发展理论和“发展结构化课程理论”，全面而精确地反映了这一规律，如图3所示，这也是职业教育课程和教学改革的重要理论基础。

图3 职业能力发展的“初学者到专家”规律

图3可见每个职业的技术人员的职业发展，均遵循“新手—生手—熟手—能手—高手”的成长逻辑。以汽车生产技术人员为例，他首先必须知道汽车是什么，之后要了解部件的生产；如果是生产车身，则要学习冲压的基本知识技能。当他能够解决冲压过程遇到的复杂技术难题时，一个高手就诞生了，这就是职业能力发展的逻辑规律。

这个规律对课程体系的建设非常重要。可以看出，传统职业教育课程体系正好颠倒过来：即先学数理化等基础理论课，然后学习专业基础课，再学专业课，最后去企业实习。这里，在初学者阶段，给学生讲的是“专家”阶段的学术性知识；本来应当成为“专家”了，却让学生学习“初学者”阶段的职业入门知识。这完全违背了职业成长的逻辑规律，因此很难培养出高素质的应用型、技能型人才。

职业发展的每一步都需要“发展性任务”（professional task）的引领。第一阶段的发展性任务是“职业定向性任务”，一些高职院校称之为“手把手地教”；生手要成为熟手，需要通过完成“程序性任务”实现，即学习者根据给定流程“自我控制”（self-directed）地完成任务；熟手成为能手，是通过完成“蕴含问题的特殊任务”实现的，他需要自己制定工作计划、获取相应知识、自己设计流程并从头到尾地实施；能手成为高手，需要完成无法预测结果的任务，如将撞坏的汽车修好。这时他不但要有理论知识，还要具备实践经验。这就是职业能力发展的逻辑规律。

职业能力测评的内容维度，反映了职业工作内容的特点，从而能够对被测评者的职业能力特征进行判断。

问：模型中关于职业能力水平维度的表述，和我们平常用分数或者等级的做法也不一样，为什么这么表述呢？

赵：是的，简单评定一个分数非常容易，但是要对不同的分数级别进行解释却不那么简单。职业能力的水平在给出一个分数后，要按照三个等级进行解释，如图4所示。

图4 职业能力要求图

最低级别的职业能力被称为“名义能力”。借用PISA的定义：一个人学过语文，但是不会阅读文章，那么他只有名义上的阅读能力。在职业教育领域，如果一个人学过电工，但不会干电工的活，那么他的职业能力只达到名义能力水平，即满足不了基本的工作要求。

比名义能力高一级别的是“功能性能力”。这里的“功能”（function）是“岗位功能”的意思。一个人在企业里满足了岗位的功能性要求，也就具备了岗位能力。衡量功能性能力的指标是“功能性”和“直观性/展示”。“功能性”指标包括工具性的专业能力和与具体情境无关的专业知识和技能；“直观性/展示”指标是指技术人员事先设想出完成工作任务后的结果，将其记录并展示给委托方（上级或顾客）。

第三个级别的能力是满足企业层面要求的“过程性能力”。过程性能力有三个指标，即“经济性”、“持续性/使用价值导向”和“企业生产流程和工作过程导向”。首先，将解决方案放到整个工作环境中考察它的经济性，这是专业人员解决实际问题能力高低的表现；其次，职业行动要以顾客为导向，解决方案的持久性和可扩展性的高低，是职业能力的重要判据，如生产性职业重视产品的经久耐用，服务性职业重视服务的贴心等；最后，了解企业上下级结构（垂直管理）和生产流程（水平分工），是现代企业特别是自动化和智能化生产管理的基本要求。

职业能力的最高级别是“设计能力”，即理智地设计自己工作方式方法的能力，它有三个指标，即“社会接受度”、“环保性”和“创造性”。设计能力既代表着人的个性解放，也意味着满足社会层面的需求。衡量各个级别职业能力的具体指标及其含义见表1所示。

表1 职业能力指标含义表

问：模型中为什么还要突出行动的维度？您前面提到过，职业能力测评对于职业道德十分重视，为什么在模型中没有这方面的体现？

赵：衡量职业能力高低的第三个维度是行动维度，这个维度体现工作过程的要求。通俗一些说，职业教育就是要教会学生干活。要想会干活，就必须过程完整地干过一次活。干活的过程就叫工作过程。工作过程大致可以分为六个步骤，即明确任务、制定计划、做出决策、实施计划、监督控制和评估反馈。

关于职业道德或者职业精神方面评价的处理反映在能力测评题目中。我们还引用了国际上职业认同感和职业承诺测评的成熟量表。在此，我们特别区分了职业道德和工作道德两个不同的概念。

问：职业能力测评的题目究竟长什么样？您能给我们举个例子说说吗？

赵：我以汽车维修专业的职业能力测评题目为例来说说吧。

例：一个顾客想在冬季从北京开车到五台山，他要到达的地方海拔1 800米，当地的气温可低至零下28度，按照当地的规定，轮胎必须加上防滑链。顾客的轿车是一辆丰田花冠轿车，使用了3年，行驶里程达到了38 000公里，顾客希望自己的轿车在旅途中万无一失，因此想先给轿车做一次冬季检查。你来负责这次检查。请你制定一份详细的、与顾客沟通的完成此次检查任务的工作方案，并全面而细致地说明采用这个方案的理由，答题时间两小时。

能力测评题虽然是纸笔测试题目，但是没有实际从事过相关工作的人很难回答。从事过相关工作的人，水平高的可以回答得很好，水平低也可以不同程度地回答一部分，这就是能力测评。能力测评题目的基本特点是：第一，必须来源于企业和职业工作中的现实问题。它是职业的典型工作任务，有不同深度和广度的答案，除专业能力外，还可考察多方面的职业素养。第二，考察的重点不是理论知识，而是实践性知识。测试者用本职业专业的方式回答问题，记录解题过程和结果，并说明理由。考察实践性知识是COMET职业能力测评的重要特点。理论知识是与情境无关的知识。实证研究发现，在专业技术人员的知识结构中，理论知识只占知识总量的约15% ～ 25%，剩余的大部分是实践知识。实践知识指导着人的实践，而不是理论知识。隐性的实践知识是在实践中获得的、与理论知识相关的、可以直接指导实践的“工作过程知识”。

工作过程知识可分为三个级别：最低级别是Know that，即引导行动的知识；其次是Know how，即解释行动的知识；最高级别是Know why，即反思行动的知识。典型工作任务没有标准答案。如电工在安装照明电路时可以选择不同的灯具、先例设计等。为什么用节能灯，而不用白炽灯？有什么样的节能灯具？在此过程中需要反思行动的知识和引导行动的知识帮助其做出决策。

在此，能力评价题目满足实现教育目标和遵循职业规范的双重标准的要求，既要考虑学生的认知发展程度，又要考虑特定工作领域的能力特征。能力评价的目的是比较学生个体、职业院校之间的教育水平，其测评题目是开放式的，它还需要一些相关背景数据作支持，如对职业认同感发展的评价等，这样才能全面反映职业学习的效果。

怎样对工作过程知识进行评价？按照COMET能力测评方案，被测学生在两个小时内，针对一个复杂的综合性职业问题，用纸笔方式写出解决方案的案例并说明理由。评分教师是本专业的专业人员，有丰富的实践经验和教学经验。评分老师根据学生的解决方案进行评分。如果判断学生知道这件事，但是没有明确地表述出来，则给1分；如果写出了专业术语，可以断定学生明白了怎么做，则给2分；如果学生用专业术语对其提出的方案进行了解释，可以认为他达到了Know why级别，则给3分。如果对一指标涉及的事物丝毫没有提及，则得到0分。

有人问道，是否会有一些人语文不好、活干得很好但写不出来？其实，能力测评评分并不关心方案的语言表达水平，评分者通过从解决方案中寻找关键词的方式给分。来自实践的专家一致认为，“知道专业术语”属于专业能力的范畴，而不是语文水平高低的表现。因此，尽管采用执笔测试方式，测出来的是专业能力而不是语言能力。

能力测试结果不仅仅呈现学生拿到了多少分，瑶瑶提供给被试学生一张能力轮廓图，重点是怎样去解释这个分数。职业能力轮廓图（雷达图）给出对学生职业能力的结构性特点的诊断结果，即职业能力的哪些方面比较强，哪些方面比较弱。

问：职业能力测评的目的是为了提高职业教育质量，它对课程建设和教学的影响如何呢？

赵：职业能力测评不但为完善职业教育制度提供了扎实的理论和实证基础，对职业院校教育教学改革也可以起到促进作用，可以帮助教师更好地理解当代职业教育的特点、开发和实施学习领域课程、科学和系统地设计学习任务、开展工作过程导向的教学，并对学习效果进行科学地评价（包括自我评价）。

我们知道，职业教育不但要满足企业实际工作的要求，而且还要实现职业院校的教育性目标，因此应当保证能力模型、职业院校的教育性任务与职业资格要求三者之间高度的一致性。课程开发的关键是设计科学的学习任务，它是在典型工作任务的基础上设计的，是对典型工作任务进行“教学化处理”的结果。学生通过完成学习任务，经历结构完整的工作过程，可以在与学习情境各要素的交互行动中，主动建构学习的意义和在企业的职业活动中的社会身份。

在实践中，工作任务的内涵十分丰富，如有常规性（routine）任务，也有问题情境中的复杂任务。学习任务也有不同的质量之分，简单、封闭性的动作技能训练任务不可能引领出解决复杂问题的综合能力和创造能力。要想系统促进学生设计能力的发展，必须以工作过程与企业生产流程为导向（即工作相关性），针对个体化的和合作式的学习过程（即主观能动和社会相关性），制定符合职业发展逻辑规律的课程实施方案，方案的核心内容是按照教育学规律编排的、符合“从初学者到专家”的职业发展逻辑规律的一系列学习任务。

学习任务设计与教学时间、教学条件、学习者的学习能力和教师的教学经验有关。如果学习任务很复杂，综合性和开放性很强，这对学生能力发展会有较大的促进作用，但是不仅要求教师有较高的教学控制能力和较好的教学资源条件，还需要学生有较好的独立学习能力；如果学习任务设计得比较简单，教学比较容易实现，但是相对又比较难实现较高层次的能力发展目标，如设计能力与创新能力等。

在学习任务设计时，应当首先与企业的实践专家合作，找出职业的典型工作任务，再根据学生的学习能力和教学条件进行综合考量。在低年级处于职业能力发展的初级阶段时，可以设计数量较多但相对简单的任务，便于教学组织与实施；在高年级时，则应设计数量较少但综合化程度较高的学习任务，以培养学生解决复杂和综合性问题的能力。设计学习任务时应当遵循三个原则：

原则一：职业发展的逻辑规律。职业教育的目标是发展学生的设计能力，学习任务设计，就是针对不同发展阶段的学生，提供合适的学习任务，即针对“初学者”的“小任务”、针对“提高者”的“综合性任务”和针对“能手”的“项目任务”，从而让学生在“定向和概括性知识”的基础上，顺序获得“关联性知识”和“具体与功能性知识”，最终获得“基于经验的学科系统化知识”。

原则二：完整的行动模式。在学习过程的设计中，应当遵循“完整的行动模式”，即从获取学习与工作任务的相关信息开始，经过分析、计划、实施、记录、展示和评价，直至最后总结鉴定。

原则三：工作过程。每一个学习任务都是在职业的典型工作任务的基础上设计的，完成学习任务的过程与工作人员的工作过程和他所在的企业的业务流程有直接的联系。如电工的典型工作过程包括以下内容：电子系统与设施的装配与安装、调试、编程、投入运行、保养、维修和优化，以及质量管理、客户服务与客户咨询。

学习任务的设计过程，事实上就是回答以下问题的过程：学生在职业教育结束时应具备哪些能力？应该胜任哪些典型的职业任务的要求？为此他必须掌握哪些技能和知识？这些问题引导着学生的行动，职业教育过程就是对这些问题进行探讨和澄清的过程。

（根据2017年3月8日顺德职业技术学院讲座录音整理。）