“1+X”证书制度建设对技术技能人才评价的挑战

赵志群 孙钰林 罗喜娜

关键词：“1+X”证书;技能考试;真实性评价;行动能力

一、“1+X”证书制度对技能评价技术的新要求

国务院颁布实施的《国家职业教育改革实施方案》（简称“职教20条”）提出在职业院校和应用型本科高校启动“学历证书+职业技能等级证书”（即“1+X”证书）试点工作，这是我国在双证书基础上进行职业证书制度建设的又一次重要探索。2019年4月教育部会同国家发展改革委等制定的《关于在院校实施“学历证书+若干职业技能等级证书”制度试点方案》明确提出“坚持以学生为中心，深化复合型技术技能人才培养培训模式和评价模式改革”的要求，把“1+X”证书制度作为“指导职业教育教学改革，提高人才培养质量，畅通技术技能人才成长通道，拓展就业创业本领”的重要手段，这赋予了“1+X”证书制度在指导人才培养质量提高方面的重大历史使命。

“1+X”证书制度建设在给职业教育发展带来机遇的同时，也面临着诸多挑战。回顾历史我们不难发现，我国双证书制度之所以没有取得完全成功的一个重要原因，就是职业资格证书考试的质量问题，即技能评价结果预测效度不高，没有完全反映企业对技术技能人才的真实要求，以至于最终没有被社会所认可。从目前公布的“X”证书试点资料看，业界对技能证书的内容和考试方式理解还很模糊。要想保证“1+X”证书制度成功实施，必须保证“X”技能评价的科学性，即技能评价要满足效度、信度、区分度和客观性等测评技术标准的要求。

技能评价是社会组织根据特定职业（或岗位）的技能要求，采用一定测量工具对特定人群进行的考试、测量和评估。传统的技能考试采用“知识+实践技能”考试方式，其中知识考试一般通过多种方式的笔试进行，实践技能部分通过对考生现场或模拟操作行为过程和结果的观察进行评分。随着人类工作活动复杂程度的提高，技能的内涵发生了深刻的变化，这直接影响了考试的方式和方法。一方面，研究发现，除了简单动手操作行为（如打字录入和点钞等）外，通过观察法进行的技能考试的结果信度很低[1]，特别是在对心智技能要求較高的专业领域，这种行为导向的考试的局限性更大，更无法满足信息技术日新月异发展对专业考试的质量要求。另一方面，“引导行动的知识”的诊断方法也是一个巨大的难题。例如，如何确定究竟是哪些具体的知识片段能够决定专业人员是否可以完成工作任务？如何组合、以及按照什么顺序组合多种知识诊断方法，才能有效地判断出不同类型的知识（如条件知识、因果知识、程序知识和工具知识）等等[2]。解决这些问题，也是利用人工智能技术实现复杂生产过程自动化的基础。

当今社会，信息技术发展在很大程度上改变了我们的工作和生活，互联网和人工智能更是开启了“工业4.0”的新时代。基于信息物理系统（CPS）的智能化、产品全生命周期的全制造流程数字化，催生了高度灵活和个性化生产与服务模式的建立[3]，这对技术技能人才的职业能力和综合素养提出了新的更高的要求。技术人员要在最短时间内熟悉工作过程和工作环境，适时对工况进行准确认知，并做出合理的决策。数字化工作和学习方式扩大了对“人—机协作”模式和生产组织的设计空间，技术人员必须对“可能性世界”进行深入的理解和探索，这需要具备更高的制定计划、判断决策和分析复杂系统的能力，“技术正被深深地嵌入在社会情境中，并为各种复杂价值关系所左右”[4]。这说明，在未来的技能评价过程中，必须用整体化的观念对待工作和技术的关系，在相对弱化简单和重复性操作技能的同时，加强对诸如技术敏感性等高层次实践能力的评价，从而促进学习者的“价值理性”和“事实性评价能力”的发展，这对技能评价技术提出了新的要求。

技能评价是人力资源管理的经典课题，也是一个世界性的难题[5]，“1+X”制度的技能评价必须反映技术技能人才的发展性目标和职业规范的双重要求。国际的发展趋势是采用表现性评价方式，即采用在具体工作情境中针对复杂内容的开发性试题[6]。这种基于建构主义的考评方式克服了传统标准化测验仅能考查书本知识的弊端，但是需要大量的组织和时间投入，这无疑又对教育技术研究提出了新的挑战，即：是否有可能开发针对开放性试题的自动评分系统？当前，深度学习等人工智能技术，特别是自然语言处理、复杂网络分析、异常诊断技术在知识产权保护、信息检索等领域已有重要的应用[7]，这为未来的技能考试及其自动化评分系统设计提供了启发。

在技能评价领域，技能大（竞）赛是一种特殊的考试方式。世界技能大赛（WorldSkills Competition，下文简称“世赛”）是全球最具影响力的技能大赛，它在促进全球青年技能工作者（主要是职业院校学生）技能提升方面起到了积极作用，被誉为是技能领域的“世界奥林匹克”。对于专业技术水平和职业素质的检验，“世赛”有一整套更为准确和全面评价方法[8]，对“世赛”的考试题目设计开展研究，可以为“1+X”证书制度的建立和发展提供方法和技术上的支持。

二、世界技能大赛的题目及评分标准分析

技能竞赛是为了解职业教育培训的成效，利用竞争形式对职业技能进行评价和激励的社会活动[9]。与我国目前重要的技能考试，如职业院校技能大赛和高职院校招生的技能高考相比，“世赛”在竞赛目的、赛项设置、考核环境、考核内容和评分标准等方面有很多独特做法[10]。限于篇幅，本文讨论“世赛”的考核内容和评分标准对技能考试设计的启发。

（一）反映典型工作任务的竞赛题目

世界技能大赛赛项涉及信息与通信技术、制造与工程技术、创意艺术与时尚等国民经济的六大主要领域，包括企业生产和社会生活所需的多数技能。“世赛”试题设计的基本理念是：职业技能无法通过一道考试题来考察和甄别，每个赛项的试题都是由一组内容相互关联的题目组成，被称之为“模块”。如第44届“世赛”“商务软件解决方案”赛项试题由5个模块组成，比赛时间共计20小时。其中，模块一“分析和设计软件解决方案（4小时）”要求选手按照给定商业案例，使用系统建模技术进行分析、确定软件功能模块、绘制核心业务流程UML图、绘制数据库ER图、设计数据字典并完成数据分析与处理;模块二“开发软件解决方案（13小时）”要求对功能进行代码实现，开发客户端服务器系统、网络和移动终端接口;模块三“测试软件解决方案（1小时）”对所开发的系统进行全面测试，编制测试报告;模块四“编写软件解决方案技术文档（1小时）”，为日后软件系统升级维护提供指导;模块五“制作解决方案PPT（1小时）”总结提炼开发思路、系统实现的功能。可以看出，“世赛”题目是一个工作过程结构完整的综合性工作任务。

整体上说，“世赛”试题体现了人文主义的技术观，它将社会价值融入到技术的设计与使用过程中，完整地展现了技术与社会文化间的互动，体现了技术的自然属性和社会属性的统一[11]。又如“世赛”“网络设计”赛项有四个模块，分别是“设计”“布局”“客户端”和“服务器端”。其中“客户端”又分为两个子模块，即“客户端A——拼图”和“客户端B——奥林匹克竞赛”。前者需要3小时完成，占总分值的14.75%;后者需要2小时完成，占总分值的10.25%，两项合计占总分值的25%。试题内容要点如下表所示。

可以看出，“世赛”试题是按照职业的“典型工作任务”（Professional Task，建立在工业社会学理论基础上的职业教育学概念）理念设计的，即“代表着一个职业的专业化水平的任务”。网络设计赛项是编程工程师或程序员职业的典型工作任务，它有以下特征：（1）工作过程结构完整，包括获取信息、制定计划、决策、实施、检查控制和评估反思等环节;（2）涉及所有的工作要素，如工作的对象、工具、材料、工作方法、工作组织形式和工作要求;（3）工作的结果或工作流程具有一定开放性;（4）能够促进从业者职业能力的发展[12]。尽管“世赛”试题会提前半年公布，但是最终比赛时具体内容和要求仍然会有30%的变化。完成此类任务需要很强的综合职业能力，特别是获取信息、学习新知和解决问题的能力，这对选手的专业知识、技能和技巧，以及学习能力提出了很大挑战。由于比赛现场有很大的发挥空间，选手还需要有较强的现场反应能力和创新能力。

（二）涉及范围广的分析性量规

为了判断工作表现和任务完成情况，技能考试一般会采用两种不同类型的量规，即“整体性量规”和“分析性量规”。“世赛”采用分析性量规，其特点是内容精确，对细节进行详细的描述。如网络设计赛项满分100分，分163个评分点，其中最大的评分点3分，最小评分点仅为0.15分。在我们分析的两个模块“客户端A——拼图”和“客户端B——奥林匹克竞赛”中，最大的评分点为2，最小为0.15。如评分点“应用程序中提供的动画的质量（旋转件、提升件、显示模态）”赋分0.7分，分4个等级，即“所有事件都没有动画”“使用简单或较差的动画”“有些动画很好，有些则很差”和“所有的动画都很好”，藉此可以准确评分。可以看出，“世赛”的评分方式与我国传统技术技能考试有较大差别。后者一般采用整体性量规，综合考虑多方面要求，概括性强但不够精细。例如，湖北省的技能高考是我国目前组织较为严密，设计精致的技能高考，代表着我国的高水平技能考试设计。2019年湖北省计算机类技能高考的“操作”部分共有8个部分考核项目，如电子表格处理、幻灯片制作、计算机网络应用等，它们都是根据总体结果进行评判的。即便在其他一些操作性比较强的专业如汽车维修，尽管加入了操作安全方面的要求，如“造成人身、设备重大事故……，立即终止考试，扣8分”等等[13]，但这里采用的仍然是整体性量规。

分析性量规不是简单的操作技能标准，也不是用来考核学生书本知识的积累水平，而是来源于企业生产实际或产品质量的真实技术标准，它不仅针对最终作品的完成情况和技术水平，而且还关注整个工作过程的质量，反映行业的规范性要求[14]，这不但为主观性评分提供了质量保障，也为职业素养的评估提供了可能。

（三）采用真实性评价方式

传统的技能考试通过行为观察法和标准化考试衡量考生对专业知识和技能的掌握程度，而“世赛”通过与现实工作世界类似的真实性任务，让选手应用专业知识、技能和策略解决问题，展现其对知识的理解水平和应用能力[15]，这反映了“真实性评价策略”，即通过完成与工作情境相似的真实性任务展示知识技能的应用能力[16]。从以上案例可以看出，“世赛”试题反映的基于情境学习理论的真实性评价策略的特点是：（1）基于工作实践中具有完整工作过程的真实工作任务，不把职业活动分割成更小的子任务或操作单元;（2）评价标准包括内容标准、过程标准和价值标准等多个维度，按照企业要求进行全面评估，而不仅仅考核知识技能点的学习获得;（3）评价量规细致全面，包括评分标准陈述和等级达成度。通过真实性工作任务考查解决专业问题的能力，可反映选手对复杂工作的理解和把握程度以及相关实践经验，这克服了传统标准化考试仅能考察低水平书本知识和孤立操作技能的局限性[17]，体现了职业的效度。

“世赛”评分标准按照企业实际工艺标准和产品精度要求制定，这与我国通常做法不同，后者主要围绕教育主管部门或学校制定的教学标准建立标准体系。真实性评价不仅关注工作结果，还关注工作中的技能细节，其评价的环境、方式和内容均需反映真实工作世界的要求，这体现了建构主义学习理念，即知识是在具体工作情境中由主体建构的。

（四）主观性评分和客观评分相互补充

正常情况下，典型工作任务没有唯一正确的答案或工艺流程，如软件开发和网络设计等，裁判的个人偏好和主观感受会对评判结果产生重要影响。为了降低评分的随意性，提高评分信度和可操作性，“世赛”采用了主观评分和客观评分两部分评分标准。如“路标和终点要求”部分有六个客观分评分点，两个主观分评分点。主观评分标准分四档，如“道路尽头奔跑的山丘的动画质量”这个主观评价指标下，“没有动画或跑步者直接出现在山顶”得0分，“跑步者在爬山时呈现出非常单一或较差的动画与相同的跑步动作”得1分，“跑步者爬山呈现出良好的动画效果”得2分，“跑步者沿着跑道爬山时呈现了一个出色的动画”得3分。三名裁判同时打分，当评分相差大于1时，差异较大的两名裁判需说明理由并降低分差，以保证评分者间信度。

客观分有严格的评判依据，也分两类。一类是“是”“否”判断，如“游戏打开时会显示欢迎屏幕”;另一类规定明确的扣分点，如“在每场比赛中，必须至少有5个障碍物在路上，随机放置在跑步场”，每错过一个障碍扣0.10，障碍物位置不随机扣0.25。与此相比，我国传统技能考试通常采用主观评分。例如，同样是设计类的技能大赛，全国高职院校服装设计与工艺技能大赛评分标准有6个评分项，如“服装整体效果美观;规格准确，比例协调;工艺精致，松度平衡”。但什么是“工藝精致，整体效果美观”？评分标准中未有说明，裁判需根据经验进行主观评判[18]。可以看出，建立主、客观评分标准相互补充的评分标准，可更好地反映企业的实际，这不仅有利于考察被试学生的专业知识和技能，也有利于综合职业能力的评价。

（五）情境性考试题目的开发

行动能力评价的最大困难是开发情境性考试题目，即有助于观察和确立工作能力和态度的标准化案例性任务，它既要反映重要的实践价值，又要能藉此评判被试者的职业技能的高低。专家智能（Expertise）研究发现，只有完成典型工作任务过程中的问题解决方式才可以被抽象化和普世化，并被迁移到类似的工作任务中，对职业能力（技能）的全面评价只能在完成典型任务的过程中进行[37]。教育家格鲁施卡（A. Gruschka）在发展性任务（Developmental Tasks）理论基础上定义了情境性考试任务，即被试在真实工作条件下进行工作，通过对其工作行为、工作成果的观察和必要时对特殊工作环节的解释，评价其职业能力发展水平，通过解决（或未成功解决）问题的方式，揭示实践问题解决策略，包括职业学习策略、专业化的工作策略和专业合作策略等[38]。在情境考试中，考生以规划形式制定项目方案并详细说明理由，做实施准备，并将计划付诸实施;在口试中考生展示工作结果，对工作结果和过程进行自我评估，对实施结果偏离计划的情况进行说明。情境性考试与真实的工作过程联系紧密，这不但能对个体的职业能力进行评价，也为职业教育的课程和教学改革提供了重要的启发。

在信息化和智能化时代，一个社会组织在履行其管理和生产职能、建立高效的生产、服务和组织管理模式时，经济技术指标已经不是唯一的决策依据，员工的技能和综合素养具有重要的影响，包括基本技能、解决问题能力和创新能力，“工作的人性化设计”[39]具有重要的意义。人性化的工作设计是智能化发展的必然要求，也是高素质技术技能人才成长的必要条件，这意味着职业教育必须实现从“适应导向”向“设计导向”的范式转变，培养的学生不仅要适应技术和社会的发展，还要有能力“本着对社会、经济和环境负责的态度，（参与）设计和塑造未来的技术和工作世界”[40]。未来的职业教育人才评估应当按照“完整的行动模式”（Vollst?ndige Handlung）[41]，将考试题目设计成为学生全程参与的包括计划、实施和评价等步骤的完整的工作过程，避免过分精细的任务划分。这样，不但可以较好地解决促进学习者个性发展的“教育性目标”和适应企业岗位要求的“实用性目标”之间的矛盾，满足企业岗位工作的现实需求，也可以为学习者的全面发展奠定扎实的基础。从更高一个层次看，这也是我国职业教育实现立德树人教育目标的要求，即职业教育培养的不仅是简单的操作者和实施者，而是具有系统职业能力和领域特长的、德智体美劳全面发展的社会主义接班人和劳动者。

“世赛”在组织设计方面也为“1+X”制度建设提供了重要的借鉴经验，如建立权威的“实践专家”组织，依托行业部门推荐遴选权威专家而不仅仅是个别公司组织的专家团队，通过专家团队的权威性保证试题命制的科学性;完善组织实施过程，包括技术文件公布、合作企业遴选、技术平台和评判细节的确定等环节，而不仅仅由各“技能評价组织”确定，等等。“世赛”比赛过程全程开放观摩，对推动职业院校的课程和教学改革也有重要的示范作用。