机电专业技师研修评价体系的构建与应用研究

俞 骋

(1.宁波市教育科学研究所，浙江宁波，315100；2.宁波第二技师学院科研处，浙江宁波，315012)

教育评价是教育活动不可或缺的环节。近年来，国家对包括职业教育在内的教育评价工作的关注程度提升到新高度。2020年10月，国务院印发的《深化新时代教育评价改革总体方案》明确把“学生获取职业资格或职业技能等级证书情况”列为职业教育评价改革的重点关注对象之一。[1]全日制技师培养作为学生“职业技能等级证书获取”中的一项重要内容，其评估鉴定工作的科学性和合理性需引起职教人更多的思考。然而，现阶段学界对技师职业技能等级鉴定的关注度尚未达到应有的水平。以“技师”“评价”等为关键词，在中国知网上未能检索到技师培养考评体系方面的研究论文，表明该领域存在巨大的研究空白。同时，职业院校在技师培养的教育活动中面临的实践困境却真切存在。

一、技师研修评价的实践困境

《浙江省职业技能鉴定实施办法》规定，技师层次职业资格的鉴定由技术(业务)理论知识考核、技能考核和工作业绩考核三部分组成。[2]其中“工作业绩”模块要求申请人提交在技术革新、设备改造等方面取得的成果。受制于职业院校的办学条件，绝大部分职校全日制学生难以从生产一线取得“工作业绩”。在对这类群体进行技师职业资格鉴定时，校方通常采用“技师研修”的方式举证申请人的“工作业绩”。然而，纵观现有技师研修评价体系，普遍存在内容单薄、形式单调、方法单一的结构性缺陷，导致技师研修的评价结果难以全面、客观地鉴定研修者真实的职业能力。

(一)评价内容单薄

根据技能鉴定实施办法的设计意图，之所以把“工作业绩”纳入技师鉴定的考核范畴，是因为多元化的工作业绩能更全面、系统地评价申请人在专业领域的综合能力，矫正因单一考试对申请人技能水平造成的评估偏差。技师研修虽然与正规的职场活动存在差异，但在职业能力鉴定的视角下，作为评价客体的“研修业绩”应在最大程度上体现“工作业绩”多元化的现实属性。然而，在实际操作中，职业院校组织技师研修时多采用“短平快”的方式开展工作。其中，研修周期“短”是指在校生技师研修的学时一般不超过一学年；研修项目“平”是指技师研修的选题同质化倾向严重，难以真正为技术革新、工艺改进提供有效支持；研修见效“快”是指研修的工作任务可在较短时间内完成，并提供“可视化”的成果。基于“短平快”理念，职校技师研修一般要求学生在一定时间内完成一件与所学专业相关的作品，并以这唯一一件作品的优劣程度作为衡量其技师研修成绩的主要依据。其实质是“一考定乾坤”陈旧教育评价思想的变相延续，偏离了技能鉴定实施办法的设计初衷。

(二)评价形式单调

当前技师研修的考核一般采用现场答辩的形式。评委根据答辩人的展示及回答问题情况评估研修作品的性能，并以此作为研修成绩的主要依据。一些院校虽然也会适当考虑其他因素，如研修报告的撰写质量，或将中期检查纳入考核范畴，但现场答辩仍是评委确定研修成绩的主要途径。与传统的考试相比，答辩考评通过有针对性的提问和互动交流，在理想状态下确实有助于评委更深入地了解答辩者相关业务能力，从而给出更为科学、合理的鉴定结果。但在实际应用中，由于答辩学生人数多、评委数量有限、活动组织前期准备不足等诸多因素的影响，评委很难在有限的时间对答辩人真实的专业内能力作出全面、客观的评判。因此，以现场答辩作为技师研修唯一的考评形式在方法论层面存在明显的缺陷。

(三)评价主体单一

教育评价主体是能够对教育活动的结果作出权威鉴定结论的个人或团队。评价主体的鉴定水平是影响评价质量的决定性因素。在技师研修的考核活动中，虽然有些院校会安排企业人员参与考核工作，但其在评估鉴定中的实际话语权相当有限。一方面，校方通常以“邀请”的方式组织企业专家加入，与校内教师共同组建考核团队，而不是全权委托外聘专家开展独立的考核鉴定。在这样的权力分配格局下，校方始终把握着考评活动的主导权，而作为外来方的企业评委只具有从属地位。另一方面，受“客随主便”思想的影响，企业评委一般也会自觉“尊重”校内评委的意见。因此，对评估结果具有关键性影响的仍是来自校内的评委。由于职业院校教师普遍缺乏企业工作经历，他们对新技术、新工艺的认知，对生产一线的实际需求，都可能存在一定程度的理解偏差。这种知识性欠缺对技师研修作品的科学鉴定有一定消极影响，现有的评价主体构成方式难以为这些不利影响的消弭提供有力支撑。

二、技师研修评价体系的重构原则

技师研修评价的目的是尽可能全面、客观地评估技师申请者的综合职业能力，为技师职业技能等级的鉴定提供科学的决策意见。为实现这一目的，摆脱当前技师研修评价中的实践困境，在构建技师研修评价体系过程中应遵循以下三大原则。

(一)学校与企业并举

企业参与教育评价既是职业教育高质量发展的应然选择，也是完善教育评价体系的必然要求。一方面，校企合作作为职业教育办学的基石已成共识。近年来出台的《国家职业教育改革实施方案》《关于推动现代职业教育高质量发展的意见》等文件均把加强校企合作视为职业教育在当前及今后一个时期内高质量发展的重要抓手。《中华人民共和国职业教育法(2022年修订版)》进一步明确指出：“国家发挥企业的重要办学主体作用，推动企业深度参与职业教育。”[3]从新职教法的相关表述不难看出，企业作为“办学主体”的教育地位已从法律层面得到确认，而教育评价是教育活动的重要组成部分，因此，企业参与教育评价正是其突显办学主体地位的合法举措。另一方面，从教育评价自身的演进轨迹来看，实现评价主体从单一到多元的转变是构建科学、完善评价体系的必要路径。企业的参与有助于形成多元化的评价主体，从而纠正学校作为单一评价主体对鉴定结果造成的偏差。

(二)过程与结果并重

经典教育评价滥觞于Tyler的课程理论，以实现教育目标为基本特征，具有明显的结果导向性。[4]Scriven认为Tyler的教育评价模式忽略了教育过程中产生的“非预期目标”，提出教育评价功能应包含形成性和结果性两大功能。[5]其后，有研究从不同维度论证了过程评价在教育活动中的必要性。[6]时至今日，构建过程与结果并重的评价体系成为教育评价领域的普遍追求。在技工教育领域，虽然当前绝大部分职业院校将技师研修等同于项目研修，但全日制技师培养实际上是由多种教学活动(如课程学习、企业锻炼等)复合而成的系统工程。这些教学活动从不同角度反映出学习者的学习品质、学习效果等信息，是表征技师培养对象学习状况的重要组成部分。因此，只有将技师研修的内涵扩展到技师培养的整个过程而不是局限于项目研修，根据不同学习活动设置一系列的评估指标，方可构建起一套过程与结果相结合的评价体系，为全面、客观、科学地鉴定申请人的专业综合能力提供有效保障。

(三)传统与创新并存

过程与结果相结合的设计理念在方法论层面对技师研修评价体系的重构提出了新要求。一方面，传统技师研修把“项目设计—答辩考核”作为评估学习者研修业绩的唯一手段虽然存在诸多不足，但不可否认，项目设计作为锤炼技师候选人专业能力的综合性载体，在技师培养中具有不可替代的教育效果，而答辩式考核在项目设计类的评估中具有比其他评价方法更高的效益成本率，因此，“项目设计—答辩考核”的评价模式在重构的评价体系中具有可行性和必要性。另一方面，引入过程性评价为评价方式的多元创新提供了可操作的空间。设计者可根据技师培养周期内不同性质、不同种类教学活动的固有特点有针对性地选择评价方式、创设评价指标，由此构建出传统与创新并存的多元化技师研修评价新体系。

三、评价体系的构建

(一)指标的选取

评价指标是构成教育评估体系的基本骨架和核心元素。机电专业技师考核评价指标既需满足教育评价的普遍性要求，亦需体现技师学院机电专业人才培养的特有属性。为兼顾评价指标的双重属性，从学术文献、政策文件、专家访谈三个渠道获取评价指标的备选信息。

以中国知网为检索平台，以“技师考核”“评价体系”“职业院校”等为关键词，在搜索结果中选取引用率高的博、硕士学位论文9篇，以Nvivo11.0对相关文献进行开放式编码，对提取的参考点进行归纳后形成备选指标5项。从各级教育、人社两部门的官网中遴选出与研究主题相关的政策文件5份，运用Nvivo对相关文本进行编码，提取、归纳后形成备选指标12项。选取某技师学院机电专业骨干教师8人，AHK专家委员会专家2人，合作企业管理层领导及一线技术骨干5人，开展半结构化访谈，运用Nvivo对访谈文本进行数据分析后形成备选指标4项。对三个渠道获取的备选指标进行汇总，删除重复指标、合并提炼概念相近的指标，借鉴CIPP(Context Input Process Product)评估模型对评价模块的设计思路，结合高技能人才培育的特点，对汇总的指标集进行梳理，初步形成了由三级指标构成的技师考核评价框架，如图1所示。

图1 技师考核评价的三级指标框架

(二)专家评价

为进一步确保评价指标的科学性，组织10名专家(包括5名一线教师，2名教育评估专家，3名企业人员)，运用德尔菲(Delphi)法[7]，通过三轮咨询对初步形成的评价体系及备选指标进行检验与优化。第一轮咨询采用半结构化问卷，运用李克特五点量表请专家对框架体系中的35项备选指标的合理性进行量化打分。通过计算满分率、四分位差、变异系数评估专家对指标的意见集中程度。对部分意见集中度较差的指标，请专家提出修改意见，如表1所示，形成优化后的评价指标。第二轮咨询采用相同的调查形式，对经过第一轮修订后的各级指标进行再次评估。数理统计结果显示所有指标的四分位差处于0—2，变异系数<0.25，提示专家对优化后的指标有较高的意见集中度。[8]第三轮咨询邀请专家对优化后各级指标的权重进行赋分。

表1 第一轮专家咨询后评价指标的修改情况

(三)确定权重

为确保各级指标所赋权重的科学性，尽量避免个体的主观因素对权重分配的干扰，采用层次分析法AHP(Analytic Hierarchy Process)计算权重。以某位专家A对一级指标的赋分数据为例，具体计算过程如下：专家A在第三轮咨询时根据Saaty九级标度法对指标进行赋分，赋分规则为两两比较同一层级的不同指标，根据前后指标的重要程度分别赋分1分(同等重要)、3分(略微重要)、5分(明显重要)、7分(强烈重要)、9分(极度重要)，2、4、6、8分为以上相邻重要程度的中间值。基于此赋分规则构建判断矩阵：

计算判断矩阵内每行的几何平均数：

进行归一化后得特征向量值：

(1)

其中CI为一致性检验指标，RI可查表获得。对n阶矩阵，CI按如下公式计算：

(2)

λmax为判断矩阵的最大特征值，根据公式：

(3)

λmax=1/3×(0.75÷0.25+0.75÷0.25+1.5÷0.5)=3

故CI=(3-3)/2=0。最终计算得CR=0。根据检验标准，CR<0.1，表明专家A对一级指标的权重赋分合理。二、三级指标的AHP分析同上。综合所有10位专家赋分的AHP分析，取算术平均值后保留两位小数，最终确定各级评价指标的权重分配如表2所示。

表2 最终形成的技师考核评价指标及权重配置

续表

四、绩效评估

(一)教师对评价体系的反馈分析

运用新构建的考评体系对学院机电专业2个技师班学生的学业进行评估。经过两年的实践，对使用该评价体系的38位任课教师进行问卷调查，问卷以李克特五点量表计量，从整体框架、指标设置、权重分配和可操作性四个维度考察评价体系的科学性。回收有效问卷36份，得到的反馈数据如表3所示。从该表数据可知，教师对表征该评价体系优劣的四个维度均给出正面反馈，且意见集中程度较高，反馈数据从教师视角证明该评价体系在实际应用中的合理性。

表3 教师应用技师考核评价体系后的反馈

(二)评价体系测量效果分析

为进一步检验该技师研修评价体系对毕业生职业综合能力的测量效果，以2020、2021两届机电专业技师班毕业生入职后的雇主满意度为依据，将学生分为三组，即基本满意(3分)、满意(4分)、非常满意(5分)，检验不同组别学生技师研修成绩是否存在统计学上的差异。考虑到部分组别的样本较少(小于30)，且方差不齐，故采用Kruskal-Wallis检验。[9]以SPSS为计算工具，结果如表4和5所示。

由表4的秩均值可知，学生技师研修项目的总分与入职后企业对其满意度存在正相关性；由表5可知，不同满意度组别学生的技师研修成绩存在显著性差异。统计分析表明本文构建的技师研修评价体系能较准确地衡量技校毕业生的职业能力。

表4 秩

表5 检验统计量

(三)讨论

虽然实证数据初步表明本文所构建的技师研修评价体系具有较好的科学性和实用性，但本项研究尚存在以下三方面的局限。第一，研究设计的局限。受客观环境影响，本项研究在构建评价体系过程中所召集的咨询专家集中在宁波某技师学院及与其有稳定合作的若干家企业，专家团队较高的同源性有可能对评价指标的普适性构成一定的负面影响。第二，应用时空的局限。该评价体系投入技师研修的评估鉴定仅有两年时间，且应用范围仅限一所技师学院，在有限的时间和空间里不足以对评价体系的合理性和可操作性作出全面系统的检验。第三，检验样本的局限。受条件限制，本研究用于考查技师鉴定成绩与用人单位满意度之间相关性的样本量仅达到推断统计所要求的下限，较小的样本量在一定程度上削弱了实证研究的外部效度。

完善的技师研修评价体系是推进技能人才培养高质量发展的重要抓手。本项研究针对当前职业院校技师研修实践中存在的评价内容单薄、评价形式单调、评价主体单一的现实困境，提出学校与企业并举、过程与结果并重、传统与创新并存的设计原则，运用科学的指标选取和权重计算方法，构建起具有可执行性、可检测性和可推广性的技师研修评价体系，为职业教育评价研究积累了实证依据，也为职业院校技师培养的教学改革提供了一个可以借鉴的范本。