职业院校培训质量评价指标体系构建研究——以重庆工商职业学院为例

胡 星

（重庆开放大学 重庆工商职业学院 终身教育中心，重庆 400052）

随着《深化新时代教育评价改革总体方案》《职业院校开展职业培训促进就业创业行动计划》《职业技能提升行动方案》《职业教育提质培优行动计划2020—2023》等一系列文件的出台，职业教育的社会服务功能更加突显，对职业培训的质量也提出了更高的要求。但与此同时，当前对于职业教育培训质量的评价工作还不完善，亟需加强对培训质量评价指标的研究与制定。对职业院校来说，构建一个结构完整、科学合理的培训质量评价指标体系，能发挥教育评价在推动职业院校深化综合领域改革的保驾护航作用，实现人才培养目标，及时反馈和诊断在培训中存在的问题，对推动培训质量的提升、规范培训管理具有重要的理论价值和现实意义。本研究以国家“双高计划”专业群建设单位重庆工商职业学院为例，探索职业院校培训质量评价指标体系的构建路径。

一、职业院校培训质量评价的现状

（一）理解职业院校培训质量评价的内涵

本文中的职业院校培训概念依据《普通高等学校举办非学历教育管理规定（试行）》对非学历教育的解释进行界定，它是指职业院校在学历教育之外面向社会举办的以提升受教育者专业素质、职业技能、文化水平或者满足个人兴趣等为目的各类培训、进修、研修、辅导等教育活动。当前，社会公认的关于职业院校培训质量评价的定义尚未出现，但有学者提出职业教育培训项目质量评价的概念。例如，胡如祥认为，职业教育培训项目质量评价是依据一定的教育目标，对培训活动及其效果进行状态描述或价值判断并为教育决策提供依据的过程［1］。田玉娟，徐博文认为，职业教育培训项目质量评价是对培训项目满足企业（社会）与个体需要的程度作出判断的活动，是对培训项目活动现实的或潜在的价值作出判断，以期达到职业教育培训价值增值的过程［2］。综合以上学者对质量评价的理解，既有从培训目标的达成率、问题解决程度来认识的，又有从培训效果、需求满足程度等角度来诠释的。本研究认为，职业院校培训质量评价就是职业院校根据培训目标，对学校开展的培训项目的训前准备工作、训中实施过程、训后培训效果等整体情况进行的价值判断和满足参训者和组织发展的需要的程度进行总体衡量与评价的过程。

（二）职业院校培训质量评价存在的问题

近年来，我国许多学者对培训质量评价指标体系进行了探索研究。一部分研究主要借鉴了国外柯克帕特里克模型（以下简称“柯氏模型”）、美国著名评价学家斯塔弗尔提出的CIPP模型等的优点研究构建自身的评价模型。例如，王超超通过分析比较Kirkpatrick模型、CIPP模型和教师专业发展评价模型的优缺点，提出河南教师培训质量评价指标体系框架的构建应注重培训前的决策性评价、培训过程中的过程性评价和培训后的效果性评价［3］。周晔，徐好好，张生花的研究也是在吸收柯氏模型、CIPP模型的优点，融合教师专业发展评价模型的基础上，构建承训机构的教师培训质量评价指标体系［4］。另一部分研究主要是聚焦行业特点，以培训对象为重点的培训质量评价指标体系的实例研究。张锐毅通过借鉴企业全面管理的思想，结合柯式模型和CIPP模型，根据四川卫生康复职业学院自身特点，构建了科学、合理、实用的医药类、教育类培训项目全过程三级评价指标体系［5］。夏海鹰，黄遵红的研究重点聚焦“国培计划”中的学科教师培训项目，引入OTP培训需求分析模式，构建了从投入到产出各环节及多元主体参与的“国培计划”项目质量评价OTP指标体系［6］。但在这些研究中，对具有普适性的培训质量评价指标体系研究较少，多为针对特定职业培训的质量评估，缺乏统一的比较基础［7］，无法满足当下职业院校培训质量的评价要求。本研究通过查阅文献资料，梳理了关于培训质量评价指标体系构建及应用的情况，并以重庆工商职业学院培训质量评价存在的问题作为典型案例，由点及面进行调查分析，发现职业院校培训质量评价存在以下五个方面的问题。

1.培训质量评价体系缺失

一些学校未建立专门针对培训质量的评价制度体系。以重庆工商职业学院为例，学校虽然在《人才培养质量评价管理办法（试行）》、二级学院年度质量建设工作评价指标体系中有提及职业培训的相关内容，但是，有关职业培训的工作只是作为二级学院专业建设、社会服务指标里的2—3个评价内容。进一步探究发现，这些文件只是把培训规模、培训基地数量、培训课程建设数量、培训收入作为激励性评价指标。因此，它与《深化新时代教育评价改革总体方案》提出的“加大职业培训的评价权重”还有一定距离。作为评价体系的核心内容和评估主要依据的评价指标体系尚未有效构建，培训评价标准模糊［8］，不能科学、真实、全面的反映培训的质量和效果。培训过程中也缺少有效的质量监控，培训质量无法得到保障。很多培训项目的评价主要是接受培训项目上级主管单位的评价考核，例如“国培计划”、一些市级教师培训项目都是由教育行政部门委托第三方进行评价。

2.培训评价内容不全面

培训质量不是单一的要素，而是由复合的要素构成的。由于在培训实施过程中缺少全面的质量管理理念，当前的评价主要以培训项目完成的满意度作为评价的主要内容，缺少对培训全过程、全要素的评价，未体现培训组织管理、训前需求分析、培训方案设计、培训实施、训后跟踪等影响培训成效的关键要素和重要工作的评价内容。缺少以上任何一项工作，都不能全面地反映培训质量，评价结果的科学性、有效性就会打折扣。

3.培训质量评价专业化不足

质量评价是一项具有较强专业性和复杂性的工作，指标的确定、数据的采集与分析都需要专人负责进行把控和输出。学校对于培训成效的了解和掌握缺乏专业化的手段和方法，且至今还停留在学员提交培训心得、培训满意度问卷调查的初级层面。至于参训学员学习成果转化的情况怎么样，是否能运用到实际工作中，就难以掌握了。

4.培训质量评价主体单一

当前学校的培训主要是由承训学院作为培训质量评价的主体单位进行自我评价，缺乏相关部门、第三方单位的参与，形成既是“运动员”又是“裁判员”的现象。评价方法和评价标准也是五花八门，评价质量参差不齐，无法保证评价结果的公正性、客观性和科学性，所形成的评价结果难以支撑培训工作的整体改进。

5.培训质量评价结果缺少运用

一是评价结果不能及时公布与反馈，致使培训工作的改进和优化联系还不够紧密，评价的结果只是作为学校掌握培训工作开展情况的窗口和载体。二是评价结果没有与承训学院的绩效考核、教师的奖惩进行挂钩，导致被评价的承训学院、管理人员、培训教师内驱动力不足、积极性不高，没有真正发挥培训质量评价的改进和激励作用。

二、职业院校培训质量评价指标体系构建的原则特点

培训质量评价体系实质上是一个指导及评价培训设计、教学、管理和服务等所有工作的体系［9］。构建这个体系，应遵循以下四个原则。

（一）注重科学设计

没有科学的评价，就没有科学的管理与决策。评价指标体系的设计应遵循职业培训的规律和特点，能够反映培训过程的实际效果和水平。要结合学校的管理制度和实际，科学合理设计评价标准，规范评价流程，综合运用多元考核主体参与、直接评价与间接评价相结合、定性评价与定量评价相结合、内部评价与外部评价相结合、过程评价与结论评价相结合的多样化评价方式及评价策略，对承训的二级学院开展培训的质量做出科学合理的评价。

（二）体现全面系统

全面性的评价应贯穿培训前、培训中和培训后三个阶段全过程。每个阶段的每项评价指标都是整个评价体系的组成部分，单独看这些指标它们也许反映评价对象的某一个特点，但综合起来就能反映评价对象的整体属性或特点。因此，在指标设计时要全面客观、逻辑严密、层次分明、相互关联、统一协调，能充分体现整个评价体系的完整性和系统性，且应该综合运用多个角度、多种方法、多个评价主体进行评价。

（三）发挥实效作用

要充分发挥质量评价结果对承训学院的规范、激励和改进功能。一是以评促改，及时诊断、反馈学校在开展培训过程的问题，进一步改进和优化培训，规范培训行为，促进培训质量的提升。二是推动建立评价结果与绩效考核、职称评聘、评优评先等挂钩的奖惩机制，激发承训学院和教师参与培训的积极性，逐渐形成自我完善和提高的运行机制。

（四）突出操作可行

鉴于培训质量的评价要用于实际培训工作中，因此，不仅评价指标的内涵表述要明确、清晰，还应考虑获取和分析指标数据的难易程度［10］，力求做到简便、易操作、切实可行，便于推广使用才是至关重要的。

三、职业院校培训质量评价指标体系构建

本评价指标体系的构建，采用文献研究、个案研究、调查研究（征求学校各个部门意见）—修订完善”的研究路线，综合运用柯氏评估模型、CIPP评价模型的研究成果，结合重庆工商职业学院开展培训的实际情况，最终构建一级指标、二级指标、主要观测点、权重、评价标准、评价方式等六个模块，共计100分，得分90分及以上为优秀，75～89分为良好，60～74分为合格，60分以下为不合格。一级指标4个，二级指标13个。二级指标是对一级指标的细化与分解，二级指标包括管理团队、制度建设、经费管理、需求分析、培训方案、培训内容、培训师资、培训方式、过程管理、培训档案、培训满意度、学员变化、培训成果。观测点17个，它是衡量二级指标的要点。权重是评价指标要点的分值划分。评价标准是对相应观测点的想要达到的理想状态和水平，是观测要点的具体化、行为化和可操作化的体现。评价方式是对评价者使用评价指标的操作建议，也是评价者客观评价每项指标的实际情况时可以使用的具体的获得相应数据的方法。参见图1。

图1 培训质量评价指标体系构建框架结构图

（一）培训前阶段主要指标

1.培训管理

二级学院是学校培训工作的实施主体，培训管理工作是学院顺利完成培训项目、保障培训质量的基础，主要包括管理团队、制度建设、经费管理三个部分。培训工作的开展须在二级学院建立培训的组织管理机构，设立专门负责培训的分管院领导、培训管理人员、项目团队，而且要分工明确、职责明确。培训的管理须以学校非学历教育培训管理办法和二级学院的配套相关管理制度为基础，确保培训行为规范有序。对培训经费的管理做到专款专用，预算经费合理。参见表1。

2.培训设计

培训设计是培训正式实施前的重要环节。高质量的培训方案是高质量培训的前提，而高质量培训方案设计的前提是做好需求调研。为了保证培训质量，培训方案的设计主要从以下几个方面考虑：培训目标的定位是否精准；培训对象、时间、地点是否明确；培训内容是否符合培训主题；培训是否能满足参训学员实际需要且课时安排合理；培训方式是否多样化；培训师资配置是否符合培训需求，理实结合，教学能力强；经费预算是否合理等。参见表1。

表1 培训前阶段主要指标

（二）培训中阶段主要指标

培训实施。它是培训过程的主要呈现，也是对培训质量评价的最重要的环节，在整个指标体系中分值占比最大，主要包含培训内容、培训方式、培训方式、培训师资、过程管理、培训档案等6个指标。其中，培训内容是否紧扣培训主题，符合学员发展需要，培训方式是否多元化，促进学员参与互动，都是培训实施的重要载体，是影响培训目标的达成、培训效果的好坏的重要因素。培训师资的质量主要从教师的教学态度、职业素养、专业知识、实践技能、教学能力、教学效果以及对学员的指导等方面进行评价。做好培训的过程管理是培训规范化管理的有效手段，对培训过程进行监控，搭建学员互动平台，实时跟踪培训情况，收集参训学员对培训的意见建议，对及时调整优化培训解决方案尤为重要。同时，做好对培训档案资料的收集和整理，这是培训全过程的记录，也体现承训学院的管理水平和培训专业化程度。参见表2。

表2 培训中阶段主要评价指标

（三）培训后阶段主要指标

培训效果。它既是对培训成效的衡量和评价，也是持续改进培训的重要依据，主要从参训学员、委培单位对培训项目的反应和评价，学员对培训知识技能的掌握程度，学员在工作中行为的改变等三个维度进行设计，包括培训的满意度、学员变化、培训成果三个主要指标。其中，培训满意度评价是整个评价体系中最基本、最重要的评价指标，主要是了解参训学员、委培单位对培训项目的满意度、意见和建议，通过满意度调查问卷进行测评。学员变化主要是了解培训是否达到预期培训目标、学员是否收获新知识和技能，对实际工作有无指导或帮助作用，这些都能直观地反映培训的质量。培训成果是培训产生的价值和积极的社会影响，包括形成有推广价值的典型案例、经验模式，在服务国家战略和区域经济方面的贡献等。评价可通过参训学员、承训学院、管理部门、第三方机构、送培单位等来进行测评。参见表3。

表3 培训后阶段主要评价指标

四、结语

本指标体系在征求学校各部门意见的基础上进行了修订，下一步将应用在实际培训工作中，并根据实践情况不断修正和完善指标体系。最终，将形成一套科学有效的培训质量评价工具，切实发挥评价的激励改进、监控反馈等功能，对学校培训工作质量进行全面客观的评价，也为培训工作提供标准和规范，持续改进和优化培训行为，推动职业技能培训高质量发展。