基于CIPP理论+AHP方法的“1+X”证书质量评价指标体系设计研究
2023-02-03张明齐
范 明,张明齐
(1.天津海运职业学院,天津 300350;2.天津商务职业学院,天津 300350)
一、研究背景
自2019年“1+X”证书制度实施以来,《国家职业教育改革实施方案》《关于在院校实施“学历证书+若干职业技能等级证书”制度试点方案》《关于扩大1+X证书制度试点规模有关事项的通知》《关于推进1+X证书制度试点工作的指导意见》等一系列文件相继出台,从制度层面对“1+X”证书制度的实践进行规范和指导。
在近些年的实践中,我国职业教育“1+X”证书制度已经取得了丰硕的成果。试点规模有序扩大,证书认可度持续提升,一大批行业龙头企业积极参与到试点项目中。职业院校通过将行业力量引入教育事业,推动了人才培养和评价模式的改革,修订了人才培养方案、进行了课程改革、教材改革等一系列变革。同时,文件也指出应当做好培训评价组织监督管理工作,建立培训评价组织行为监督评价系统,接受学校、教师、学生、家长及社会各方的投诉举报,发挥社会监督作用。建立一套完善的证书评价甄选管理办法,不仅要严把培训评价组织的入口关,还要做好证书实施的事中与事后的评价和监管工作,建立证书评价、整改、完善与退出机制。因此,做好“1+X”证书的评价工作,是保障证书甄选管理的前提,设计合理且行之有效的证书评价测量指标体系成为工作的关键。
二、文献综述
自“1+X”证书制度实施以来,大量的研究者和教育工作者在“1+X”证书人才培养模式、产教融合、课程改革、课证融通、制度保障、实施路径等方面都进行了广泛而深入的探讨。也有部分学者尝试从“1+X”证书评价方面进行了研究,取得了一定的成果。岑华锋,石伟平(2021)从当前“1+X”证书质量保障存在的主要问题出发,提出应当打造“三位一体”质量保障框架、制定预前性保障制度、建立工作指向的评估指标体系和引入独立客观的外部质量保障,并设计“1+X”证书质量保障框架。邹非(2021)利用层次分析法,从证书实施的必要性、证书实施过程和证书实施效果三个方面,16个指标维度对“1+X”证书制度实施效果评价体系研究,并给出了对策及建议。王伟伟等(2021)运用关键绩效指标(KPI),从工作机制、师资培养、人才培养、经费保障、目标等方面设计5个维度的19个评价指标,并明确了评分标准。康达(2020)从课程设计、培养环境、机构设置和社会贡献四个方面对技能培养效果进行测评,构建了“1+X”证书制度下技能培养效果评测指标与权重结构。近年来,关于评价方法的理论与应用研究也成为焦点。
综上所述,已经有研究者对“1+X”证书质量评价进行了积极的探索,但目前研究仍存在三方面不足。首先,对于“1+X”证书质量评价方法与应用方面的研究数量仍然较少,对“1+X”证书实施效果评价仍需进一步探讨。其次,没有针对“1+X”证书质量评价建立完善的量化评价指标体系。最后,目前的“1+X”证书评价指标理论研究尚不能全面考虑包括学生、教师、院校在内的多元主体的意见表达。
因此,本研究尝试构建一套“1+X”证书质量评价指标体系,使学生、教师和院校能够共同参与“1+X”证书质量评价,将客观指标评价与参与者的主观感受相结合,采用定量与定性相结合的方法,通过问卷调查的方式,在充分尊重专家组意见的基础上,借助科学的决策方法,提升指标体系的科学性和合理性。
三、指标体系开发
(一)基于全过程的评价理论
CIPP教育评价模型是1966年由美国学者斯塔夫比姆(D.L.Stufflebeam)提出,模型评估过程包括背景评价(Context Evaluation)、输入评价(Input Evaluation)、过程评价(Process Evaluation)和结果评价(Product Evaluation)。CIPP评价模式具有过程性、反馈性和全覆盖的显著特征。其主要优点包括:实施以决策和绩效为导向的评价模式;重视评估的改进;该模型为了能够实现持续改进而注重积累性研究;CIPP教育评价模型能够把诊断性评估、形成性评估、终结性评估完整地结合起来。综上所述,CIPP教育评价模型能够较好地实现对“1+X”证书质量的全员、全过程评价和反馈,注重持续的评估和改进。因此,本研究采用CIPP教育评价模型进行“1+X”证书质量评价指标框架设计。
(二)评价指标的初步选取
登录中华人民共和国教育部官网,以“1+X”证书作为关键词,搜索范围包括自2019年以来,职业教育与成人教育司公开文件,搜索结果包括:教育部等四部门印发《关于在院校实施“学历证书+若干职业技能等级证书”制度试点方案》的通知,教育部办公厅《关于推进1+X证书制度试点工作的指导意见》,教育部关于深入学习贯彻《国家职业教育改革实施方案》的通知在内的21份文件。对文件逐句进行人工筛选整理,挑选适合作为评价指标的表达语句,整理并提炼评价指标,合并相同含义的表达,最终保留60个词汇条目进入第一轮“1+X”证书质量评价指标体系X(1)。
背景评价(C)指标:证书的社会知名度;依据国家/国际行业标准开发;体现新技术、新工艺、新规范;符合产业需求,有一定前瞻性;符合社会及企业岗位(群)需求;职业技能综合性评价;典型工作任务能力考核;证书内容定位于具体工作岗位;符合目标学生学习规律;持续优化及更新;证书的行业口碑;主要负责人牵头制度。
输入评价(I)指标:考核大纲;培训教材;案例库、习题库等教学资源;建设模考平台;资源更新及时;教师培训绩效;院校预算经费保障;考核工作科学、标准、规范;培训评价组织建设考核保密制度;考核站点建设投入;协助试点院校师资培养;试点院校改善实训条件。
过程评价(P)指标:实训资源运行情况;试点院校将证书培训内容有机融入专业人才培养方案;协助试点院校组织培训;客服服务质量;持续优化及提升;考核费用定价;强制性收费培训;捆绑销售行为;配套资源收费合理;试点院校实施教学改革;专业与课程建设;学生报考积极性;为社会人员提供培训服务;试点院校优化课程设置与教学内容;深化校企合作;证书档案管理;取证标准规范;取证资格审核。
输出评价(P)指标:证书通过率;考核内容满意度(学生);配套资源满意度(学生);知识储备提升评价;知识与技能提升满意度;职业素养提升满意度;工作能力提升评价;同类证书推荐度评价(学生);收入提升评价;就业竞争力评价;开发标准满意度;证书内容满意度(教师);配套资源满意度(教师);考点建设满意度;师资培养满意度;技术保障满意度;同类证书推荐度评价(教师);院校报考人数比例等。
(三)评价指标的实证筛选
1.隶属度分析
隶属度概念源于模糊数学,是指集合中的元素属于某个集合的程度。本文采用隶属频率来定义隶属度的方法。具体而言,是把“1+X”证书质量评价指标体系视为一个模糊集合{X},将第一轮指标设计的60个指标项目视为该集合的元素。假设在第i个评估指标Xi上,被试选择Xi的总次数为M,即共有Mi位专家认为该指标Xi是评估“1+X”证书质量的适当指标。则该评估指标的隶属度为:
其中:Ri表示第i个指标属于模糊集合的隶属度;Mi表示认为该指标Xi是适当指标的专家数量;N表示有效问卷数量。
隶属度Ri的值越大,则该指标在很大程度上,属于模糊集合,即评估指标Xi在评估体系中很重要,可以保留该指标项目进入第二轮“1+X”证书质量评价指标体系X(2)中;反之,则该评估指标应当被删除。
采用问卷星方式把《“1+X”证书质量评价指标体系设计研究调查问卷》发放给熟悉“1+X”证书项目的专家和教师,要求专家和教师根据自身认识和经验,对初步设计的60个“1+X”证书质量评价指标的适当程度进行评价,共收回有效问卷107份。对107份有效问卷分别计算60个评估指标的隶属度,删除隶属度低于0.3的12个评价指标。保留其余48个评价指标,构成“1+X”证书质量评价的第二轮“1+X”证书质量评价指标体系X(2)。
2.鉴别度分析
评估指标鉴别度分析,即题项分析,其主要目的在于检验量表中个别题项的适切度或可靠度。具体而言,在“1+X”证书质量评价指标体系中,指标的鉴别度是指评估指标区分不同证书质量的能力。出于所获有效问卷样本量的影响因素考虑,本研究用变异系数来代表题项的鉴别度。
变异系数Vi的值越大,说明该指标的鉴别能力越强,可以保留该指标项目进入第三轮评估体系X(3)中;反之则说明指标的鉴别度越弱,则该评估指标应当被删除。
根据第一轮指标体系的筛选之后保留的48个评价指标分别编制学生问卷、教师问卷和教务问卷,通过问卷星方式发放。采用分层抽样的方法,随机选取天津市的5所“1+X”证书试点职业院校的师生作为问卷发放对象,共收回有效学生问卷112份,有效教师问卷47份,有效教务问卷5份。运用SPSS25统计分析软件,对学生问卷及教师问卷进行鉴别度分析。由于教务问卷为小样本,教务问卷仅作定性分析。
分别计算有效问卷中,“1+X”证书质量评估指标体系X(2)中包含的48个评估指标的变异系数,根据计算结果,删除鉴别度低于0.17的5个指标,保留其余43个指标构成第三轮“1+X”证书质量评价指标体系X(3)。
3.相关性分析
相关分析是通过测量评价指标之间的相关度,删除鉴别度偏低并与其他指标高度相关的指标,以消除或降低由于某些评估指标重复反应评价对象信息而可能带来的不利影响。相关分析包含以下三个步骤:
(1)对评估指标进行标准化处理。通过对原始数据进行标准化处理,减少评估指标由于量纲不同而对结果的影响。标准化值为Zi。
(2)计算评估指标(Xi与Rj)之间的简单相关系数Rij。
(3)根据研究需要,确定一个临界值M(0
使用SPSS25统计分析软件对第三轮“1+X”证书质量指标体系X(3)中保留的43个指标进行相关分析。得到评价指标的相关系数矩阵,根据计算结果,给定临界值M为0.8,删除了其中鉴别度相对较低的4个评估指标。保留了其余39个评估指标构成了“1+X”证书质量评价指标体系X(4)。
通过对第一轮设计的60个评价指标体系X(1)进行隶属度分析、鉴别度分析以及相关分析之后,最终得到了由包括39个指标在内的第四轮“1+X”证书质量评价指标体系X(4),具体指标见表1。
按调查对象划分的“1+X”证书质量评价指标体系:
学生问卷调查指标包括:职业技能综合性评价;典型工作任务能力考核;符合目标学生学习规律;培训教材;案例库、习题库等教学资源;建设模考平台;资源更新及时;考核工作科学、标准、规范;建立保密制度;实训资源运行情况;无强制性收费培训;证书档案管理;取证标准规范;取证资格审核;考核内容满意度(学生);配套资源满意度(学生);知识与技能提升满意度;职业素养提升满意度;同类证书推荐度(学生)。
教师问卷调查指标包括:依据国家/国际行业标准开发;体现新技术、新工艺、新规范;符合社会及企业岗位(群)需求;职业技能综合性评价;典型工作任务能力考核;符合目标学生学习规律;持续优化及更新;考核大纲;培训教材;案例库、习题库等教学资源;建设模考平台;资源更新及时;协助试点院校师资培养;实训资源运行情况;协助试点院校组织培训;客服服务质量;持续优化及提升;开发标准合理性;证书内容满意度(教师);配套资源满意度(教师);考点建设满意度;师资培养满意度;技术保障满意度;同类证书推荐度(教师)。
教务问卷调查指标包括:考核工作科学、标准、规范;建立保密制度;考核站点建设投入;考核费用符合指导定价;无强制性收费培训;无捆绑销售行为;配套资源收费合理;证书档案管理;取证标准规范;取证资格审核;考点建设满意度;技术保障满意度。
(四)评价指标信效度检验
根据前述经检验的指标体系分别设计《“1+X”证书质量评价调查问卷-学生问卷》《1+X证书”质量评价调查问卷-教师问卷》和《“1+X”证书质量评价调查问卷-教务问卷》并通过问卷星发放。共收回有效学生问卷125份,有效教师问卷98份,有效教务问卷8份。运用SPSS25统计分析软件,对学生问卷及教师问卷进行信效度分析,由于教务问卷为小样本,只做定性分析,不做信效度分析。
1.指标信度检验
本文采用Cronbachα系数作为内部一致性信度检验的信度指标,测量“1+X”证书质量评价指标问卷的信度。结果表明,学生问卷及教师问卷的总体α系数均超过0.9。表明该测量工具所得到结果的一致性或稳定性较好,该评估问卷具有较好的信度。
2.指标效度检验
本研究使用结构效度来说明评估问卷中设计的题目能够验证理论构想的程度,使用KMO检验。结果表明,学生问卷KMO值为0.895,教师问卷KMO值为0.903,说明“1+X”证书质量评价问卷具有较高的效度。
(五)评价指标权重设计
层次分析法(AHP,Analytic Hierarchy Process)是由美国佩兹堡大学教授T.L.Saaty开发的一种能够综合进行定性与定量分析的决策方法。其核心思想是把复杂的评价问题层次化,通过构造判断矩阵特征向量的办法求得每一层的各元素对上一层某元素的权重。鉴于层次分析法具有思路清晰、方便快捷、适用性广、系统性强等特点,本研究采用层次分析法构造判断矩阵,求出各指标相对目标层权重。
1.专家的代表性
为充分听取不同领域专家意见,本研究选取了来自四个领域的专家组成25人专家团队,其中包括:负责教学管理工作8人、一线教师8人、评价机构5人及行业企业专家4人。专家团队具体情况根据问卷整理所得,专家团队经验丰富,人员配合合理,具有较好的代表性。
2.建立层次结构模型
根据层次分析法的分析步骤,首先建立层次结构模型。在前述设计的第四轮“1+X”证书质量评价指标体系X(4)的基础上,将指标体系分为目标层、准则层、次准则层及指标层。
3.构造判断矩阵
构造判断矩阵和相对权重计算是由定性过渡到定量的核心,决定综合评估的科学性。通过向专家发放问卷的方法,对各层级构成要素相对于上层特定准则或目标的重要性进行两两比较,并构造判断矩阵,利用矩阵原理求解排序向量。
(1)判断矩阵A-B
相对于目标层而言,即“1+X”证书质量评价,准则层四个指标两两比较,得到判断矩阵:A-B=(bij)4×4
(2)判断矩阵B1-C、B2-C、B3-C、B4-C
(3)判断矩阵C1-D、C2-D、C3-D、C4-D、C5-D、C6-D、C7-D、C8-D、C9-D
4.层次单排序及一致性检验
为测试评判的可靠性或一致性,建立一致性指标。一致性检验用随机一致性比率CR衡量,当CR<0.1时,一般认为判断矩阵具有比较满意的一致性,即专家的决策者思维具有一致性。
通过对25位专家的咨询结果进行汇总整理,使用层次分析软件yaahp11.3计算出一、二、三级指标判断矩阵的λmax、CI、CR最大特征值对应的特征向量归一化处理结果等。判断矩阵CR值均小于0.1,通过一致性检验。
5.层次总排序及一致性检验
计算组合权向量并做组合一致性检验。一致性检验用总排序随机一致性比率CR衡量,当CR<0.1时,认为层次总排序通过一致性检验,各层次单排序的加权组合即为各元素对总目标的权重。经过计算,组合一致性通过检验。
(六)评价指标体系结果汇报
最终运用层次分析法对25位专家的咨询结果分析,通过检验后,最终形成了评价指标的权重。结果如表2所示:
表2 “1+X”证书质量评价指标体系
四、总结
本文的主要贡献在于尝试基于CIPP教育评价理论,使用层次分析法建立“1+X”证书质量评价指标体系。利用CIPP教育评价理论把诊断性评估、形成性评估、终结性评估完整地结合起来,将整个“1+X”证书实施过程纳入评价监督体系之中。评价过程中引入了包括学生、教师及院校在内的多元主体的意见表达,突出以学生为中心的理念。通过构建“1+X”证书质量评价指标体系,使得对“1+X”证书质量进行定量评价成为可能。对于保障证书甄选管理,做好培训评价组织监管工作,建立提醒、通报、整改、退出机制有积极的促进作用。
