高职院校内部专业评价体系的研究

徐雅娜　胡晓旭　赵萍

摘 要：为实现高职院校专业自主调控机制，在分析和研究现有高职院校内部专业评价体系不足的基础上，采用Delphi法建立高职院校内部专业评价指标集，基于系统工程的理论构建评价体系的三级分层结构框架，采用层次分析法计算各指标的权重，并且进行了判断矩阵一致性检验。通过对辽宁省交通高等专科学校4年专业发展状态的测评，证明该系统能科学、稳定、实时地监控专业的发展轨迹，可以为高职院校的专业建设、诊断和结构调整提供依据。

关键词：专业评价体系；Delphi法；系统工程；层次分析法

作者简介：徐雅娜（1970-），女，辽宁盖州人，辽宁省交通高等专科学校副校长，教授，研究方向为高等职业教育管理研究。

基金项目：辽宁省教育厅项目“高职院校专业发展状态评价与监测机制研究与实践”（编号：W2015235），主持人：徐雅娜。

中图分类号：G710 文献标识码：A 文章编号：1001-7518（2016）06-0021-05

人才培养质量是学校发展的生命线，目前我国高等教育正从精英教育经过大众教育步入普及教育，在正常的招生制度规范下，生源的水平是一个非主动性的影响质量的客观因素。因此，对学校来说，人才培养质量的高低主要取决于学校的人才培养工作质量，取决于学校各个层次、各个部门、各个岗位工作的有效性。其中，专业建设水平高低是保障人才培养质量最根本的因素。如何客观、科学、合理地评价专业的发展状态、及时预警和纠正专业发展过程中可能存在的偏差，保障专业正确的发展方向和发展轨迹，对保障专业正确的发展方向、保障人才培养质量来说都是一个十分现实的关键问题。

教育部关于《推进高等职业教育改革创新引领职业教育科学发展的若干意见》（教职成[2011]12 号文件）中提出围绕专业建设构建专业建设评价机制，建立高职专业建设评价机制是高职院校专业质量提升的需要，也是高职自身专业规范化发展、加强自律的需要。专业评价涉及面大，数据量大，头绪繁杂，定性与定量难度很大。目前大多数关于高校内部专业评价的研究停留在理论研究范畴[1-6]，且大都停留在臆断、定性评价的阶段，还没有形成规范的专业评价机制，评价系统不完善，评价标准不规范，随意性较大，很难起到预警、诊断、改进与提高的作用。笔者根据多年的教学管理经验，以构建科学、合理、具有可操作性的专业评价监控体系为目标，通过对“人才培养工作质量数据平台”数据和辅助性教学、管理数据的采集、整理、量化和建模计算，实现了对专业发展状态的客观评价，使学校的专业发展更加科学化、合理化。

一、基于Delphi法建立高职院校内部专业评价指标集

专业是高职院校人才培养的基本单位，专业建设工作涉及人才培养的方方面面，如培养目标定位、培养规格、课程体系、课程建设、师资队伍、实验条件、培养效果、招生就业等等，为此，笔者采用Delphi法[7]科学系统地确定了专业评价指标集。首先通过文献检索、专业调研、专家访谈等方式将涉及专业建设和专业发展的所有因素列出，以此为依据，设计调查问卷。其次组建由各评价相关部门的负责人、各专业主任组成的专家组。然后向专家组专家进行了三轮的问卷调查，调查采用Likert 5级评价法（5分表示很重要；4分表示比较重要；3分表示一般重要；2分表示不重要；1分表示很不重要）。经过三轮反复，专家意见逐渐集中，最后通过Delphi法计算得出满意的指标因素集。

二、基于系统工程的理论构建系统结构框架

专业评价是一个耦合因素较多、复杂度较高的系统工程，涉及面很多，数据量极大，因此本文以系统工程的思想来构建系统结构框架，尽可能以较少的指标（数量较少，层次较少）较全面系统地反映各专业的发展态势，既要避免指标体系过于庞杂，又要避免单因素选择，追求的是评价指标体系的总体最优或满意[8]。并且基于以下原则遴选各级评价指标：

客观性原则。评价指标尽可能细化、量化，以提高评价的“客观性”、“可靠性”。

系统合理性与可操作性兼顾原则。评价指标体系既能全面、完整地反映各专业的发展态势，又易于调查和采集相关数据。

可比性和灵活性相结合原则。所选指标的分类、计量方法、口径应相互统一，相互可比，以实现不同时期同一专业的纵向对比和同一时期不同专业的横向对比。在通用可比的原则下，尽可能照顾不同专业的特点，灵活设计指标，使该评价指标体系具有最大的可行性。

通过专家组反复论证，最终确定本系统三级分层的结构框架，其中一级指标有9个，二级指标24个，观测点70个。从专业内涵建设、人才培养效果、特色建设三个维度较全面地测量了学校各专业的发展状态。

专业建设指标测量了专业的市场适应情况、专业的建设水平以及现状，对应的二级指标是专业调查、专业建设方案及规划、专业自评报告、专业建设亮点。师资队伍建设指标测量了专业教师团队结构和素质，对应的二级指标是师资结构、师资建设亮点、师资培养。课程建设指标测量了专业课程建设和教学改革的状态，对应的二级指标是课程建设规划与实施、教学文件、课程资源建设、课程建设亮点。实践教学指标测量了专业实践教学的体系和效果，对应的二级指标是校企合作、校内实训。教科研指标测量了专业教师团队整体的教科研水平和能力，对应的二级指标是教科研项目、论文著作和学术交流。学生素质指标测量了学生的培养情况，考虑到各专业学生的差异性，在确定观测点时按照通用可比原则尽可能找出各专业的共同点，根据专家讨论的结果，对应二级指标为职业素质、外语能力。招生就业是专业发展的生命线，同时也反映了专业的人才培养质量，对应的二级指标为招生、就业、培养效果。为鼓励专业创新教育，本文在系统中增加了特色项目指标，主要包括两个二级指标：一是自创性项目，主要是指取得的有利于专业发展的自创性、特色性项目或成果，且系统的其余八个方面没有涵盖的；二是学校专项，该项是指学校在不同时期开展的专项创新教育活动。

三、基于层次分析法计算权重

层次分析法（AHP）是美国运筹学家匹茨堡大学教授萨蒂（T.L.Saaty）于上世纪70年代初提出的，其特征是合理地将定性与定量的决策结合起来，按照思维、心理的规律把决策过程层次化、数量化，是系统科学中常用的一种系统分析方法[8]。本文采用这种方法计算构建系统框架的各级指标权数，并且进行了一致性检验，见表1-表10。

采用本系统对辽宁省交通高等专科学校2011-2014年度各专业的发展状态进行了测评，测评结果符合实际情况，能够达到满意的结果，证明了该系统的科学性和稳定性。本文构建评价系统的一、二级指标及其权重详见表11。

表2 专业建设判断矩阵与权重

注：判断矩阵一致性比例：0.0000，对总目标的权重：0.0611：＼lambda_{max}：4.0000

表3 师资队伍判断矩阵与权重

注：判断矩阵一致性比例：0.0000，对总目标的权重：0.0897：＼lambda_{max}：3.0000

表4 课程建设判断矩阵与权重

注：判断矩阵一致性比例：0.0012，对总目标的权重：0.1302：＼lambda_{max}：4.0104

表5 教学管理判断矩阵与权重

注：判断矩阵一致性比例：0.0000，对总目标的权重：0.0251：＼lambda_{max}：3.0000

表6 实践教学判断矩阵与权重

注：判断矩阵一致性比例：0.0000，对总目标的权重：0.1335：＼lambda_{max}：2.0000

表7 教科研判断矩阵与权重

注：判断矩阵一致性比例：0.0000，对总目标的权重：0.0875：＼lambda_{max}：3.0000

表8 学生素质判断矩阵与权重

注：判断矩阵一致性比例：0.0000，对总目标的权重：0.0479：＼lambda_{max}：2.0000

表9 招生就业判断矩阵与权重

注：判断矩阵一致性比例：0.0053，对总目标的权重：0.4067：＼lambda_{max}：3.0055

表10 特色项目判断矩阵与权重

注：判断矩阵一致性比例：0.0000，对总目标的权重：0.0184：＼lambda_{max}：2.0000

表11 专业评价系统指标及权重

四、分析与探讨

本文基于系统工程的研究方法，构建了高职院校内部专业评价体系，从涉及专业建设和专业人才培养质量的各个层面全面地评价了专业的发展状态；在指标的设置上，综合了Delphi法和系统工程理论的优点，指标体系全面、系统，体现了系统构建的广度和深度；在权重赋值上，采用了定性与定量相结合的层次分析法，保证了系统的科学性、客观性。通过对辽宁省交通高等专科学校的2011-2014年度连续4年全校40多个专业发展状态的测评，测评结果得到了全校广泛的认可。

分析专业建设等9个一级指标对专业评价总分的影响（见图1），可以发现，招生就业对评价总分的影响最大，招生就业曲线与评价总分曲线变化趋势的正相关性很明显；教科研、专业建设、师资队伍、课程建设、实践教学等对评价总分的影响程度次之，形成了“招生就业决定专业的基本走向，其它指标共同决定专业的最终位次”的变化规律，符合本文对系统设计的基本思想。

图1 评价体系的9个方面对专业评价总分影响

的定性分析图

测量评价体系与人才培养系统构成一个带反馈的闭环结构，支持人才培养系统按照“计划-实施-检查-改进”的循环不断向前发展[9]，因此，一个有效的测量评价体系不仅要具备系统性、科学性的特点，更要具有标准化和稳定性的特点，使系统能有效地实施对专业发展状态的实时监测。评价指标的细化、量化是保障系统评价结果客观、不失真的关键环节。为此，在使用本系统实施专业评价时，首先尽可能地细化评价指标，每个二级指标下设2-4个观测点，每个观测点确定明确的评价标准。如“师资结构”指标下设了4个观测点，即“年龄结构”、“职称结构”、“学位结构”、“外聘教师”，其对应评价标准分别为“老、中、青教师比例接近1：1：1”、“高级职称以上教师占专任教师比例高于30%”、“硕士学位以上教师占专任教师比例高于80%”、“外聘教师比例达到30%以上”、“外聘教师具有中级及以上专业技术职称或技术级别”。其次是尽可能地量化评价指标。本系统的70个观测点中有40个是基于二元判断原则评价的，即满足评价标准得满分，不满足评价标准得零分；对于能方便获得基本工作参数的指标，如招生、就业、教科研等，以反映各评价指标和观测点的基本参数为变量，建立数学模型，通过计算直接获得评价分值。如系统中计算报到率评价分值的公式是

E=（（3+S/200）*R-2）*5

式中，S是招生计划人数，R是报到率。该公式不仅考虑了报到率对招生指标的影响，还考虑了专业招生规模对招生指标的影响。从评价结果来看，这种计算方法在兼顾大专业在工作难度的同时，也保留了竞争力特别强的小专业在该项指标竞争中的机会。

五、结论

专业评价体系的构建是一个复杂的系统工程，体系的科学性、可操作性、稳定性是关系到系统的评价结果能否客观地反映专业发展状态的关键。实践证明，本文结合系统工程理论和层次分析法构建的系统能够起到专业实时监控、预警的作用，可以为学校的专业建设和专业调整提供依据。但在实施的过程中，还需要进一步研究系统的运行机制，构建“招生—培养—就业”的联动运行机制，借助相互合作、整体协调的机制，形成学校部门间联动育人的协同力，促进专业的健康成长，保证人才培养质量。

参考文献：

[1]林桂花.提高高职院校专业建设校本评价有效性的策略研究[J].湖南工业职业技术学院学报，2014，14（3）：78-80.

[2]孙爱东.高校专业自主调控模式下的专业评价机制研究[J].黑龙江高教研究，2013（3）：44-46.

[3]姜庆伟，王晓江.高职院校专业建设评价体系分析与构建——以陕西高职院校专业建设为例[J].职业技术教育，2013（26）：14-16.

[4]胡燕红.校本专业评估指标体系的矛盾与重构[J].煤炭高等教育，2012（1）：87-90.

[5]张文毅，肖万里，李汉邦.高校内部专业评估指标核心要素探析[J].昆明理工大学学报，2011（2）：91-96.

[6]刘经兰，刘松林.影响高职专业评价真实性的因素及对策[J].职教论坛，2010（7）：42-46.

[7]张炳江.层次分析法及其应用案例[M].北京：电子工业出版社，2014.

[8]胡晓旭，赵萍，闫丹.以教学系为视角的人才培养质量评价体系的构建研究[J].辽宁省交通高等专科学校学报，2014（5）：48-50

[9]余明辉，郭锡泉.现代职业教育体系下专业人才培养质量的测量与评价[J].中国高教研究，2015（9）：98-101.

责任编辑 殷新红