教育增值视角下的高校教育质量评价与提升机制研究

林建平，朱晨辉，贺佳佳，邓爱珍，孟丽红

(1.赣南师范大学地理与环境工程学院，江西赣州，341000；2.湖南师范大学地理科学学院，湖南长沙，410000；

3.江西应用技术职业学院，江西赣州，341000)

教育评价作为教育改革和发展的指挥棒，是对教育活动或现象进行价值判断的过程，对教育事业的改革和发展具有重要的引领作用。长期以来，我国一直以学校的升学率和就业率衡量教育质量，这种评价方法存在较多不足，如只看见校际产出的现实差距，忽略了学校投入的差距，不利于提高学校的办学积极性和教师的教学积极性。[1]2020年，中共中央、国务院印发《深化新时代教育评价改革总体方案》，提出探索教育增值评价等举措，着力破除唯分数、唯升学、唯文凭、唯论文、唯帽子的顽瘴痼疾。[2]

我国教育增值评价研究起步较晚，仍处于探索阶段。1997年，张煜发表《学校效能评价——一种对学校进行综合评价与质量监控的理论与方法》一文，指出多层分析法是教育增值评价的具体运用。[3]直到2007年，孙绵涛才明确提出学校效能评价的概念。[4]张文静等人以42所小学的学生和教师为研究对象，并建立基础增值模型，在控制学生背景变量条件下，观察小学生学业成绩增长受教师教学方式的影响。[5]这项研究是我国教育增值早期的实证研究。此外，马晓强等人集中研究了学校效能一致性。[6-7]总体而言，我国教育增值评价领域的研究成果绝大多数是理论研究，重点集中在内涵的确定和意义的探讨，而具有可操作性的实际应用研究还不够深入[8]，教育增值评价体系如何构建、模型如何选取等一系列问题仍值得进一步探讨。对此，本文以某高校人文地理与城乡规划专业为例，结合专业培养目标、培养质量评价内涵等要求，构建教育增值评价的指标体系，通过327份调查问卷获取评价指标相关数据，采用模糊综合评价法、主成分分析等方法，定量评价高校教育增值情况，为客观呈现教育增值评价和提升教育质量提供依据。

一、研究方法与数据来源

(一)研究方法

1.模糊综合评价法

模糊综合评价法(fuzzy comprehensive evaluation method，FCEM)，是一种基于模糊数学的综合评价方法，根据模糊数学的隶属度理论把定性评价转化为定量评价，即用模糊数学对受到多种因素制约的事物或对象做出一个总体评价。[9]模糊综合评价法具有结果清晰、系统性强的特点，能较好地解决模糊的、难以量化的问题，适合解决各种非确定性问题。一般来说，教学质量采用模糊数学的方法进行综合评价，将更接近实际情况。

模糊综合评价法的一般步骤为：第一，指标的构建，即广泛涉猎该评价指标系统行业资料或相关法律法规。模糊综合评价指标体系是进行综合评价的基础，评价指标的选取是否适宜，直接影响综合评价的准确性。第二，权重向量的确定，即通过专家经验法或AHP层次分析法构建权重向量。第三，构建隶属矩阵，建立适合的隶属函数，从而构建好隶属矩阵。第四，隶属矩阵和权重的合成，采用适合的合成因子对其进行合成，并对结果向量进行解释。[10]本文先通过SPSSAU求出各单一因素对各个评审等级的归属程度，即隶属度评判矩阵，然后根据各因素在评价目标中的权重分配，借助模糊矩阵合成求出评价的最终得分。

2.主成分分析法

主成分分析法(principal components analysis，PCA)是一种降维的统计方法，是将原来众多具有一定相关性的指标(如P个指标)，重新组合成一组新的互相无关的综合指标。[11]通常，数学方面的处理就是将原来P个指标进行线性组合，以组合成新的综合指标。最经典的做法就是用F1(选取的第一个线性组合，即第一个综合指标)的方差来进行表达，即Va(rF1)越大，表示F1包含的信息越多。在所有线性组合中，选取的F1应该是方差最大的，故称F1为第一主成分。如果第一主成分不足以代表原来P个指标的信息，再考虑选取F2即选第二个线性组合。为了有效地反映原来信息，F1已有的信息就不需要再出现在F2中。用数学语言表达就是，要求Cov(F1，F2)=0，则称F2为第二主成分。依此类推可以构造出第三、第四……，第P个主成分。

3.熵权法

熵权法是一种客观赋权方法[12]，在具体使用过程中，根据各指标数据的分散程度，利用信息熵计算出各指标的熵权，再根据各指标对熵权进行一定的修正，从而得到较为客观的指标权重[13]。本文采用熵权法确定教育增值评价指标权重。

(二)数据来源

本研究根据教育增值评价指标体系设计问卷，共发放问卷343份，收回有效问卷327份。某校人文地理与城乡规划专业在读的大二、大三、大四本科生共175人，主要了解学生在校期间教育增值过程；近5年在政府、企事业单位等工作的人文地理与城乡规划专业毕业生共152份，主要调查毕业生综合素质增值情况。

二、教育增值指标体系的构建与信效度分析

(一)指标体系的构建

教育增值评价指标体系是对被评价对象全部或部分特征的真实反映，是评价的标准和尺度。加强对教育增值评价指标体系的研究，构建一套科学、高效、可行性强的评价指标体系至关重要，有利于发挥指标的导向功能。本研究从教育增值的现实及教育发展目标和重点工作出发，在参考借鉴已有研究成果的基础上，兼顾相关统计数据的准确性和可获得性，并采用德尔菲法综合专家和学者意见，进一步调整和完善了评价指标体系，主要从学生在校期间的增值过程及用人单位对毕业生增值结果两个方面分别建立过程评价和结果评价2个一级指标、10个二级指标、24个三级指标，以全面反映教育增值情况。其中，过程评价包括教学内容、教学方法、教学目标、专业认同及教学效果，结果评价包括知识水平、能力素质、身心素质、公民道德以及政策法规等。

为方便统计，本文在问卷设计时参考李克特五分量表法，每个问题在“很不满意”到“非常满意”，“很不认同”到“很认同”，“很不好”到“很好”，“非常差”到“非常好”五个选项中做出唯一选择。题目选项正向赋值，分别对应1、2、3、4、5分，得分越高说明增值越多。为体现不同指标的影响程度，本文首先采用熵权法计算一级指标的权重，并在此基础上，计算出二级权重和三级指标权重。之后，通过咨询专家意见和查阅相关文献，本文对初始权重值进行调整，使其更好地反映研究对象的真实情况。指标体系及权重如表1所示。

表1 评价指标体系及权重表

(二)信效度分析

为保证问卷的可靠性，本文对问卷进行了信效度分析。一般情况下，总量表的信度系数应在0.8以上，分量表的信度系数应高于0.7。[15]本研究利用SPSS 19.0对过程评价和结果评价分别进行了信度分析，总体信度分别为0.871和0.957，说明两个量表的信度均可以接受。

效度分析是用来衡量量表的准确度的分析方法。本文利用SPSS 19.0软件分别进行了KMO和Bartlett球形检验，过程和结果评价的问卷Bartlett球形检验均小于0.05，且量表的KMO检验分别为0.855和0.924，说明量表的准确度较高，可做因子分析。

三、评价结果与分析

(一)教育增值的描述性统计

从均值来看，各指标平均分在3.03—4.16，如表2所示。其中，X8的得分均值较低，说明学生理论用于实践的能力有待进一步加强。Q12、Q13、Q143个指标的均值在4以上，说明学生思想品质的增值较大。其余指标都达到了中等以上水平。从标准差来看，所有指标问卷得分的标准差均小于1，表明不同学生或用人单位的评价整体偏差较小。

(二)模糊综合评价结果

为分析教育增值的总体情况，本文采用模糊综合评价法对增值情况进行评价。首先，本文分别对每个三级指标进行模糊综合评判，其次与一级指标的权重进行模糊综合，最后得到基于过程评价数据的模糊综合评判结果。经过SPSSAU的在线分析得出，三级指标的模糊评判值如表3所示。

表3 各三级指标评价情况

根据模糊综合评价公式，过程评价五个二级指标下隶属度评判值如下。教学内容的隶属度评判值为：A1=(0.156，0.536，0.288，0.017，0.002)。教学方法的隶属度评判值为：A2=(0.06，0.45，0.45，0.04，0)。教学目标的隶属度评判值为：A3=(0.122，0.474，0.353，0.051，0)。专业认同的隶属度评判值为：A4=(0.12，0.48，0.36，0.03，0.01)。教学效果的隶属度评判值为：A5=(0.07，0.41，0.46，0.05，0.01)。根据五个指标在过程评价中的权重系数(G1=0.22，G2=0.02，G3=0.33，G4=0.36，G5=0.07)，最终得到过程评价的模糊综合评价向量为0.124，0.485，0.351，0.036，0.004。

同理，结果评价五个二级指标下隶属度评判值如下。知识水平的隶属度评判值为：B1=(0.158，0.39，0.382，0.061，0.009)。能力素质的隶属度评判值为：B2=(0.197，0.408，0.33，0.053，0.012)。身心素质的隶属度评判值为：B3=(0.2，0.42，0.33，0.05，0)。公民道德的隶属度评判值为：B4=(0.348，0.456，0.178，0.012，0.006)。政策法规的隶属度评判值为：B5=(0.175，0.408，0.377，0.035，0.005)。利用因子分析法得出结果评价的权重系数(J1=0.38，J2=0.56，J3=0.01，J4=0.03，J5=0.02)，最终算得结果评价的模糊综合评价向量为0.186，0.403，0.346，0.054，0.011。

两个一级指标的权重分别为0.353和0.647，模糊综合评价的最终隶属度评判值为0.164，0.432，0.348，0.048，0.009。根据各评价集的得分可以算出该评价指标体系在模糊综合评价方法下的综合得分为3.695，介于3和4之间，说明调查样本的教育质量属于中等偏上接近优秀的水平，无论是学生还是用人单位对其评价均较高。

(三)主成分分析结果

为进一步分析各指标因子对教育增值的影响，本文采用主成分分析法对指标因子进行分析，结果如表4所示。24个成分中特征值大于1的为成分1—5，累计贡献了75.491%，累计贡献率超过了60%，说明前5个主成分因子足以解释原始变量总方差，能概括大部分信息。从第6个点开始，特征值点趋于平稳。根据主成分提取结果，本次研究提取得到5个主成分。

表4 主成分提取表

如表5所示，第一主成分与Q1—Q16存在正相关关系且载荷较高，Q1(基本理论)、Q2(设计技术)、Q7(终身学习能力)、Q15(政策法规掌握情况)载荷最高，因此，第一主成分可视为“学生的知识水平和能力素质”；第二主成分与X1(教学满意度)、X2(课程认可度)、X3(软件授课满意度)都存在较强的正相关，且载荷较高，第二主成分可视为“教师的教学内容”；第三主成分与Q5(工作环境适应能力)、Q13(职业道德)存在正相关关系且载荷较高，虽然Q5的载荷最高，Q13次之，但因为第二主成分已经代表过能力素质指标，所以第三主成分可视为“公民道德”；第四主成分与X5(教师教学认可度)存在较强的正相关，且载荷很高，第四主成分可视为“教师的教学能力和水平”；第五主成分与X4(理论与实践认可度)存在较强的正相关，且载荷很高，第五主成分可视为“教师的教学方法”。因此，学生的知识能力和水平及教师的教学内容、公民道德、教学能力和水平、教学方法直接影响教育增值水平。

表5 主成分载荷矩阵

本文将五个主成分的得分记为F1、F2、F3、F4、F5，以5组主成分相应的特征值除以特征值总和作为权重数，建立主成分综合得分模型：F综=0.539×F1+0.267×F2+0.077×F3+0.62×F4+0.055×F5，得分情况和排名情况如表6所示。如果综合得分为正，且得分越高，说明对教育增值的影响越大；如果综合得分为负，得分越低，说明整体的影响越小。从综合得分来看，在过程评价中，主成分得分系数较高的三级指标是X1(教学内容满意程度)和X6(教学目的的理解程度)，说明这两个指标对教育增值影响最明显。在结果评价中，综合得分排前三的指标分别是Q3(城乡规划专业工具)、Q5(新工作环境适应能力)和Q16(法规知识实际运用)，说明这些指标增值相较其他指标更为明显。

由表6可知，X3(学生对软件的课程讲授满意程度)、X5(学生对各任课教师认同程度)、X7(培养计划、培养方案及整体认同感)、X8(学生学以致用的能力与水平)等教育过程指标得分较低，Q8(规划文本写作能力)、Q9(团队合作能力)、Q12(政治素养)等结果评价指标较低，需要在以后教育中加以改善。

表6 主成分得分及综合得分排名

四、分析与讨论

(一)基于学生问卷的过程评价的分析与讨论

过程评价能反映学生对教师教学和专业认同的情况，为后续教师教学方法的改进和专业认同的提升提供方向。从过程评价来看，学生对X1(教学内容科学性、思维性，教书育人的结合满意度)和X6(教学目的的理解度)2个指标对增值影响最明显，重点关注这2个指标尤为重要。同时，其他部分指标也需得到进一步关注。

第一，学生对各任课教师知识、智力和教育因素的认同程度最低。对此，高校教育应重视师资队伍建设，教师应提升自我知识储备和教学技能。在师资考核方面，高校可以采取定期考核，优胜劣汰的考核制度，在调动教师积极性的同时，也保证了师资队伍的优良供给。

第二，学生对各种规划必学的软件的课程讲授满意度欠佳。在教学过程中，教师应尽量详细地讲授软件操作的原理和过程。熟练操作软件是学生将来步入社会从事规划行业最重要的技能之一。

第三，学生对专业培养计划、培养方案的认同感以及学生对本专业整体的认同感不高。专业认同是职业认同的一部分，增强学生的专业认同感是非常有必要的。学生只有对专业有归属感、成就感，才会加大投入力度，投入更多精力与热情到学业上。

第四，学生学以致用的能力不足。对此，高校应加强相关能力的培养，多设置实践课程，让学生把理论和实践结合起来，培养其解决现实问题的能力。以人文地理与城乡规划专业为例，大部分学生的直接就业方向是从事规划相关的工作，在本科学习期间不仅要了解基础知识和基本技能，而且要参与社会实践，提前感受学习规划的意义。

(二)基于用人单位问卷的结果评价的分析与讨论

用人单位评价可以直观地看出专业培养方案的优点和不足，反映出学生的能力水平。一般而言，用人单位对学生的满意度越高，教育增值效果越好。从调查结果看，用人单位对城乡规划专业工具、新工作环境适应能力等大部分指标满意度较高，但也存在一些问题。

第一，学生的规划文本写作能力的主成分综合得分最低，意味着用人单位对毕业生的规划文本写作能力满意度不高。这是由于学生在大学期间规划文本写作方面的训练欠佳。规划文本是表达规划意图、目标和对规划相关内容提出的规定性要求，从事规划行业的人员对规划文本的写作是一项基本且重要的技能，高校应当加强学生的写作能力训练。

第二，在知识水平方面，学生对城乡规划基本理论和城乡规划前沿知识的掌握不够。对此，高校学生应加强城乡规划理论知识和前沿知识的学习，多阅读相关文献，在课余时间充实专业知识储备，为将来就业做准备。

第三，在能力素质方面，用人单位对学生分析处理问题能力、团队合作能力和独立思考能力的评价不高，意味着学生在校期间需在这些能力素质的提升上下功夫。

第四，学生的政治素养指标的主成分综合得分与其他结果评价指标相比相对较低。对此，任课教师在日常教学过程中应融入思政教育，培养学生坚定的社会主义核心价值观和爱国主义。

(三)基于教育增值评价的重要作用的分析和讨论

教育增值是学校教育质量的根本体现，学生大学期间所发生的变化增值越多，大学的教育质量就越高。在新时代背景下，强化教育质量的跟踪调查、外部评价和问题反馈具有重要的理论和实践意义，是高校转型发展、创新研究的重要理论基础，是推进高等教育综合改革的突破口。通过建立标准的教育增值评价体系，并从学校、企业、政府、社会、学生等多维视角对教育增值评价及问题的反馈，能有效找出教育质量的短板和差距，进而提出改革优化高校教育教学管理机制、办学模式、课程设置计划并应用于新的教学和管理，从而推动高校内部教学改革，保障高校教学工作的投入，充分调动学校教育管理者和一线教师的主观能动性，提高学校的办学水平和教学质量，提升学校的竞争力和适应能力，为人才培养工作提供有力保障，实现“PDCA”教育质量循序提高和“螺旋”上升。

根据上述分析，所得结论如下。第一，模糊评价结果表明，规划专业教育质量属于中等偏上接近优秀的水平，学生和用人单位对其评价均较高。第二，主成分分析结果表明，学生的知识能力水平和道德素养、教师的教学内容、教学能力和水平及教学方法5个主成分直接影响教育增值水平。第三，通过教育增值评价，可筛选出需要改善的指标，并通过PDCA“计划—实施—检查—处理”四个主要阶段循环，为后续可以有针对性地改善规划专业教学方法和提高培养质量提供理论支持，为其他专业教育增值评价提供借鉴。