高等教育中外合作办学项目立项评价指标体系研究
2018-05-14周泓潘芳芳
周泓 潘芳芳
[摘 要]在经济全球化和高等教育国际化的双重推动下,中外合作办学已成为近年来在我国发展很快的一种新兴教育模式。针对中外合作办学项目立项评价问题,根据中外合作办学项目的特点及教育国际化相关理论,结合问卷调查、专家访谈等方法,建立了一套科学合理且切实可行的中外合作办学项目立项评价指标体系,并在此基础上对该指标体系进行了相关性分析和因子分析,根据分析结果给出了指标体系的进一步改进建议。
[关键词]中外合作办学项目;评价指标体系;相关性分析;因子分析
[中图分类号]G522.7[文献标志码]A [文章编号] 1672-4917(2018)02-0117-08
教育是民族振兴、社会进步的基石,是提高国民素质、促进人全面发展的根本途径。一个国家高等教育水平的高低至关重要,其在一定程度上与国家的综合竞争力存在着必然联系。就我国目前的高等教育来说,教育和经济社会发展对接不够,人才培养和社会需求存在一定程度的脱节。教育管理水平、质量水平、服务水平都有待进一步提升。与西方发达国家相比,我国的高等教育还存在一定差距。“他山之石,可以攻玉”,如何有效利用国际一流教育资源、引进先进教育理念,构建育人新机制和新模式,推动高等教育创新发展,努力实现从高等教育大国向高等教育强国的转变,已成为一个迫切需要解决的问题。随着经济全球化进程的加速和不断深入,高等教育国际化已成为经济全球化的必然要求。深化国际交流合作、加强教育要素共享,是提升高校国际竞争力的重要途径。因此,在经济全球化和高等教育国际化的双重推动下,中外合作办学成为近年来在我国发展很快的一种新兴教育模式。通过引进国外先进的教育理念和教育经验,它可以满足教育机构和高等院校增强自身办学能力、推动教育改革、完善人才培養模式和扩大国际影响力的愿望。
截至2016年3月,我国经教育部批准举办的中外合作办学机构和项目有2403家,其中高等教育中外合作办学项目约占90%。但从总体上看,目前我国高校境外办学还处于起步和探索阶段,办学理念与办学条件还不够成熟。并且中外合作办学在近几年发展过程中也遇到了一定的困境,其中一个重要原因就是我国至今尚未建立起完善的高校中外合作办学质量保障及评价体系,高等学校中外合作办学项目面临着水平参差不齐、整体质量不高的问题,严重影响着其可持续发展以及中外合作办学的整体声誉。为此,目前社会对中外合作办学投入很大的关注,不同领域的研究者、国际教育组织及其协会也开展了大量的相关研究工作。Sergio Machado Dos Santos分析了欧洲跨国教育的现状和趋势,并探讨了现有的跨国高等教育监管体系、质量保障和学历认可体系。[1]Baird从国家质量保障机构的角度来看跨国高等教育的质量审核,并就跨国教育项目和机构质量的审核方式、要素等进行了探讨。[2]郭建中认为可以从国际化办学程度、办学机制、办学水平、办学质量等方面评价中外合作办学状况,并以德国汉堡大学、英国兰开夏中央大学与上海理工大学的合作项目为例,详细说明了这两所大学在合作前对上海理工大学的具体评估要求。[3]宗希云通过分析黑龙江省中外合作办学的作用和现存问题,结合相关的理论和政策文件,提出了以理念与认识、项目管理、环境与条件、教育教学体系和项目优势发挥为一级指标的中外合作办学项目评估指标体系。[4]Fang对研究型大学和教学型大学的跨国高等教育计划之间的不同进行比较,并从国际化水平、机构等级政策与机构文化理念、资金管理、学术性强度等多方面阐述了如何进行跨国高等教育评估。[5]汪建华为中外合作办学选优评估体系提供了一种设计思路,并给出了一种指标框架[6]。刘梦金介绍了新加坡教育信托计划,认为该计划的标准和认证程序可以借鉴到我国的中外合作办学的评估标准中。[7]
现有研究虽然为中外合作办学项目的评估发挥了积极的借鉴作用,但对这一问题的彻底解决还远远不够。例如很多研究往往更加关注某些具体方面,对全局的综合考虑有所不足。一些国外的指标体系虽然具有较高的参考价值,但并不完全适合中国的国情。由于我国的中外合作办学项目是需要由教育主管部门批准后才能实施的,因此立项审批是把好质量关的重要环节。本文拟以中外合作办学项目立项评价作为切入点,根据中外合作办学项目的特点,结合教育国际化工作的战略目标,通过问卷调查、专家访谈、统计筛选等方法,研究建立一套科学合理且切实可行的中外合作办学项目立项评价指标体系,为进一步提高中外合作办学项目管理工作的科学性,确保引进优势教育资源、提升我国高校办学能力做出有益探索。
一、评估指标体系的建立原则
我国在开展中外合作办学伊始,政府部门就颁发了一系列相关规定以规范办学工作。1995年,原国家教委颁布了《中外合作办学暂行规定》。2003年,国务院颁布了《中外合作办学条例》,并于2004年出台了《中外合作办学条例实施办法》。2006年,就中外合作办学中存在的突出问题,教育部颁发了《教育部关于当前中外合作办学若干问题的意见》,2012年3月又下发了《关于加强涉外办学规范管理的通知》,进一步明确了中外合作办学政策界限,对申请中外合作办学的资格条件、机构设立、组织形式、审批与活动、管理与监督等内容进行了规范性说明。而2010年7月国务院印发的《国家中长期教育改革和规划纲要(2010—2020年)》不仅对中外合作办学做出了总体规划,同时提出了明确的要求。以上纲领性文件是构建中外合作办学项目评价指标体系的总体依据。
在选取具体指标时,需要根据中外合作办学的具体特征和实际内涵,考虑中外合作办学项目的各类影响因素,结合自身特点与战略定位,对其进行全面而细致的考量。指标体系应能全面、完整地刻画评估对象的主要属性,并客观体现评估对象的优劣,同时各指标还应具有可测性、区分性、可操作性等特征。此外,指标体系还应具有清晰的层次性,且有明确的观测点及度量标准。
本文在设计指标体系架构时,主要从合法合规性、资源优质性、管理规范性、未来发展性等角度出发,力求评估结果能充分反映国家、高校、学生、社会等多方面的目标与需求。
指标体系的建立可分三阶段进行:
1.初始指标体系的构建
明确评估的意义和目的,分析中外合作办学项目的政策规定、运行管理要求、质量影响因素、预期效果及未来影响等评估要素,设计出一套涵盖范围比较广泛、内容尽量全面的初步指标体系架构。初始指标体系可通过广泛而有代表性的问卷调查、专家深度访谈等过程加以完成。
2.指标体系的分析与改进
根据所建立的初始指标体系对样本项目进行试验评估,通过对试验数据的统计分析找出指标间的统计相关性,并以此为根据对初始指标进行优化筛选,从而达到改进指标体系的目的。
3.指标体系的确认
将改进后的指标体系用于项目试评估,根据试评估结果发现实际操作中的问题并加以进一步完善,最终确认。
二、评估指标体系的建立
(一)指标体系的建立方法
本文主要应用问卷调查的方法,借鉴德尔菲咨询的相关程序,通过向相关领域的专家发放问卷的形式,经过多轮专家咨询来构建目标准则体系,该方法通过对多个专家意见进行统计处理、归纳和综合,然后进行多次信息反馈,使成员意见逐步集中,从而得出最终结果。
德尔菲咨询程序的一般实施步骤如下:
a)提出问题;
b)选择并确定专家组成;
c)制定第一个咨询表并发给专家;
d)收集第一个咨询表并加以初步分析;
e)制定第二个咨询表并发给专家;
f)收集第二个咨询表并加以统计处理,如果收敛则转步骤i);否则执行g);
g)制定第三个咨询表并发给专家;
h)收集第三个咨询表并对新数据加以统计处理;
i)准备最后的报告。
为提高效率,课题组通过前期大量的文献分析和实际调研工作,事先建立了一个指标体系草案,并以此草案作为第一个咨询表的主要内容,使专家能够更加有针对性地提出建议和发表意见,避免了由于主题过于发散而造成收敛过慢的现象。实际的实施过程也表明了专家对课题组所建立的指标体系草案的高度认可,问卷反馈的一致性程度很高,只有个别指标存在一定分歧,因此课题组没有继续下一轮问卷发放,而是通过对资深专家的深度访谈与分析来最终确认指标项,得出初始指标体系。
(二)指标体系草案研究
已有的关于中外合作办学项目评估指标体系研究多数是针对正在运行的项目,而且往往各有侧重。例如汪建华(2014)在《中外合作办学选优评估指标体系的构建》中提出的指标体系包括了5个一级指标,分别是规范性、优质性、实质性、有效性、创新性;[6]而宗希云(2009)则在《黑龙江省高校中外合作办学评估指标体系研究》中以理念与认识、项目管理、环境与条件、教育教学体系和项目优势发挥为一级指标。[4]本文主要面向中外合作办学项目的立项审批,项目处于尚未投入运行的状态,指标体系的总体目的是评估中外合作办学项目是否可批准立项,因此有关运行阶段的数据是不存在的,只能在项目的方案设计中加以体现,而且评估时更应关注项目的优势、特色及创新性、对国内高校发展的带动及教学组织与项目管理能力等方面。
基于以上考虑,本文在参考并综合已有研究的基础上,结合立项评估的特点,将指标划分为四个方面,分别是申请文件的规范性、引进资源的优质性、教育教学保障的有效性及项目的创新性。其中,申请文件的规范性主要指所提交的申请材料是否符合要求,这是进行评价工作的基础;引进资源的优质性主要是指项目是否符合中外合作办学的目标,是否能为国内教育的改革创新起到推动作用,是否实现了双方优势互补,是否能对人才培养起到积极的提升作用;教育教学保障的有效性主要指项目能够顺利运行的条件是否具备和充分,项目的组织管理工作能力是否达到要求,是否對潜在的风险因素有充分认识和应对能力等;项目的创新性主要是指项目是否具备显著新意,是否具有其他项目难以比拟的优势。在一级指标之下,继续细分出二级指标、三级指标,得到评估指标体系草案,共有4个一级指标,19个二级指标和37个三级指标。
(三)初始指标体系确认
在以上草案基础上,本文设计了一套五级评分标准的问卷,并向35名相关专家进行了发放,目的是对指标体系草案征求改进意见并调查各个指标的重要性。所选专家分别来自教育主管部门、北京部分高校中外合作办学项目管理人员及教育国际化研究领域的专家。各专家按照“5:非常重要;4:重要;3比较重要;2:不太重要;1:不重要”对各三级指标进行重要性打分,同时可对指标体系草案进行合理的改动或增删,或对草案提出相应的修改建议。本次调查最终回收有效调查问卷30份,占发放试卷的85.7%,利用SPSS对问卷进行了信度分析,分析表明Cronbachs α系数为0.925,结果表明问卷的内部一致性很高,符合问卷设计要求。
综合分析问卷中的建议,总结可在以下方面对草案进行补充和完善。
其一,鉴于中外合作办学项目的实施,最主要的目的是要引进国外大学先进的教育理念、教育方法、学术研究交流等对我方大学有利的资源,所以要注意引进资源的先进性与有效性,同时要与我方大学现阶段的需求高度匹配,进而需要着重加强对引进资源优质性这一指标的考察。在评价外方的办学优势方面,可以从该大学、该专业、其教育理念和已在国内开展项目运行情况等多个角度考虑;在评价中方需求方面,可以从对当地经济社会发展、对学校发展、对毕业生个人的发展等方面进行考虑。此外,还应考虑让高校进行规范、正规、有效的可行性研究,分析引进资源的必要性。
其二,由于中外办学项目一般具有较长的周期,涉及的面也比较广,可能存在项目运行的风险。有专家建议进行必要的风险分析,对项目的实施过程要有必要的管理制度,项目管理机构必须要对项目进行实时、有效的监督,同时还应注意法律上存在的风险。
其三,某些指标可进一步归并。数据整理后,在个别指标的重要性评价方面还存在一定的分歧。针对这些分歧点,我们又进一步邀请资深专家进行了深度访谈和分析,最后确定得出初步的评估指标体系,共有4个一级指标,18个二级指标和48个三级指标,如表1所示。
(四)指标的度量
表1的指标体系中,可为每个三级指标设计若干观测点,根据度量方法的不同可将各观测点分为3种类型:二值型(是/否)、区间型、打分型,各观测点的评分依据来自于项目申报材料,包括项目申请书、合作协议、教学计划和大纲等。二值型和区间型观测点一般直接来自评估材料中的数据和信息,例如培养协议中是否有明确的争议解决办法、外方课程比例介于哪个区间范围等,其中某些二值型观测点为必备指标,也即具有“一票否决”的特征(例如缺少所要求提交的材料、或办学协议中的条款不符合国家有关规定等项目,直接否决);区间型观测点则视观测值落入哪个区间范围而给定相应的评分;而打分型观测点则往往需要专家根据申请材料中提供的信息以打分的形式给出评判。最后根据各观测点的打分情况得出相应的指标评估结果。表2给出了“教学质量管理(B9)”下属各三级指标的观测点及其度量方法示例。
对于一些定性描述的指标,在度量时主要遵循如下要点:
(1)对于一级指标申请材料的完整性与申请项目的有效性,评分过程中主要关注材料是否按照规定齐全、有效。
(2)外方的办学优势及特色,在评分中主要参考外方大学及专业的排名情况及其教育理念是否先进、教学模式的创新程度进行考量。
(3)教学保障情况的打分,主要根据申请书、培养协议、培养方案、教学计划、师资配备等提交文件中的描述进行打分,若有明确的数值则直接计算。
(4)对地区、学校、学生的发展作用,主要考量所引进的外方教育资源能否对该地区及学校产生积极效果,带动当地匹配产业与学科的发展,该项目专业是否为热门专业,就业市场前景是否广阔。
(5)项目的创新性,主要考量中外合作办学项目涉及专业是否为已有集中专业,培养模式及办学理念是否新颖。
三、指标体系的分析与改进
由于前一阶段评估指标均是依据对中外合作办学项目的主要特征、评估目标、评估要点的分析以及专家经验得出的,虽然都是重要的评估要素,但其中可能存在统计相关、指标辨别度低等问题,有可能造成评估结果的失真。本节将利用样本项目数据对初始指标体系进行统计分析,以厘清指标间的关系及各指标对评估结果的贡献,从而能够进一步对指标进行优化筛选,使评估结果更加可靠。
本文共使用了119个项目作为样本。
(一)相关性分析
相关性分析是研究数据之间的相关密切程度,通常指对两个或多个变量元素进行相关性分析,以相关系数表示数据间的相关程度。
本文共使用了119个实际项目数据作为样本,通过计算得到相关系数矩阵如表3所示(相关性不高的指标已隐去)。易知,中方办学者评估认证情况(C16)与教学计划(C21)、教学方式(C22)相关程度较高;教学方式(C22)与教学管理制度(C23)、教学计划(C21)相关程度较高;办学特色(C45)与教育理念的先进性(C8)相关程度较高;招生程序和制度(C35)与教学计划(C21)、教学方式(C22)相关程度较高;过程管理(C26)与学费(C31)相关程度较高。
通过进一步的分析可知:C16的观测点“中方的教育教学情况”与C21的观测点“教学计划内容”及C22中的“教学方式、培养方案、课程设置”等有关;C8观测点涉及教学模式的创新,与C45办学特色中涉及的观测点“课程体系教学内容有鲜明特色”有异曲同工之处。C21、C22、C23同属二级指标教学质量管理,都涉及培养方案,符合学科专业特点等要素。因此,可以解释这些指标间相关系数较高这一现象。而C31与C26、C35與C21及C22的相关系数较高难以直接从观测点所涵盖的内容进行解释,需要进一步的分析。
(二)因子分析
根据上节分析结果,某些三级指标之间存在较为明显的相关性,而盲目地对信息重叠的指标进行删减又可能会损失有用信息,容易产生错误的结论,而且在具有相关关系的三级指标之间是否隐藏着无法直接观察但对评分结果有显著影响的潜在因子也未可知。为此本文进一步采用因子分析方法,寻找三级指标间的共性因子。
本文首先进行了KMO测度和Bartlett球形检验,结果如表4所示。
一般来讲,KMO值越接近于1越适合做因子分析。由表4可知,本实验结果为0.695且Bartlett球形检验卡方值为2518.505,伴随概率值为0.000<0.01,达到显著性水平,说明相关矩阵非单位矩阵,代表有共同因子的存在,适合做因子分析。
通过主成分分析,发现共有13个成份的特征值超过1(见表5);同样从图1所示的碎石图中亦可看出,从第13个成分开始,曲线变得较为平缓。因此本文提取13个主成分。
进一步通过旋转成分矩阵的计算可以发现数据的降维效果很好,因此有利于指标体系运用合成函数进行合成从而对现有指标体系加以约减(见表6)。其中,中方办学者评估认证情况与教学计划、教学方式相关程度较高;教学方式与教学管理制度、教学计划相关程度较高;办学特色与教育理念先进性相关程度较高;招生程序和制度与教学计划、教学方式相关程度较高;过程管理与学费相关程度较高,且部分指标可以直接从观测点的角度解释,适宜通过适当手段加以归并。对于相关系数较高但难以直观解释的指标,如C31与C26、C35与C21及C22,通过因子分析发现这几项指标内部存在公共因子,因而存在内在的联系,但归并时需要慎重。
根据以上分析结果,可以考虑对初始评估指标体系加以进一步优化,也即对现有指标加以筛选和归并。例如,可对教学计划与教学方式进行适当归并,对办学特色与教育理念先进性加以适当归并,从而得到更为科学、合理的指标体系。
当然,评估指标体系的建立不是一蹴而就的,以上分析只是從理论上论证了其合理性,还需通过在实践中不断加以完善。
四、结语
随着经济全球化进程的不断深入,教育国际化已成为各国教育发展的共识,如何有效分享优质教育资源,使之更好地造福人类,将成为人们共同追求的目标。对于大学来说,深化国际交流合作、加强教育要素共享,也是提升高校国际竞争力的重要途径。在此形势下,中外合作办学在我国已成为一种发展迅猛的新兴教育模式。本文针对中外合作办学项目立项评价问题,通过分析中外合作办学项目的特点及国际教育相关理论与实践成果,建立了一套科学合理且切实可行的中外合作办学项目立项评价指标体系,并结合问卷调查、专家访谈等方法对该体系进行了改进,得到包括4个一级指标,18个二级指标和48个三级指标的体系结构;在此基础上,对该指标体系进行了相关性分析和因子分析,根据分析结果找出了各三级指标间的关联关系,并以此为依据给出了指标体系的进一步完善的建议。
在后续工作中,可进一步开展适合此指标体系的综合评价方法研究,并尝试应用于项目立项评估与决策工作,从而在实践中检验其适用性、发现新问题、并不断加以完善,为中外合作办学项目立项决策提供参考和支持。
[参考文献]
[1] Sergio Machado Dos Santos.:“Regulation and quality assurance in transnational education”,Tertiary Education and Management, Vol.8,No.2,2002,pp.97-112.
[2] Baird J.: “Quality Audit and assurance for transnational higher education”, Melbourne: Occasional Publications Series, No. 10, 2007.
[3] 郭建中:《中外合作办学评估探讨》,《上海理工大学学报(社会科学版)》 2006年第1期。
[4] 宗希云:《黑龙江省高校中外合作办学评估指标体系研究》,《教育探索》 2009年第9期。
[5] Fang W.: “The development of transnational higher education in China: A comparative study of research universities and teaching universities”,Journal of Studies in International Education, Vol.16,No.1,2012,pp.5-23.
[6] 汪建华:《中外合作办学选优评估指标体系的构建》,《全球教育展望》2014年第8期。
[7] 刘梦今:《新加坡教育信托认证的制度设计对中外合作办学评估的启示》,《中国高教研究》2016年第12期。