高校招生考试满意度的测度模型与实证分析
2015-01-02何建敏
厉 浩,何建敏,佘 明
(1.东南大学 经济管理学院,南京 210096;2.江苏省教育考试院,南京 200024;3.南京航空航天大学 经济管理学院,南京 211106)
0 引言
高校招生工作是否科学合理,在很大程度上影响着学生的培养发展,也关系到整个社会的教育公平与民族素质的提高。为保证高校招生的公平性和适切性,也为高校和考生能够在双向选择的情况下取得双赢效果,促进高、中等教育发展的健康与平稳,有必要对高校招生考试的满意度指数进行测度。
目前,我国学者对招生领域的研究,大都采用问卷调查的方法,利用教育学、心理学的一般概念进行统计学的解释分析,很少采用科学模型来进行调研数据的分析和处理。吴刚平、李云淑[1]对上海、山东等16个省、市、自治区的在读高中生、高中教师和校长、大学生等12000多个案例,对高考招生制度和评价方式进行了问卷调查。刘慧[2]利用结构方程方法对高等教育学生满意度及其因果关系进行了研究。陈华平等对大学新生高考录取满意度及其与学习动机的关系进行了问卷调查。刘莉、吕金海、范文琪[3]通过对考生的问卷调查,统计了浙江高考改革的满意度及其分布,分析原因并指出今后进一步深化改革的方向和具体建议。另外,招生考试管理具有不可替代性、弱竞争性,传统满意度指标体系中的“顾客忠诚(保持率)”[4,5]等概念并不十分适切,需要适度进行调整。本文以江苏省高校、高中学生、招生单位作为实证研究对象,利用偏最小二乘和结构方程模型对该省高考满意度感知进行分析,弥补了国内高校招生考试相关理论及实证研究的空缺,对我国招生考试中微观层面的发展起到借鉴作用。
1 基本概念和基本理论
1.1 高校招生考试满意度指数内涵界定
高校招生考试满意度指数反应了人民群众对招生工作质量和公平的感受,是有关利益相关者对于高校招生考试工作结果与期望之间契合度的一种认同、认可和满足;这其中的利益相关者包括考生、高校、招生组织单位(简称:考试院)等。
1.2 PLS满意度模型估计基础方法选择。
需要综合考虑理论条件、测量条件、分布条件等。笔者曾使用AMOS建模方法对高校招生考试满意度模型进行研究,效果不佳,模型未能通过有效性检验。Chin认为结构方程的LISREL和PLS建模方法的选择主要取决于研究目的[6],本文构建的指数模型的理论框架尚不成熟,满意度的调查问卷、模型中潜变量与潜变量之间的关系,以及潜变量与其显变量之间的关系等都需要在实证研究中加以验证,相应的显变量选择也存在不确定性,以采用PLS建模方法为宜。PLS建模的理论基础是“预测条件”,即对于 xij=(xij1,xij2,…,xijn) 有 yij=(yij1,yij2,…,yijn) ,要 求E(xij)=E(yij)=0,i=1,2,…,k1。PLS估计是条件最优过程。参数估计时,模型参数被分为若干个分支,在假定其他分支的参数值给定的情况下,对某个分支的参数通过运用普通多元线性回归方法进行估计。参数估计的目标是使残差方差最小化,由于结构方程模型中有不同种类的残差,对这些残差分别单独处理。
1.3 结构方程模型
结构方程模型(Structural Equation Modeling,SEM)[7]是讨论变量与变量的关系的多元统计分析方法,有效整合了统计学中因素分析、路径分析两大主流技术,主要用以处理复杂的多变量数据分析。
1.3.1 变量的分类
按照变量的特点不同,结构方程模型中的变量分为:潜变量(latentVariable,又称结构变量和显变(ManjfestVaraable,又称测量变量)。潜变量是具有抽象概念的变量,不可直接测量,只能通过观测显变量而间接进行度量,而显变量是具体的可测变量。按照潜变量在模型中的地位不同,可分为两类:外生变量和内生变量。外生变量只起到解释变量的作用,它们只影响其他的变量,而不受其他任何变量的影响。内生变量会受到模型或系统中其他变量包括外生变量和内生变量影响。
1.3.2 变量与变量之间的关系
就变量的关系而言,一个结构方程模型包括结构模型和测量模型。
(1)潜变量之间的结构模型。结构模型描述了根据高校招生考试满意度理论研究的各潜变量LV之间的关系,用方程可以表达为:
用矩阵表示为:
式中β表示各内生潜变量之间的路径系数;γ表示外生潜变量与内生潜变量之间的路径系数;ζ表示内生潜变量的残差。
(2)潜变量与显变量的测量模型。结构方程模型的测量方程有反映型和构成型两种类型,笔者认为高校招生满意度模型中潜变量与其显变量的关系应是反映型关系,测量模型用方程表示为:
①外生潜变量与显变量的测量方程用表达式x=Λxξ+εx表示,用矩阵为:
式中:λ代表显变量在外生变量上的载荷系数;δ代表内生显变量的残差。
②内生潜变量与其显变量之间的关系,方程可以表达为:
矩阵表示形式与公式(2)类似。
1.4 结构方程模型下的PLS迭代算法
主要步骤如下:
①显变量中心化;
②外部近似:生成LV的外在估计值;
③内部近似:生成潜变量的内在估计值;
④权重估计,即确定显变量的权重;
⑤迭代结束的判断。当一轮估计(包括外部近似!内部近似和权重估计)结束后,需要判断是否结束迭代,如果没有达到停止的条件,则进行下一轮的迭代;
⑥求潜变量的值:利用经过迭代确定的权重,计算每个潜变量对应的向量;
⑦求载荷和路径系数:利用潜变量的值和显变量的值,分别进行普通最小二乘回归,计算载荷系数和路径系数。
2 指标体系及测度模型的构建
2.1 指标体系
高校招生考试满意度指数的测度是一个对制度性现象进行计量的问题,其涉及到一些难以用变量进行替代和验证的软信息,使得其难以直接被测量,只能根据满意度的内涵,在找到其要素、表现特征以及所引致结果的基础上来进行间接的测算。本文参考国内外学者和有关机构对政府部门[8][9]、高等教育等服务质量的测评研究,结合中国高校招生考试的实际情况,构建了高校招生考试满意度测评三级指标体系。一级指标包括公众期望、感知质量、价值感知、满意度、品牌形象和公众信任6个指标。其中质量感知有分为6个维度(二级指标),分别为招考导向、命题质量、志愿填报、录取制度、考生服务、招考机构建设。三级指标体系中,不同的指标对不同维度满意程度的测算具有不同的代表意义。具体见表1:
表1 高校招生考试满意度测评指标体系
2.2 指数模型
从ACSI[10]、CCSI[11]等顾客满意度指数模型的顾客满意的形成机制分析可知,期望、感知表现和不一致等因素共同影响满意度,如采用期望和顾客需求为不一致的比较标准,通过在度量顾客满意度时使用对预期的满足、与理想的差距等解释变量将不一致间接地引入到模型中,这样可大大简化度量不一致的难度,操作性强。在此基础上,参考公众满意度[12]和高等教育满意度等研究,对模型路径作如下假设(“->”表示存在正向影响力):
H1:公众期望->感知质量
H2:公众期望->感知价值
[29] Robert Jervis, Perception and Misperception in International Politics, Princeton: Princeton University Press, 1976, pp. 48-49; Robert Powell, “Anarchy in International Relations Theory: The Neorealist-Neoliberal Debate,” International Organization, Vol. 48, No. 2 (Spring 1994), pp. 313-344.
H3:公众期望->满意度
H4::感知质量->感知价值
H5:感知质量对满意度
H6:感知价值->满意度
H7:满意度->公众信任
H8满意度->品牌形象
H9品牌形象->公众信任
总体模型如图1所示。模型中所有潜变量的同其显变量的关系设定为反映型关系,用单箭头表示变量间的因果关系,模型中没有回路,最低层指标隐藏,具体可见图1(其中H3:公众期望->满意度为虚线,最终将被去除,原因见第4节模型检验部分)。
图1 中国高校高校招生考试满意度指数模型
如将三级指标作为二阶变量,在repeated indicators方式设定。确定了MV与LV的对应关系以及满意度模型的数学形式后,就可以采用偏最小二乘法(PLS)方法进行模型的参数估计和检验。
3 满意度指数测评分析
高校招生考试满意度指数是通过测评高校招生考试的相关人员的主观感受来反映其对高校招生考试工作的满意程度,测度要达到的目的主要有以下几点:(1)构建测度满意度指数体系,(3)测评高校招生考试满意度各原因变量和结果变量的权重,即了解各个变量对高校招生考试满意度的影响程度。(2)测评满意度指数,即了解各测评对象对目前高校招生考试工作的满意度水平。(4)测评高校招生考试满意度各原因变量和结果变量的指数,即了解调查对象对高校招生考试的预期质量、各环节的质量感知以及价值感知的评价。(5)提出整改意见,即通过对测评数据的深度分析,提出针对性的改进意见和提高高校招生考试满意度的主要方法途径。
3.1 测评工作流程
为了确保测评工作顺利实施,测评结果真实可靠,本研究在借鉴商业服务业顾客满意度测评工作流程的基础上,确定了高校招生考试满意度测评的工作流程,主要包括确立测评目的、确定测评模型、实施测评、测评数据处理、数据分析和测评报告撰写等方面(如图2所示)。
图2 高校招生考试满意度测度工作流程
3.2 测评方案设计
高校招生考试分省组织。本研究采用典型测评的方式,选择有代表性的区域即江苏省作为全国普通高等学校的典型单位,然后在江苏省选择有代表性的高等学校、高中、招生单位进行测评。
江苏省的高等教育有着悠久的发展历史,无论是办学质量还是办学规模,在全国都有着举足轻重的地位。2009年,全省共有普通高等学校146所,占全国6.45%;其中本科院校(除独立学院)44所,占全国5.81%;国家“211工程”重点建设高等学校11所,占全国比例为9.82%,;普通高等教育本专科共招生41.07万人,占全国6.76%。在校学生数为157.26万人,占全国7.78%,因此江苏省的高等学校在全国具有一定的代表性。
选择测评方式时需要考虑以下因素:测评对象、测评费用、问卷长短、掌握的客户资料情况、测评的时效要求等。常用的顾客满意度测评方式有:入户面访、定点拦访、传统的电话调查、计算机辅助电话调查、留置问卷调查或邮寄调查等方式。考虑到江苏地区信息化水平比较发达,其他方式人工成本较高,本文采用网上问卷的形式。本研究根据省会、苏南、苏中及苏北的划分,在江苏省挑选部分高校和高中进行调研。高校以部属、省属、独立学院以及专科院校进行选择。高中以三星和四星中学进行选者。数据取得采用李克特量表的方式,针对不同的观测变量设计相应的问题,各个测评者感知观测变量设计的问题选项分别为:非常满意,比较满意,一般,比较不满意,非常不满意。
3.3 结果分析
本研究计算了验证性测评总样本各潜变量的Cronbach(α)系数,并计算每个显变量剔除后的α系数。潜变量中α系数最小值为0.715(公众期望),满足大于0.7的要求,大部分显变量的剔除并不能增加相应潜变量的信度,虽然问卷中剔除c3或者b1可以分别提高上级变量的α系数,但是增加幅度并不大,说明整个问卷具有不错的信度。各显变量的方差膨胀系数 (varianeeinnationfactor,VIF)值均远小于临界值10。因此,可以得出结论:测量变量基本不存在多重共线性的问题。因此认为该调查数据具有较好的稳定性,能够在招生考试满意度理论模型的基础上进行拟合。
3.3.1 参数估计
本文利用smartPLS软件运行满意度指数模型,在内部加权方案中选择路径加权方案,采用反映型测量模型。在整理完毕的数据基础上应用因果关系路径图,得出如下路径系数估计结果和载荷系数估计结果,如表2和表3所示。
表2 潜变量路径系数参数估计
表2中显示外生潜变量与各内生潜变量的路径系数,除了公众期望到感知价值和满意度以外,均高于0.2,结果较为理想。
表3 显变量在潜变量上的荷载径系数参数估计
实证研究中,绝大多数的载荷系数估计值超过0.6甚至0.7。经计算,全部显变量的平均荷载系数为0.7929,也就是从总的来说,MV的测量效果是比较理想的。有1个显变量b1载荷系数偏低,将结合后期的检验决定是否删除。
3.3.2 模型检验
在拟合指数的参数方面,从共同度Communality(或平均提取方差AVE)的角度来看,所有显变量和潜变量总体上具有较高的共同度。由表4可知,除招考导向外,大多数区组的共同因子均大于0.5的标准。原因可能是招考导向要考虑学生、高校等多方面情况,会造成一些指标间共同性不是很强。从以上数据可以看出,在外部关系中MV的测量效果总体上是可以接受的,各LV对相应的MV有较好的预测能力。此外,重要变量满意度、公众信任回归方程模型的R2及平均解释方差(AVA)为中都不小于0.65,整个模型的冗余度即总平均Redundancy为0.332,大于0.325的标准,该统计量表明模型内部关系的整体解释功效及预测能力较强,估计效果还可以接受。
本研究还进行了非参数检验。计算了Blindfolding预测能力的共同因子指标H2*和冗余指标F2*,以及Bootstrapping非参数检验,包含权重、载荷、路径系数的Bootstrapping标准误和T-value数值。
在Blindfolding预测能力指标中,除了公众期望(0.3113)和招考导向(0.3355)以外,其余潜变量的 H2*均大于0.4,故认为模型中各LV对MV的预测能力都较好,总体上可以接受。从F2*的角度,除了没有冗余的外生潜变量公众期望外,只有一个二阶潜变量感知质量较低,其余潜变量的F2*均超过0.2,表明模型对这些潜变量的预测能力总体上较好,模型对样本的交互验证能力较好。
在Bootstrapping非参数检验中,测量模型的载荷系数和权重都具有较高的T统计量,载荷系数估计都比较显著,估计的精度较高,其数值的绝对值大于等于显著性水平为0.05的T检验临界值1.96,通过了检验,说明载荷系数和权重均显著不为0,与之前共同因子的分析相一致,这更进一步证实了测量模型中LV对其MV具有较好的解释作用。虽然高中生学习负担在招考导向上的荷载比较低,考虑到该荷载也通过了T检验,且学习负担问题在高校招生考试中是个重要命题,故予以保留。
多数路径系数具有较高的T统计量,通过了T检验,说明路径系数显著不为0。然而公众期望->满意度的T值为0.4685,且其的路径系数本身非常小,为0.0162,所以均未通过显著性检验,也就是说公众期望对满意度的影响可以忽略不计。将原概念模型中公众期望对满意度有正向作用的假设去掉后,得到修正后的中国高校招生考试满意度指数模型。对该模型重新利用进行验证运算,路径系数全部通过高度显著性检验.。
3.3.3 满意度指数及信任度指数值计算
3.3.4 满意度重要性矩阵分析
本研究采用重要性满意度矩阵的图示方式,来直观表示今后高等学校在管理中应着重解决的问题,为高等学校制定切实可行的目标提供依据。
以高校招生考试各因素对学生的重要程度为纵坐标,用对这些因素的满意度评价(即变量指数)为横坐标,建立的四个矩形组成的矩阵图,如图3所示。通过高校招生考试满意度重要性矩阵的分析,可以知道哪些因素是学生满意的,哪些因素是学生所重视的,哪些因素是学生既满意又重视同时招考机构做得非常好的,哪些因素是学生不满意而又非常重视招考机构有待改善的,于是就可以知道从哪些因素着手改善招考机构的服务质量,从而提高满意度。
图3 满意度重要性矩阵
在70个显变量中,有24个落入了满意度重要性矩阵的A区一急需改进区,15个显变量落入了矩阵的C区一次需改进区,有14个变量落入了矩阵的B区一竞争优势区,17个变量落入了矩阵的D区一锦上添花区。需要说明的是,在满意度重要性矩阵中,区域的划分是相对的,本文是以潜变量指数的平均数和各变量对满意度的相关系数平均数为划分区域的依据。根据轻重缓急,主要分析A区一急需改进区。
落在A的24个显变量分别是:(1)公众期望潜变量中1个:总体期望;(2)质量感知潜变量的招考导向二级潜变量4个:安全保密、组织管理、阳光高考、弱势群体帮扶;(3)质量感知潜变量的志愿填报二级潜变量中6个:政策合理、招办与中学的指导、高校的指导、网上填报、考生自主性、补填志愿;(4)质量感知潜变量的录取制度二级潜变量4个:招考制度、学测等级划分、录取体制、高校录取公正;(5)质量感知潜变量的招考服务二级潜变量7个:中学宣传、发布渠道、当地招办支持、操作规范、服务人性化、先进性、真实性和丰富性;(7)质量感知潜变量的招考机构建设二级潜变量2个:工作时间、数据挖掘。这一区域有多达24项指标,而且指标重要性很高,说明上述工作离外界要求尚有距离,需要着重改进。
4 总结与展望
本文建立了中国高校招生考试满意度指数模型,组织了江苏省高校招生考试满意度调查,并利用PLS-SEM等方法进行了假设检验、参数估计和实证研究。
当前,江苏省教育厅、省教育考试院正在进行新一轮高考方案的调研,本文的研究成果佐证了尽快进行有关改革的必要性。在影响满意度的因素中,感知质量排第一位(尤其是其中的命题质量、招考服务和录取评价制度),其次是公众期望,接下来是感知价值。而且对公众信任的影响中满意度排第一位,紧接着是品牌形象,接下来是感知质量。由此得到的结论是,要想提高高校招生考试的满意度和信任度,关键的任务在于通过命题质量的提升、录取评价制度的改革以及不断提高招考服务质量,塑造优良形象。此外,与本文所建立的测度模型基础上,利用满意度重要性矩阵,分析出高校招生考试工作哪些具体方面是急需改进的,哪些是需要锦上添花、发挥竞争优势的,从而分清轻重缓急,制定详细的高校招生考试改革实施步骤和建议。这样才能有更多的群众乐意大力宣传招生考试工作,愿意与招生考试机构交流如何进一步做好工作,发展招生考试事业,从而进一步提升高校招生考试机构的核心竞争力。
[1]吴刚平,李云淑.高考招生制度与考试评价方式的满意度调研报告[J].湖北招生考试,2004,(6).
[2]刘慧,路正南.基于PLS_SEM的中国高等教育学生满意度测评研究[J].高教探索,2012,(2).
[3]刘莉,吕金海,范文琪.基于考生视野的浙江高考改革满意度统计分析[J].统计与管理,2012,(3).
[4]汪纯孝,韩小芸,温碧燕.顾客满意感与忠诚感关系的实证研究[J].南开管理评论,2003,(4).
[5]刘燕,陈英武.电子政务顾客满意度指数模型实证研究[J].系统工程,2006,(5).
[6]Chin,Wynnew.Partial Least Squares15to LISREL As Principal Coonents Analysis to Common Faetor Analysis[J].TeehnologyStudies,1995,(2).
[7]林盛,刘金兰,韩文秀.基于PLS-结构方程的顾客满意度评价方法[J].系统工程学报,2005,(6).
[8]尤建新,邵鲁宁,杨淼.公众满意理念及公众满意度评价[J].上海管理科学,2004,(4).
[9]刘燕,陈英武.电子政务顾客满意度指数模型实证研究[J].系统工程,2006,(5).
[10]ClaesFornell,刘金兰,康键,白寅.美国顾客满意度指数[J].管理学报,2005,(4).
[11]国家质检总局质量管理司,清华大学中国企业研究中心.中国顾客满意指数指南[M].北京:中国标准出版社,2003.