公务员面试测量了什么?我国公务员面试的构想效度*
2016-11-26李英武彭坤霞丽魏敏媛
李英武 于 宙 彭坤霞丽 魏敏媛
(中国人民大学心理学系,北京 100872)
公务员面试测量了什么?我国公务员面试的构想效度*
李英武 于 宙 彭坤霞丽 魏敏媛
(中国人民大学心理学系,北京 100872)
元分析证实面试可预测工作绩效,但其预测机制尚不明确。最新版Standard psychological and educational Testing(2014Edition)建议,探索面试的构想效度应收集多方面证据。参照多波数据(multi-wave data)研究范式,结合多质多法模型、验证性因素分析等方法,选取3家中央国家行政机关在2013至2014期间公务员面试中1069名应试者面试档案数据(archival data)交互验证公务员面试的构想效度。结果表明,我国公务员面试测评了内在因素和外在因素两个维度,支持面试构想的二维理论。
公务员;面试;多波数据;构想效度
1 问题提出
面试是应用最广泛的人事选拔方法(Zibarras & Woods,2010)。所谓面试,即由一个或多个面试官与应试者进行人际互动,就应试者是否可以满足特定岗位需求进行评估,这一过程称之为面试(Levashina,Hartwell,Morgeson,& Campion,2014)。基于操作的标准化程度,面试可分为结构化面试和非结构化面试。结构化面试(Structured Interview),又称标准化面试(Standardized Interview),是一种相对稳定的面试,它强调面试内容的工作相关性、面试流程标准化、评分结构化,即面试官以相同的方式,向应试者提出相同的问题,并以相同的标准评价应试者(Huffcutt,Van Iddekinge,& Roth,2011)。2015年11月18日中组部、人力资源和社会保障部和国家公务员局联合颁布《公务员录用面试组织管理办法(试行)》,规定中进一步明确中央国家机关“面试方法以结构化面试和无领导小组讨论为主,也可以采取其他测评方法”。那么,为什么中央国家机关在选拔 招录公务员时要以结构化面试为主呢?其原因一是在于结构化面试采用标准化施测程序可以降低应试者间的程序差异,减少面试官在面试过程中的随意性(Huffcutt,Culbertson,& Weyhrauch,2014),减少过程偏差(Koch,Schultze,Eid,& Geiser,2014)。同时,结构化面试受混淆变量,如面试官自身特点(Kluemper et al.,2014)、应试者外貌(Barrick,Shaffer,& DeGrassi,2009)、印象管理(Alkhouri,2012)、种族(McCARTHY,Van Iddekinge,& Campion,2010)等因素相对于非结构化面试来说要低些,这样就为“面试的程序公平性”奠定了基础。
此外,结构化面试预测效度的大量实证研究发现,结构化面试可以预测多种工作相关效标(Kluemper,McLarty,Bishop,& Sen,2014;Ziegler,Dietl,Danay,Vogel,& Buehner,2011),也可以为其他测评方法提供增量效度(DeGroot & Kluemper,2007),这样就为“面试的效果科学性”提供了数据支撑。
然而,上述结论的导出依赖于重要的逻辑前提,就是考官在结构化面试中评价了哪些维度?这就是心理测量学中测量的“构想效度问题”。梳理现有国内外文献后可见,结构化面试构想效度的研究相对不够充分(Levashina et al.,2014),并未得出一致结论。主要包括以下几种观点:
面试构想的一维论:Pulakos和Schmitt(1995)采用信度分析和探索性因素分析,发现8个结构化面试的测评要素(组织计划、高效参与、评估信息、积极主动性、适应变化、身体素质、诚实守信、口头沟通)只能抽取出一个特征根大于1的因子。洪自强和严进(2003)采用同种方法,在我国企业招聘中验证了以上研究结果。
面试构想的多维论:Salgado和Moscoso(2002)采用元分析技术,收集传统面试和行为面试研究数据,发现传统面试测量了四个成分:一般心理能力(GMA)、工作经验、大五人格维度以及社交技能。Huffcutt(2001)等同样采用元分析技术,发现47 项招聘面试研究的预设测评构想分为七大类。以上研究发现,结构化面试可用于测评多维构想。
面试构想的零维论:也有研究认为,结构化面试并不存在真正的构想效度。Van Iddekinge 等(2004)分析了两类用于选拔客户服务经理结构化面试的构想效度,采用多质多法分析,发现其区分效度大于聚合效度。由于多质多法分析自身缺乏可靠的量化指标的,因此,Van Iddekinge 等(2004)开创性的采用验证性因素分析,构建不包含方法因子或特质因子的嵌套模型,由拟合指数衡量不同成分对模型拟合度的贡献。进一步采用验证性因素分析发现,面试评分受面试官因素和应试者因素影响较大,面试评分与面试的测评要素相关较低。因此,结构化面试构想效度较差。Van Iddekinge等(2005)采用模拟结构化面试测评人格,验证了以上结果。
总结现有结构化面试构想效度研究可得出如下结论:结构化面试究竟测量了哪些构想,测评了几维构想,仍未得出一致结论。此外,上述研究数据多来源企业数据,而基于中国公务员大规模面试的现场数据研究还相对缺乏。
虽然面试构想效度研究缺乏一致结论,但构想效度研究有重要意义。首先,有助于提高整个选拔系统的经济性和预测效度。如果面试测量的构想与可以采用低成本的纸笔测验测量的构想相关度过高,面试便失去了价值。面试应更关注其他选拔方式难以测评的特质,提高增量效度。第二,结构化面试构想效度的研究对组织实践有重要意义。面试过后,组织往往会基于对应试者的评价进行培训与开发(De Vos,De Hauw,& Van der Heijden,2011)。如果结构化面试没有测评预设构想,那么评价结果不精确,据此进行的开发,有效性存疑。第三,也是最重要的一点,构想效度研究可以解释结构化面试预测效度的机制(王忠军,龙立荣,2006),即结构化面试所测构想与工作绩效等效标的高度相关,以此解释结构化面试高预测效度的背后机制。假设,结构化面试是GMA与人格的有效测评工具,而GMA和人格与工作绩效高度相关,这便可以解释结构化面试高预测效度的机制。构想效度的提高可以进一步提高预测效度(Hendry,Douglas,Winter,& Edens,2013)。
同时,发掘中国管理实践中值得研究的重要问题,是确保研究结果产生广泛社会影响的重要途径(徐淑英 , 吕力,2015)。目前结构化面试已经广泛应用于我国人事选拔领域(田效勋 , 车宏生,2009),探讨结构化面试的构想效度成为需要重点关注的研究问题。
基于此,采用我国真实情景中公务员大规模面试数据,按照Cronbach和Meehl(1955)提出的研究范式,采用信度分析、因素分析、多质多法分析等多种方法,基于内部一致性信度、因子载荷等多个指标检验结构化面试的构想效度,评估结构化面试的构想效度。
2 研究工具及方法
2.1 被试
基于研究目的,采用多波数据(multi-wave data)相互验证。选用三批不同年份(2013、2014)、不同政府部门的面试数据,随机分配于三部分分析。2013机构一数据(N=353)用于探索性因素分析和信度分析,2013机构二数据(N=380)数据用于验证性因素分析,2014机构一数据(N=336)用于多质多法分析。三批数据共有269名面试官参加,每位应试者由标准面试官小组(Interviewer Panel)评分。将参加面试的1069位应试者的面试相关数据全部纳入分析,包括测评要素分和总分,应试者人口统计学特征见表1。
表1 应试者人口统计学变量
2.2 结构化面试测评要素
结构化面试题目由公务员考试研究机构开发而成。结构化面试测评要素的开发,是在《国家公务员通用能力标准框架(试行)》中列出的通用能力的基础上,对拟录取岗位进行了工作分析,确定分析能力、计划能力、人际能力、应急处置、语言表达、举止仪表等六个测评要素。通过公务员面试职位专家的焦点小组讨论,最终确定:分析能力、计划能力、人际能力、应急处置能力的权重为20%,语言表达、举止仪表的权重为10%。每道题目包含一个或多个测评要素,原因在于:实践中很难有单一考察某一特定测评要素的面试题目;符合《国家公务员录用面试暂行办法》中的命题原则;从心理测量学的角度,Van Iddekinge等(2004)提出,设定跨题目评价维度可提高面试的构想效度。基于Van Iddekinge等(2004)提出的:在构想效度研究中,不同面试题本和不同面试形式均可视作不同的方法,研究中收集四套面试题本符合多波数据研究范式和多质多法分析的前提。
2.3 面试评分方法
面试前对所有面试官进行评分相关培训,便于面试官准确把握评分标准,提高面试官间评分一致性。面试过程中,所有应试者提问顺序相同、面试官相同、施测环境尽量保持一致。面试采用标准面试官小组(徐建平,周瀚,李文雅,陈孚, 张伟,2014),面试时长约为20分钟。面试中,每名面试官在应试者回答完每个问题后,立刻独立对应试者基于行为锚定量表打分,以最小化一般印象效应(General Impression Effect)(Van Iddekinge et al.,2004)。面试官组按照“题目—题—要素”顺序,对应试者的面试表现进行评价,面试分数按照测评要素汇总,得出每一应试者的不同测评要素得分,最后将所有测评要素的得分相加得出应试者的面试总分。根据Huffcutt和Arthur(1994)对面试结构化程度的分类标准,研究中的关注的面试是高度结构化面试。
2.4 构想效度的分析方法
近年来,面试构想效度研究出现了综合实验证据或理论数据,以验证选拔方法测评特质的充分性和恰当性的趋势(关丹丹 , 车宏生,2010)。据此,研究采用多种方法分析结构化面试的构想效度:内部一致性信度、因素分析、多质多法分析等。
采用经典的内部一致性信度评价构想效度(Cronbach & Meehl,1955)。内部一致性是题目之间的相关性(Revelle & Zinbarg,2009),如果同一维度内部的题目之间相关高,则可认为该结构化面试的构想效度高。采用因素分析衡量结构化面试的构想效度(Thompson & Daniel,1996)。对结构化面试的测评要素进行探索性因素分析,找出结构化面试评分中的共同因素,用测评要素在共同因素上的因子载荷衡量结构化面试的构想效度;再用验证性因素分析验证结构化面试的构想效度。用多质多法分析评估面试的聚合效度和区分效度,分别计算出任意两套题本测量同一种特质的相关,和同一题本测量不同特质的相关,聚合效度显著高于区分效度,则说明结构化面试的构想效度高(Campbell & Fiske,1959)。若用多种相似的方法测量同一种特质相关较高,或用相似方法测量不同特质相关较低,则说明测量的构想效度高。由于传统的通过相关矩阵计算平均相关系数的多质多法模型缺乏可靠指标衡量模型的拟合程度,因此进一步采用验证性因素分析量化多质多法模型的拟合效果(Kenny & Kashy,1992;Van Iddekinge et al.,2004)。出于控制共同方法偏差(Podsakoff,MacKenzie,Lee,& Podsakoff,2003)的需要,研究中的七人面试小组抽签产生,并不固定,无法提供面试官因子,因此在验证性因素分析中,仅构建了包含特质因子和方法因子的嵌套模型。
3 结果分析
3.1 结构化面试探索性因素分析
采用探索性因素分析检验结构化面试的构想效度,通过分析提取面试公因子,探索结构化面试测评维度。首先检验数据是否适合进行探索性因素分析,依照Kaiser-Meyer-Olkin(KMO)和Barlett Test of Sphericity检验,得出KMO=0.847>0.80,Bartlett.s Test=6620.98,显著性水平为0.000,表明各测评要素间存在共同因素可以进行探索性因素分析。
采用主成分分析法抽取公因子结果发现,特征值大于1的公因子有2个,两个因素总贡献率为80.92%,解释变异达到可接受水平。采用最大方差法旋转,每一测评要素的在相应维度上的因子载荷均大于0.80(见表2),构想效度良好。因此,探索性因素分析发现,结构化面试测评二维构想,构想效度良好。
表2 结构化面试的因子载荷表
注:加粗字体为该测评要素在相应维度上的因子载荷
3.2 结构化面试的验证性因素分析
探索性因素分析主要是由数据驱动,单纯分析数据结构,对于后期理论解释的适应性关注不够。相对来说,验证性因素分析是先构建理论框架再验证数据的拟合度。接下来采用另一批数据,通过验证性因素分析进一步检验结构化面试的构想效度。
根据探索性因素分析和前人研究的结果设定不同模型。二维模型:基于探索性因素分析的结果设定;单维模型:Pulakos和Schmitt(1995)前人研究提出结构化面试测评一维构想;三维模型:Huffcutt(2011)提出结构化面试测评多维构想,同时,结合验证性因素分析对观察指标数和因素数的要求(模型识别要求每个因素上至少有2个观察指标(侯杰泰,温忠麟, 成子娟,2004),设定三因素模型。在社会学中,对所有相关条目测量值作为对该潜变量的测量,其划分标准为α≥7.0(Nunnally,2010)。也就是说α=7.0是一个合成测量最低可接受的信度。据此,分别计算前四个观察指标两两之间的α系数,其中,只有分析能力和计划能力(0.81)、人际能力和应急处置(0.78)的α系数大于0.70。基于此,确定三因素模型的观察指标划分,即分析能力和计划能力归为一个因素,人际能力和应急处置归为一个因素,语言表达和举止仪表归为一个因素。
采用Mplus7.0,运用极大似然法对三个竞争模型进行验证性因素分析。模型中数据的N/t远大于100:1,样本量较大,对拟合指数较为有利(Marsh,Hau,Balla,& Grayson,1998)。基于Hu和Bentler(1999)推荐的拟合指数衡量模型:χ2/df、RMSEA、CFI、TFI等。RMSEA小于0.05说明拟合度非常好,小于0.10都是可接受的(Schermelleh-Engel,Moosbrugger,& Müller,2003)。CFI是比较拟合指数,其值大于0.90说明拟合度很好,如果接近0.95说明拟合度非常好(Bentler & Dudgeon,1996)。TFI是非常态拟合指数,大于0.90则认为方程拟合度较好(侯杰泰等,2004;Bentler,1990)。
研究发现仅有二因素模型的各项拟合指数均在0.90以上(见表3),三因素模型和单因素模型的TFI均小于0.90,说明仅有二因素模型总体拟合良好。接下来,具体分析二因素模型的标准化载荷,二因素模型中每个测评要素在预设构想上的标准化载荷均在0.60以上,大部分在0.70以上(见图1)。综上,可认为分析结果符合一个拟合较好的模型对系数大小的要求,二因素模型的拟合程度良好。这进一步表明结构化面试测评了二维构想,将这两个维度分别命名为内在因素和外在因素。
表3 多个模型拟合指数
图1 二因素模型的标准化载荷
3.3 结构化面试的描述性统计和信度分析
研究发现结构化面试测评存在二维构想,基于此对四套题本进行信度(内部一致性信度)分析,结果见表4。由于误差不相关,所以采用α系数计算内部一致性信度(温忠麟,叶宝娟,2011)。α系数是从测评要素之间的关系出发衡量信度,反映组成测验的测评要素内部一致性的程度(屠金路,王庭照,金瑜,2010)。四套题本的两个维度的平均数、标准差之间无显著差异,但是外在因素的标准差显著小于内在因素的标准差,这可能是由于内在因素可用的评分等级多于外在因素。四套题本的内部一致性信度为0.80~0.90之间,均在0.81以上,表明不同构想的评分要素之间一致性高。四套题本两个维度的内部一致性信度为0.75~0.92,说明四套题本不同维度的内部一致性信度较高,每个维度内的不同测量指标评估同一特质。
表4 四套题本测评两个维度的描述性统计
3.4 结构化面试的多质多法分析
研究中结构化面试采用多套题本,不同题本可认为是不同方法(Van Iddekinge et al.,2004),符合多波数据研究范式的前提。此外,集合多质多法分析(MTMM,multitrait-multimethod),基于维度之间的聚合效度和区分效度检验结构化面试的构想效度(Campbell & Fiske,1959)。聚合效度是相同维度的不同题本之间的平均相关系数;区分效度是相同题本测量不同维度的平均相关系数。
计算四套题本测评两个维度的积差相关系数,表5呈现了八个变量之间的零阶相关矩阵。结果表明,四套题本测评两个维度的相关系数为0.16~0.92,均达到0.01水平上的显著。表中斜体数值表示同一题本测评不同维度之间的相关,四套题本两个维度之间的相关为0.16~0.68,通过R-Z转换,计算区分效度,区分效度为0.41。表中加粗的数值表示不同题本测评同一维度之间的相关,四套题本测评内在因素的相关为0.91~0.94,四套题本测评外在因素的相关为0.21~0.46。同样,通过R-Z转换计算聚合效度,总聚合效度为0.76,在内在因素上的聚合效度为0.93,在外在因素上的聚合效度为0.35。结果显示,总聚合效度大于区分效度,结构化面试的构想效度良好,测评二维构想。从具体维度来说,外在因素的聚合效度小于内在因素。
表5 四套题本测评两个维度的相关分析结果
注:A1即第一套题本的内在因素特质,A2为第一套题本的外在因素;以此类推;**p<0.01;表中加粗字体为聚合效度,斜体为区分效度。
3.5 结构化面试多质多法模型的验证性因素分析
由于传统的通过相关矩阵计算平均相关系数的多质多法分析缺乏可靠的量化指标衡量模型的拟合程度,因此,采用验证性因素分析验证多质多法模型的拟合程度。为了分析四套题本测评两维度的聚合效度和区分效度,研究构建一系列的嵌套模型(Lance,Noble,& Scullen,2002),应用Mplus7.0软件处理结构化面试的多质多法数据,用极大似然法估计模型的拟合度(Kenny & Kashy,1992)。
研究构建的全模型,包括四个方法因子,两个特质因子。每套题本的测评要素作为模型的指标,四套题本分别作为模型的四个方法因子,内在因素和外在因素作为模型的两个特质因子,模型中的每一个指标都归属于1个方法因子和1个特质因子。多质多法模型的拟合指数见表6的模型1,其中RMSEA为0.05,CFI为0.94,TFI为0.93,均大于0.90,接近0.95,因此模型拟合度较高。
多质多法模型的指标在特质因子和方法因子上的载荷见表6。多质多法模型的指标在特质因子上载荷越高表明测评工具的聚合效度越好,同时,多质多法模型的指标在方法因子上的载荷越低,表明同一方法测评的不同特质的区分效度越低,聚合效度大于区分效度,则说明结构化面试的构想效度良好。从表6呈现的结果分析中可以看出,总体上,四套题本在特质因子上的载荷高于方法因子上的载荷。具体来说,第二套题本和第四套题本在特质因子上的载荷大于在方法因子上的载荷;第一套题本和第三套题本中部分测评要素在特质因子上的载荷大于在方法因子上的载荷;无论哪套题本,举止仪表要素在特质因子上的因子载荷均大于在方法因子上的因子载荷。总之,结构化面试测评二维构想,构想效度良好,仅有个别测评要素需要进一步完善。
表6 多质多法模型的指标在特质因子和方法因子上的载荷(STDYX标准模型)
注:A1即第一套题本的内在因素特质,A2为第一套题本的外在因素。A11~A14为属于A1维度的四个测评要素;以此类推。
进而,构建不同嵌套模型,分析不同题本测评相同特质的聚合效度和相同题本测评不同特质的区分效度。各模型的指标相同,潜变量设定不同。以全模型为基准模型,设为模型1,比较不同在拟合指数上的差异。为了检验不同题本测评相同特质的聚合效度,建立模型2,仅设定四个方法因子,无特质因子。比较模型1与模型2在拟合指数上的变化,若特质因子有独特贡献,则模型的拟合度更高。模型拟合指数有一定的改变(见表7),Δχ2=303.80(p<0.001),ΔCFI为0.06,ΔTFI为0.06,结果表明存在特质因子的模型1与数据的拟合情况更好,反应出特质因子对模型的拟合有独特贡献。
表7 嵌套模型和全模型的拟合指数
注:模型1:全模型;模型2:仅有方法因子;模型3仅有特质因子。
为了考察相同题本测评应试者不同能力的区分效度,建立模型3,仅设定2个特质因子,无方法因子。比较模型1和模型3在拟合指数上的变化(见表7),若方法因子有独特贡献,则模型1的拟合度更高,Δχ2=1054.33(p<0.001),ΔCFI为0.22,ΔTFI为0.24。结果发现,无方法因子的嵌套模型的拟合度是不可接受的,存在方法因子的模型1与数据的拟合度更好,说明方法因子对模型的拟合有独特贡献。
4 讨论
我国公务员大规模结构化面试与前人研究中涉及的企业面试具有不同的特点。公务员面试时间相对较短但应试者的人数更多,同时参与评价的面试官人数也非常多。研究采用公务员面试的真实数据,探讨了结构化面试的构想效度。研究发现,在我国公务员大规模面试情景中结构化面试的构想效度良好,测评了内在因素(分析能力、计划能力、人际能力、应急处置能力)和外在因素(语言表达、举止仪表)两维构想,并未出现前人研究中的“效度悖论”(Van Iddekinge et al.,2005),效度悖论是指预测效度良好而构想效度缺失(Arthur,2000)。
此外研究中的样本选择的是真实的公务员应试者,在应试动机、年龄、性别、学历、考试指导等可能影响面试评分的因素均与实际公务员面试一致,收集的面试数据,来源于真实的面试现场与既往研究中使用实验室模拟面试数据不同,生态效度高于模拟面试(Kleinmann & Klehe,2011)。从分析方法的角度看,既采用信度分析和因素分析,也采用了多质多法分析,尽量降低单一测评方法或同一测评者测评引起的信息偏差或缺失,进一步分离测评方法和测评构想带来的变异(Geiser,Eid,Nussbeck,Courvoisier,& Cole,2010),符合现代效度理论验证范式(关丹丹,车宏生,2010),研究结果的可信度更高。
从测评要素的角度看,Huffcutt(2011)提出面试主要测评了三类构想:工作相关因素、临场表现因素和人口统计学因素。但由于研究中的面试属结构化面试,结构化程度降低了人口统计学因素对面试评分的影响(Melchers,Lienhardt,Von Aarburg,& Kleinmann,2011)。因此,结构化面试的测评呈现二维构想:内在因素(分析能力、计划能力、人际能力、应急处置能力)和外在因素(语言表达、举止仪表)。与Huffcutt(2011)研究结果相互印证,即面试测量了工作相关因素和临场表现因素。由此可见,面试官在评价考生外在因素时所关注的言语表达和举止仪表测评要素,正是面试中人际沟通能力的外显行为,大规模公务员面试时间紧面试考生人数多,考官依据易于观察的外显行为对考生特质沟通能力进行了快速评价。但是,这种大规模公务员面试考官面试评价的分数是否有效,预测效度如何?显然还应该进一步收集公务员入职后的工作绩效数据即效标数据进行深入分析。
关丹丹, 车宏生.(2010).现代效度理论与效验方法述评.心理科学,33(3),654-656.
洪自强, 严进.(2003).结构化面试构思效度现场研究.南开管理评论,(4),21-24.
侯杰泰,温忠麟, 成子娟.(2004).结构方程模型及其应用.教育科学出版社.
田效勋, 车宏生.(2009).面试预测效度和构想效度研究述评.心理科学进展,17(4),870-876.
屠金路,王庭照, 金瑜.(2010).结构方程模型下多因子非同质测量合成分数的信度估计.心理科学,33(3),666-669.
王忠军, 龙立荣.(2006).评价中心的结构效度研究.心理科学进展,14(3),426-432.
温忠麟, 叶宝娟.(2011).测验信度估计:从α系数到内部一致性信度.心理学报,43(7),821-829.
徐建平,周瀚,李文雅,陈孚, 张伟.(2014).结构化面试中面试官的评分及影响因素.心理科学进展,14(2),357-368.
徐淑英, 吕力.(2015).中国本土管理研究的理论与实践问题:对徐淑英的访谈.管理学报,(3),313-321.
Arthur,W.(2000).Convergent and discriminant validity of assessment center dimensions:A conceptual and empirical reexamination of the assessment center construct-related validity paradox.JournalofManagement,26(4),813-835.
Barrick,M.R.,Shaffer,J.A.,& DeGrassi,S.W.(2009).What you see may not be what you get:Relationships among self-presentation tactics and ratings of interview and job performance.JournalofAppliedPsychology,94(6),1394-1411.
Bentler,P.M.(1990).Comparative fit indexes in structural models.PsychologicalBulletin,107(2),238-246.
Bentler,P.M.,& Dudgeon,P.(1996).Covariance structure analysis:Statistical practice,theory,and directions.AnnualReviewofPsychology,47 ,563-592.
Campbell,D.T.,& Fiske,D.W.(1959).Convergent and discriminant validation by the multitrait-multimethod matrix.PsychologicalBulletin,56(2),81-105.
Cronbach,L.J.,& Meehl,P.E.(1955).Construct validity in psychological tests.PsychologicalBulletin,52(4),281-302.
De Vos,A.,De Hauw,S.,& Van der Heijden,B.I.(2011).Competency development and career success:The mediating role of employability.JournalofVocationalBehavior,79(2),438-447.
DeGroot,T.,& Kluemper,D.H.(2007).Evidence of predictive and incremental validity of personality factors,vocal attractiveness and the situational interview.InternationalJournalofSelectionandAssessment,15(1),30-39.
Geiser,C.,Eid,M.,Nussbeck,F.W.,Courvoisier,D.S.,& Cole,D.A.(2010).Analyzing true change in longitudinal multitrait-multimethod studies:Application of a multimethod change model to depression and anxiety in children.DevelopmentalPsychology,46(1),29-45.
Hendry,M.C.,Douglas,K.S.,Winter,E.A.,& Edens,J.F.(2013).Construct measurement quality improves predictive accuracy in violence risk assessment:An illustration using the personality assessment inventory.BehavioralSciences&theLaw,31(4),477-493.
Hu,L.-t.,& Bentler,P.M.(1999).Cutoff criteria for fit indexes in covariance structure analysis:Conventional criteria versus new alternatives.StructuralEquationModeling-aMultidisciplinaryJournal,6(1),1-55.
Huffcutt,A.I.(2011).An empirical review of the employment interview construct literature.InternationalJournalofSelectionandAssessment,19(1),62-81.
Huffcutt,A.I.,& Arthur,W.(1994).Hunter and hunter(1984)revisited-interview validity for entry-level jobs.JournalofAppliedPsychology,79(2),184-190.
Huffcutt,A.I.,Conway,J.M.,Roth,P.L.,& Stone,N.J.(2001).Identification and meta-analytic assessment of psychological constructs measured in employment interviews.JournalofAppliedPsychology,86(5),897-913.
Huffcutt,A.I.,Culbertson,S.S.,& Weyhrauch,W.S.(2014).Moving forward indirectly:Reanalyzing the validity of employment interviews with indirect range restriction methodology.InternationalJournalofSelectionandAssessment,22(3),297-309.
Huffcutt,A.I.,Van Iddekinge,C.H.,& Roth,P.L.(2011).Understanding applicant behavior in employment interviews:A theoretical model of interviewee performance.HumanResourceManagementReview,21(4),353-367.
Kenny,D.A.,& Kashy,D.A.(1992).Analysis of the multitrait-multimethod matrix by confirmatory factor analysis.PsychologicalBulletin,112(1),165.
Kleinmann,M.,& Klehe,U.C.(2011).Selling oneself:Construct and criterion-related validity of impression management in structured interviews.HumanPerformance,24(1),29-46.
Kluemper,D.H.,McLarty,B.D.,Bishop,T.R.,& Sen,A.(2014).Interviewee selection test and evaluator assessments of general mental ability,emotional intelligence and extraversion:Relationships with structured behavioral and situational interview performance.JournalofBusinessandPsychology,1-21.
Koch,T.,Schultze,M.,Eid,M.,& Geiser,C.(2014).A longitudinal multilevel cfa-mtmm model for interchangeable and structurally different methods.FrontiersinPsychology,5(311),311-313.
Lance,C.E.,Noble,C.L.,& Scullen,S.E.(2002).A critique of the correlated trait-correlated method and correlated uniqueness models for multitrait-multimethod data.PsychologicalMethods,7(2),228.
Levashina,J.,Hartwell,C.J.,Morgeson,F.P.,& Campion,M.A.(2014).The structured employment interview:Narrative and quantitative review of the research literature.PersonnelPsychology,67(1),241-293.
Marsh,H.W.,& Bailey,M.(1991).Confirmatory factor analyses of multitrait-multimethod data:A comparison of alternative models.AppliedPsychologicalMeasurement,15(1),47-70.
Marsh,H.W.,Hau,K.T.,Balla,J.R.,& Grayson,D.(1998).Is more ever too much? The number of indicators per factor in confirmatory factor analysis.MultivariateBehavioralResearch,33(2),181-220.
McCARTHY,J.M.,Van Iddekinge,C.H.,& Campion,M.A.(2010).Are highly structured job interviews resistant to demographic similarity effects?PersonnelPsychology,63(2),325-359.
Melchers,K.G.,Lienhardt,N.,Von Aarburg,M.,& Kleinmann,M.(2011).Is more structure really better? A comparison of frame-of-reference training and descriptively anchored rating scales to improve interviewers’ rating quality.PersonnelPsychology,64(1),53-87.
Nunnally,J.C.,& Bernstein,I.H.(2010).Psychometrictheory(3Edition).New York:McGraw-Hill Education.
Peterson,N.G.,Mumford,M.D.,Borman,W.C.,Jeanneret,P.,& Fleishman,E.A.(1999).Anoccupationalinformationsystemforthe21stcentury:ThedevelopmentofO*NET.American Psychological Association.
Podsakoff,P.M.,MacKenzie,S.B.,Lee,J.Y.,& Podsakoff,N.P.(2003).Common method biases in behavioral research:A critical review of the literature and recommend ed remedies.JournalofAppliedPsychology,88(5),879-903.
Pulakos,E.D.,& Schmitt,N.(1995).Experience-based and situational interview questions - studies of validity.PersonnelPsychology,48(2),289-308.
Revelle,W.,& Zinbarg,R.E.(2009).Coefficients alpha,beta,omega,and the glb:Comments on sijtsma.Psychometrika,74(1),145-154.
Salgado,J.F.,& Moscoso,S.(2002).Comprehensive meta-analysis of the construct validity of the employment interview.EuropeanJournalofWorkandOrganizationalPsychology,11(3),299-324.
Schermelleh-Engel,K.,Moosbrugger,H.,& Müller,H.(2003).Evaluating the fit of structural equation models:Tests of significance and descriptive goodness-of-fit measures.MethodsofPsychologicalResearchOnline,8(2),23-74.
Thompson,B.,& Daniel,L.G.(1996).Factor analytic evidence for the construct validity of scores:A historical overview and some guidelines.EducationalandPsychologicalMeasurement,56(2),197-208.
Van Iddekinge,C.H.,Raymark,P.H.,Eidson,C.E.,& Attenweiler,W.J.(2004).What do structured selection interviews really measure?The construct validity of behavior description interviews.HumanPerformance,17(1),71-93.
Van Iddekinge,C.H.,Raymark,P.H.,& Roth,P.L.(2005).Assessing personality with a structured employment interview:Construct-related validity and susceptibility to response inflation.JournalofAppliedPsychology,90(3),536-552.
Zibarras,L.D.,& Woods,S.A.(2010).A survey of UK selection practices across different organization sizes and industry sectors.JournalofOccupationalandOrganizationalPsychology,83(2),499-511.
Ziegler,M.,Dietl,E.,Danay,E.,Vogel,M.,& Buehner,M.(2011).Predicting training success with general mental ability,specific ability tests,and(un)structured interviews:A meta-analysis with unique samples.InternationalJournalofSelectionandAssessment,19(2),170-182.
What Do Civil Servant Selection Interviews Really Measure?The Construct Validity of Structured Interview Evidence from China
Li Yingwu Yu Zhou Peng Kunxiali Wei Minyuan
(Department of Psychology,Renmin University of China,Beijing 100872)
Meta-analysis confirmed that the interview can predict work performance,but the prediction mechanism is unclear.The APA latest Standard psychological and educational Testing(2014 Edition)propose that,explore the validity of the interview should collect multi perspective evidence.Follow this suit,this study according to the multicast data(multi - wave data)research paradigm,method of combining multiple mass model,methods of confirmatory factor analysis,to select several central state administrative organs during 2013 to 2014 1069 civil servants interview candidates interview data(archival data)interaction idea of validity of the civil servants interviews.The results showed that the civil servants interviews in China internal factors and external factors in two dimensions support the interview the two-dimensional theory.
civil servant;interview;multi wave data;construct validity
国家社科基金一般项目(14BZZ087)。
李英武,E-mail:liyingwu@126.com;魏敏媛,E-mail:weiminyuan0430@163.com。
B841.2
A
1003-5184(2016)05-0472-09