公务员招录中材料型结构化面试的信效度研究

● 张弘 李雨萌



公务员招录中材料型结构化面试的信效度研究

● 张弘 李雨萌

内容摘要本文运用实验研究方法来探讨我国公务员招录中所采用的材料型结构化面试的信度与效度。研究发现，传统型结构化面试与材料型结构化面试都具有较好的考官间信度，但在应变能力的测评上表现出显著的差异，且会导致招录结果的不同。相对于传统型结构化面试，材料型结构化面试能够明显地提升对沟通能力的测评效标效度，但在应变能力测评上的效标效度难以令人接受。传统型结构化面试和材料型结构化面试的结构效度都不理想。

关 键 词公务员招录 材料型结构化面试 信度与效度

张弘（通讯作者），西南政法大学管理学院，副教授，管理学博士，电子邮箱：zh_nju@sina.com。

李雨萌，西南政法大学管理学院，硕士研究生。

本文受教育部人文社会科学规划基金“中国情境下雇佣保障影响企业绩效的作用机制：跨层次研究”（11YJA630191）资助。

一、研究背景与问题提出

结构化面试是我国国家公务员招录中一种非常重要的测评手段，主要用于考察考生是否具有从事行政管理工作所需要的一些素质，如综合分析能力、计划组织能力、沟通说服能力等（王世潮、韩飞麟，2014）。尽管结构化面试有行为描述型结构化面试和情景型结构化面试两种不同的形式，但出于对公正和程序一致性的考虑，公务员招录面试中实际所采用的多为情景型结构化面试。即，用简短的语言给应试考生描绘出一个具体的情境——多为未来工作中可能会遇到的情景，然后询问应试考生“在这种情况下，你会怎么去做？”。由于公务员招录中需要测评应试考生的多个素质，而情景型结构化面试一般需要针对所要测评的各个素质，分别给出一个具体的情境。于是，公务员招录中的情景型结构化面试一般由4-5个问题构成——每个问题有其独立的情境，并对应着测评一个特定的素质（顾利群，2011）。

随着公务员报考热的持续升温，针对公务员招录面试的培训得到了迅猛发展。大大小小的培训机构延揽各式各样的人才，对我国公务员招录面试的测评要素、面试题本、观察要点、打分标准等进行深入的研究，进而形成所谓的应试策略或技巧——如针对某一测评要素的万能答案——并传授给考生。这就逼迫我国国家公务员招录部门必须在测评工具和面试技术上不断地进行创新。近年来，我国国家公务员招录中出现了一种新型的情景型结构化面试，其不同之处在于使用了材料文本，即在面试之前会给应试考生发放一份阅读材料，该阅读材料一般为考生提供一个事件的梗概。面试则以该事件为基础，选择其中的4-5个具体情境，同样是询问应试考生“在这种情况下，你会怎么去做？”。为便于区别，本文将这种新型的情景型结构化面试称为材料型结构化面试，与之相对应的过去公务员招录中所惯常使用的情景型结构化面试则称为传统型结构化面试。

在公务员招录中，材料型结构化面试一经推出，便受到了报考公务员的考生和公务员招录面试考官的普遍好评——考生们认为材料型结构化面试让面试问题的答案有了落脚点，从而更容易准备，更有话可说；考官们认为材料型结构化面试让面试问题的答案不再五花八门，从而更容易判别和评分。然而，材料型结构化面试与传统型结构化面试相比，其应用于公务员招录中的信度和效度究竟如何呢？文献检索结果却显示出，很少有学者关注到这些问题，更谈不上给出严谨且科学的答案了。我们认为，无论是从检验材料型结构化面试这一技术创新的有效性出发，还是从更好地应用和进一步地开发材料型结构化面试这一新技术出发，都非常有必要对材料型结构化面试的信度与效度进行研究。

二、研究方法与实验设计

本文采用实验法来探讨材料型结构化面试的信度和效度问题，具体研究思路是：借助于结构化面试信度和效度研究的成熟理论与方法（郭庆科等，2014；田效勋等，2009；徐长江等，2013；Macan，2009），分别使用传统型结构化面试题本和材料型结构化面试题本，以实验方式获取两种结构化面试的相关数据，以360度评价结果作为面试效度判定的效标，通过对实验数据的统计分析，来比较传统型结构化面试与材料型结构化面试的信度和效度。

为此，本研究设计并实施了一个包含两轮模拟面试的实验，具体情况如下：

1. 面试考官与面试对象

首先，在西南政法大学管理学院人力资源管理方向的教师和研究生中遴选出11人，经培训后组成本次面试实验的考官组。其次，在西南政法大学管理学院的工商管理、市场营销、劳动关系、会计学和审计学等5个专业的大学三年级学生中公开招募10名面试对象，招募条件为：（1）有报考公务员的意愿；（2）对参加面试实验有兴趣并能够保证时间投入。

2. 面试题本

为保证面试实验的科学性，本研究所使用的面试题本尽可能为真实的公务员招录结构化面试题本。其中，材料型结构化面试题本直接选用了我国公务员招录所使用过的真实题本；传统型结构化面试的题本则是根据材料型结构化面试题本考察的能力要素，由多个我国公务员招录所使用过的真实题本拼接而成。对于所使用的这两个题本，请参与国家公务员招录的3名资深面试考官对其难度进行评估，结论是两个题本的难度相当。

除去阅读材料，传统型结构化面试题本和材料型结构化面试题本都由4个问题组成，每个问题后附有观察要点提示和评分参考，对应地考察面试对象的综合分析能力、沟通能力、应变能力和服务意识等4个能力要素。

3. 面试实验实施

面试实验于2015年11月14日在西南政法大学管理学院实施，第一轮进行的是传统型结构化面试，第二轮为材料型结构化面试。

面试实验设置了面试等待室、面试室和面试休息室。每轮面试前，所有面试对象被集中于面试等待室，并通过抽签确定该轮面试的顺序。其后，面试对象按抽签顺序进入面试室接受面试，并在面试结束后进入面试休息室，直至该轮面试实验结束——即所有面试对象完成该轮面试。

整个面试过程仿真公务员招录面试过程：首先，面试对象进入面试室并落座后，由主考官宣读标准化的面试指导语——“你好！祝贺你进入面试。今天的面试，我们会问你4个问题，面试的时间为15分钟。在回答每个问题前，你可以先考虑一下。没有听清楚的问题，可以要求我再说一遍。请注意把握好时间，不要紧张。好，现在开始。”其次，由主考官向面试对象宣读第一道面试考题，待面试对象确认回答完毕后，再依次向面试对象宣读下一道面试考题，直至完成全部4道题的面试或用完15分钟的面试时间。第三，在面试室安排了专职的计时员，计时员在主考官宣读第一道面试题起开始计时，在面试用完12分钟时进行最后3分钟提醒，在面试用完15分钟时宣布终止面试。第四，11名面试考官（包括主考官）根据面试对象的回答，并结合面试题本中每个问题后附有的观察要点和评价参考，独立地就面试所测试的4种能力要素给面试对象进行打分，每一种能力要素的最高分为25分。第五，在面试室安排了专职的计分员和监督员，负责对11名考官的打分进行登录和统计，面试对象各项能力要素得分和总得分的计算采用简单平均法。第六，在进行第二轮材料型结构化面试时，面试等待室的工作人员会在面试前30分钟，向面试对象发放材料文本，并要求其在指定位置上独自阅读。需要指出的是，因研究需要，在第二轮材料型结构化面试中，前5名面试对象只能在面试等待室阅读材料文本，而后5名面试对象不仅可以在面试等待室中阅读材料文本，还被允许将材料文本带入面试室并在面试过程中可以翻看。

4. 360度评价

本研究邀请36名熟悉面试对象的老师、辅导员以及其他同学作为评价者，每9名评价者对10名面试对象的1种能力要素（如综合分析能力）进行评价，评价采用交替排序法。将9名评价者所给出的排序按数值进行加总后再排序，得到10名面试对象在该能力要素上的最终评价结果（见表1）。以该评价结果作为两种结构化面试效度判定的效标。

表1　 360度评价结果

三、数据与分析

（一）传统型结构化面试与材料型结构化面试实验的结果数据分析

分别采用传统型结构化面试和材料型结构化面试的实验结果见表2和表3。

为确认传统型结构化面试与材料型结构化面试的结果是否存在显著性差异，本研究分别对两次面试所测评的各能力要素得分和最终的总得分进行非参数检验——两个相关样本检验（Test for two related samples），结果见表4。

表2　 传统型结构化面试的结果数据

由表4可知，分别采用传统型结构化面试与材料型结构化面试，在测评考生的综合分析能力、沟通能力和服务意识的得分上没有出现显著的差异，但在测评考生的应变能力的得分上出现了显著的差异，且在应变能力测评上的显著差异最终导致了在总得分上出现了显著的差异。

就公务员招录而言，更为重要的是面试对象在面试中的成绩排名，而不是成绩本身。因此，本研究从招录实际出发，根据上述面试结果，分别以1∶3和1∶2的比例录用面试对象，从中可以发现，传统型结构化面试和材料型结构化面试都能够对考生进行有效的区分和甄选，但随着录用比例的减小（从50%减小至33%），两种面试方式最终所录用的人员会有差异。因此，在考虑选用传统型结构化面试方式或材料型结构化面试方式时，还需要注意录用比例。

表3　 材料型结构化面试的结果数据

表4　 各能力要素与总得分的两个相关样本检验

表5　 传统型结构化面试和材料型结构化面试的结果排序

以采用传统型结构化面试和材料型结构化面试的得分排序差异大于2为出现较大差异，进一步分析所考察的各能力要素的得分排序状况（见表5），从中可以发现，在对传统型结构化面试方式和材料型结构化面试方式的适应上，不同的考生存在着差异，且这种差异较为平均地表现在对各能力要素的测评上。

需要指出的是，出现了较大差异的5名面试对象中，有4名面试对象属于未允许将阅读材料带入面试室的，仅有1名面试对象属于允许将阅读材料带入面试室的。而在所出现的12次较大差异中，有11次属于未允许将阅读材料带入面试室的，仅有1次属于允许将阅读材料带入面试室的。这一结果表明，允许将阅读材料带入面试室，能够有效地帮助考生适应材料型结构化面试方式。

（二）材料型结构化面试的考官间信度

本研究使用Kendall和谐系数来计算考官间信度，结果见表6。从这一结果来看，首先，所考察各能力要素的Kendall和谐系数都在0.001的水平上显著，表明无论是传统型结构化面试，还是材料型结构化面试，考官们对考生的各项能力要素均有着比较一致的评价；其次，对于综合分析能力和应变能力而言，传统型结构化面试的考官间信度要高于材料型结构化面试的考官间信度；对于沟通能力和服务意识而言，材料型结构化面试的考官间信度则要高于传统型结构化面的考官间信度。

由于在材料型结构化面试中，未允许将阅读材料带入面试过程的面试对象与允许将阅读材料带入面试过程的面试对象并不相同，因此，本研究仅仅以将阅读材料带入面试过程的面试对象为例，使用Kendall和谐系数来计算考官间信度，结果见表7。与表6相比较可以看出，随着阅读材料被允许带入面试，考官间的信度水平明显提高。

表6　 传统型结构化面试与材料型结构化面试的考官间信度

表7　 传统型结构化面试与带入阅读材料的材料型结构化面试的考官间信度

（三）材料型结构化面试的效标效度分析

以360度评价结果为效标，来检验传统型结构化面试和材料型结构化面试的效标效度，结果见表8。

从表8中可以看出，采用传统型结构化面试时，对综合分析能力、应变能力和服务意识的测评都具有较好的效标效度，仅对沟通能力测评的效标效度不太理想；而采用材料型结构化面试时，对综合分析能力、沟通能力和服务意识的测评具有较好的效标效度，但对应变能力测评的效标效度则非常的低。

表8　 传统型结构化面试与材料型结构化面试的效标效度

（四）材料型结构化面试的结构效度分析

通过传统型结构化面试与材料型结构化面试所测评能力要素的相关分析和探索性因子分析来探讨两种面试方式的结构效度，结果见表9。

首先，无论是采用传统型结构化面试，还是采用材料型结构化面试，探索性因子分析的结果都显示，大于1的特征根只有一个。所存在的差异是：传统型结构化面试中，这个特征根单独解释的变异为56.224%，而材料型结构化面试中，这个特征根单独解释的变异为62.110%。这一结果显示，无论是传统型结构化面试，还是材料型结构化面试，表面上所测评的是综合分析能力、沟通能力、应变能力和服务意识等四个能力要素，而实质上测评的则很可能是藏在这四个能力要素背后的某一个未知的要素。

表9　 两种面试方式的各测评要素的相关系数和因子负荷

其次，相关分析结果显示，采用传统型结构化面试时，各测评要素间的相关系数均没有达到显著水平；而采用材料型结构化面试时，应变能力与沟通能力（p=0.039）、服务意识（p=0.037）均显著相关。这一结果表明，采用材料型结构化面试时，应变能力与沟通能力、服务意识之间的区分效度是比较低的。

四、实验研究的结论与讨论

首先，就面试结果而言，传统型结构化面试与材料型结构化面试在考生综合分析能力、沟通能力、服务意识的测评上都没有表现出显著的差异；但在考生应变能力的测评上表现出了显著的差异，且这一显著差异最终导致在考生的总得分上也出现了显著的差异。这意味着，当涉及到应变能力这一素质的测量时，采用传统型结构化面试或者材料型结构化面试，最终招录的结果会有显著性的差异。

实验研究中发现，当招录比例较大时，采用传统型结构化面试和采用材料型结构化面试所产生的测评差异，对最终招录结果的影响稍弱；但当招录比例较小时，采用传统型结构化面试和采用材料型结构化面试所产生的测评差异，对最终招录结果的影响则相当明显。

实验研究中还发现，当允许考生将阅读材料带入面试室时，采用传统型结构化面试和采用材料型结构化面试的结果间差异趋于减小。这一发现提醒我们，材料型结构化面试可能还在测评考生的记忆能力。

其次，就信度而言，传统型结构化面试和材料型结构化面试都具有相对较好的考官间信度。即不论是采用传统型结构化面试，还是采用材料型结构化面试，考官们在评分上均表现出了显著的一致性。但不可忽视的是，传统型结构化面试与材料型结构化面试之间考官间信度又的确存在着一定的差异——相对而言，在考生的总得分和对考生沟通能力、服务意识的测评上，采用材料型结构化面试的考官间信度要高于采用传统型结构化面试的考官间信度；而在对于综合分析能力和应变能力的测评，采用传统型结构化面试的考官间信度要高于采用材料型结构化面试的考官间信度。这一结果再次提醒我们，针对需要测评的不同能力要素，传统型结构化面试和材料型结构化面试可能各有所长。

实验研究中还发现，在材料型结构化面试中，随着阅读材料被允许带入面试室，考官间的信度明显地得到了提升。

第三，效标效度研究显示，相对于传统型结构化面试，材料型结构化面试明显地提升了对沟通能力测评的效标效度，但在应变能力测量的效标效度上则是难以令人接受的。我们认为，造成这一结果的原因在于：面试所设置情境的具体性对测评不同能力要素的影响是不同的。既然面试是设置一个情境，并询问考生在这一情境下会如何行动，来判断考生是否具有某种能力。那么，情境与考生的行动之间必然具有某种联系。撇开情境的具体内容，单独考虑情境的具体化程度——即对于同一内容，情境是详细的、丰富的，还是概括的、笼统的？——对考生行动的影响，即对考生在这一情境下回答“你会怎么办？”的影响。我们认为，情境具体化的影响是：行动更加具体化。这种行动的具体化，从一方面来看，是行动更具有针对性；而从另一方面来看，则是行动更具有统一性。显然，这种行动的具体化在展示不同能力要素时的作用是不一样的，如对于展示沟通能力来说，情境的具体导致行动的具体，从而表现出“沟通具有针对性”，更接近沟通能力的定义——准确地理解他人，清晰地表达自我，有效地影响他人。而对于展示应变能力来说，情境的具体导致行动的具体，从而表现出“行动是该情境下的合理的、甚至是唯一的选择”，这就更远离应变能力的定义——在有压力的情境下，思考、解决问题时能够迅速而灵活地转移角度、随机应变、触类旁通，做出正确的判断和处理。

第四，结构效度的研究显示，无论传统型结构化面试，还是材料型结构化面试，表面上测评的是综合分析能力、沟通能力、应变能力、服务意识等4项能力要素，但实质上测评的则很可能是藏在这4项能力要素背后的某一个未知的能力要素，且这一状况在采用材料型结构化面试时更为明显。我们认为，除前述的考生记忆能力可能隐藏于材料型结构化面试之中，考生的阅读理解能力也会影响到材料型结构化面试的结果。这一研究结论提醒我们，选用材料型结构化面试需要精心地选择和编写阅读材料，除情景性面试出题需要考虑的因素（如公正性等）之外，特别需要注意排除两个干扰因素。其一，阅读材料必须是通俗易懂的，具有一定阅读与理解能力的考生都能够有效地领会其中的含义，从而排除考生在阅读与理解能力上的差异对面试可能造成的影响；其二，阅读材料必须是简单易记的，篇幅不能过长，人物不要过多，事件不能过于复杂，最好不要出现多个数据，从而排除考生在记忆能力上差异对面试可能造成的影响。

从应用的角度来看，本研究的结论不仅对公务员招录的结构化面试能提供有意义的指导，而且也可给企业的招聘面试实践带来一些帮助。首先，公务员招录考试被誉为“中国第一考”，在全国各类考试中具有重大的影响，其采用的考试方法和形式会有一定的示范效应。现实中，的确存在着一些企业在人员甄选和录用中模仿公务员招录的方法和程序。因此，对于那些准备在人员甄选和录用中尝试使用材料型结构化面试的企业来说，本研究的结论可以帮助它们做出正确的决策。其次，由于大学应届毕业生一直生活在“象牙塔”中，相对缺乏工作经验和社会阅历，因而企业在校园招聘中常常采用情景型结构化面试。即使企业所采用的是传统型结构化面试，而不是本文所讨论的材料型结构化面试，但本研究所探讨的问题——情境具体化程度对面试信效度的影响——依然是存在的。根据本研究的结论，即使是在使用传统型结构化面试时，企业也需要在面试试题的设计上做出正确选择，如在测量沟通能力时增强面试情境的具体性，而在测量应变能力时降低面试情境的具体性，从而提高面试的效度，保证企业能够选聘到优秀的人才。

参考文献

1. 顾利群：《公务员选拔结构化面试研究》，载《产业与科技论坛》，2011年第2期，第199-202页。

2. 郭庆科、张爱芹：《情景性面试和行为描述性面试的效度对比》，载《心理技术与应用》，2014年第6期，第24-30页。

3. 田效勋、车宏生：《面试预测效度和构想效度研究述评》，载《心理科学进展》，2009年第4期，第870-876页。

4. 王世潮、韩飞麟：《公务员录用考试管理实践与理论研究》，中国人事出版社，2014年版，第12页。

5. 徐长江、梁崇理、刘争光：《结构化面试预测效度的贡献成分分析》，载《心理科学进展》，2013年第5期，第940-950页。

6. Macan T. The Employment Interview： A Review of Current Studies and Directions for Future Research， Human Resource Management Review， 2009， 19（3）：203-218.

■责编/宋萌 Tel：010-88383907 E-mail： songmenghrd@163.com

Study on Reliability and Validity of Material-type Structured Interview in Civil Service Recruitment

Zhang Hong and Li Yumeng
（School of Management， Southwest University of Political Science and Law）

Abstract：In this paper， the experimental research method is used to explore the reliability and validity of material-type structured interview in civil service recruitment. The study found， the inter examiner reliability of traditional-type structured interview and material-type structured interview are very well. But there are significant differences between the traditional-type structured interview and materialtype structured interview that used to assess the response ability， and these differences of assessment will lead to different results of recruiting. Compared with the traditionaltype structured interview， the criterion validity of material-type structured interview is better in assessing the communication ability， and is worse in assessing the response ability. The structure validity of both structured interview are unsatisfactory.

Key Words：Civil service Recruitment； Material-type Structured Interview； Reliability and Validity