我院管理实习生结构化面试的信度与效度分析

■ 桂德权 胡冰水 唐蔚蔚 刘 晶

1 引言

结构化面试最大的特点在于在保留面试优点的同时吸收了科学管理中的标准化原则，能够实现对面试误差的有效控制,从而减少考官评价偏差，提高面试信度和效度[1]。实践证明，实习生计划的实施可以在一定程度上提高招聘的有效性和准确性。目前，这种基于实习生计划的人才招聘途径正在越来越广泛地被用人单位采用[2]。我院自2009年开始实施管理实习生计划，截至2012年已通过该计划招录了55名专职行政管理人员。以2012年为例，我院共招录管理实习生79名，其中正式录用20人，录用率达25.3%。但总结经验，发现在管理实习生的招聘面试中仍然存在一些问题，例如评委投票缺乏统一客观的标准，主要基于主观判断，容易受晕轮效应或刻板印象等影响。为提高管理实习生招聘的有效性和准确性，我院在2013届管理实习生的招聘中实施了结构化面试。本文运用有关统计学方法对本次结构化面试的信度和效度进行分析，以期为今后改进招聘工作提供借鉴。

2 方法

2.1 测量要素确定方法

基于胜任力理论及冰山模型[3]，通过查阅文献[4-5]，并结合我院管理实习生招聘经验，确定我院管理实习生招聘一面测量要素为8个：教育背景、形象与修养、分析能力、表达能力、抗压与应变能力、组织与协调能力、团队协作能力、时间管理能力。进而采用优序图法确定测量要素权重。

2.2 面试方法

我院管理实习生来院实习前须通过两轮面试。第一轮面试以小组面试形式，采用无领导小组讨论等情景模拟测试方法。每组8～10人，面试时间为20分钟。第二轮面试以单独面试形式，采用情景模拟和行为描述相结合的测试方法。本文主要针对一面进行探讨，以二面成绩作为效标进行效度分析。

2.3 抽样方法

2.3.1 应聘者。为便于进行效度分析，本文将通过一面且参加了二面的所有应聘者均纳入样本，共88人，其中男生23人，女生65人；平均年龄24.1岁（SD=1.0）；本科学历5人，硕士研究生82人，博士研究生1人；所学专业涉及管理、外语、文史、财会、法律、工程等。

2.3.2 评委。一面共6位评委，均为医院资深行政管理人员，其中2人来自人事部门。二面评委20余人。

2.4 统计方法

面试数据采用Excel2007录入，利用SPSS11.5统计分析软件进行数据处理，采用独立样本T检验、信度和效度分析等方法对数据进行统计分析。

3 结果

3.1 区分度分析

区分度分析的目的在于考察测量要素是否具有区分度，能否把应聘者的真实能力水平区分开。通过将所有应聘者在8个测量要素的总分按高低排列，以得分最高的25%和得分最低的25%分别作为高分组和低分组，采用独立样本T检验，看高低分组在每个测量要素上的差异是否显著，如果测量要素的CR值达到显著水平（ɑ ＜0.05或ɑ ＜0.01），即表示该测量要素能鉴别应聘者的能力水平。分析结果见表1。

3.2 信度分析

面试信度是指面试结果的可靠性、稳定性，即面试结果是否反映了应聘者稳定的、一贯性的能力素质水平。主要有两个方面，一是测量要素内部一致性信度，指面试测量要素之间的一致性；二是评委间信度，指评委之间评价的一致性。

3.2.1 内部一致性信度分析。内部一致性信度通常采用克朗巴赫ɑ 系数表示，ɑ 系数取值在0.7以上为好，0.8以上为相当好[6]。使用SPSS11.5分析，结果见表2。

3.2.2 评委间信度分析。对于3位及以上评委，评委间信度一般采用肯德尔和谐系数w表示，w取值范围在0～1之间，0表示完全不一致，l表示完全一致。本次面试共有6位评委，采用肯德尔和谐系数分析，SPSS11.5分析结果见表3。

3.3 效度分析

面试效度是指面试结果反映应聘者能力素质水平的准确、真实程度。本文以二面成绩作为效标，进行效标关联效度分析。一面采用打分制，应聘者面试得分为6位评委在各测量要素上加权得分后的平均分，满分为100分。二面采用投票制，面试结果为得票率。具体分析指标采用Pearson积差相关系数，计算公式如下[7]：

其中Xi为第i 个应聘者一面得分，Yi为第i个应聘者二面得票率，n 为应聘者人数。经计算，r=0.2 1（P ＜0.05）。各测量要素与效标间的相关性见表4。

4 讨论

表1 区分度分析

表2 内部一致性信度分析

4.1 测量要素的测评难度与区分度有显著关系

区分度分析结果显示，教育背景、形象与修养、组织与协调能力、时间管理能力的CR值均在0.05水平上达到了显著性，表达能力在0.01水平上达到了显著性，说明这5个测量要素特别是表达能力鉴别力较好，能鉴别出不同应聘者的能力素质水平。分析能力、抗压与应变能力、团队协作能力鉴别力较差，难以区分不同能力素质水平的应聘者。这三个测量要素都很抽象，不易用具体的行为表现来准确描述。而其他要素相对较容易测量，特别是口头表达能力，水平高低显而易见。由此可以看出，区分度与测量要素的测评难度有显著关系，测评难度越低区分度越高。

表3 评委间信度分析

表4 各测量要素与效标间的相关性

4.2 科学的要素设计和适当的评委培训与面试信度有正向相关性

表2显示，总体内部一致性信度为0.76，除形象与修养、抗压与应变能力外，其余6个测量要素内部一致性信度较好。删除形象与修养、抗压与应变能力要素后，总体内部一致性信度提高，说明这两个要素影响了总的内部一致性。形象与修养、抗压与应变能力缺乏统一的衡量标准，主要是评委根据主观感知来打分，因此影响了总体信度。同样，评分者信度分析结果显示，各测量要素的w系数均达到了显著性水平。从w系数值来看，总体上评分一致性较好，但形象与修养、抗压与应变能力的评分一致性仍较低，说明这两个测量要素容易受到主观因素的影响，不仅受到评委个人主观因素的影响，也受到应聘者本人主观因素的影响，如应聘者本人的印象管理能力和口头表达能力等都会影响评委的主观判断，产生晕轮效应等。由于评委的认知能力有限，难以全部记住应聘者各方面的表现，这样就会受到总体印象的影响，根据应聘者的总体回答形成一个总体印象，然后根据这个总体印象按照一个大致的评分范围在各个测量要素上进行评分。

鉴于以上分析，为提高面试信度，在实际工作中建议在设计测量要素前应首先针对招聘岗位进行科学的岗位分析，基于岗位分析并遵循内涵明确原则、可操作性原则等基本原则确定测量要素，并使评价标准尽量明确和细化。同时，应提前对评委进行培训，使之对测量要素的内涵以及评价标准加以熟悉并形成统一认识，尽可能减少评委主观因素的影响。

4.3 效标选择适当与否是影响效度高低的关键因素之一

效度分析结果显示，本次结构化面试总体是有效的，但效度较低（r=0.21）。所采用的测量要素大致能反映出应聘者真实的能力素质水平。就各测量要素看，教育背景、形象与修养、表达能力、抗压与应变能力、时间管理能力具有一定效度，大致能测量出应聘者的能力素质水平。分析能力、组织与协调能力、团队协作能力效度较差，不能考察出应聘者该要素的能力素质水平。

效度是面试研究的核心问题，面试效果主要通过效度进行衡量。面试的使用和推广也以效度作为主要依据。效度的高低受诸多因素的影响，包括测量要素、面试评委、面试内容、面试方法以及效标性质等。其中效标的选择是统计效度的根本，效标不同，其效度可能大相径庭，一般而言，工作绩效是较有价值的效标，但限于诸多客观因素很难实施。本文将二面成绩作为效标，从理论上说是可行的，却也可能是造成效度较低的重要原因。一方面，一面采用小组面试形式，其中涉及到组织与协调、团队协作方面的考查内容，而二面采用单独面试形式，无法考察这两方面的能力水平，因此以二面成绩作为效标在很大程度上影响了整体效度。另一方面，一面评委与二面评委无论是人数还是年龄、性别等构成方面都存在很大差异，从而使面试效度较低。综上所述，以二面成绩作为本次一面效度分析的效标是不适合的，未来研究中拟考虑以实习生实习期间的工作表现作为效标进行效度分析，以提高研究的科学性。

[1] 董婉玲.结构化面试与无领导小组讨论信度分析的概化视角[D].沈阳：辽宁师范大学,2009.

[2] 苏晓锋.基于实习生计划的校园招聘策略研究[J].河南教育,2009,27(2):56-57.

[3] 汤良.知识员工胜任力评价与应用研究[D].沈阳：东北大学,2007.

[4] 向琴.营销人员的胜任力模型及在招聘中的运用[D]. 武汉：武汉理工大学,2008.

[5] 牛丽,陈珂,程媛.改进的层次分析法在就业综合评价中的应用[J].计算机仿真,2011,28(5):376-379.

[6] 姜珊珊.公务员考录结构化面试的信度和效度分析[D].济南：山东师范大学,2010.

[7] 方积乾,孙振球.卫生统计学[M].第5版.北京：人民卫生出版社，2008.