信号检测理论（SDT）应用于评估中心（AC）法初探

宋孜宇 唐琦

信号检测理论（SDT）应用于评估中心（AC）法初探

宋孜宇 唐琦

（呼伦贝尔学院经济管理学院 内蒙古 海拉尔 021008）

本文介绍信号检测理论的原理，进而从理论上探讨了引入信号检测理论改进评估中心评估效度的主要原理和方法，为提高评估中心法的评估效力提供了理论参考。

评估中心法；信号检测理论；绩效

在人力资源招聘决策中，需要对参加应聘的人员进行各种评估以决定取舍，但是各种评估方法的可靠性（信度）不同，成为直接影响招聘决策质量的主要问题。为了解决这一问题，评估中心（assessmentcentre，AC）流程评估法诞生了几十年并一直倍受关注，因为这种评估方法可以相对灵活的进行定制化评估，尽管评估中心法通常表现出较低的建构效度，但并不影响这一方法的广泛采用，很多学者认为这是评估工具经常存在的测量不充分而导致的问题。

目前，国外一些学者提出引入心理物理（Psychophysical）领域的信号检测理论（Signal Detection Theory，简称SDT）来尝试进一步提高评估的信度。尽管SDT理论早已被心理认知等领域的研究所熟知，但是该理论在AC评估者的绩效评估领域依然应用不足，这是一个有待开发的新范式，将有助于进一步提高评估中心流程评价法的建构效度。本文将在SDT理论研究的基础上，简单探讨如何引入SDT方法应用于AC评估人员的绩效评估。

一、 信号检测理论及其基本原理

信号检测理论（Signal Detection Theory，简称SDT）是现代信息理论的一个重要分支，其研究对象是信息传递过程中的信号接收问题，主要应用于通信工程领域中。在SDT的表达体系中，某种有待检测的项目或者目标被称为“信号”。而任何不是信号但可能对信号造成潜在干扰的信息都被归为“噪音”。这一理论早可以追溯到二战时期，当时被应用于微弱的声纳信号或雷达信号检测统计决策理论。1954年，美国密西根大学的学者首次将SDT理论引入了心理学，用于研究知觉、记忆、思维以及个性等领域，把心理物理学的研究推进了一大步。

简而言之，信号检测理论是以概率论为基础，把对刺激的判断看成是对信号的侦查和做出选择的过程。在心理学研究中，可以将人的感觉以及神经系统的分析判断过程视为一个信息加工的过程，并将刺激变量作为信号，将刺激的各种物理性的或个体性的随机变化作为噪声，于是将人的感觉判断过程简化为噪声背景下的信号检测问题。这一过程包含两个关键指标，一个是辨别力指标，用来指示人的感受性，这一指标主要取决于个体的感觉辨别力，取值越大则表明感受性越强；另一个关键指标是反应偏向，与判断标准有关，并受利得利失、动机、态度、经验等因素影响，取值越大表明判断标准越严苛。

具体应用信号检测理论时包括两种实验方法或模式，分别是有无法（yes-no method）和评价法（confidence method）。有无法的具体操作是先在一定的噪声背景中给予或不给予信号刺激，同时记录下被试者所做出的信号“有”或“无”的判断及其正误，以此计算出其命中或误报的概率，再将概率值带入标准公式即可算出被试者的辨别力指标和反应倾向指标。而评价法是要求被试者在做出信号有无判断的同时，报告自己做出判断的把握程度，即信心指数，比如做“有”判断时有70%的把握判断正确，从而更精确的评估被试者在不同判断倾向下的辨别力。

二、 信号检测理论应用于改进评估中心有效性的原理

SDT理论主要关注各种事件在观察者大脑中所形成的印象，而这种印象正是进行决策判断所需要的。当个体进行决策判断时，其头脑会高效的分辨出这种瞬时产生的认知是来自于背景噪声中的信号，或仅仅是一个噪声样本。评估者所感知的各种证据在多大程度上能够成为明确的决策信号，主要取决于对以往内部印象的分布如何进行采样，这种分布在性质上通常被假定为高斯分布（Macmillan &Creelman, 2005）。而来自信号事件的内部印象的平均强度被假定为高于单独来自于噪声的内部印象。噪声加噪声的分布与噪声加信号的分布可能相同，也可能不同。这种测评方法所具有的灵敏性提供了有效的指标以区分这两种分布的性质。但如果两种分布之间存在一些重叠，那么总体的准确性将不可预期。

Macmillan等（2005）深入探讨了SDT理论应用的各种模型，Harvey（1992）认为如果能够将这些模型应用到评估中心情境中，把评估专家所进行的各种人才分类作为信号来处理以计算其相似度或可能性，将帮助评估中心法取得更为可靠的结论。这些模型所提供的信息和结论将提供不同方面的建议，比如是否要提高评估专家的辨别力，或者调整评估专家的反应倾向等。当信号检测方法被应用于人员绩效领域时，它可以量化评估者判断决策的灵敏度或辨别力。同时为了应用该理论，观察对象必须能够按照信号或噪声的判断标准进行分类。

评估中心的评估人员所要面对的求职者往往提供多种资料以证明他们对组织的适用性，但他们只有经过事后的工作考验才能被证明与组织的要求是否匹配。在这种情况下，前面提及的与评估人员绩效有关的两个方面就变得尤为重要。首先是通过申请人提交的证据材料判断其适用性的辨别力，这是一种能够区分候选人适合与否的潜在能力。第二个方面是基于所有可感知的证据而进行相机决策的能力。在现实情境中，即使两个鉴别力相同的评估人员面对同一申请人展现出的相同特质，仍然可能会对这些特质是否足以确定一个特定的评估分数而意见相左。因此，在评价评估人员的绩效时就需要一些客观的测评工具，不但能够测量他们看法的准确性，更重要的是能够明确地测量他们的评价标准相对于其他评估者或者评估中心的目标，是趋向于更加严格还是更加宽松。这些方面的绩效测评正是信号检测理论范式所能够实现的。

三、 信号检测理论应用于改进评估中心有效性的具体方法

如果用于决策的判断信息数量充足，那么测评方法的辨别力和偏向性都能够通过信号的呈现和正确判断的概率而得以揭示，这时可以称之为“命中”（hits）。如果观察者报告了信号的呈现，但是实际并没有信号的呈现，这种情境称之为“误报”（falsealarms）。命中和误报的情境都是用来估计测评方法的鉴别力和偏差的样本。在报告一个信号的出现之前，命中和误报的比例会随着观察者所需证据的逐渐增加而规律变化。在一个给定的辨别率水平下，用图形来表示所有命中与误报可能的比例组合，将形成一个连续曲线，该曲线被称之为（信息）接收者工作特征曲线（receiver operating characteristiccurve，ROC）。ROC曲线族的分布范围从位于正对角线上的零值辨别率开始，随着辨别率值的增加呈现出一个朝向左上角拱起的曲线，并占据一个单位正方形从而形成ROC空间。如果记录的测评分数反映了信号存在的必然程度，那么将会得到ROC曲线上的若干点，然后就可以通过计算机分析来确定最佳拟合模型的参数。于是，根据特定数据在最佳拟合ROC曲线上的位置就可以用来表示观察者的反应偏差（见图1）。

图1 接收者工作特征曲线图

ROC曲线来自于评估人员对应试者所提供信息的判断数据资料。位于图形主对角线上的虚线代表零辨别力，而位于负对角线上的虚线代表无偏反应（辨别力），图中的实线则代表最佳拟合某被试者辨别力数据的辨别力曲线，该曲线与无偏反应曲线的距离一目了然的反应了该评估人员对面试者提供资料的辨别力水平。

具体而言，可以分三个步骤来实现对评估中心评估员的辨别力和反应倾向进行区分。首先，在一个评估中心中，针对某一个具体评估项目，比如申请某零售业管理人员的候选人选拔项目，候选人被要求参加若干测试项目，并由一组评估者进行打分，详细记录这些评估者对每一个候选人的评分以及综合评估。这时，每一项需要打分的活动都有可能成为一个信号事件或者噪声事件，而判断的标准取决于这名候选人最后是否被评估小组确定为合格人选。于是，当评估小组最终决定某个候选人应当被录取时，即评估小组假定此人适合企业的需要，那么这名候选人按照信号检测理论就成为了一个信号，而其他落选的候选人则被指定为噪声。

其次，为了区分评估者的辨别力和反应倾向的差异，用评估者所做出的所有评分构建评估组及评估者个人的ROC曲线，以此得出关键参数值。此时，需要选择信号检测模型来进行模型拟合分析，并在模型拟合程序中设定噪声分布的标准差为1，同时设定信号与噪声的比例分布为自由变化。异方差假设的合理性可由信号与噪声比例分布的标准误来确定，而信号与噪声比例的分布取自最佳拟合的ROC曲线，最后通过极大似然法从ROC曲线中可以得到各个参数的估计值。这些参数值包括了每一个评估者的辨别力参数、反应倾向性参数以及可信度参数，从而实现了对同一组评估组中的每个评估者之间差异的准确把握。

最后，根据所掌握的各个评估者的辨别力和反应倾向性参数值调整评估组的成员构成，以提高评估组整体的评估能力和有效性。很显然，评估者的辨别力参数值和反应倾向参数值越高越好，这说明该评估者有较强的辨别力以及与评估组整体更为一致的辨别倾向性，采用这样的评估者构成评估组将会有更好的评估绩效。同时，对于辨别力参数值和反应倾向性参数值较低或不均衡的评估者，可以根据具体的取值情况进行有针对性的培训，以提高其辨别力和均衡的辨别反应倾向性。

四、结语

本论文从评估中心法建构效度的不足和信号检测理论的基本原理出发进行探索性思考，提出可以引入信号检测理论，构建一个信息接收者工作特征曲线（ROC）图，用以区分不同的评估者对候选人材料的评估能力或辨别能力，进而有效调整和改进评估小组成员评估能力，提高整体评估有效性的方法。尽管本论文所构思的探索性方法在本论文并未进行验证，但是所提出理论来自于成熟的心理物理领域，所提供的操作方法也比较具体可行，因此对人才测评领域的研究也具有一定的理论价值和实践意义，对评估中心测评方法领域的研究也起到了抛砖引玉的作用。

[1]陈晓惠.心理学研究中信号检测论实验综述[J].教育教学论坛，2013（10）:16-18.

[2]陈舒永，马谋超.信号检测理论与古典的心理物理学方法[J].心理学报，1979（03）:331-335.

[3]范巍，谢小云.评价中心法的几个经典误差：人才选拔效度的视角[J].第一资源，2008（01）:91-99.

[4]HarveyL. O. The critical operating characteristic and the evaluation of expertjudgment[J]. Organizational Behaviour and Human Decision Processes,1992（53）, 229–251.

[5]MacmillanN. A., Creelman C. D.Detection theory: A user’s guide (2nd ed.). Mahwah,2005,NJ: Lawrence Erlbaum

责任编辑：王静

2017-06-17

宋孜宇（1978-），男，汉族，呼伦贝尔学院经济管理学院讲师，硕士，首都经济与贸易大学在读博士生。研究方向：人力资源管理。

唐琦（1983-），呼伦贝尔学院经济管理学院讲师，硕士。研究方向：营销管理。

F243.2

A

1009-4601（2017）06-0052-03