如何收集高质量数据
2021-03-11熊英姿
编者按
在为重大项目制订计划时,很多组织会遭受糟糕的信息收集过程的困扰。本文介绍了破坏数据收集质量、导致决策失误和系统性风险管理失败的三种认知偏差,即计划谬误、证明偏差和共情鸿沟,并提出了“防失败”的八个步骤。本文原载于2020年11月《质量文摘》,作者格列布•齐珀斯基(Gleb Tsipursky)是一位行为经济学家和认知神经学家,也是一名畅销书作家,拥有20多年咨询、指导、演讲和培训经验,擅长制订有效的决策策略,保护质量负责人免受认知偏差的影响。
“垃圾进,垃圾出(GIGO)”这个短语听起来耳熟吗?它的观点是:如果你使用有缺陷的、低质量的信息来指导决策和行动,你将获得糟糕的结果。尽管这句话人尽皆知,但我们一直都能看到由糟糕的数据引发的糟糕结果。
波音737 Max飞机的两起坠毁造成346人死亡,导致波音公司的市值损失超过250亿美元,直接收入损失超过50亿美元。我们从波音内部的电子邮件中了解到,许多波音员工在生产和测试时就知道737 Max设计上存在质量问题,一些员工将这些问题传达给了高层。
然而结果证明,波音公司的数据收集和传播过程未能有效地接收这些信息。相反,领导层在急于与空客A320机型竞争时,信任了有关737 Max安全性的错误乐观证据。此次错误数据的输入等于数百条生命的丧失和数十亿美元的损失。
当然,不只是商业领域,其他行业也一直在经历糟糕数据带来的糟糕结果。想想美国疾病控制中心(CDC)在新冠病毒大流行早期提供新冠病毒检测包的失败吧。在大流行的最初阶段,对新冠肺炎患者进行检测需要将样本送到CDC,这大大减慢了检测、隔离和接触者追踪的速度。然后,在2020年2月5日,CDC制造并运送了5万套检测试剂盒到美国各地的数百个检测点,在当地进行检测,以便更快地得到结果。然而,由于这些试剂盒的质量很差,提供的数据并不可靠,结果在三周内,样本仍然需要送到CDC,直到CDC用合格的试剂盒替换质量差的试剂盒。
后果是什么?新冠病毒在美国广泛传播。由于这些糟糕的数据,成千上万的人不必要地感染疾病,并带来致命后果。可以说,不及时、不准确的测试,造成了更长的封锁持续时间,以及更严格的禁足措施,导致了数十亿美元的损失、数百万工人下岗、数以千计的小企业破产。
这样的GIGO案例研究是有系统研究支持的。例如,各种类型的组织在为重大项目制订计划时,由于没有对风险和问题做好充分准备,都遭受了糟糕的信息收集过程的困扰。2002年一项针对大型建筑项目的研究发现,86%的项目超出了预算。2014年对重大IT项目的研究发现,只有16.2%的项目成功地控制在原计划的资金支出;在其余83.8%个项目中,平均每个IT项目成本超支189%。
作为风险管理、决策制订和战略规划方面的认知神经学和行为经济学专家,我亲自看到并研究过其他人在收集数据、为决策提供信息时的失败模式,包括创新、合规等。例如,我们倾向于寻找能证实我们信念的信息,忽略相互矛盾的证据;我们没有充分考虑他人的动机、感受,以及分享或隐瞒信息的动机;我们过于相信计划会顺利进行,对风险和问题的防范不力。
认知神经学、心理学和行为经济学的学者把这些心理盲点称为“认知偏差”。它是我们的进化背景和特定的大脑结构特征共同作用的结果。这些心理盲点影响着我们生活的方方面面,从健康到政治,甚至购物。
认知偏差如何破坏高质量数据的收集
我的经验表明,有三种认知偏差对破坏高质量数据的收集负有最大责任,导致决策失误和系统性风险管理失败。
计划谬误
我们需要注意被称为计划谬误的认知偏差。我们直觉地相信,无论在 IT 项目还是商业和生活的其他领域,一切都会按计划进行。你可能听过这样的建议:“凡事预则立,不预则废。”往好的方面说,这句话具有一定的道理;往坏的方面说,这句话非常危险。制订计划很重要,但我们的本能反应是收集指向最佳结果的信息,而忽略事情出错的风险。
这种趋势可以解释大型建筑和IT项目的失败以及其他许多问题。一个更好的说法是“未预胜,先预败”,即为了解决极可能突然出现的问题,必须为突发事件做好计划。
以下的例子讲述了一个基于错误的数据收集是如何导致一系列糟糕决策的。
一家大型软件公司被最大竞争对手推出的一款先进新产品打了个措手不及。该竞争对手被业界媒体誉为创新领先者,并在软件评估网站上获得了正面的在线评价。这家公司的一些客户开始考虑转向该竞争对手。因此,这家公司匆忙推出了一款新的、更先进的软件产品。开发团队对自己的能力充满信心,寻找支持其信念的信息,并在检查质量时走捷径。尽管质量控制团队觉得测试不足,但为了满足一个雄心勃勃的上市日期,公司领导层向质量控制团队施压,要求他们批准产品上市。
这样做的后果是可以预见的。该产品发布时带有许多漏洞,让许多客户感到沮丧和愤怒,导致更多客户转向竞争对手,并得到了糟糕的媒体评论和在线评论。公司直接收入损失了数百万美元,声誉和市场份额的损失更大。负责新产品的那位主管被降职到一个没有前途的职位,最终离开了公司。
这种竞争压力——类似于波音追赶空客的渴望——常常导致信息收集不力,忽视了有关问题的证据。当你觉得自己确实需要加快速度做某事的时候,你应该放慢速度,反复检查关于风险和威胁的数据,以避免做出灾难性的决策。
证明偏差
第二个极其重要的心理盲点是证明偏差。我们的大脑往往会忽略或忘记与所持观点相反的证据,甚至会扭曲模棱两可的数据,以支持自己的观点、证实现有的信念。我们也会特别寻找支持当前观点的信息,并更重视这些信息。
我们对一件事情的信心越足,越倾向于自我强化。在极端情况下,当我们的信念源于想要相信的东西而不是真实的东西时,证明偏差就会变成一厢情愿。
证明偏差会蔓延到组织的最高层。在一项为期四年的研究中,研究人员采访了来自286个不同组织的1087名董事会成员,这些组织的首席执行官都被迫离开了。研究发现,近四分之一的首席执行官(23%)因未承认有关组织业绩的负面事实而被解雇。其他研究显示,否认负面信息的情况在公司的各个阶层都有发生。
经济衰退往往会暴露这种否认主义:它们导致高层领导被免职或公司内部基本信念的崩塌。例如,一家高科技装备制造初创公司——A公司的生产团队坚信,公司的重心应该始终放在创新上,以提高质量。生产团队有充分理由相信这一点,因为购买产品的主要决策者是生产经理,他们倾向于高质量、尖端的产品。A公司的营销以质量声誉为中心,有一个看似安全的市场利基。
然而,A公司的领导层没有考虑和收集在经济不景气时可能发生的情况。新冠肺炎大流行导致了经济严重衰退,客户公司——B公司的决策越来越倾向从生产经理转向会计。B公司的首席财务官带领团队对每一项支出都进行审查,以确保支出是合理的。这迫使B公司的生产经理不得不去证明,任何高于最低竞标价格的投资都有回报。
然而,A公司注重创新和质量,却没有从产品的投资回报率入手。它本来有能力收集数据,说明自己的产品比低成本、低质量的竞争对手更耐用、更高效,然而它从来没有选择在这方面投入资源。结果,A公司将大量的市场份额拱手相让于竞争对手,B公司的生产经理怀着歉意和遗憾,选择购买了廉价的产品。
起初,A公司不愿承认这个问题。在疫情爆发几个月后,它终于启动了战略转向。它开始进行研究,以证明它的产品从长远来看是物有所值的:把产品设计和生产能力从创新转向证明产品的投资回报率。然而,这项计划需要花费数月时间和数百万美元,且为时已晚,无法避免数百万美元的收入损失和市场份额的严重恶化。
共情鸿沟
收集高质量数据的第三大认知偏差是共情鸿沟。我们通常会低估他人情绪的程度和影响,尤其是对那些不属于我们群体的人。这并不奇怪,毕竟在工作时,我们应该专注于逻辑和理性。事实上,情绪会强有力地影响我们的决策,高达95%的决策都是受情绪影响做出的。不幸的是,组织无法收集足够信息,以了解参与决策和受决策影响的人的情绪,无论是内部利益相关者(如员工),还是外部利益相关者(如客户)。
以一家决定更新其战略计划的中型制药公司为例。七名高管齐聚一堂,进行为期两天的战略务虚会。他们经过讨论、辩论,最终围绕一个五年计划达成一致。然后,他们把计划传达给自己的团队。
不幸的是,他们的战略计划立即遭到了抵制。许多员工感到沮丧,因为领导团队在制订计划之前没有咨询他们的意见。
同时,员工反馈显示,员工们从逻辑上提出了一些有效的观点,考虑到时间表的紧迫性、不断变化的市场环境,以及竞争对手预期的应对措施,战略计划的一些方面确实行不通。
但是最大的问题是,员工们觉得他们的意见不重要,领导只是把他们看作机器上的齿轮。在战略计划公布不久,调查显示员工的士气和敬业度急剧下降,生产力下降,损耗增加。
接下来的四个月,高管们固执地坚持自己的战略计划,并进行了小幅修改。但最终,高管们屈服了。他们把崭新的战略计划文件夹扔进垃圾桶,开始在全公司范围内更彻底地收集信息,以制订新的战略计划。
防止信息收集失败,有效地制订和实施决策
了解并关注这些认知偏差,能够确保收集到高质量数据。有一种叫做“防失败”的八步措施,可以同时解决大部分的心理盲点,并最大限度地提高有效制订和实施重大决策的可能性。八步措施可以通过最重要的消除偏见的实践,做出最好的决策。
第一步:召集
将所有与做决定相关的人聚集在会议室。如果团队成员太多,可以召集利益相关者的代表。考虑到庄重效果,也可以邀请一位独立主持人(非团队成员)来引导会议。
第二步:解释
向每个人描述所有的步骤,解释防失败的过程,以便让所有参与者站在同一起跑线上。
第三步:次优选项
制订默认选项,以及两个次优选项(NBAs)。评估次优选项是否比默认选项更有吸引力,并考虑是否将次优选项的一些内容纳入修订计划。
第四步:想象决策失败
请所有利益相关者想象,他们的决策及其实施在未来的某个时刻肯定失败。这样可以促使每个人,甚至是这个决策的最大支持者,使用创造力寻找失败的可能原因。否则,他们的情绪很可能会抑制他们接受失败可能性的能力,因为防御性情绪反应会使大脑创造性想象可能出现问题的能力大大降低。
让每个参与者匿名写下失败的合理原因。匿名在这里特别重要,因为在描述潜在问题时可能存在职业风险。主持人收集每个人的陈述,挑出失败的原因,着重关注那些通常不会被提到的原因,并确保过程中的匿名。
第五步:最严重的问题
讨论所有提到的原因,特别留意那些无礼的、失智的以及对职业生涯会造成危险的原因。检查可能影响评估的潜在认知偏差。然后,评估每个失败原因的概率和潜在影响。
第六步:解决问题
挑出几个最需要关注的失败,集思广益,解决这些问题,包括如何处理潜在的心理盲点。另外,讨论所有可以作为某个失败正在发生或即将发生的信号或证据。
第七步:想象成功
解决了失败问题,现在要确保最大限度地获得成功。想象一下,在未来,我们所做决策取得了远远超出预期的成功。让每个参与者匿名写下获取成功的可能因素。然后,集思广益,找出促使这些因素最大化的方法。
第八步:修改决策
领导层根据反馈意见修改决策和实施方案。如果是大面积修改,就让新的计划重新进行“防失败”过程。
结论
解决GIGO问题的第一步是认识到我们的大脑受认知偏差的影响,这种认知偏差严重削弱了我们收集质量信息的能力。第二,了解这些心理盲点——最显著的是计划谬误、证明偏差和共情鸿沟。第三,使用源自神经科学和行为经济学的循证方法(如“防失败”措施)来击败认知偏差。根据我个人为数百家不同规模的组织提供咨询的经验,以及对科学研究进行的广泛评估,这三个步骤代表了最佳实践,能够收集高质量数据,为真正有效的决策提供信息。