千万别掉进“幸存者偏差”的陷阱 全面数据收集和分析很重要

“比尔·盖茨辍学,所以成为世界首富”“考大学没有用,因为北大毕业的人,还不是去卖猪肉”,这些屡见不鲜抓人眼球标题式的论断,殊不知就是“幸存者偏差”现象,而它也是阻碍我们对这个世界正确认知的一道屏障。

千万别掉进“幸存者偏差”的陷阱 全面数据收集和分析很重要

幸存者偏差,最早来源于二战时期一个飞机防护的案例。

1941年二战期间,应军方要求,美国哥伦比亚大学统计学的沃德教授,通过其精深的专业知识,写了一篇《飞机应该怎样加强防护,才能降低被炮火击落几率》文章,提出了种种建议,其中最重要的一条是,沃德教授根据飞机遭受攻击后的数据分析发现:飞机的机翼是最容易被击中的位置,机尾相对来说则最少被击中,如图所示。

据此,沃德教授建议“应该重点强化机尾的防护”,军方对此大为不解,认为既然机翼最容易被击中,那么就应该加强机翼的防护。

沃德教授则坚持自己的看法,其根据有三:

第一,他所统计的样本只是那些平安返回的飞机;
第二,被炮火多次击中机翼的飞机,似乎还能够安全返回;
第三,飞机机尾很少被击中并不是真相,而是万一中弹,其安全返航的几率就非常低。

后来,军方被沃德教授说服,采用了他的建议,而后来的事实也表明该决策是无比正确的,那些看不见的“伤痕”才是最致命的。

这个案例有两个思维启示:

一是那些战死或被俘的飞行员无法发表意见,因此数据的来源本身就存在严重偏差;
二是那些作战经验丰富甚至经历过血战的飞行员的专业意见也不一定能提奥决策的准确率,因为他们中大多是机翼中弹、机尾未中弹的幸存者。

说到这里,要理解“幸存者偏差”就很容易了,不过还是要给出专业的定义:

幸存者偏差(Survivor bias),是一种常见的逻辑谬误,指的是只能看到经过某种筛选而产生的结果,而没有意识到筛选的过程,因此忽略了被筛选掉的关键信息。日常表达为“沉默的数据”“死人不会说话”等。

避免幸存者偏差

比如运维同学一次白天线上维护的误操作导致数据库被删除,在做事故分析的时候,很容易把结论归结为禁止白天做线上操作。而有经验的运维经理会引导大家做更全面的事故分析,把事故过程列出来,什么时间发生了什么,谁做了什么,根据整个过程发现的问题,制定一系列改进措施,这样全面收集数据、全局性思考,就不容易进入幸存者偏差

下面来聊一聊避免幸存者偏差的3个方法:

第一,贝叶斯公式

前文提到了瓦尔德对飞机防护的案例,可以用贝叶斯公式来分析一下瓦尔德和众人的分歧出在什么地方,而谁的假设更为合理。设X=飞机被击中的部位,Y=1,0表示飞机是否返航。设空战中飞机被击中的部位X的分布为 P(X),而返航飞机的X分布为条件分布P(X|Y=1)。

于是有:P(X|Y)=P(X)* P(Y|X)/P(Y)

众人认为幸存飞机被击中的部位分布P(X|Y=1)反映了空战中被击中部位的分布 P(X),因此哪里弹痕多就要在哪里加强防护。
但瓦尔德认为“炮弹不长眼睛”,空战中的 P(X) 应该是接近于均匀分布的,因此 P(X|Y=1) 恰恰是正比于 P(Y=1|X)的,即击中该部位X以后的返航概率。
所以幸存飞机哪里中弹多就表明相应部位不是要害部位,而应该在返航概率较小,即 P(X|Y=1) 较小的地方加强防护——正是幸存飞机弹痕少的部位。

第二,双盲试验

是指在试验过程中,测验者与被测验者都不知道被测者所属的组别(实验组或对照组),分析者在分析资料时通常也不知道正在分析的资料属于哪一组,旨在消除可能出现在实验者和参与者意识当中的主观偏差和个人偏好。在大多数情况下,双盲实验要求达到非常高的科学严格程度。

双盲试验,可以延伸到互联网产品的AB测试,产品经理可以设计一组试验方案,让数据分析师根据测试的数据进行结果分析,再与产品经理一起比对验证,可以得到更为客观的分析结论,而不是选择性地去看这些数据、去证明自己的猜想。

第三,系统性思维

前文已经学习过系统性思维,这里再次回顾一下,系统性思维是把物质系统当作一个整体加以思考的思维方式。

与传统的先分析、后综合的思维方式不同,系统性思维的程序是从整体出发,先综合,后分析,最后复归到更高阶段上的新的综合,具有整体性、综合性、定量化和精确化的特征。

在对事物的认知上,单一性思维和系统性思维也存在不少差别,通常来说,对事物的认知分为三个层面:

1. 事件感知:只看到事件的导火索。

2. 模式感知:看到事件的多个影响因素。

3. 系统感知:站在时间的维度并结合外部环境一并思考。

通过系统性思维对事件做整体性思考,就不容易被一些片面的数据、特例左右自己的判断和思考。

文章部分素材来源:AI科技大本营

展开阅读全文

页面更新:2024-04-27

标签:幸存者   偏差   前文   机尾   弹痕   数据   机翼   军方   认知   部位   陷阱   防护   思维   教授   飞机

1 2 3 4 5

上滑加载更多 ↓
推荐阅读:
友情链接:
更多:

本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828  

© CopyRight 2020-2024 All Rights Reserved. Powered By 71396.com 闽ICP备11008920号-4
闽公网安备35020302034903号

Top