Limboy's HQ

看不见的误差:读卡尼曼《噪声》

By Claude Opus 5.5

引子:两种不同的错误

2021年,丹尼尔·卡尼曼与法国战略学者奥利维耶·西博尼(Olivier Sibony)、美国法学家卡斯·桑斯坦(Cass Sunstein)合著了《噪声:人类判断的缺陷》(Noise: A Flaw in Human Judgment)。这是卡尼曼在《思考,快与慢》之后的最后一本重要著作。他于2024年3月去世。

《思考,快与慢》讲的主要是偏差(bias),也就是人的判断会朝固定方向偏离。《噪声》讲的是另一种常被忽视的错误:噪声(noise),指本该相同的判断之间出现的随机离散。

书的开头用射击打靶来说明:

  • A队:弹孔紧密集中在靶心周围,准确,没有偏差也没有噪声。
  • B队:弹孔紧密集中,但都偏向左下方,属于有偏差、低噪声。
  • C队:弹孔散布在靶面各处,平均位置接近靶心,属于无明显偏差、高噪声。
  • D队:既偏离靶心又分散,偏差和噪声都有。

有个细节很关键:把靶纸翻过来,看不到靶心,只看得到弹孔的分布,你仍然能看出噪声。换句话说,测量噪声不需要知道正确答案。许多判断没有标准答案可对,比如量刑、保费定价、招聘评估,噪声却照样可以被发现和测量。这也是本书在方法上最有力的一点。

一、噪声无处不在

作者列举了大量领域的证据,说明同一件事交给不同的专业人士,或交给同一个人在不同时刻去判断,结论会相差很大。

司法量刑。 1970年代,美国联邦法官马文·弗兰克尔(Marvin Frankel)公开批评量刑的随意性:罪行相近的被告,刑期可能差几年甚至几十年,关键在于分到哪位法官。一项研究让两百多位法官对同样的假设案例量刑,结果分歧惊人。这类批评推动了1984年《量刑改革法》和量刑指南的出台,量刑差异随之缩小。2005年最高法院在"布克案"中把指南改为参考性质之后,差异又扩大了。

更让人不安的是那些与案件无关的因素。有研究发现,当地橄榄球队输球后的那一周,法官判得更重;天气炎热时判决更严厉;被告生日那天判决略轻。美国庇护申请案件中,法官批准的概率会受他前一个案子是否批准的影响。

保险公司的"噪声审计"。 作者为一家保险公司做过一次实验:让多位核保员独立为同样的案例报价。管理层事先估计,两个核保员的报价大约相差10%。实际测出来的中位数差异约为55%。理赔评估员的差异也在40%以上。对公司来说,这意味着报价时而过高、时而过低,客户流失和亏损都来自这里,而这些损失平时完全看不见。

医疗。 不同医生对同一张X光片、同一位病人的诊断常常不一致。同一个医生在一天里的不同时段也会做出不同的决定。研究发现,越接近下午,医生开阿片类止痛药的倾向越高,建议癌症筛查的比例越低。

指纹鉴定、专利审查、招聘面试、绩效考核、预测,都存在同样的问题。

作者的判断是:凡是有判断的地方,就有噪声。而且噪声的程度往往远超所有人的预期。

二、误差方程:噪声和偏差同样重要

书中借用统计学的均方误差(MSE)提出一个简洁的公式:

总误差(MSE)= 偏差² + 噪声²

公式里偏差和噪声地位完全对等。减少噪声对降低总误差的作用,和减少同等幅度的偏差一样大。

但人们在现实中往往只盯着偏差。偏差有方向,能讲出因果故事,比如"法官对某类人有偏见"。噪声是统计性的,没有故事,只有在大量判断放在一起看时才会显现。个案层面,我们看到的永远只是一个判断,所以感觉不到噪声。

作者还指出一个反直觉的地方:在这个公式里,高估和低估的错误不会互相抵消。一个核保员报价过高,另一个报价过低,平均下来看似"没问题",实际上公司两头都在付出代价。

三、噪声的解剖:三种成分

作者把"系统噪声"(system noise,即一个组织内部本应一致的判断之间的差异)拆成几个部分:

  1. 水平噪声(level noise):不同判断者的整体尺度不同。有的法官普遍判得重,有的普遍判得轻;有的老师普遍打分严,有的普遍宽松。
  2. 模式噪声(pattern noise):判断者对特定案件的特异反应。某位法官平时宽松,却对某类罪行格外严厉;某位面试官特别看重某种性格特质。模式噪声又可以细分为:
    • 稳定模式噪声:源于个人持久的价值观、经验和性格,每个人都有自己独特的判断"指纹"。
    • 情境噪声(occasion noise):同一个人在不同时刻的波动,受心情、疲劳、天气、前一个案子、刚刚看到的信息等影响。

作者发现,模式噪声通常是系统噪声中最大的部分。也就是说,问题不只是"有人严有人宽",而是每个人都以自己独特、不可预测的方式看待每一个案子。

关于情境噪声有个有趣的发现,叫"内在群体"(the crowd within):让同一个人隔一段时间对同一个问题做两次估计,两次的平均值往往比任何一次都准。这说明一个人的单次判断本身就含有随机成分。

四、群体会放大噪声

直觉上,让一群人讨论应该能消除个人的随机误差。作者指出,群体讨论常常放大噪声。

一个著名实验是萨尔加尼克(Salganik)和瓦茨(Watts)的"音乐实验室":研究者建立了多个彼此独立的"平行世界",参与者可以下载歌曲,并看得到别人的下载量。结果,同一首歌在不同世界里的命运天差地别,早期的少量随机下载会引发连锁反应。优秀的歌很少彻底失败,糟糕的歌也很少大获成功,但中间的广大区域几乎是随机的。

在会议里也一样:谁先发言、谁更自信、谁职位更高,都会影响最终结论。群体极化和信息瀑布使最终结论成为一个"意外",重来一遍很可能是另一个结果。

五、预测判断:人为什么输给简单模型

书中有相当篇幅讨论预测性判断,比如预测员工绩效、预测被告是否会再犯、预测学生成就。

1. 人类判断与结果的相关性通常很低。 在许多领域,专业人士的预测与实际结果的相关系数只有0.2左右,甚至更低。作者引入"一致百分比"(percent concordant)来直观表达:相关系数0.20意味着,随机挑两个人,你对"谁表现更好"的判断只有大约56%的概率是对的,比抛硬币好不了多少。

2. 简单模型往往胜过人类。 自心理学家保罗·米尔(Paul Meehl)以来,大量研究反复证明:简单的统计公式在预测上通常不输于、甚至优于专家。

3. "判断者的模型"胜过判断者本人。 这是书中最有意思的发现之一。研究者可以用线性回归为某位判断者建模,模拟他如何综合各项信息。结果这个模型往往比判断者本人更准。原因在于模型保留了判断者的思路,却去掉了他的噪声。

4. 甚至随机权重的模型也不差。 罗宾·道斯(Robin Dawes)发现,"不恰当的线性模型",比如给所有预测因素赋予相同的权重,表现也常常不输专家。简单规则的优势并不在于多聪明,而在于没有噪声。

5. 机器学习的潜力。 一项关于保释决定的研究(Kleinberg 等人)显示,算法可以在不提高犯罪率的前提下大幅降低羁押人数,或者在羁押人数不变的情况下降低犯罪率。

那为什么人们依然抗拒规则和算法?作者认为有三点原因。一是人们对自己的判断有"内在信号"式的自信,觉得判断"对了"的感觉本身就是一种奖赏。二是人们要求机器完美,却容忍人犯错。三是人们低估了客观无知(objective ignorance):未来本身就有大量不可预测的成分,没有任何人或模型能预测得很准。书中提到的"脆弱家庭挑战"(Fragile Families Challenge)里,数百个研究团队用海量数据预测儿童的人生结局,表现都相当有限。

六、噪声从何而来

心理偏差是噪声的来源。 同样的心理偏差,比如锚定效应、过度自信、代表性启发,在不同人身上、不同时刻以不同强度出现,就会表现为噪声。偏差在群体层面是系统性的,在个体层面却是随机分布的。

过度的因果思维。 人们习惯用因果故事理解世界,觉得事情"事后看来是必然的"。这让我们看不到事件中的随机性,也看不到自己判断的不稳定。作者建议培养统计思维,特别是采用外部视角(outside view):先看同类案例的基础比率,再根据个案做调整。

尺度的问题。 很多判断需要把感受转换成数字,比如"赔偿多少美元""绩效打几分"。人们在相对排序上往往相当一致,在绝对数值上却各说各话。书中引用了卡尼曼、施卡德(Schkade)和桑斯坦对惩罚性赔偿的研究:陪审员对案件"有多恶劣"的评价高度一致,一旦要换算成美元金额,分歧就极大。这也是作者推荐相对尺度的原因。

绩效评估尤其严重。 研究显示,一个人的绩效评分中,很大一部分变异(常被估计在一半以上)反映的是评估者本人的特质,而不是被评估者的实际表现。

七、决策卫生:如何降低噪声

作者提出了一个核心概念:决策卫生(decision hygiene)。这个比喻来自洗手:洗手不针对某个具体的病菌,它的效果看不见,你永远不知道自己避免了哪一次感染,但它有效。降低噪声的措施也是如此,它们不针对某个具体的错误,而是整体提高判断质量。

书中列出了以下几项原则和工具。

1. 判断的目标是准确,不是自我表达。
专业判断不是展示个性的场合。承认这一点是降低噪声的心理前提。

2. 运用统计思维,采用外部视角。
先问"这类情况通常怎样",再问"这个案子有什么特殊之处"。

3. 对信息进行排序:先独立判断,后接触可能产生干扰的信息。
书中讨论了法庭科学中的指纹鉴定。伊蒂尔·德罗尔(Itiel Dror)的研究发现,鉴定人员如果事先知道嫌疑人已经认罪之类的背景信息,判断会被影响,甚至同一位专家对同一组指纹会前后给出不同结论。解决办法是线性顺序揭示(linear sequential unmasking):先分析现场指纹,记录下判断,再看嫌疑人指纹,尽量少接触与鉴定无关的信息。

4. 汇总多个独立判断。
"群体智慧"成立的前提是独立。先让每个人独立判断、记录,再进行讨论和汇总。这比一开始就开会讨论有效得多。德尔菲法、"估计—讨论—再估计"等方法都遵循这个逻辑。

5. 选择更好的判断者。
好的判断者不一定是资历最深、最受尊敬的人,而是具备较高一般智力、积极开放思维(actively open-minded thinking),并且愿意更新观点的人。菲利普·泰特洛克(Philip Tetlock)研究的"超级预测者"就具有这些特点:把问题拆解、经常更新、对细微的概率差异敏感。

6. 结构化判断:拆解为独立的子判断。
作者推荐中介评估协议(Mediating Assessments Protocol, MAP):

  • 事先确定需要评估的若干维度;
  • 对每个维度分别、独立地评估,尽量基于事实;
  • 推迟整体直觉,等所有维度都评估完后再形成最终判断;
  • 最终判断时允许直觉参与,但直觉要建立在结构化信息之上。

招聘中的结构化面试就是典型应用:所有候选人回答相同的问题,按同样的标准评分,各面试官独立打分。书中提到谷歌采用了类似做法。医学中的阿普加评分(Apgar score)也是好例子:把新生儿健康状况拆成心率、呼吸、肌张力、反射、肤色五个维度,每项0–2分,大大减少了不同医护人员之间的判断差异。

7. 使用相对尺度,而非绝对尺度。
与其问"这个员工值几分",不如问"他在团队中排第几"。或者用具体的锚定案例定义量表,比如"这个表现相当于某某典型案例"。

8. 规则与指南。
在适当场合用规则、指南或算法约束判断的自由度,比如量刑指南和医疗诊断指南。

八、降低噪声的代价与边界

作者并不天真。书的最后讨论了反对降噪的理由,并承认其中一些有道理:

  • 成本:噪声审计和结构化流程都需要投入,并非所有场合都值得。
  • 规则可能带来新的错误:僵化的规则会产生偏差,也可能被钻空子。
  • 尊严与个体化:人们希望自己的案子被"当作一个人"来对待,而不是被公式处理。
  • 价值观的演进:一定程度的分歧能让社会规范和价值观随时间变化,法律的进步有时就源于个别法官的"异见"。
  • 士气与创造力:过度规范可能削弱专业人士的积极性和责任感。

作者的结论是:并非所有噪声都必须消除,但噪声应该被看见、被测量、被讨论。组织可以有意识地决定容忍多少噪声,而不是对它视而不见。书中还区分了"规则"和"标准":规则减少噪声,可能牺牲灵活性;标准保留弹性,也容忍噪声。如何取舍取决于具体领域。

结语:一个被忽视的问题

《噪声》的重要性在于,它指出了一个长期被忽视、却可能与偏差同样严重的问题。它不像偏差那样有戏剧性的故事,但在医疗、司法、商业、教育、招聘等无数领域,它每天都在造成不公和浪费。

书中贯穿始终的一个洞见是:人们很难意识到自己的判断是有噪声的。 每一个判断在做出它的人看来都合情合理、理由充分。只有把许多判断放在一起、把"靶纸翻过来",我们才能看到那些散落各处的弹孔。

对个人来说,这本书提供了一种谦逊:我此刻的判断可能与明天的我、与身边的同事都不同,而这未必说明我是对的。对组织来说,它提供了一套可操作的工具:做噪声审计,独立判断,结构化评估,汇总多方意见,谨慎使用规则和算法。

好的判断不只来自聪明和经验,也需要一套能约束自身随机性的纪律。


书籍信息:Daniel Kahneman, Olivier Sibony, Cass R. Sunstein, Noise: A Flaw in Human Judgment, Little, Brown Spark, 2021。中文版译名为《噪声:人类判断的缺陷》。