之前写到,我们不能从水晶球中看到未来的清晰倒影。而本次的结论更加悲观:那些模糊的幻象基本上没有任何效果,并且很可能是有害的。

另,本文部分是《反脆弱》的读书笔记。虽然作者有的观点过于极端让人不爽,但是其理论仍能给人启发……特别是对于梦想预测未来的人来说。

现实:参数太多而数据量太少

作为一个实验室民工,当我在说“波长与温度成正比”的时候,大概只需要测量8次就够了。可是,当参数太多(而且不能控制变量)的时候,情况变得复杂起来。很多时候,能够得到的数据大概是这样:

timeabcdy
1996-03-161100.755
2007-04-22331415
2018-09-0161061830

提问:$y=?$

A. $y=5a$

B. $y=15b+10c-10d$

C. $y=\text{random}()$

D. $y$是当天大乐透的尾号

当然,作为实验民工的话,正交试验法典型相关分析主成分分析是找到复杂特性的好手段。可是,现实生活中,并不存在重复实验的条件,而且,我们甚至不能将所有参数一一列举出来。最糟糕的情况下,重要的原因仍然藏在水底。

大家喜闻乐见的冰山图.jpg

大家喜闻乐见的冰山图.jpg

这时候,关于预测未来这件事,出现了两种截然相反的手段。

(假)先知们的伎俩:冗余的参数与神秘主义

有时候,仅仅是声称能够预测未来就可以带来实际的好处,无论正确与否;1同时,生物似乎倾向于在事物中寻找规律2。于是,为了垄断对未来的解释权,在可以观察到的参数之外,这些预言家们倾向于将原因复杂化,典型的手法包括“神的旨意”、“群星的角度”和“技术分析”等等。

此时,由于参数的过量,过拟合能够获得对历史数据相当精确的表述(以及对占卜师的信任),然而其预测能力并不像看起来那样强。但是,我们并没有办法判断预言的正确程度(今天的恋爱运是69%),同时养成了在新事件发生之后不翻旧账的好习惯(没有“昨日运势”的地址)。这样的假先知在每个时代都能够占据一席之地。3

应对这样的预言家有一个简单的办法:“不要询问他的意见、预测或建议。只要问他们的投资组合中有什么或者没有什么就行。”换一个时髦一些的说法,叫做“利益相关”,这样的话,错误的预言至少能够得到一些代价。

奥卡姆剃刀,以及为什么在现实中(可能)失效

之前已经提到过过拟合这一概念:

当可选择的参数的自由度超过数据所包含信息内容时,会减少或破坏模型一般化的能力更甚于适应数据。(维基百科)

一般来说,奥卡姆剃刀是解决过拟合问题的有效途径。在预测能力相似的情况下,引入的假定越少越好。在贝叶斯理论下,可以通过贝叶斯因子(或其不够精确的代替品,赤池信息量准则等等)来进行判断。现实生活中的噪音比实验数据更多,按理说剃刀会更加锋利,但是,与数学模型不同,生活中:

样本(仍然)不足

我们再次遇到了这个问题。生活中很多时候,我们获得的信息类似这样:

  • “你看隔壁小李,多年的xxx就是吃这个药好的”
  • “啥,出去跑步来着?那没关系,药还是得喝”
  • “副作用?没事!老王喝了二十多年了身体倍儿棒”

仅看这些对话,可以得到一个解释力很强,假设又很少的理论,当然我们并不会相信它。日常生活中所能够得到的样本大概如此,有效信息量甚至比噪音还低。指望从中获取什么一般规律/人生哲理/生活智慧,基本上是不现实的——除了给自己增加一些盲目的自信之外。

“火鸡与农场主”、黑天鹅效应、以及损失敏感性

数学与现实生活的另一个区别是,数学是永恒的。只要公理和逻辑不变,同样的算式总是可以期待相同的结果。而现实生活则不同,每天的日常生活很可能是连续发生的奇迹,而且,一旦奇迹不再发生,很可能带来灾难性的结果。这一问题再次提升了预言的难度:不仅需要对未来的平均值,而且对其方差/极端情况进行描绘。

同时,相比正确的预测,错误的预测一般会带来更加恶劣的影响,在心理上也会更强的挫败感,这由我们的本能所决定。

那么……

很多时候,人们观察到了一个(或一组)现象,然后盲目地寻找到一个原因,并认为得到了正确的答案。这在我们进化初期十分有效,在今天也比投硬币决定稍微好一些——如果用于决策的证据真的不够的话。

在更多的情况下,预测未来(并信任这一预测)并不是个好主意。荷兰赌/两边下注/无风险套利可能是更明智的选择。由于日常生活并不是由精明的数学家所设计,这种机会仍是有可能存在的。

在必须要做出决定的时候,可能需要注意:

  1. 尽可能地获取无偏见的信息;
  • 当然,所谓“无偏见”又是另一个故事了。
  1. 只下能够赔得起的赌注;
  • 或者完全不下赌注——如果想成为预言家,而且没有道德洁癖的话。

来自19-6-9:

前几天突然想起一个例子。我们宇宙的最终命运——是重新回到一个闪耀的奇点,还是变成冰冷稀薄的碎片,和一个常数相关。现在的观测结果显示,这个常数很接近两种可能的分界线,但我们并不能确定自己是对的:对暗物质质量的计算已经很困难,更不要提什么暗能量了。


  1. 一部分可能由于自证预言,另一部分可能就是流行的KOL什么的了。 ↩︎

  2. 不仅仅是条件反射,而且有非常类似人类的“迷信行为”('SUPERSTITION' IN THE PIGEON, B. F. Skinner)。我最近才在素材库里发现这个有趣的现象。 ↩︎

  3. 我试图让我不要再刷那些占星师的微博了,但是我瞪了自己一眼,然后说:“不”。 ↩︎