返回

文章详情

关于本福德定律在实际数据集中的互动探索者

Hacker News2026年7月8日 00:18

从现实世界随机选取一个数字,其首位数字为1的概率是多少?直觉的答案是九分之一——大约11%。有九个非零数字。如果它们的概率相等,每个数字获得相等的份额。这是经典概率论的论点,它看起来是无懈可击的。其实是错的。壮观、可验证、普遍的错误。在几乎任何从现实世界中提取的大型数据集中——城市人口、河流长度、价格、地震深度、公司收入——首位数字并不是均匀分布的。数字1大约30%的情况下出现在首位。不是11%。几乎是三倍于天真的期望。数字9出现的概率不到5%。而这并不是某个特定数据集或某个特定测量单位的怪现象。这适用于以英里和公里测量的河流长度;适用于1938年和2022年的人口统计;适用于股票价格、湖泊的表面积、星际距离。相同的曲线,一遍又一遍,在那些没有任何业务需要彼此一致的数据中。这变得更奇怪了。该定律适用于斐波那契数列——一个由纯算术生成的整数序列,与物理世界毫无关联。它适用于2的幂。它适用于物理常数。它几乎有点不合理:一个简单的对数公式描述了人类曾经测量、计算或计算的几乎每一个数字的首位数字。这就是本福德定律。经典概率的直觉失败是因为现实世界中的数字并不是均匀分布的——它们来自横跨多个数量级的过程,在对数尺度上,1与2之间的距离远大于8与9之间的距离。在这篇文章中,1. 观看实时演示——斐波那契数列实时展示该定律;2. 起源——从磨损的对数表到20,000个数据点;3. 数学——公式,以及为何尺度不变性解释了这一点;4. 应用——欺诈检测、现实案例和流行文化;5. 数据集探索者——在八个真实数据集中自行测试该定律;6. 自行验证——原始数据、采集脚本和复制说明。观看实时演示,直方图正从斐波那契数列中实时填充。观察条形落在哪里:数字1占据了大约30%的总数,数字9几乎没有记录。虚线曲线是理论预测。数据几乎完全遵循这条曲线。该现象在一个纯数学序列中成立——没有涉及任何现实世界的数据——是一个更深层次的经验巧合发生的第一提示。起源该定律有着不寻常的历史——被独立发现了两次,以第二位发现者的名字命名,并最终在第一次观察六十年后才严格证明。1881年,加拿大裔美国天文学家和数学家西蒙·纽康注意到他的对数表册有些奇怪。第一页——涵盖以1为首的数字——明显比后面的页面更磨损和肮脏。人们查找以1开头的数字的频率明显高于以9开头的数字。他在《美国数学期刊》上发表了一篇短文,标题为《自然数中不同数字使用频率的注记》。其中他阐述了概率规则:“数字出现的概率法则是它们对数的尾数均为同样可能。”这是一个洞察。在对数尺度上,1.0和2.0之间的距离与4.0和8.0之间的距离相同。因此,在对数尺度上均匀分布的随机变量恰好会产生这种首位数字分布。纽康的论文基本上被忽视。1938年,通用电气的物理学家弗兰克·本福德独立注意到对数表中相同的现象,并进行了系统研究。他收集了跨越20个不同类别的20,229个数据点:河流表面积、人口统计、物理常数、街道地址、分子量、报纸头版。在每一个类别中,首位数字的分布都与相同的曲线相匹配。他在《美国哲学会会议录》中发表了《异常数字法则》。虽然纽康优先57年,这条法则却以他的名字命名。1995年,西奥多·希尔严格证明了该结果。他显示,如果你不断从不同的分布中抽样并汇总结果,聚合的首位数字分布会收敛于本福德定律。这个“从随机分布中随机抽样”的定理解释了为什么该定律应用如此广泛:现实世界的数据集是许多不同基础过程的混合,这个混合收敛于本福德定律,而不管这些单个组成部分。该论文《显著数字法则的统计推导》出现在《统计学》杂志上。数学公式简洁:P(d)=log⁡10(1+1/d)

赞助内容

NordVPN Next-gen Antivirus

本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。

请我喝杯咖啡