Euler's Eyes
2026-10-14
黄金定理：大数定律
即使是最愚笨的人，也凭着某种天性，无需任何指点就自己相信：观察的次数越多，偏离目标的危险就越小。
— 雅各布·伯努利，《猜度术》（1713），第四部分
对一颗骰子，我们事先就知道每一面的机会：$\frac16$。可是，一个 40 岁的男人再活二十年的机会是多少？明天下雨的机会呢？一种药有效的机会呢？这些情形里没有相同的面可以数。雅各布提出了另一条路：多次观察，用频率来估计概率。如果在许多 40 岁的男人中，有一半活到了 60 岁，那么这个机会应该接近一半。
正如上面的引文所说，人人都已经这样想了。雅各布的问题更深一层：这能 证明 吗？随着观察次数增加，频率真的会接近概率吗，还是误差可能一直很大？要达到实际上的确定，需要多少次观察？他花了二十年才回答这个问题，并且对结果非常自豪，称之为 黄金定理。
罐子
雅各布用一个看不见内部的罐子来表述这个问题：罐中有 3 000 颗白石子和 2 000 颗黑石子。不能往里看的人想知道白石子所占的比例，也就是 $\frac35$。为此，他取出一颗石子，记下颜色，放回去，再重复。
$n$ 次抽取中有 $S_n$ 次白色，观察到的频率就是 $\frac{S_n}n$。精确的问题是：需要抽多少次，才能 道德上确定，也就是以至少 $\frac{1000}{1001}$ 的机会保证频率落在 $\frac{29}{50}$ 与 $\frac{31}{50}$ 之间，即与 $\frac35$ 相差不到 $\frac1{50}$？
定理说了什么
雅各布的回答有两部分。第一部分是定性的：对任何误差范围 $\varepsilon$，不论多小，当 $n$ 增大时，频率偏离 $p$ 超过 $\varepsilon$ 的机会趋于零。用今天的语言写，
$$\boxed{\lim_{n\to\infty}P\left(\left|\frac{S_n}n-p\right|>\varepsilon\right)=0.}$$这是 大数定律 的第一个版本，这个名称是泊松在 1837 年起的。第二部分是数值的：雅各布算出，对这个罐子，25 550 次抽取 就足以达到道德上的确定。
用今天的工具证明
雅各布的证明用了好几章篇幅，讨论二项式各项之间的不等式。今天，同样的想法用几行就能写完，用到的是俄国人切比雪夫在 1867 年发表的一个不等式。
每次抽取，白石子记为 $1$，黑石子记为 $0$。每次抽取的均值是 $p$，它的 方差，即围绕均值波动的程度，是 $p(1-p)$。把 $n$ 次独立抽取相加再除以 $n$，均值仍是 $p$，方差却除以了 $n$：
$$E\left[\frac{S_n}n\right]=p,\qquad \operatorname{Var}\left(\frac{S_n}n\right)=\frac{p(1-p)}n.$$秘密就在这里：多次观察的平均值比每一次观察波动得小。切比雪夫不等式把这一点变成了概率：
$$P\left(\left|\frac{S_n}n-p\right|\geq\varepsilon\right)\leq\frac{p(1-p)}{n\,\varepsilon^2}.$$$p$ 和 $\varepsilon$ 固定时，右边随着 $n$ 增大而趋于零。黄金定理得证。
25 550 次抽取
雅各布知道他的估计很宽裕。用切比雪夫不等式，结果还会更差：取 $p=0.6$、$\varepsilon=0.02$、出错机会 $\frac1{1001}$，
$$n\geq\frac{0.6\cdot0.4\cdot1001}{0.02^2}\approx600\,600.$$用二项分布精确计算（计算机几秒钟就能完成）表明，大约 6 500 次抽取就够了。雅各布和切比雪夫都离这个数很远，因为他们的不等式对任何情形都成立，因而浪费了精度。合理的估计要等到正态曲线出现才成为可能，而 棣莫弗 正是在 1733 年改进雅各布的定理时发现了它。
练习：用切比雪夫不等式，抛多少次硬币能以至少 95% 的机会保证正面比例与 1/2 相差不到 0.05？
$p=\frac12$ 时，$p(1-p)=\frac14$。要求 $\frac{1/4}{n\cdot0.05^2}\leq0.05$，即 $n\geq\frac{0.25}{0.0025\cdot0.05}=2\,000$。切比雪夫保证 2 000 次就够。精确计算表明大约 400 次就已足够：这个不等式稳妥，但偏悲观。
练习：一项选举民调访问了 1 000 人，其中 52% 投票给候选人 A。大数定律能保证 A 领先吗？
不能。它说的是当 $n$ 增大时频率会接近真实比例，但 $n=1\,000$ 时仍有波动。比例的方差约为 $\frac{0.25}{1\,000}$，典型偏差约为 $\sqrt{0.00025}\approx0.016$，即 1.6 个百分点。比 50% 高出 2 个百分点，与典型误差相当：这个结果既可能对应 A 领先，也可能对应平局。
来源： Jakob Bernoulli，The Art of Conjecturing，第四部分，Edith Dudley Sylla 译（Johns Hopkins，2006）· Stephen M. Stigler，The History of Statistics（Harvard，1986），第 2 章 · Anders Hald，A History of Probability and Statistics and Their Applications before 1750（Wiley，1990）。
雅各布·伯努利的全部主题 · ← 猜度术：计算机会 · 伯努利数：七分钟算出一千个幂的和 →
图片来源.