どんなに愚かな人でも、ある自然の本能によって、ひとりで、なんの教えも受けずに、観察を重ねれば重ねるほど的をはずす危険は小さくなると確信している。

— ヤコブ・ベルヌーイ『推測術』(1713)第四部

サイコロなら、それぞれの目の確率は前もってわかっています。$\frac16$ です。けれども、40 歳の男性があと二十年生きる確率は?明日雨が降る確率は?薬が効く確率は?こうした場合には、数えられる同じ面がありません。ヤコブは別の道を提案しました。何度も観察し、頻度を確率の推定に使うのです。40 歳の男性のうち半分が 60 歳まで生きたなら、その確率は半分に近いはずです。

上の引用が言うとおり、だれもがすでにそう考えていました。ヤコブの問いはもっと深いものでした。それは 証明 できるのか。観察の数が増えると、頻度はほんとうに確率に近づくのか、それとも誤差はいつまでも大きいままでありうるのか。実際上の確実さを得るには、何回の観察が必要なのか。彼は答えるのに二十年かかり、その結果をたいへん誇りにして 黄金の定理 と呼びました。

壺

ヤコブは、白い石 3 000 個と黒い石 2 000 個の入った、中の見えない壺で問題を立てました。中をのぞけない人が、白い石の割合、つまり $\frac35$ を知りたいとします。そのために石をひとつ取り出し、色を記録して戻し、これをくり返します。

$n$ 回取り出して白が $S_n$ 回なら、観察された頻度は $\frac{S_n}n$ です。正確な問いはこうなります。頻度が $\frac{29}{50}$ と $\frac{31}{50}$ のあいだ、つまり $\frac35$ との差が $\frac1{50}$ 未満になることが 道徳的に確実、すなわち $\frac{1000}{1001}$ 以上の確率で成り立つには、何回取り出せばよいか。

定理が言うこと

ヤコブの答えには二つの部分があります。第一は定性的なものです。どんなに小さな誤差の幅 $\varepsilon$ をとっても、頻度が $p$ から $\varepsilon$ より大きくずれる確率は、$n$ が大きくなると 0 に近づく。今日のことばでは、

$$\boxed{\lim_{n\to\infty}P\left(\left|\frac{S_n}n-p\right|>\varepsilon\right)=0.}$$

これが 大数の法則 の最初の形で、この名は 1837 年にポアソンがつけました。第二の部分は数値的なものです。ヤコブは、この壺なら 25 550 回 の取り出しで道徳的確実さに足りると計算しました。

硬貨投げのシミュレーション。はじめは表の割合が大きくゆれるが、数千回投げると 1/2 に近づく。横軸は対数目盛り。
硬貨投げのシミュレーション。はじめは表の割合が大きくゆれるが、数千回投げると 1/2 に近づく。横軸は対数目盛り。Euler’s Eyes 作図

今日の道具による証明

ヤコブの証明は、二項展開の項のあいだの不等式に何章も費やしています。今日では、ロシアのパフヌティ・チェビシェフが 1867 年に発表した不等式を使えば、同じ考えが数行で書けます。

取り出しごとに、白なら $1$、黒なら $0$ とします。各回の平均は $p$ で、平均のまわりでどれだけゆれるかを測る 分散 は $p(1-p)$ です。独立な $n$ 回の取り出しを足して $n$ で割ると、平均は $p$ のままですが、分散は $n$ で割られます。

$$E\left[\frac{S_n}n\right]=p,\qquad \operatorname{Var}\left(\frac{S_n}n\right)=\frac{p(1-p)}n.$$

秘密はここにあります。多くの観察の平均は、一回一回の観察よりもゆれが小さい。チェビシェフの不等式は、これを確率に変えます。

$$P\left(\left|\frac{S_n}n-p\right|\geq\varepsilon\right)\leq\frac{p(1-p)}{n\,\varepsilon^2}.$$

$p$ と $\varepsilon$ を固定すると、右辺は $n$ が大きくなるにつれて 0 に近づきます。黄金の定理が証明されました。

25 550 回

ヤコブは自分の見積もりがたっぷりしていることを知っていました。チェビシェフの不等式を使うと、もっと悪くなります。$p=0.6$、$\varepsilon=0.02$、誤りの確率 $\frac1{1001}$ では、

$$n\geq\frac{0.6\cdot0.4\cdot1001}{0.02^2}\approx600\,600.$$

コンピュータなら数秒でできる二項分布の正確な計算によれば、およそ 6 500 回で足ります。ヤコブもチェビシェフもこれにはとうてい及びません。彼らの不等式はどんな場合にも成り立つため、そのぶん精度を無駄にするのです。正しい見積もりは、ド・モアブル が 1733 年に、まさにヤコブの定理を改良するなかで見つけた正規曲線によって、はじめて可能になりました。

練習問題:チェビシェフの不等式を使うと、表の割合が 95% 以上の確率で 1/2 から 0.05 未満におさまることを保証するには、硬貨を何回投げればよいか?

$p=\frac12$ なので $p(1-p)=\frac14$ です。$\frac{1/4}{n\cdot0.05^2}\leq0.05$、つまり $n\geq\frac{0.25}{0.0025\cdot0.05}=2\,000$ が必要です。チェビシェフは 2 000 回を保証します。正確に計算すると 400 回ほどで足ります。不等式は安全ですが、悲観的です。

練習問題:ある世論調査で 1 000 人に聞いたところ、52% が候補者 A に投票すると答えた。大数の法則は A がリードしていることを保証するか?

保証しません。法則が言うのは、$n$ が大きくなれば頻度が真の割合に近づくということですが、$n=1\,000$ ではまだゆれがあります。割合の分散はおよそ $\frac{0.25}{1\,000}$ で、典型的なずれは $\sqrt{0.00025}\approx0.016$、つまり 1.6 ポイントです。50% を 2 ポイント上回るのは典型的な誤差と同じくらいなので、この結果は A のリードとも互角とも両立します。

出典: Jakob Bernoulli、The Art of Conjecturing、第四部、Edith Dudley Sylla 訳(Johns Hopkins、2006)· Stephen M. Stigler、『統計学の歴史』(The History of Statistics、Harvard、1986)第 2 章 · Anders Hald、A History of Probability and Statistics and Their Applications before 1750(Wiley、1990)。


ヤコブ・ベルヌーイの全トピック · ← 推測術:チャンスを数える · ベルヌーイ数:千個のべき乗を七分で足す →

画像クレジット.