とある統計学者の技術 Tips

統計学の話はしないかもしれません

チェビシェフの不等式と大数の法則の話

統計学周辺の教養にと思い,統計力学をかじり始めました.

統計学の概念は使用するものの,いろいろな記号の使い方が物理学の文化なのですこし混乱します 特に,一般の物理量(統計学で言う確率変数に対応)を  \hat f と書くのはしんどい...

使用しているテキストはこちら.

統計力学〈1〉 (新物理学シリーズ)

統計力学〈1〉 (新物理学シリーズ)

熱力学のテキストで定評のある田崎先生の本ですね. 本文のわかりやすさもそうですが,まず第1章が面白い. 統計力学が成立するに至る経緯を解説する中で,何人もの物理学者が登場しますが,そのひとりひとりに丁寧な脚注がつけられていて,つい読み入ってしまいます.

本題

今日は,統計力学(2008;田崎)の第2章と,現代数理統計学(1991;竹村)から,チェビシェフの不等式,大数の法則,そして中心極限定理に至るまでの流れを復習します.
なお,まとめるのは確率論的な証明です.測度論的な証明はまたそのうち…

チェビシェフの不等式の証明

チェビシェフの不等式(Chebyshev's inequality)
 \displaystyle
\forall \varepsilon > 0 ~~ P(|X - \mu| \ge \varepsilon) \le \left( \frac{\sigma}{\varepsilon} \right) ^2
ただし, E(X) = \mu, V(X) = \sigma ^2

この不等式は視覚的に見てみると,かなり当然のことを言っていることがわかります. まず, Xから定義される次の確率変数を考えます.

\begin{eqnarray} \theta =
\begin{cases} 1 & if \ |X - \mu| \ge \varepsilon \\ 0 & if \ |X - \mu| \lt \varepsilon \end{cases} \end{eqnarray}

この定義から,視覚的にも明らかに
\begin{align} \displaystyle \theta \le \left(\frac{X - \mu} {\varepsilon}\right) ^2 \end{align}

f:id:kharada201612:20180722221527p:plain

この両辺の期待値をとると,
 \displaystyle P(|X - \mu| \ge \varepsilon)
\le \left(\frac{E((X-\mu) ^2)}{\varepsilon}\right) ^2
= \left( \frac{\sigma}{\varepsilon} \right) ^2

大数の(弱)法則の証明

チェビシェフの不等式の Xを互いに独立で同一の分布に従う X_1, X_2, ... X_Nの平均 \bar Xに置き換え,
 \displaystyle P(|\bar X - \mu| \ge \varepsilon) \le \left( \frac{\sigma}{N\varepsilon} \right) ^2

 Nについて極限をとるだけです.
 \displaystyle \lim_{N \to \infty} P(|\bar X - \mu| \ge \varepsilon) = 0

よって,サンプル数を十分に大きく取れば,その平均値は真の平均値に収束することがわかりました.

参考文献

統計力学〈1〉 (新物理学シリーズ)

統計力学〈1〉 (新物理学シリーズ)

現代数理統計学 (創文社現代経済学選書)

現代数理統計学 (創文社現代経済学選書)