ベイズ統計学 Bayesian Statistics


|| 後付けで修正できる統計のやり方

「全体の特徴なんざ正確には分からん」

スポンサーリンク

 

母数」は決まっている、とする

頻度論的統計学」とは真逆の発想で

 

\begin{array}{llllll} \displaystyle μ&&\to&&c \\ \\ μ&& ← &&c \end{array}

 

「出た結果」によって『母数は変化する』

とまあそんな感じの立場でこれは統計をやります。

 

 

 


目次

 

ベイズの定理「前後は相互に影響を与え合う」

 

   証明「条件付き確率の定義と交換律でいける」

   解釈「後のことが前に影響を与えるのは普通のこと」

 

   モンティ・ホール問題「ベイズの定理の代表的な結果」

 

 

ベイズ推定「ベイズの定理を元に推測する」

 

   理由不十分の原則「分からないなら適当に確率を定める」

   ベイズ更新「情報が加わって確率が更新される」

 

 

 

 

 


ベイズの定理 Bayes’ Theorem

 

|| ほぼただの条件付き確率の定義

条件付き確率」の定義から導かれるやつ。

 

\begin{array}{llllll} \displaystyle \displaystyle P(E_{\mathrm{future}}\,|\,E_{\mathrm{past}})P(E_{\mathrm{past}})&=&P(E_{\mathrm{past}}\,|\,E_{\mathrm{future}})P(E_{\mathrm{future}}) \\ \\ \displaystyle P(E_{\mathrm{past}}\,|\,E_{\mathrm{future}})&=&\displaystyle\frac{P(E_{\mathrm{future}}\,|\,E_{\mathrm{past}})P(E_{\mathrm{past}})}{P(E_{\mathrm{future}})} \end{array}

 

「原因」と「結果」が入れ替わる

と考えるのはおすすめしません。

 

 

見ての通り

「前の結果 E_{\mathrm{past}} 」が

「後の結果 E_{\mathrm{future}} 」から影響を受けていて

 

 

見た目には「因果関係の逆転」に見えるわけですが

実態はどちらも「確率を定められる結果」

 

 

厳密には「原因」と「結果」ではありません。

「前の結果」と「後の結果」です。

 

 

 

 

 

定理の証明

 

証明は「条件付き確率の定義」と

記号 の「交換律」によって

特に疑問もなくすぐに導かれます。

 

\begin{array}{cccllll} \displaystyle P(A\,|\,B)&=&\displaystyle\frac{|A∩B|}{|B|} \\ \\ &=&\displaystyle\frac{\displaystyle\frac{ |A∩B|}{|U|}}{\displaystyle\frac{|B|}{|U|}} \\ \\ &=&\displaystyle\frac{P(A∩B)}{P(B)} \end{array}

 

\begin{array}{llllll} \displaystyle P(A\,|\,B)&=&\displaystyle\frac{P(A∩B)}{P(B)} \\ \\ P(B\,|\,A)&=&\displaystyle\frac{P(B∩A)}{P(A)} \end{array}

 

ベイズの定理の中核は

記号 が「交換律」を持つこと

 

\begin{array}{llllll} \displaystyle P(A∩B)&=&P(B∩A) \end{array}

 

この結果から

 

\begin{array}{cccllllll} \displaystyle P(A\,|\,B)&=&\displaystyle\frac{P(A∩B)}{P(B)} \\ \\ \displaystyle \frac{P(A\,|\,B)}{P(B)}&=&\displaystyle P(A∩B) \\ \\ \\ P(B\,|\,A)&=&\displaystyle\frac{P(B∩A)}{P(A)} \\ \\ \displaystyle \frac{P(B\,|\,A)}{P(A)}&=&\displaystyle P(B∩A) \end{array}

 

「前後」の『入れ替え』が許されて

 

\begin{array}{cccllllll} \displaystyle P(A∩B)&=&P(B∩A) \\ \\ \displaystyle \frac{P(A\,|\,B)}{P(B)} &=&\displaystyle \frac{P(B\,|\,A)}{P(A)} \end{array}

 

定理の結果が得られます。

 

\begin{array}{llllll} \displaystyle \displaystyle P(A\,|\,B) &=&\displaystyle \frac{P(B\,|\,A)P(B)}{P(A)} \\ \\ \displaystyle P(B\,|\,A) &=&\displaystyle \frac{P(A\,|\,B)P(A)}{P(B)} \end{array}

 

やってることはただの式変形ですね。

 

 

 

 

 

ベイズの定理の解釈

 

ほんで?って感じかもですが

いや、これ何気に変じゃありませんか?

 

\begin{array}{llllll} \displaystyle 前B&\to &後A &&〇 \\ \\ 前B &←&後A &&? \end{array}

 

というのも

『ベイズの定理』をそのまま言い表すと

 

\begin{array}{llllll} \displaystyle \displaystyle P(B\,|\,A) &=&\displaystyle \frac{P(A\,|\,B)P(A)}{P(B)} \end{array}

 

「前 B が起きた上での後 A の確率」を使えば

「後 A が起きる上での前 B の確率」を求められる。

そう言ってるわけで

 

 

そうなると

「結果 A が出る確率」から

「原因 B が出る確率」が導かれることになります。

 

 

そう、つまりこの場合

「因果関係の逆転」が起きていて

 

 

原因が結果に影響を及ぼすのは当然ですが

結果もまた原因に影響を及ぼす、と

これはそう言ってるんです。

 

 

 

 

 

直感的な解釈

 

意外かもしれませんが

この結果はわりと直感的だったりします。

 

 

というのも

「前に起きる結果」が

「後に起きる結果」に影響を及ぼすように

 

 

「後に起きる結果」もまた

「前に起きる結果」に影響を与える。

 

 

これはわりと普通のことだからです。

 

 

それこそ例えば

『予定に今の行動が左右される』のは当然で

同様に『予定も行動に左右される』

 

 

だから『予定通りにはいかないよね』

となるのは実にありふれたこと。

 

 

なのでこの「ベイズの定理」が示した

「因果関係の逆転」というのは

そう特別な結果ではありません。

 

 

 

 

 


\mathrm{Monty \,\, Hall} 問題

 

|| なんか直感的じゃない確率の問題

情報が与えられると確率が変わる

そういったベイズ統計の感覚の代表例

 

\begin{array}{llllll} \displaystyle 〇&×&× \end{array}

 

具体的には

「3つの選択肢(ドアとか)」があったとして

「その内の1つが正解 」とします。

 

\begin{array}{llllll} \displaystyle \frac{\{〇\}}{\{〇,×,×\}}&=&\displaystyle\frac{1}{3} \end{array}

 

つまり「なんの情報も無い」場合

「3つの選択肢から正解を引ける確率」はこうです。

 

 

ここで

まず『3つの内から1つ選んでから』

その後に「不正解の選択肢を1つ与える」とします。

 

\begin{array}{llllll} \displaystyle \frac{\{〇\}}{\{〇,×\}}&=&\displaystyle\frac{1}{2} \end{array}

 

すると『2回目の選択』では

「2つの選択肢から1つ選ぶ」

という問題に変わるわけですが

 

 

ここで「1度目の選択から変えた方が良いのか」

それとも「変えない方が良いのか」

 

 

こういう問題が考えられて

 

\begin{array}{llllll} \displaystyle \{〇,×,×\} &\to& \{?\} \\ \\ \{〇,×\} &\to& \{?\} \end{array}

 

直感的には「どっちも変わらない」

「変えても変えなくても確率は同じ」

 

\begin{array}{llllll} \displaystyle \displaystyle\frac{1}{3} &&\to && \displaystyle\frac{1}{3} \\ \\ \displaystyle\frac{1}{2} &&\to && \displaystyle\frac{1}{2} \end{array}

 

とまあこんな感じなんですけど

 

 

実はこの答え

「変えた方が確率が上がる」なんですよ。

 

\begin{array}{ccclllll} \begin{pmatrix} \displaystyle A&B&C \\ \\ 〇&×&× \\ ×&〇&× \\ ×&×&〇 \end{pmatrix} &&\to&&\begin{pmatrix}\displaystyle A&B&C \\ \\ 〇&× \\ ×&〇 \\ &&× \end{pmatrix} \end{array}

 

例えば「当たりが分からない」場合

 

\begin{array}{ccccllllll} \displaystyle \mathrm{Select} &\mathrm{Open}& \\ \\ A & B && \displaystyle\frac{1}{3}\times\frac{1}{2} \\ \\ A & C && \displaystyle\frac{1}{3}\times\frac{1}{2} \\ \\ B & A && \displaystyle\frac{1}{3}\times\frac{1}{2} \\ \\ B & C && \displaystyle\frac{1}{3}\times\frac{1}{2} \\ \\ C & A && \displaystyle\frac{1}{3}\times\frac{1}{2} \\ \\ C & B && \displaystyle\frac{1}{3}\times\frac{1}{2} \end{array}

 

こうなりますが

 

 

当たりが A の場合

 

\begin{array}{ccclclllll} \displaystyle \mathrm{Select} &\mathrm{Open}& \\ \\ A & B && \displaystyle\frac{1}{3}\times\frac{1}{2}& \displaystyle\frac{1}{6} \\ \\ A & C && \displaystyle\frac{1}{3}\times\frac{1}{2} &\displaystyle\frac{1}{6} \\ \\ B & A && \displaystyle\frac{1}{3}\times 0 &0 \\ \\ B & C && \displaystyle\frac{1}{3}\times 1 &\displaystyle\frac{1}{3} \\ \\ C & A && \displaystyle\frac{1}{3}\times 0 &0 \\ \\ C & B && \displaystyle\frac{1}{3}\times 1 &\displaystyle\frac{1}{3} \end{array}

 

確率はこうなります。

 

\begin{array}{cccccccc} \displaystyle \mathrm{Select} &〇 &\mathrm{Open} && \mathrm{Change} & \mathrm{Keep} \\ \\ A &A&B \mathrm{or} C &&×&〇 \\ \\ A &B&C &&〇&× \\ \\ A &C&B &&〇&× \\ \\ B &A&C &&〇&× \\ \\ B &B&A \mathrm{or} C &&×&〇 \\ \\ B &C&A &&〇&× \\ \\ C &A&B &&〇&× \\ \\ C &B&A &&〇&× \\ \\ C &C&B \mathrm{or} A &&×&〇 \end{array}

 

すると確率の関係から

これらを表にして整理すると

 

\begin{array}{cccllllll} \mathrm{Change} & \mathrm{Keep} \\ \\ \displaystyle \frac{6}{9} &\displaystyle \frac{3}{9} \end{array}

 

「変えた方が当たりやすい」ということが

確率的に分かると思います。