Posted by ブクログ
2012年06月12日
●これならわかる!ベイズ統計学
●ベイズの定理
・事象の独立
P(B|A)=P(B)の場合、Aの発生がBの発生確率に影響しない。この場合、以下の独立事象の乗法定理が成立する
独立事象の乗法定理:P(A∩B)=P(A)P(B)
・条件付き確率P(B|A)とは、Aが発生した場合にBである確率。同時...続きを読む確率P(B∩A)とは1サンプルを選択した場合にAかつBである確率
・ベイズの定理
P(A|B)=P(B|A)P(A)/P(B)
BのもとでAが起こる確率 = AのもとでBが起こる確率×Aの起こる確率/Bの起こる確率
●ベイズ更新の考え方
・データを取り込むたびに事後確率が変化することをベイズ更新と呼ぶ
・ベイズ流の計算では、データを得ることで経験や常識が更新(学習)されていく
●ベイズの展開公式の本質
ベイズの定理の解釈を変える。
Aを原因や仮定(Hypothesis)と、BをそのAのもとで得られた結果(データ)と解釈すると、
P(H|D)=P(D|H)P(H)/P(D)
となる。
・式中の3つの概念を以下のとおり定義する。
・尤度(ゆうど) P(D|H)原因HのもとでデータDが得られる確率
・事前確率 P(H) 分析前に原因Hが得られる確率
・事後確率 P(H|D) データDを考慮して得られた分析後の原因Hの確率
・ここで、事後確率が尤度と事前確率の積に比例する点が重要
・1回目の事後確率を2回目のデータ分析の際の新たな事前確率として利用する
・ベイズ理論の功績の一つは、事前確率の大切さを再認識させてくれたこと。
注意しなければ、尤度に目を奪われて、事前確率を忘れてしまいがちである。
●ベイズ理論計算の3ステップ
・ベイズ統計学において、事後分布は尤度と事前分布の積に比例する
・ベイズ統計学の基本公式
π(θ|D)=kf(D|θ)π(θ)
・ベイズ統計学では、確率分布を規定する定数(母数)を確率変数として扱う点に特徴がある
1.モデル化し、尤度を算出する
2.事前確率を設定する
3.ベイズの展開公式を用いて事後確率を算出する
●ベイズ統計の応用
・ベイズ理論による推定法のメリットは、事前確率という形で、現在目の前にあるデータだけでなく、その背景にあるデータも
スムーズに取り込んで、より正確な推定を行えること
・迷惑メールか通常メールかの判定を行う場合、各々の発生確率に基づいて、大きい確率を持つ方に分類すればよい
・ベイズ流の意思決定理論では、事後確率から算出した損失期待値から最適なものを選択する
・ベイジアンネットワークでは、マルコフ条件という重要な性質を仮定する
マルコフ条件:各ノードの確率変数が、そのノードの親ノードの条件付き確率のみで表されるという条件
●計算方法
・ベルヌーイ分布の公式
0の発生確率p, 1の発生確率1-pのベルヌーイ分布において、平均値μ=p, 分散σ^2=p(1-p)
・事前分布に特定の分布を指定すると、事後分布も同じパターンの確率分布となる(自然な共役分布)
・MCMC法は積分値を乱数により近似的に計算する方法であり、ベイズ統計において有名な確率分布を利用できない場合に有効