まだ数時間ざっと目を通しただけやけど、感動した。
感動ポイント①
ベイズ学習の利点が理解できる。利点は以下の通り。
・一貫性を持って問題を解ける
いわゆるscikit-learnのライブラリを使用した"機械学習"では一つ一つモデルの特性を個別に理解する必要があるし、解きたい問題に直接適用できるものが見つからない可能性がある。しかしベイズ学習ではモデル構築と推論の2stepだけが必要であり、問題に応じて確率モデルを構築することでPCA、欠損値処理、異常検知などあらゆる問題を一貫性を持って解ける。
・過学習が起こらない
最尤推定的なアプローチでは点推定を行うので過剰適合することがある。しかし事前分布を利用するベイズ推論では不確実性を定量的に見積もることができる。ちなみに最尤推定やMAP推定(＝事後確率を最大化させるパラメータを点推定＝正則化後を考慮した最尤推定)はベイズ推論の特別な場合ともみなせる。
・データをフルに使える
最尤推定的なアプローチではハイパーパラメータチューニングにcross validationが必要となり、訓練データの一部を捨ててしまうことになるが、ベイズ学習では検証データを用意しなくてもモデルエビデンスを計算すればモデル比較ができる。
感動ポイント②
ベイズ学習に必要十分な知識が書かれているので、初心者にとって情報過多気味に感じられるPRMLに埋もれていた実用上必要なことがピンポイントでわかる。
モデル構築に必要な確率密度分布のまとめ、グラフィカルモデル、推論で必要な変分ベイズ、マルコフ連鎖モンテカルロ法の使い方がわかりやすく解説されている。
さらに具体例としてガウス混合モデル、確率主成分分析(それを利用した欠損値の補間も)、隠れマルコフモデルものっているのでイメージが付きやすい。
