ネイト・シルバーのレビュー一覧

シグナル&ノイズ 天才データアナリストの「予測学」

映画「マネーボール」で一躍有名になってた著者による、よろす統計本。扱うテーマは、金融危機、政治、野球、天気、地震、インフルエンザ、ギャンブル、ポーカー、地球温暖化、テロ。統計データを読み取る人間のバイアスが判断を誤らせるという話には嘆息。著者自身がKPMGに勤務していた頃にオンラインポーカーに全ての余暇をつぎ込んでいた話も面白い。気温観測地点が都市部に偏在しているバイアスを排除したデータを使ってIPCCの調査結果を再検証したUCバークレーのチームが「温暖化は確認できる」と結論づけた話も面白かった。

同僚Mさんから拝借した。

シグナル&ノイズ 天才データアナリストの「予測学」

現在、膨大な量のデータが手に入るけど予測精度が上がったものとそうでもないものがある。野球、天気、巨大地震、経済などの予測をネタにして、シグナルとノイズ、不確実性をもたらすもの、間違った予測に流れてしまうバイアスを説明している。データ分析と行動経済学を混ぜ合わせた感じの本。面白かった。
世の中を二分論で見るのではなく確率的に見る、という考え方を意識的に身につけたい。

シグナル&ノイズ 天才データアナリストの「予測学」

2012年の大統領選において全米各州の結果をあてて日本でも話題になった538（five-thirty-eight）の主催者であるネイト・シルバーが語る「データを用いた予測」の方法論。

こう書くと、なにやらすごい定理や発見が書いてあるのか、と思いきや本書はそういった類の本ではなく、考え方やそもそもどういったルートを経て今のような考え方にいたったのかということを丁寧に記している（きっかけはもはや古典になってしまったセイバーメトリクスなわけだが）。なので、最初に本書を開いた僕のように「アカデミックな」アプローチがこれでもか・・・と書いてあることを期待した層にはちょっと期待外れかもしれない。

では、僕が本書を楽しめなかったというとそんなことはなくて、凡百の「ビッグデータ本」なんかなくても、これ一冊があれば十分なんじゃないか・・と思うぐらいこの本は気にいった。結局この本が言っているのはデータの中で「ノイズ」と「シグナル」を正しく選別し、そのストーリーを考えましょう、ということにほかならない。結局これが出来ずに本書で言うところの「特性適合」に陥ってしまっている例と言うのはかなり多い。

ノイズとシグナルをどう読み分けるかという、その根っこのところはあまり深く書いてないし（そこがまさしく著者の競争力の源泉だから仕方ない。もしかしたら言語化できないかもしれないし）、この一冊を読んだからと言ってベイズ統計学が出来るようになるわけではないのだが、少なくともこういう内容が広まれば予測するとはどういうことか・・・というのがもっと落ち着いて議論できるようになるのではないだろうか。

シグナル&ノイズ 天才データアナリストの「予測学」

データを使う場合のみならず、物事の見方を示唆する内容になっていると思う。決して読みやすい訳ではないけど、事例は面白い。予測ってそういう捉え方を前提でするもんだよね。というのが腹に落ちる。

シグナル&ノイズ 天才データアナリストの「予測学」

格付け会社は、透明系を高めるという理由で、格付けソフトウエアを発行者に渡した。
ひとつひとつのデフォルト確率が5％でも、前提条件によって統合されたデフォルト率は違ってくる。
恐怖と欲望のバランスが崩れた時、バブルが起き、崩壊する。

ハリネズミとキツネはどちらが予測できるか。
ハリネズミは基本原則を信じている。キツネは、原則を持たない。キツネのほうが当たるが、テレビにはハリネズミのほうがよく出る。

「ベースボールプロスペクタス」を使って、統計的に勝負を予測できるか。
打率はホームランより不安定。勝ち星は安定しない。

相関関係と因果関係は別物。

経済モデルが前提とする過去のデータは、当時の政策決定の結果でもある。
グットハートの法則＝ある変数をターゲットにすると、それは経済指標にはならない。
経済モデルでは、インプットとアウトプットがあるが、それらは実際には区別できない。

外挿法＝現在の傾向が続くと予測すること。これが予測が外れるときの間違いの元。指数関数的に増減する者は予測できない。
自己成就予言と自己破壊予言。自閉症は、新聞に使われる頻度と同じように患者数が伸びた。GPSで早くつくと指示されたルートにみんなが集中するため、遅くなる。

ベイズ統計＝間違いは減っていく。
ハララボスボブブルガリス＝MBAの賭けで生活している。
自信過剰警報＝絶対とか、理論を信じる、など。これはギャンブラーにとっては、致命的な欠陥になる。
ベイズ的思考。ベイズは牧師。
事前確率のうえで、事後確率を考える。それを統合する。ことが起きるごとに、確率を改定する。

相関関係ではなく因果関係を示すものはけた違いに少ない。

フィッシャーの統計＝頻度主義。
効率的市場化説は正しいか。
ファンドマネージャーは、暴落する危険がわかっていても降りるわけにはいかない。みんなと違う行動をとるほうが自分自身のリスクが高い。運用資金が自分のものではないから。これが効率的市場化説の弱点。
自信過剰なものが多ければ、それだけで効率的市場化説は成り立たなくなる。
価格は正しくないが、フリーランチがない、という点では正しい。
ミュラー・リラー錯視を避けることはできない。上がっているものは上がり続けるように見える。
ベイズ予測では、常に反対になる危険性を考える。それに対して、みんなの予測とどうか、を決める。

天気予報は、予測の中の成功事例。
ベイズの定理を正確にするには、何回も予測すること。

シグナル&ノイズ 天才データアナリストの「予測学」

最近データの活用が大事だと言われているが、データに対するリテラシーが不足していることに気付かされる。過剰適合等データの取り扱いは単純にはいかない。
まさにノイズの中からシグナルを予断なく見出すかが問題だ。

シグナル&ノイズ 天才データアナリストの「予測学」

様々なケーススタディを使って統計的手法による予測の難しさを述べた本。理論の良しあしは個人の考えに寄ると思うので、正誤の判断はしないが、統計学・予測学に多少なりとも興味があれば面白いのではないか。結論さえ知ることができれば良いのだ、と言う人にとっては、ダラダラと屁理屈を述べているような印象をうけてしまうかも。統計・予測学の本の割には数式が少ないという印象。行動経済学をかじった人は、知っているようなことが多いと思うような内容。

シグナル&ノイズ 天才データアナリストの「予測学」

前半は、リーマンショック、米国大統領選挙、天気予報、地震などの予測のダメ出しで、リーマンショックなどの分析は成る程と思いつつも後出しじゃんけんな感が否めない。後半はギャンブル、金融市場、地球温暖化、テロリズムについて考察し、ベイズの定理あるいはベイズ的思考が再三登場する。ビッグデータは因果関係より相関関係で語られることが多いですが、本書では因果関係を重要視している。バイアスを取り除き、多くの変数を探し当て適切な指標で判断する。500ページを越える冗長な長文が辛かった割にはあまりインパクトを感じられなかった。

シグナル&ノイズ 天才データアナリストの「予測学」

予測と誤りについて書いた本。
電子書籍版もあるのだが、本屋でめくってみたところ図が多そうだったので
パラパラめくれる紙版のほうがいいんじゃないかと思い、紙の方を購入。

はっきり言えば分厚い本の割に、内容的にはそれほど深くはない。
むしろ横断的に膨大な事例を収集してあることに価値のある本なのかなと。
用語など内容的に必ずしも正しくはないがロジカルには正しいので特に気にならない。

シグナル&ノイズ 天才データアナリストの「予測学」

確率論的に考える。過去にしがみつかず常に軌道修正。1つの情報にとらわれず複数の視点から見る。自然科学、社会科学、スポーツ、ゲームの事例。

銀の弾丸はない。どんなテクニックや能力があるんだろうと思って読んだのですが、著者の能力が高いのではなく、すべきことをしていないだけ。