シグナル&ノイズ 天才データアナリストの「予測学」

ネイト・シルバー / 川添節子 / 西内啓

金融市場、天候、政治(選挙)、プロスポーツなど、さまざまな分野における予測の重要性と精度、失敗例・成功例などに具体的に言及しながら、複雑に絡み合った情報のなかに混在するシグナル(予測の手がかり)とノイズ(雑音)の見分け方、陥りやすい落とし穴、予測の精度を高めるための手法などを平易な言葉で解説する。ビッグデータ分析のための貴重なヒントを凝縮した一冊。

• カテゴリ: ビジネス・実用
• ジャンル: ビジネス・経済 / 経済
• 出版社: 日経BP
• ページ数: 594ページ
• 電子版発売日: 2014年01月31日
• コンテンツ形式: XMDF
• サイズ(目安): 15MB

[ブクログ · ★★★★★]

500頁超の大作ながら、何とかGW中に読み終えた。名著「マネー・ボール」に登場する野球データ分析アルゴリズムの開発者が、シグナルとノイズを見分けながら如何にしてより精度の高い予測を行うか、についての方法論と考え方を解くもの。

不確実性が高い世の中を生き抜く上でとても知的で楽しい内容だった。原著2012年、日本語版2013年発行、と年数は経っているものの、不朽の名作と言えるのではないだろうか。

本書全編を通じて、「ベイズの定理」に対する信頼が非常に高く、あらゆる可能性を検討した上で、新たな事象が起きるたびに見積情報を絶えず更新していくことで、真実に近付くことができる、という点が主張の骨子。

ベイズの定理が機能するには、初期見積（事前確率）が0%や100%であってはならず、その場合には如何に重要な新事実に行き当たっても見積の修正がなされ得ない、という点が示唆に富む。

以下は13章の事例（9.11の航空機テロ）を8章、12章の計算例に照らしてみたもの。

事前確率が低くとも可能性として検討さえしていれば、新事実に出会うに伴って確率見積が適切に修正され得ることが分かる。要は、（事後評論ではなく、その時に実際に）9.11 は止めることが出来たかもしれない、ということだ。あるいは、その後、見事に次の大規模テロを止めることが出来ている、ということかもしれない。

〈ベイズの定理の計算例〉

事前確率
航空機による自爆テロの初期的見積　x 10%

新たな事象が起こる　ー　飛行訓練時間50時間の訓練生がB747のフライトシミュレータ訓練を希望する（2001.8.16. にこの訓練生は逮捕された）

航空機による自爆テロが計画されていた場合に、飛行訓練時間が極端に短い訓練生が大型旅客機のシミュレータ訓練を希望する確率　y 70%

航空機による自爆テロが計画されていない場合に、飛行訓練時間が極端に短い訓練生が大型旅客機のシミュレータ訓練を希望する確率　z 5%

事後確率
飛行訓練時間が極端に短い訓練生が大型旅客機のシミュレータ訓練を希望した場合に、航空機による自爆テロが計画されている確率の修正見積
xy / (xy + z(1-x)) = 61%

事前確率10% は、新事実の認知に伴い
事後確率61% に更新された。
航空機テロは十分に起こり得る。

[ブクログ · ★★★★★]

データ解析する場合に、シグナルとノイズをどのように扱うべきか書かれた本。気象、地震、テロなどなど予測に携わる人ならば一読すべき一冊。

[ブクログ · ★★★★★]

データアナリシスの基本を学ぶ本としてよいのではないだろうか？

ノイズをいかに見抜き、それを排除して思考することが大切。

[ブクログ · ★★★★★]

・統計学の勉強本ではなくて，「目の前にあるデータの見方についての誤りを正すための警告をしている本」だろうか。この本で統計学の勉強はできないが，普通の教科書よりもずっと豊富な知見を与えてくれる。

・人はシグナルとノイズの区別はできない。特に事前には。
・データ量を多くしても予測が正確になるとは限らない。シグナルよりもノイズが増える方が多い。
・結果として人はデータに騙される。本当は「騙された」わけではなくて，「見誤っている」だけなのだが。

[ブクログ · ★★★★★]

邦訳されたすぐ後に買っていたのだが1/3くらい読んだところで放りだしていた。分厚いながらも別に読みにくい本ではないのに。このたび、家ですごす連休のお供として引っぱり出したのだが、これがまたコロナの時代にピッタリの内容であった。いま世界中が、きわめて不確実な状況に置かれながら少しずつ明らかになるウイルス/疾病の情報をもとに今後の見通しを更新していく、まさにベイズ的な過程のただなかにいる。私たちが「知っていること」と「知っていると思っていること」の違いを識別しなければならないと教えてくれる本だ。

ネイト・シルバーの文章には論理的な明晰さがあって読みやすい。少し斜に構えたユーモアとあわせて、なんとなく余白がない感じがアメリカ的な薄っぺらさとも言えるのかもしれないが、読んでいるこちらまで少しアタマが良くなったような気がしてくる。

本領である選挙やスポーツの予測にはじまり、金融、経済、気候、地震、テロリズムなどなど意欲的に幅広い分野の予測をテーマとしている。個人的には、シルバーの個人的な体験であるオンライン・ポーカーのくだりを特に興味深く読んだ。彼の実践的なスタイルは鉄火場で培われたのではないかと思わせる。

まさにタイムリーにインフルエンザなどの感染症の予測、疫学モデルにも1章を割いている。SIRモデルはシンプルすぎる（多様な行動をとる異なる人々のグループを捨象してしまっている）として批判しているが、ワタクシの最近の付け焼き刃知見では、そこらへんの多様性を導入したモデルもすでにあるようだ。これについては、この数年間での疫学の進歩なのか、単に著者のリサーチ不足なのかは不明。

[ブクログ · ★★★★★]

自分が興味ある分野だけに、500ページのボリュームでしたが、かなり興味深く読みました。
リーマンショックや巨大地震、インフルエンザなどの予測に関する失敗のエピソードは、参考になりました。
著者は、最近のビックデータ分析で用いられているベイズ統計の重要性と推奨をしてます。
ある事象を分析する上で、その事象が起こる前の事前確率を見積もり、現実の事実を組み合わせて、確率的に予測する理論です。
ベイズ的アプローチは、問題解決のための観察・仮説形成・検証というアプローチと、概ね同じプロセス・思考法であるという切り口は、圧巻でした。
また、ベイズ統計が批判されている部分である、事前確率に主観性が入ることについても、大まかですが人間が思考して行動する以上は主観性は避けられず、またベイズ統計の、日々変化している世の中の事実に対応出来る柔軟性があれば、問題を最小限に抑えることができるという論には、なるほどと感じました。
いままで自分は、多変量解析など頻度論での統計解析を経験してきましたが、解析対象と実際の頻度理論が乖離しており、解析後に再解釈するという場面が多く、馴染みにくいというのが現実です。それ故、なかなか統計学が世の中に浸透しない一因かと思います。
一方、ベイズ統計の場合、自分の思考そのものをベイズ的に変えることができれば、解析対象そのものの思考がベイズ的思考で考えるので、合理的であると思います。
ぜひ自分の身の回りに適用していきたい考え方だなと、あらためて感じ入りました。
ちなみに、他の予測に関するエピソードとして、ポーカー勝負、地球温暖化、テロ防止のための国家インテリジェンスなど、多様です。
この様な予測に関する学習ができる本を探していた自分としては、大ラッキーでした。

[ブクログ · ★★★★★]

地震予知、地球温暖化予測で用いられるデータの信憑性に関して、もやもやとしたものがあったが、本書を読んで見方が多少分かってきた。因果関係と相関関係、データ中に含まれるノイズ、そのデータを使う人の目的などを知り、安易に騙されないよう心掛けたい。特に自分に都合の良い意見を持っている人のよりどころとしているデータに関しては客観的に見直したり、反対意見の人の考えも排除しすぎないよう注意しよう。

[ブクログ · ★★★★★]

前から読みたかったのだがなかなか手が出せずにいた。また大作なので読み終わるまで思いのほか時間がかかってしまった。
ビッグデータに関連してモヤモヤしていたことのすべてという訳にはいかないが、半分くらいはすっきりした気がする。
どう消化するかはまだまだ課題であるが。
ちょうど私的には目先の課題として第12章　地球温暖化をめぐる「懐疑心」からいろいろと大きなヒントが得られそうである。

[ブクログ · ★★★★★]

大リーグの弱小チーム オークランド・アスレティックスを低予算でも統計を駆使することで割安なプレイヤーを集めることでプレーオフの常連にした『マネーボール』で有名になった野球データを分析したセイバーメトリクスPECOTAを開発。大統領予選について統計的に予測をしてWebサイトに発表した結果がほぼ的中したことでも有名。

著者は一時期、オンラインポーカーゲームにもかなり熱中していたらしい。第10章に詳しいが、カモがいると勝てる理論は納得。自分の経験でも、フリー麻雀で点5の東南では余裕を持って勝っていたけど、点10の東風では勝てなかった。この結果は、おそらくはカモがいるかどうかに依存していたんだと思う。カモは時間を掛けて楽しむのが目的なので東南に行き、腕に覚えがあってスリルやお金を求めていくと東風になる。そうなると余程でない限り場代分は確実に沈んでいく感じだった。

そのほかにも、選挙結果予測、天気予測、巨大地震予測、経済の統計的予測、プロスポーツ選手の成績予測、パンデミック発生予測、コンピュータによるチェス、ポーカーゲーム、金融市場予測、地球温暖化、テロ発生、についても統計や確立論をベースに分析していく。ノイズを取り除いて、シグナルを取り出していく。それは実に難しくて、時に人の直観に反していることもある。ベイズ理論についてもしっかりと理解しておくことが必要だし、アウトオブサンプルの影響にも意識を持つことが必要である。情報が多くなればばるほど予測の精度が上がるべきだが、実際には情報の扱いが正しくないことで、そうでないことも多い。予測の自己充足の効果だって甘く見ない方がよい。著者の論は、非常に理知的。最初の方に出てくるが、テレビに出てくるような人の予測は当たっていないことの方が多い、なぜならそれらの人は立場を持って発言をするからだと。だよね。

長いけど、面白い。いろんな意味で著者の性格があらわれているんだと思う。統計学の本がたくさん出ているがその中でもおすすめできる部類の本だと思う。

[ブクログ · ★★★★★]

何らかの形で予測を仕事にする人は読んだ方がいいと思いました。
予測がなぜ当たるのか、そしてなぜ当たらないのか、について、様々な分野での事例を引きながら深く考察した本。
よい予測者になるための心構えを学びました。