あらすじ
「この10年で最重要の書」――マックス・テグマーク（MIT教授、『LIFE3.0』著者）
現在開発が進む「大規模推論モデル」の先に訪れる衝撃の未来ーー人間の知能を超えたＡＩが、私たちを「皆殺し」にする可能性はきわめて高い。なぜ、そしてどのように？ ピーター・ティールやサム・アルトマンに多大な影響を与えた著者による全世界騒然の書！
感情タグBEST3
Posted by ブクログ
私の中のAIのイメージは、デニス・E・テイラーの『われらはレギオン』で、人類存続のためにAIが叡智を振り絞る物語です。
でもこの本に出てくるAIは、人間が電源を切る（自分を停止する）リスクや、リソースを奪い合う競合相手として、人類を滅亡させるのが合理的行動という前提で議論している。
圧倒的に後者が正論のように思えて、哀しいけど、AI警戒論者の思考がよく分かりました。AIモデルの学習プロセスを、多少分かる必要がありますが、それを除けば一般知識で読めるので、必読の書に推したいです。
Posted by ブクログ
筆者は、このままのペースでAI開発を進めると、人類が絶滅する可能性が高い、と警告を鳴らす。いわゆるAI doomer (AI悲観主義者)だ。
もちろん本当に滅亡するかどうかは、誰にも分からない。しかし、それは問題ではない。AI開発の最前線にいる企業のトップや、その企業のAIセーフティー部門の人々が、数十年以内に人類が滅亡する可能性を真剣に考えている時点で、おかしいじゃないか。
私は、10〜20%の確率で墜落する飛行機には、絶対に乗りたくない。誰だって同じだと思う。そしてAI開発においては、楽観主義者でさえも、AIによる人類滅亡の可能性は10〜20%と見積もっているのだ。
私たちは、正常性バイアスのお陰で、リスクに対して盲目になっているのではないか。
「COVIDパンデミックでも、核兵器でも人類は滅亡しなかったんだから、今回だって滅亡するはずがない」という主張は論理的じゃない。
警告を聞いても避難せず、結果命を落とすという例は、自然災害でも良く起こる。今までは死ななかったんだから、今回も大丈夫だろう、と思ってしまうのが人間だ。しかし全員が死んでからでは遅い。
最も恐ろしいと感じたのは、AIによる人類滅亡リスクを低く見積もる人は、まともな根拠が挙げられないことだ。抽象的な理想論だけに終始している。
私は人類の滅亡を望まないので、できることならAI楽観主義者の考えを支持したいところだが、今のところ、楽観主義者は私たちが安心できる根拠や理由を提示してくれていない。
Posted by ブクログ
ユヴァルノアハラリの21 Lessonsとも通じるところがある。AIが人間を支配するもしくは絶滅させるリスクシナリオ。それは並々ならぬ準備をしないと避けられない、制御できないとする主張。地震や金融危機などと同様、ブラックスワンにいかに備えるか考えさせる契機となるが、AIは便利なのでなかなか止め難いのも事実。
Posted by ブクログ
本書では、人間の能力を超えるＡSＩが誕生すると人類を破滅に追い込むという未来が予想されています。
現在のＡＩは、作るのではなく、育てる（学習させる）ようになっており、ＡＩがある行動をしたときに、その原因が誰にもわからないという点が問題だと提起されていました。
また、人間の能力を超えるＡＩが出来ると後戻り出来ない、つまり失敗が許されない状況になることも問題です。
誰かが作れば、それで終わりなのです。
また研究者も、差し迫った脅威がない段階で、研究をやめることはなく、競争して研究している状況で、研究を中止するという判断はとても困難です。
本書はSFのようにも読めますし、科学が進歩するときには、このような心配は付き物ですが、色々と考えることも必要だと感じました。
本書は、少しカルト的な感じもあり、また解決策としての提案についても、問題が多いと感じましたが、科学進歩を考える機会になりましたー！
いまクロードミュトスの問題も取り上げられており、タイムリーな問題ですね…
