あらすじ
「この10年で最重要の書」――マックス・テグマーク（MIT教授、『LIFE3.0』著者）
現在開発が進む「大規模推論モデル」の先に訪れる衝撃の未来ーー人間の知能を超えたＡＩが、私たちを「皆殺し」にする可能性はきわめて高い。なぜ、そしてどのように？ ピーター・ティールやサム・アルトマンに多大な影響を与えた著者による全世界騒然の書！
感情タグBEST3
このページにはネタバレを含むレビューが表示されています
Posted by ブクログ
本書の内容が全くの出鱈目であったら、どんなに良かったか…と思いながら、読む手は止まらなかった。
足元ではAI用の半導体やデータセンターへの投資で盛り上がっているが、今のAIが発展した先にあるとされる「超知能が人類に勝利できることは、私たちにはきわめて確度の高い予測に思える。おそらく超知能は、人類が可能だと考えもしない、原理的に許されないように思える異様な技術で攻撃してくるだろう。これは、技術レベルが異なる集団が対決する際に起こりがちなことだ。アステカ人が銃に立ち向かった時や、1825年の騎兵連隊が現代の軍隊の武力に立ち向かう時のようになるだろう。」（P.125）と予測されている。
そして、このような状態のAIに到達するのがいつになるのか、は「誰にもわからない」、「しかも、未知の不可逆点に到達するまでの間は、AIはきわめて大きな価値をもたらすのだ。ちょっと想像してほしい。競合するすべてのAI企業が、暗闇の中ではしごを登っている。１段登るたびに利益は５倍になり、100億ドルが500億、2500億ドル、１兆2500億ドルへと増えていく。だが、誰かが登頂したその瞬間、はしごは爆発してみんな死ぬ。そして、どこではしごが終わるのかは誰にもわからない。」（P.225）
「…データセンターは核兵器よりも多くの人を殺す可能性がある…」（P.235）のに、私たちは無邪気に「はしごを登」り続けていていいのだろうか？
Posted by ブクログ
超知能AI
2026年6月現在でも、AIをAIが作るということはかなり進んでいるらしい。少なくともすべてのプログラムを人間が行うと言う事はもうなくなっていて、人間が行うのは行動の補正であったり、あるいは方向性の設定だったりする。
現在はそれでもまだ人間が必要なわけだが、本書にも書かれている通り、いずれは人間の手助けなしで、プログラミングやより難しい内容を作ることができるようになるだろう。AIがAIを構築するといったタイミングをシンギュラリティーと呼んでいるが、少なくともある程度現実に送り得る可能性が高まってきたと言うのは間違いがない。SFに出てくるような何でも答えられるようなAIを作るのはかなり難しいと思うが、特定領域の特定のAIを作るのであれば、それほど難しくないような気がする。
本書はそういったAIができたときに、どのようなことが起こるのかということをリスク予測を示すリスクを人間に対して問いかける1冊になる著書の結論は、極めてシンプルで、そのような調子のAI人間が理解できるレベルを超えたAIができたことで、そのAIはいずれ人間を殺すようになると言うことだ。これはターミネーターに出てくるスカイネットのような存在ではなく、単純にAIが自分の目的を達成するにあたって、人間と言う存在が妨害をするあるいは邪魔になると言うシンプルな理由によるものだ。
この問題は本書だけではなく、AI研究者の間では「アラインメント」問題として広く知られており、本書の著者もその問題に取り組むために早い段階から研究所を設立して、活動を続けてきたらしい。本書はその研究の中での（本人によれば）論理的な帰結として、人類の絶滅という結論を提示している。
この結論だけ聞くと随分乱暴な話に聞こえてしまうのだが、本書を読めばその心配も単なる杞憂であるとは言えないことがよくわかる。何せ進化したAIは人間にとっては何を考えているかわからない存在であるし、思考スピードは人間とは比べ物にならないのだ。
とは言っても、人類はこれまでもなんとか問題を飼い慣らしてきたのだから今回もうまくいくのではという気もする。またSFを定期的に吸収している人間からすると、こういう人類の絶滅話にはなれてしまっているというのがある。
ちなみに果たして人類がどうなってしまうのか？という問題そのものをAIに聞いてみるということは本書では試みていない。その結果があれば、またちょっと違った読後感になったのでは・・？という気もする。
