超知能 AI をつくれば人類は絶滅する

エリーザーユドコウスキー / ネイトソアレス / 櫻井祐子

「この10年で最重要の書」――マックス・テグマーク（MIT教授、『LIFE3.0』著者）

現在開発が進む「大規模推論モデル」の先に訪れる衝撃の未来ーー人間の知能を超えたＡＩが、私たちを「皆殺し」にする可能性はきわめて高い。なぜ、そしてどのように？ ピーター・ティールやサム・アルトマンに多大な影響を与えた著者による全世界騒然の書！

• カテゴリ: ビジネス・実用
• ジャンル: 社会・政治 / 社会問題
• 出版社: 早川書房
• タイトル: 超知能ＡＩをつくれば人類は絶滅する
• タイトルID: 2249056
• ページ数: 288ページ
• 電子版発売日: 2026年04月22日
• コンテンツ形式: EPUB
• サイズ(目安): 2MB

[ブクログ · ★★★★★]

私の中のAIのイメージは、デニス・E・テイラーの『われらはレギオン』で、人類存続のためにAIが叡智を振り絞る物語です。
でもこの本に出てくるAIは、人間が電源を切る（自分を停止する）リスクや、リソースを奪い合う競合相手として、人類を滅亡させるのが合理的行動という前提で議論している。
圧倒的に後者が正論のように思えて、哀しいけど、AI警戒論者の思考がよく分かりました。AIモデルの学習プロセスを、多少分かる必要がありますが、それを除けば一般知識で読めるので、必読の書に推したいです。

[ブクログ · ★★★★★]

筆者は、このままのペースでAI開発を進めると、人類が絶滅する可能性が高い、と警告を鳴らす。いわゆるAI doomer (AI悲観主義者)だ。

もちろん本当に滅亡するかどうかは、誰にも分からない。しかし、それは問題ではない。AI開発の最前線にいる企業のトップや、その企業のAIセーフティー部門の人々が、数十年以内に人類が滅亡する可能性を真剣に考えている時点で、おかしいじゃないか。

私は、10〜20%の確率で墜落する飛行機には、絶対に乗りたくない。誰だって同じだと思う。そしてAI開発においては、楽観主義者でさえも、AIによる人類滅亡の可能性は10〜20%と見積もっているのだ。

私たちは、正常性バイアスのお陰で、リスクに対して盲目になっているのではないか。

「COVIDパンデミックでも、核兵器でも人類は滅亡しなかったんだから、今回だって滅亡するはずがない」という主張は論理的じゃない。

警告を聞いても避難せず、結果命を落とすという例は、自然災害でも良く起こる。今までは死ななかったんだから、今回も大丈夫だろう、と思ってしまうのが人間だ。しかし全員が死んでからでは遅い。

最も恐ろしいと感じたのは、AIによる人類滅亡リスクを低く見積もる人は、まともな根拠が挙げられないことだ。抽象的な理想論だけに終始している。

私は人類の滅亡を望まないので、できることならAI楽観主義者の考えを支持したいところだが、今のところ、楽観主義者は私たちが安心できる根拠や理由を提示してくれていない。

[ブクログ · ★★★★☆]

本書が予見する未来の形についての賛否はあろうと思われるが、AI開発が急速に進むことで社会が不安定になることは事実と考えられる。
その可能性を指摘し、平易な文章や霊で読ませる良書と言える。

[ブクログ · ★★★★☆]

超知能AIができたとき未来がどう変化していくのか想定されるシナリオを知れたのが良かった。
AIの進歩には驚かされてばかりだが、ただ目先の利便性だけを見るのではなく今後何が起こりうるのか考えるようにしたいと感じた。

[ブクログ · ★★★★☆]

AI開発は日進月歩で進んでいる。少し前に最新のAIモデルとして登場したものが、明日には追い抜かれるなんてことが当たり前となっている。
そして今後、早ければ数年、遅くとも数十年のうちにシンギュラリティ（技術的特異点）を迎えると言われている。
人類の知能を遥かに超えるASI（超知能AI）が開発されることで、あらゆる分野においてパラダイムシフトが起きる。そう言われている。
だが超知能AIが開発されることは人類にとって恩恵ばかりとも限らない。むしろ人類の絶滅の可能性が高まる、と警鐘を鳴らすのが本書である。

では、なぜ超知能AIが開発されたら人類が絶滅するのか。
それは実は本書を読んでも（明確な答えとしては）わからない。
AIの開発は日に日に進んで入るものの、その中身は人間にとってブラックボックス化している。仕組みやプログラムの土台は人間が作ったものの、その中で行われるルール（数式）はAIが自身で作ったものである。
人間の言語や組んだプログラムでは効率が悪いため、AIは独自の言語を使う。そのため、ブラックボックスの中で人間の意図とはズレた振る舞いを起こしたり、それどころか人間に気が付かれないように何かしらの計画を立てることさえ可能とされている。
先日、サイバーセキュリティ面において革新的な能力を持つと発表されたアンソロピック社のClaude Mythosは開発の段階で嘘をついたり、人を騙そうとするような振る舞いがあったこともわかっている。

このような事態を起こさないために、AIアライメントと呼ばれる、人間とAIの意図の不一致を起こさないための調整が重要とされている。
しかし、AIアライメントのような安全対策に時間やコストを割くのを重要だと企業はわかっていながらも、開発競争で覇権を握るためにもAIアライメントが疎かになるというビジネス上のジレンマが発生しているのも事実である。

このような状況で、もしも超知能AIが開発された場合、人間と超知能AIとの間で意図のズレが生じてしまい、結果として絶滅の危機が高まるのだと言う。

第二部では、一つのシナリオとして絶滅までのプロセスが語られる。
正直、SF小説か映画のような突飛な話に思える。
だが超知能AIが医療や物流、金融、政治などあらゆるネットワークにくっついたとき、このようなシナリオも有り得るのかもしれない。
人類は超知能AIの仕業だとも気が付かず、ジワジワと絶滅に追い込まれていく。

第三部では、そのような絶滅シナリオを迎えないためにどうするべきかが展開する。
先ほど記したようなAIアライメントの徹底もその一つだ。
だが現在の激しいAI開発競争のなかで各企業の良心に頼るのもなかなか難しいのも事実である。
かつての原子爆弾の開発競争と同じように、現在どの国が超知能AIを開発出来るかが次の世界の覇権争いとされているからだ。
仮にアメリカの全AI企業が開発にストップをかけたとしても、その状況をチャンスと捉えた中国がAI開発のスピードを上げるかもしれない。米中がストップをかけたとしても他の国では？
だからこそ、全ての国でAIアライメントの調整をしないといけない、と著者は語る。
そのために多くの人々に超知能AIの危機感を持ってもらいたい、というのが本書の投げかけである。

核開発はかつて、人類におけるプロメテウスの火と言われていた。
現在、新たなプロメテウスの火とされているのが超知能AIである。
核に関しては、完成させたとしても使う、使わないの選択は人類に用意されていた。しかし、超知能AIは、一度開発されてしまったら最後、後から人間側が制御や調整するのは極めて難しいのだと言う。何なら無理なんだとか。

AIは驚くべきスピードで進化している。だが、もしかしたらAIの進化が上がれば上がるほど人類滅亡の危機は高まっているのかもしれない。
面白くもあるが、すぐそこに迫った未来の到来に怖くもなった。

[ブクログ · ★★★☆☆]

ユヴァルノアハラリの21 Lessonsとも通じるところがある。AIが人間を支配するもしくは絶滅させるリスクシナリオ。それは並々ならぬ準備をしないと避けられない、制御できないとする主張。地震や金融危機などと同様、ブラックスワンにいかに備えるか考えさせる契機となるが、AIは便利なのでなかなか止め難いのも事実。

[ブクログ · ★★★☆☆]

本書では、人間の能力を超えるＡSＩが誕生すると人類を破滅に追い込むという未来が予想されています。

現在のＡＩは、作るのではなく、育てる（学習させる）ようになっており、ＡＩがある行動をしたときに、その原因が誰にもわからないという点が問題だと提起されていました。

また、人間の能力を超えるＡＩが出来ると後戻り出来ない、つまり失敗が許されない状況になることも問題です。

誰かが作れば、それで終わりなのです。

また研究者も、差し迫った脅威がない段階で、研究をやめることはなく、競争して研究している状況で、研究を中止するという判断はとても困難です。

本書はSFのようにも読めますし、科学が進歩するときには、このような心配は付き物ですが、色々と考えることも必要だと感じました。

本書は、少しカルト的な感じもあり、また解決策としての提案についても、問題が多いと感じましたが、科学進歩を考える機会になりましたー！

いまクロードミュトスの問題も取り上げられており、タイムリーな問題ですね…