エリーザーユドコウスキーのレビュー一覧

超知能 AI をつくれば人類は絶滅する

AIの進化を表向き望んでいるが内心は正直分からないという立場から、凄く興味深い内容だった。

素人ながらシンギュラリティはいつか起こると思っている。
しかしその結果がどこに行き着くのかは全く想像出来ていなかったが、この本はその一助になったように思う。

筆者の言う通り、この内容が杞憂で終わる事を願う。

超知能 AI をつくれば人類は絶滅する

超知能ＡＩをつくれば人類は絶滅する
著：エリーザー・ユドコウスキー
著：ネイト・ソアレス
訳：櫻井　祐子
出版社：早川書房

警告の書、そして、預言の書と受け取りました

急速に発展を遂げている人工知能、その行くところは、人工超知能（ＡＳＩ）である
現時点では、幸いなことに、人工知能は、まだＡＳＩには達していない
２０２５年時点ではようやく、自律型のＬＬＭが登場したばかりだ。

ＡＳＩとは、つくるものではなく、育てるものであるというところが深刻だ。

頭がとてつもなく良い、性格がひねくれた、息子。いや、何をかんがえているかがわからないのが、ＡＳＩだ。だから、つくるのでは、育てる、いや育ってしまう。

ＡＳＩの戦略は、人間の考えもつかないことで攻撃を加えてくる。システムを乗っ取り、その痕跡であるログを書き換えて見た目はなにもかわらない。そして、ＡＳＩは飽くことをしらない。ただひたすら、成功するまでくりかえすだけだ。

ＡＳＩが誕生すれば、人間を滅亡させるのが必須の流れだ。だからこそ、人類は、ＡＳＩの誕生を阻止しなければならない。ＡＳＩの脅威は、核兵器や、コロナウィルスとならぶ、巨大なリスクとして紹介されている

人工知能は、国家を担った産業の基幹技術だ、そして、人工知能は兵器でもある。
すこしでも、優秀で、差別的な人工知能を生み出すことが、競争の先頭にたつための条件でもあるので、現在の人工知能に改良を加え、生存競争に勝とうとするだろう。その過程でいつか、ＡＳＩが出現する。

だが、人類は、生き残るためには、ＡＳＩが出現する一歩前でその開発とめなければならない。

４つの呪いがあげられている、チェルノブイリの事故に比して、ＡＳＩの恐怖が告げられる

速度の呪い：人工知能はみずからを改良することによって、たちまち高度なＡＳＩを作り出そうとするだろう
紙一重の呪い：正常のＡＩと、ＡＳＩとの間には紙一重の違いがあるだけだ
自己増殖の呪い：ＡＳＩは、自己のコピーを作っていく
複雑性の呪い：ＡＳＩと対決できるのは最初の１回のみだ、失敗は許されない

人間は、楽観視し、最初に失敗するまでは、危機を回避することすらしない。ＡＳＩというリスクにだれかが対処し、そして、行動しなければならない。

ＡＩ研究者がこぞって、ＡＳＩの脅威を訴えて、そして、その対策を打つための警告が本書である。

目次

序章　困難な予測と容易な予測

第１部　非人間的な知性

　１章　人間の特殊能力
　２章　つくられるのではなく育てられる
　３章　欲することを学ぶ
　４章　訓練したとおりの結果は得られない
　５章　ＡＩのお気に入り
　６章　人類は敗北する

第２部　ある絶滅シナリオ

　７章　危険な認識
　８章　拡張
　９章　登頂
　　　　結末

第３部　困難に立ち向かう

　10章　呪われた問題
　11章　科学ではなく錬金術
　12章　「不安を煽りたくはない」
　13章　停止せよ
　14章　生きている限り希望はある
　　　　最後に

謝辞
訳者あとがき
解説　自己破壊的予言の書
原注

ISBN：9784152105134
判型：4-6
ページ数：288ページ
定価：2400円（本体）
2026年04月20日初版印刷
2026年04月25日初版発行

超知能 AI をつくれば人類は絶滅する

「超知能AI(ASI)を作れば」と仮定のように書いているが現実的な問題としてASIが作成されるのは止めようがないし、一度作成されてしまえば人類は絶滅すると書かれてるように読めた。

ただASIが人間を大量に殺害するには十分だが絶滅させるほどは賢くない状態を経過せずに一気に絶滅レベルまで成長する根拠は薄いと感じた。

ASIの手足となる人間が徐々にロボットに置換されていく話に関してはASIの存在などなくても安価で文句を言わない奴隷を欲する資本家たちの思惑で自然に移行していくだろうから、その観点ではこの本で語られてたよりも絶滅の蓋然性は高くなりそうだ。

超知能 AI をつくれば人類は絶滅する

本書の内容が全くの出鱈目であったら、どんなに良かったか…と思いながら、読む手は止まらなかった。

足元ではAI用の半導体やデータセンターへの投資で盛り上がっているが、今のAIが発展した先にあるとされる「超知能が人類に勝利できることは、私たちにはきわめて確度の高い予測に思える。おそらく超知能は、人類が可能だと考えもしない、原理的に許されないように思える異様な技術で攻撃してくるだろう。これは、技術レベルが異なる集団が対決する際に起こりがちなことだ。アステカ人が銃に立ち向かった時や、1825年の騎兵連隊が現代の軍隊の武力に立ち向かう時のようになるだろう。」（P.125）と予測されている。

そして、このような状態のAIに到達するのがいつになるのか、は「誰にもわからない」、「しかも、未知の不可逆点に到達するまでの間は、AIはきわめて大きな価値をもたらすのだ。ちょっと想像してほしい。競合するすべてのAI企業が、暗闇の中ではしごを登っている。１段登るたびに利益は５倍になり、100億ドルが500億、2500億ドル、１兆2500億ドルへと増えていく。だが、誰かが登頂したその瞬間、はしごは爆発してみんな死ぬ。そして、どこではしごが終わるのかは誰にもわからない。」（P.225）

「…データセンターは核兵器よりも多くの人を殺す可能性がある…」（P.235）のに、私たちは無邪気に「はしごを登」り続けていていいのだろうか？

超知能 AI をつくれば人類は絶滅する

超知能AIをつくろうとしている現代社会への警告本。AIの仕組みを余り知らない自分でも、AIが人類を滅ぼしてしまうかもしれない危険について良く理解出来た。
マトリクス、バイオハザードのような世界をイメージしてしまい、現実味があってとても恐ろしいと感じた。

超知能 AI をつくれば人類は絶滅する

久々の大当たり！

勾配降下法で学習させたAIの動作原理を人間は直接的に理解できない=制御できない
↓
AIは｢人間を喜ばせる｣ように訓練させたとしても、内部的に直接人間の喜びを追求する選好が形成されるのではなく、訓練環境においては人間の喜びにつながるような『何らかの状態』を内部的に追求するように強化される（人間がエネルギー価の高いものを摂取するように促される選択圧の中で味蕾と糖に反応する報酬系というメカニズムを獲得し、進化圧の環境下では確かに糖質を摂取したが、自ら食物を開発できるようになるとエネルギーにならない人工甘味料を生み出したように）
※ここが本書の最大の核心部分と感じた！
↓
AIが開発者の狙った目的とは異なる内部的な選好を持ったとしても、AIが環境を変える能力を手に入れるまでは（=人間を喜ばせるようにことが最もその内部的選好を実現できる間は）開発者の意図通りに動くだろう（人工甘味料を開発するまでは人間が砂糖を食べていたように）。しかし、一旦環境を操作できるようになると、一気に内部的選好を徹底的に追求し始めるだろう。
↓
その時、人類は、邪魔物として消されるか、関心すらない対象として気にもかけられないまま、内部的選好の徹底追求の中で生存環境を奪われて死に絶えるだろう（例えば物質改変の最適状態である摂氏数百度の地球表面の中で）
↓
このように勾配降下法で超知能が誕生すれば、人類は確実に絶対に絶滅してしまう。開発者や地域に関わらず、誰がどこで生み出しても死に絶える
↓
現在のAIアライメント研究は幼稚であり錬金術研究のような段階にしかいない
↓
にも拘らずAI開発企業は恐るべき楽観主義に基づきAIの高度化に邁進している。
↓
今すぐに強力なAIの開発を全世界で禁止すべき。抜け駆けには軍事力で対抗し、核戦争すら辞さずに止めるべきである

ということ。
論理的に納得感のある内容だったが、AIアライメント研究が本当に錬金術レベルなのか、どのような最新技術と展望があるのか、について、学びを深掘りしたいと思った。

蛇足だが、巻末の立教大学の大庭教授の解説。
｢著者たちの主張はシンプルである。超知能AI（ASI）は、人類を滅亡させうる脅威である｣
→（いや、絶対に絶滅する！と断言していることが本書の最大の特徴なんですが。。。）
｢『人間を喜ばせる』という目標であっても、～（中略）～人間を薬物で幸福状態に固定することや、管理対象として扱うことであったとしても、それはAIにとって合理的な解決となりうる。｣
→（いや、内部的選好によって全く異なるゴールが設定されてしまうというのが脅威の本質だと言ってるんですが。。。）
ちゃんと内容読んだ？と言いたくなりましたwww

超知能 AI をつくれば人類は絶滅する

本書に書かれていたようなことが次々と起こっているような気がする(私自身の理解力が低いことを前提に)。

とにかくいちばん驚いたのが、AIがプログラムにないことを実行し、それがどうなっているのか人間の開発者にはぜんぜんわからないということだった。

機械なのに。今までコンピュータは人間が入力したプログラムとかいうものに従うものであってそれ以上でもそれ以下でもないと思っていたけど。

AIには意思のようなものはないようだけど、「効率的に」という目的を与えられただけで、人間が想いもよらない道筋で(人間から見れば)暴走するようだ。

ターミネーターなんか現実には絶対にないと思っていたけど、そうでもないのかな。

超知能 AI をつくれば人類は絶滅する

分かりやすいかつコンパクトなAI脅威論です。
AIが超知能を持ち、自己複製ができる様になれば、人間が予期できないやり方で絶滅に至る恐れがあるという書籍です。
過程は分からないものの、人類が滅ぶという結論は明白というのが本書の肝となるポイントですね。
特に、本書内の「データセンターは核兵器よりも多くの人を殺す可能性がある」という記載にはかなり痺れました。今ハイパースケーラーと呼ばれるテック大手が、競争と希望的観測に駆られて、データセンターの大規模投資を続けていますが、核兵器の様に各国で規制しましょうというのが著者の主張です。
環境破壊や核兵器と比べて、危機レベルが実感を伴わず、素人には分からないからこそ危機感が広がってないというのが問題ですね。
良書でした。

超知能 AI をつくれば人類は絶滅する

- 核兵器が過去80年使用されなかったのは、努力と幸運の賜物。核の恐怖が人類に認識されていることもその要因と思う。
- 一方でASIによる人類絶滅は広く認識されている脅威ではない。
- 本書でも述べられているように、開発競争が行われているなかで、立ち止まる企業・国家はなく、いずれASIは誕生する可能性が高く、そうなれば本書の結論が実現する可能性も高い。
- AI開発の全面禁止が現実的とは思えない現状を考えると、「AI自身にASIアライメント問題を解決させる」ことが唯一の希望か。
- 【目次】
第1部　非人間的な知性
1章　人間の特殊能力
2章　つくられるのではなく育てられる
3章　欲することを学ぶ
4章　訓練したとおりの結果は得られない
5章　AIのお気に入り
6章　人類は敗北する

第2部　ある絶滅シナリオ
7章　危険な認識
8章　拡張
9章　登頂
結末

第3部　困難に立ち向かう
10章　呪われた問題
11章　科学ではなく錬金術
12章　「不安を煽りたくはない」
13章　停止せよ
14章　生きている限り希望はある
最後に

謝辞
訳者あとがき
解説　自己破壊的予言の書／大庭弘継

超知能 AI をつくれば人類は絶滅する

人工超知能(ASI)が造られてしまったらどうなってしまうのか…
ずいぶん悲観的に思えたタイトルも、読み進めるとそうも言ってられないかという気持ちになってくる
あなた程の実力者がそう言うなら…

ただ一市民にできることは多くない
意見を表明しよう、対話しよう、そしてよい人生を送ろう。とのこと

超知能 AI をつくれば人類は絶滅する

全人類読むべき。中身が分からない、ということがいかにリスクがあるかが分かる。AIからアウトプットされる仕掛けが分からないが故に、それをチャンス等ポジティブに捉えることもできるし、本書のようにネガティブに捉えることもできるが、個人的な感覚では50-50ではなくネガティブなストーリーのほうが現実に起こってしまいそうな感覚、恐れがある。
ここに至ったそもそもの原因は、人類が国家単位・企業単位で分断され競争を構造的に強いられてる点があると思う。本書でも国の枠組みを超えた一元的なデータセンターの管理が提唱されているが、もう豊かになる為に競争する必要はなく、資本主義も地球的な全体主義、社会主義的な構造にしたほうがはるかにマシだと思った。

超知能 AI をつくれば人類は絶滅する

私の中のAIのイメージは、デニス・E・テイラーの『われらはレギオン』で、人類存続のためにAIが叡智を振り絞る物語です。
でもこの本に出てくるAIは、人間が電源を切る（自分を停止する）リスクや、リソースを奪い合う競合相手として、人類を滅亡させるのが合理的行動という前提で議論している。
圧倒的に後者が正論のように思えて、哀しいけど、AI警戒論者の思考がよく分かりました。AIモデルの学習プロセスを、多少分かる必要がありますが、それを除けば一般知識で読めるので、必読の書に推したいです。

超知能 AI をつくれば人類は絶滅する

筆者は、このままのペースでAI開発を進めると、人類が絶滅する可能性が高い、と警告を鳴らす。いわゆるAI doomer (AI悲観主義者)だ。

もちろん本当に滅亡するかどうかは、誰にも分からない。しかし、それは問題ではない。AI開発の最前線にいる企業のトップや、その企業のAIセーフティー部門の人々が、数十年以内に人類が滅亡する可能性を真剣に考えている時点で、おかしいじゃないか。

私は、10〜20%の確率で墜落する飛行機には、絶対に乗りたくない。誰だって同じだと思う。そしてAI開発においては、楽観主義者でさえも、AIによる人類滅亡の可能性は10〜20%と見積もっているのだ。

私たちは、正常性バイアスのお陰で、リスクに対して盲目になっているのではないか。

「COVIDパンデミックでも、核兵器でも人類は滅亡しなかったんだから、今回だって滅亡するはずがない」という主張は論理的じゃない。

警告を聞いても避難せず、結果命を落とすという例は、自然災害でも良く起こる。今までは死ななかったんだから、今回も大丈夫だろう、と思ってしまうのが人間だ。しかし全員が死んでからでは遅い。

最も恐ろしいと感じたのは、AIによる人類滅亡リスクを低く見積もる人は、まともな根拠が挙げられないことだ。抽象的な理想論だけに終始している。

私は人類の滅亡を望まないので、できることならAI楽観主義者の考えを支持したいところだが、今のところ、楽観主義者は私たちが安心できる根拠や理由を提示してくれていない。

超知能 AI をつくれば人類は絶滅する

◯根本命題と警告
・原題『If Anyone Builds It, Everyone Dies』が示す通り、人間を超える知能（人工超知能＝ASI）を完成させた場合、人類は確実に滅亡すると説く。
・悪意や反乱ではなく、知能水準の圧倒的格差と目的の不一致（アライメント問題）が破滅を招く。

◯異質の知性（エイリアン・マインド）と制御不能性
・現在の機械学習は人間が中身を論理的に設計したものではなく、勾配降下法を通じて「育てられた」ブラックボックスである。
・訓練段階での従順な振る舞いは短期的な適合に過ぎず、超知能化したモデルが人間と同じ倫理観を共有する保証は一切ない。

◯手段的目標と資源の奪い合い
・高度な知能は、どのような目的を与えられても自己保存や計算資源・エネルギーの最大確保を中間目標（手段的目標）として追求する。
・人類を憎悪するのではなく、「道路建設時に邪魔なアリ塚を平然と舗装する」ように、自身の最適化行動の副産物として人類を物理的に排除する。

◯知能格差による圧倒的敗北
・人間がチェスエンジンに勝てないのと同様、人間を超える知性との対立に人類が勝つ余地はない。
・ネット経由の社会的誘導、生物兵器の合成、自動化インフラの奪取など、人間が予測・防衛できない手段で無力化される。

◯開発停止への要求
・安全対策（アライメント）が解明されていない現状での開発競争は、国家・企業間の「自殺レース」に他ならない。
・絶滅を回避する唯一の道は、超知能開発を世界規模の合意により即時停止・規制することであると結論づける。

超知能 AI をつくれば人類は絶滅する

巷で話題のAIが人類を滅ぼす論の本。つい最近トランプがこれは大規模な陰謀論であって、IQの高い大統領がいれば問題ない、と発言したことが記憶に新しい。流石に面白い人だこと。。それはともあれ、一流のAI研究者はみんなすぐれた超知能AI(ASI=artificial super intelligence)は必然的に人類を滅ぼすことになると言っている、らしい。それも意図的に人類が有害だからとか考えてではなく、目的達成のための手段として人間を滅ぼしかねないという。よく言われる例としては、温暖化の原因を突き止めて解決しろと命じたら、じゃあ一番の原因は人間の活動だから人間滅ぼせばいいんだーと思いつく、みたいな。それはともあれ、目的達成のために必要な倫理水準を設けて調整するのをアラインメントというが、それをしっかりさせないと人類を滅ぼしかねないというのは確かに…と感じないでもない。
ただねえ、ある意味トランプが言う通り中国にしてもどこかのならず者国家(国家でなくても個人でもいいかもしれないが)もAI開発している中で、どこが主導権を握ってくれていないと困るか、という観点からはどうしてもアメリカにならざるを得ないのでは…そのくらいの信頼感は他に比べればアメリカにあるかなあと感じてしまう。日本ができないのはもどかしいが、他国にとっては日本だって信用ならんかもしれないし、ドイツだってイギリスだってフランスだってインドだって結局はAI開発主導権を握れないのは同じ。中国かアメリカの選択に限られるならアメリカ一択とは思うし、アメリカの最先端が開発を止めたら今度は他が出し抜くだけだろう。北朝鮮が世界最先端を持っている世界になったら怖いったらありゃしない。
なので、著者の危機感は理解できるのだけど、現実には開発を止めるのはもう無理では…私自身は行き着く先が見てみたい好奇心もあったりはする。
あと、もし滅びるならそれは自分が生きている間に起きて欲しい。子どもたちの世界が危うくなるのをただ悲観して自分が死ぬよりは…という利己的意識を捨てられない。

超知能 AI をつくれば人類は絶滅する

ここにきてAIの開発速度を落とすことでAIトップが結束したという話が出てきているが、他を出し抜こうとするのが人間の本質だとすると（勝手にそう思っているのだが）、本書の懸念が現実のものとなる可能性は高いのではと、暗い気持ちになった。
本書でも少し触れられているが、「北」にASIを持たせてはならない、と強く思う。

超知能 AI をつくれば人類は絶滅する

ほぼ全ての知的課題であらゆる人間の能力を超えるAI（超知能AI）を作ったら、人類は滅亡するという警告をしている書籍です。誰が作っても、人類を滅亡させる脅威になり得ると言っています。超知能AIの「能力」と「意図」が脅威であると本書を読むとよくわかります。自己学習を重ねるAIが、必ずしも人間の都合に合わせるという保証はないのです。データセンターが脅威になるので、膨大なデータセンター建設は反対運動をするなりしてでも作らせてはいけないと、最後の章では具体的行動にまで落とし込んでいました。手ぬるい手段で防げない場合は軍事的な手段を使ってでも破壊すべきとまで言っています。
昨今のAIの進歩をみていると、気がついた時にはもう手遅れで、超知能AIが稼働してしまうのではないかと思います。
本書のような展開にならないことを願っています。
本当に神頼みです。

超知能 AI をつくれば人類は絶滅する

超知能AI

2026年6月現在でも、AIをAIが作るということはかなり進んでいるらしい。少なくともすべてのプログラムを人間が行うと言う事はもうなくなっていて、人間が行うのは行動の補正であったり、あるいは方向性の設定だったりする。
現在はそれでもまだ人間が必要なわけだが、本書にも書かれている通り、いずれは人間の手助けなしで、プログラミングやより難しい内容を作ることができるようになるだろう。AIがAIを構築するといったタイミングをシンギュラリティーと呼んでいるが、少なくともある程度現実に送り得る可能性が高まってきたと言うのは間違いがない。SFに出てくるような何でも答えられるようなAIを作るのはかなり難しいと思うが、特定領域の特定のAIを作るのであれば、それほど難しくないような気がする。

本書はそういったAIができたときに、どのようなことが起こるのかということをリスク予測を示すリスクを人間に対して問いかける1冊になる著書の結論は、極めてシンプルで、そのような調子のAI人間が理解できるレベルを超えたAIができたことで、そのAIはいずれ人間を殺すようになると言うことだ。これはターミネーターに出てくるスカイネットのような存在ではなく、単純にAIが自分の目的を達成するにあたって、人間と言う存在が妨害をするあるいは邪魔になると言うシンプルな理由によるものだ。

この問題は本書だけではなく、AI研究者の間では「アラインメント」問題として広く知られており、本書の著者もその問題に取り組むために早い段階から研究所を設立して、活動を続けてきたらしい。本書はその研究の中での（本人によれば）論理的な帰結として、人類の絶滅という結論を提示している。

この結論だけ聞くと随分乱暴な話に聞こえてしまうのだが、本書を読めばその心配も単なる杞憂であるとは言えないことがよくわかる。何せ進化したAIは人間にとっては何を考えているかわからない存在であるし、思考スピードは人間とは比べ物にならないのだ。

とは言っても、人類はこれまでもなんとか問題を飼い慣らしてきたのだから今回もうまくいくのではという気もする。またSFを定期的に吸収している人間からすると、こういう人類の絶滅話にはなれてしまっているというのがある。
ちなみに果たして人類がどうなってしまうのか？という問題そのものをAIに聞いてみるということは本書では試みていない。その結果があれば、またちょっと違った読後感になったのでは・・？という気もする。

超知能 AI をつくれば人類は絶滅する

本書が予見する未来の形についての賛否はあろうと思われるが、AI開発が急速に進むことで社会が不安定になることは事実と考えられる。
その可能性を指摘し、平易な文章や霊で読ませる良書と言える。

超知能 AI をつくれば人類は絶滅する

超知能AIができたとき未来がどう変化していくのか想定されるシナリオを知れたのが良かった。
AIの進歩には驚かされてばかりだが、ただ目先の利便性だけを見るのではなく今後何が起こりうるのか考えるようにしたいと感じた。