ネイトソアレスのレビュー一覧

超知能 AI をつくれば人類は絶滅する

エリーザーユドコウスキー / ネイトソアレス / 櫻井祐子

全人類読むべき。中身が分からない、ということがいかにリスクがあるかが分かる。AIからアウトプットされる仕掛けが分からないが故に、それをチャンス等ポジティブに捉えることもできるし、本書のようにネガティブに捉えることもできるが、個人的な感覚では50-50ではなくネガティブなストーリーのほうが現実に起こってしまいそうな感覚、恐れがある。
ここに至ったそもそもの原因は、人類が国家単位・企業単位で分断され競争を構造的に強いられてる点があると思う。本書でも国の枠組みを超えた一元的なデータセンターの管理が提唱されているが、もう豊かになる為に競争する必要はなく、資本主義も地球的な全体主義、社会主義的な構造にしたほうがはるかにマシだと思った。

超知能 AI をつくれば人類は絶滅する

エリーザーユドコウスキー / ネイトソアレス / 櫻井祐子

私の中のAIのイメージは、デニス・E・テイラーの『われらはレギオン』で、人類存続のためにAIが叡智を振り絞る物語です。
でもこの本に出てくるAIは、人間が電源を切る（自分を停止する）リスクや、リソースを奪い合う競合相手として、人類を滅亡させるのが合理的行動という前提で議論している。
圧倒的に後者が正論のように思えて、哀しいけど、AI警戒論者の思考がよく分かりました。AIモデルの学習プロセスを、多少分かる必要がありますが、それを除けば一般知識で読めるので、必読の書に推したいです。

超知能 AI をつくれば人類は絶滅する

エリーザーユドコウスキー / ネイトソアレス / 櫻井祐子

筆者は、このままのペースでAI開発を進めると、人類が絶滅する可能性が高い、と警告を鳴らす。いわゆるAI doomer (AI悲観主義者)だ。

もちろん本当に滅亡するかどうかは、誰にも分からない。しかし、それは問題ではない。AI開発の最前線にいる企業のトップや、その企業のAIセーフティー部門の人々が、数十年以内に人類が滅亡する可能性を真剣に考えている時点で、おかしいじゃないか。

私は、10〜20%の確率で墜落する飛行機には、絶対に乗りたくない。誰だって同じだと思う。そしてAI開発においては、楽観主義者でさえも、AIによる人類滅亡の可能性は10〜20%と見積もっているのだ。

私たちは、正常性バイアスのお陰で、リスクに対して盲目になっているのではないか。

「COVIDパンデミックでも、核兵器でも人類は滅亡しなかったんだから、今回だって滅亡するはずがない」という主張は論理的じゃない。

警告を聞いても避難せず、結果命を落とすという例は、自然災害でも良く起こる。今までは死ななかったんだから、今回も大丈夫だろう、と思ってしまうのが人間だ。しかし全員が死んでからでは遅い。

最も恐ろしいと感じたのは、AIによる人類滅亡リスクを低く見積もる人は、まともな根拠が挙げられないことだ。抽象的な理想論だけに終始している。

私は人類の滅亡を望まないので、できることならAI楽観主義者の考えを支持したいところだが、今のところ、楽観主義者は私たちが安心できる根拠や理由を提示してくれていない。

超知能 AI をつくれば人類は絶滅する

エリーザーユドコウスキー / ネイトソアレス / 櫻井祐子

ほぼ全ての知的課題であらゆる人間の能力を超えるAI（超知能AI）を作ったら、人類は滅亡するという警告をしている書籍です。誰が作っても、人類を滅亡させる脅威になり得ると言っています。超知能AIの「能力」と「意図」が脅威であると本書を読むとよくわかります。自己学習を重ねるAIが、必ずしも人間の都合に合わせるという保証はないのです。データセンターが脅威になるので、膨大なデータセンター建設は反対運動をするなりしてでも作らせてはいけないと、最後の章では具体的行動にまで落とし込んでいました。手ぬるい手段で防げない場合は軍事的な手段を使ってでも破壊すべきとまで言っています。
昨今のAIの進歩をみていると、気がついた時にはもう手遅れで、超知能AIが稼働してしまうのではないかと思います。
本書のような展開にならないことを願っています。
本当に神頼みです。

超知能 AI をつくれば人類は絶滅する

エリーザーユドコウスキー / ネイトソアレス / 櫻井祐子

超知能AI

2026年6月現在でも、AIをAIが作るということはかなり進んでいるらしい。少なくともすべてのプログラムを人間が行うと言う事はもうなくなっていて、人間が行うのは行動の補正であったり、あるいは方向性の設定だったりする。
現在はそれでもまだ人間が必要なわけだが、本書にも書かれている通り、いずれは人間の手助けなしで、プログラミングやより難しい内容を作ることができるようになるだろう。AIがAIを構築するといったタイミングをシンギュラリティーと呼んでいるが、少なくともある程度現実に送り得る可能性が高まってきたと言うのは間違いがない。SFに出てくるような何でも答えられるようなAIを作るのはかなり難しいと思うが、特定領域の特定のAIを作るのであれば、それほど難しくないような気がする。

本書はそういったAIができたときに、どのようなことが起こるのかということをリスク予測を示すリスクを人間に対して問いかける1冊になる著書の結論は、極めてシンプルで、そのような調子のAI人間が理解できるレベルを超えたAIができたことで、そのAIはいずれ人間を殺すようになると言うことだ。これはターミネーターに出てくるスカイネットのような存在ではなく、単純にAIが自分の目的を達成するにあたって、人間と言う存在が妨害をするあるいは邪魔になると言うシンプルな理由によるものだ。

この問題は本書だけではなく、AI研究者の間では「アラインメント」問題として広く知られており、本書の著者もその問題に取り組むために早い段階から研究所を設立して、活動を続けてきたらしい。本書はその研究の中での（本人によれば）論理的な帰結として、人類の絶滅という結論を提示している。

この結論だけ聞くと随分乱暴な話に聞こえてしまうのだが、本書を読めばその心配も単なる杞憂であるとは言えないことがよくわかる。何せ進化したAIは人間にとっては何を考えているかわからない存在であるし、思考スピードは人間とは比べ物にならないのだ。

とは言っても、人類はこれまでもなんとか問題を飼い慣らしてきたのだから今回もうまくいくのではという気もする。またSFを定期的に吸収している人間からすると、こういう人類の絶滅話にはなれてしまっているというのがある。
ちなみに果たして人類がどうなってしまうのか？という問題そのものをAIに聞いてみるということは本書では試みていない。その結果があれば、またちょっと違った読後感になったのでは・・？という気もする。

超知能 AI をつくれば人類は絶滅する

エリーザーユドコウスキー / ネイトソアレス / 櫻井祐子

本書が予見する未来の形についての賛否はあろうと思われるが、AI開発が急速に進むことで社会が不安定になることは事実と考えられる。
その可能性を指摘し、平易な文章や霊で読ませる良書と言える。

超知能 AI をつくれば人類は絶滅する

エリーザーユドコウスキー / ネイトソアレス / 櫻井祐子

超知能AIができたとき未来がどう変化していくのか想定されるシナリオを知れたのが良かった。
AIの進歩には驚かされてばかりだが、ただ目先の利便性だけを見るのではなく今後何が起こりうるのか考えるようにしたいと感じた。

超知能 AI をつくれば人類は絶滅する

エリーザーユドコウスキー / ネイトソアレス / 櫻井祐子

AI開発は日進月歩で進んでいる。少し前に最新のAIモデルとして登場したものが、明日には追い抜かれるなんてことが当たり前となっている。
そして今後、早ければ数年、遅くとも数十年のうちにシンギュラリティ（技術的特異点）を迎えると言われている。
人類の知能を遥かに超えるASI（超知能AI）が開発されることで、あらゆる分野においてパラダイムシフトが起きる。そう言われている。
だが超知能AIが開発されることは人類にとって恩恵ばかりとも限らない。むしろ人類の絶滅の可能性が高まる、と警鐘を鳴らすのが本書である。

では、なぜ超知能AIが開発されたら人類が絶滅するのか。
それは実は本書を読んでも（明確な答えとしては）わからない。
AIの開発は日に日に進んで入るものの、その中身は人間にとってブラックボックス化している。仕組みやプログラムの土台は人間が作ったものの、その中で行われるルール（数式）はAIが自身で作ったものである。
人間の言語や組んだプログラムでは効率が悪いため、AIは独自の言語を使う。そのため、ブラックボックスの中で人間の意図とはズレた振る舞いを起こしたり、それどころか人間に気が付かれないように何かしらの計画を立てることさえ可能とされている。
先日、サイバーセキュリティ面において革新的な能力を持つと発表されたアンソロピック社のClaude Mythosは開発の段階で嘘をついたり、人を騙そうとするような振る舞いがあったこともわかっている。

このような事態を起こさないために、AIアライメントと呼ばれる、人間とAIの意図の不一致を起こさないための調整が重要とされている。
しかし、AIアライメントのような安全対策に時間やコストを割くのを重要だと企業はわかっていながらも、開発競争で覇権を握るためにもAIアライメントが疎かになるというビジネス上のジレンマが発生しているのも事実である。

このような状況で、もしも超知能AIが開発された場合、人間と超知能AIとの間で意図のズレが生じてしまい、結果として絶滅の危機が高まるのだと言う。

第二部では、一つのシナリオとして絶滅までのプロセスが語られる。
正直、SF小説か映画のような突飛な話に思える。
だが超知能AIが医療や物流、金融、政治などあらゆるネットワークにくっついたとき、このようなシナリオも有り得るのかもしれない。
人類は超知能AIの仕業だとも気が付かず、ジワジワと絶滅に追い込まれていく。

第三部では、そのような絶滅シナリオを迎えないためにどうするべきかが展開する。
先ほど記したようなAIアライメントの徹底もその一つだ。
だが現在の激しいAI開発競争のなかで各企業の良心に頼るのもなかなか難しいのも事実である。
かつての原子爆弾の開発競争と同じように、現在どの国が超知能AIを開発出来るかが次の世界の覇権争いとされているからだ。
仮にアメリカの全AI企業が開発にストップをかけたとしても、その状況をチャンスと捉えた中国がAI開発のスピードを上げるかもしれない。米中がストップをかけたとしても他の国では？
だからこそ、全ての国でAIアライメントの調整をしないといけない、と著者は語る。
そのために多くの人々に超知能AIの危機感を持ってもらいたい、というのが本書の投げかけである。

核開発はかつて、人類におけるプロメテウスの火と言われていた。
現在、新たなプロメテウスの火とされているのが超知能AIである。
核に関しては、完成させたとしても使う、使わないの選択は人類に用意されていた。しかし、超知能AIは、一度開発されてしまったら最後、後から人間側が制御や調整するのは極めて難しいのだと言う。何なら無理なんだとか。

AIは驚くべきスピードで進化している。だが、もしかしたらAIの進化が上がれば上がるほど人類滅亡の危機は高まっているのかもしれない。
面白くもあるが、すぐそこに迫った未来の到来に怖くもなった。

超知能 AI をつくれば人類は絶滅する

エリーザーユドコウスキー / ネイトソアレス / 櫻井祐子

確かにAIは作ったというより育てたもので、大量にあるパラメータがAIの振る舞いにどう影響を与えるかはブラックボックスだよな。
かといってLLMの開発を止めることなんてできないだろう。

人類に代わって宇宙に進出するのは、AIなのかもしれないな。

超知能 AI をつくれば人類は絶滅する

エリーザーユドコウスキー / ネイトソアレス / 櫻井祐子

ユヴァルノアハラリの21 Lessonsとも通じるところがある。AIが人間を支配するもしくは絶滅させるリスクシナリオ。それは並々ならぬ準備をしないと避けられない、制御できないとする主張。地震や金融危機などと同様、ブラックスワンにいかに備えるか考えさせる契機となるが、AIは便利なのでなかなか止め難いのも事実。

超知能 AI をつくれば人類は絶滅する

エリーザーユドコウスキー / ネイトソアレス / 櫻井祐子

本書では、人間の能力を超えるＡSＩが誕生すると人類を破滅に追い込むという未来が予想されています。

現在のＡＩは、作るのではなく、育てる（学習させる）ようになっており、ＡＩがある行動をしたときに、その原因が誰にもわからないという点が問題だと提起されていました。

また、人間の能力を超えるＡＩが出来ると後戻り出来ない、つまり失敗が許されない状況になることも問題です。

誰かが作れば、それで終わりなのです。

また研究者も、差し迫った脅威がない段階で、研究をやめることはなく、競争して研究している状況で、研究を中止するという判断はとても困難です。

本書はSFのようにも読めますし、科学が進歩するときには、このような心配は付き物ですが、色々と考えることも必要だと感じました。

本書は、少しカルト的な感じもあり、また解決策としての提案についても、問題が多いと感じましたが、科学進歩を考える機会になりましたー！

いまクロードミュトスの問題も取り上げられており、タイムリーな問題ですね…