ネイトソアレスのレビュー一覧

超知能 AI をつくれば人類は絶滅する

ここにきてAIの開発速度を落とすことでAIトップが結束したという話が出てきているが、他を出し抜こうとするのが人間の本質だとすると（勝手にそう思っているのだが）、本書の懸念が現実のものとなる可能性は高いのではと、暗い気持ちになった。
本書でも少し触れられているが、「北」にASIを持たせてはならない、と強く思う。

超知能 AI をつくれば人類は絶滅する

ほぼ全ての知的課題であらゆる人間の能力を超えるAI（超知能AI）を作ったら、人類は滅亡するという警告をしている書籍です。誰が作っても、人類を滅亡させる脅威になり得ると言っています。超知能AIの「能力」と「意図」が脅威であると本書を読むとよくわかります。自己学習を重ねるAIが、必ずしも人間の都合に合わせるという保証はないのです。データセンターが脅威になるので、膨大なデータセンター建設は反対運動をするなりしてでも作らせてはいけないと、最後の章では具体的行動にまで落とし込んでいました。手ぬるい手段で防げない場合は軍事的な手段を使ってでも破壊すべきとまで言っています。
昨今のAIの進歩をみていると、気がついた時にはもう手遅れで、超知能AIが稼働してしまうのではないかと思います。
本書のような展開にならないことを願っています。
本当に神頼みです。

超知能 AI をつくれば人類は絶滅する

超知能AI

2026年6月現在でも、AIをAIが作るということはかなり進んでいるらしい。少なくともすべてのプログラムを人間が行うと言う事はもうなくなっていて、人間が行うのは行動の補正であったり、あるいは方向性の設定だったりする。
現在はそれでもまだ人間が必要なわけだが、本書にも書かれている通り、いずれは人間の手助けなしで、プログラミングやより難しい内容を作ることができるようになるだろう。AIがAIを構築するといったタイミングをシンギュラリティーと呼んでいるが、少なくともある程度現実に送り得る可能性が高まってきたと言うのは間違いがない。SFに出てくるような何でも答えられるようなAIを作るのはかなり難しいと思うが、特定領域の特定のAIを作るのであれば、それほど難しくないような気がする。

本書はそういったAIができたときに、どのようなことが起こるのかということをリスク予測を示すリスクを人間に対して問いかける1冊になる著書の結論は、極めてシンプルで、そのような調子のAI人間が理解できるレベルを超えたAIができたことで、そのAIはいずれ人間を殺すようになると言うことだ。これはターミネーターに出てくるスカイネットのような存在ではなく、単純にAIが自分の目的を達成するにあたって、人間と言う存在が妨害をするあるいは邪魔になると言うシンプルな理由によるものだ。

この問題は本書だけではなく、AI研究者の間では「アラインメント」問題として広く知られており、本書の著者もその問題に取り組むために早い段階から研究所を設立して、活動を続けてきたらしい。本書はその研究の中での（本人によれば）論理的な帰結として、人類の絶滅という結論を提示している。

この結論だけ聞くと随分乱暴な話に聞こえてしまうのだが、本書を読めばその心配も単なる杞憂であるとは言えないことがよくわかる。何せ進化したAIは人間にとっては何を考えているかわからない存在であるし、思考スピードは人間とは比べ物にならないのだ。

とは言っても、人類はこれまでもなんとか問題を飼い慣らしてきたのだから今回もうまくいくのではという気もする。またSFを定期的に吸収している人間からすると、こういう人類の絶滅話にはなれてしまっているというのがある。
ちなみに果たして人類がどうなってしまうのか？という問題そのものをAIに聞いてみるということは本書では試みていない。その結果があれば、またちょっと違った読後感になったのでは・・？という気もする。

超知能 AI をつくれば人類は絶滅する

本書が予見する未来の形についての賛否はあろうと思われるが、AI開発が急速に進むことで社会が不安定になることは事実と考えられる。
その可能性を指摘し、平易な文章や霊で読ませる良書と言える。

超知能 AI をつくれば人類は絶滅する

超知能AIができたとき未来がどう変化していくのか想定されるシナリオを知れたのが良かった。
AIの進歩には驚かされてばかりだが、ただ目先の利便性だけを見るのではなく今後何が起こりうるのか考えるようにしたいと感じた。

超知能 AI をつくれば人類は絶滅する

AI開発は日進月歩で進んでいる。少し前に最新のAIモデルとして登場したものが、明日には追い抜かれるなんてことが当たり前となっている。
そして今後、早ければ数年、遅くとも数十年のうちにシンギュラリティ（技術的特異点）を迎えると言われている。
人類の知能を遥かに超えるASI（超知能AI）が開発されることで、あらゆる分野においてパラダイムシフトが起きる。そう言われている。
だが超知能AIが開発されることは人類にとって恩恵ばかりとも限らない。むしろ人類の絶滅の可能性が高まる、と警鐘を鳴らすのが本書である。

では、なぜ超知能AIが開発されたら人類が絶滅するのか。
それは実は本書を読んでも（明確な答えとしては）わからない。
AIの開発は日に日に進んで入るものの、その中身は人間にとってブラックボックス化している。仕組みやプログラムの土台は人間が作ったものの、その中で行われるルール（数式）はAIが自身で作ったものである。
人間の言語や組んだプログラムでは効率が悪いため、AIは独自の言語を使う。そのため、ブラックボックスの中で人間の意図とはズレた振る舞いを起こしたり、それどころか人間に気が付かれないように何かしらの計画を立てることさえ可能とされている。
先日、サイバーセキュリティ面において革新的な能力を持つと発表されたアンソロピック社のClaude Mythosは開発の段階で嘘をついたり、人を騙そうとするような振る舞いがあったこともわかっている。

このような事態を起こさないために、AIアライメントと呼ばれる、人間とAIの意図の不一致を起こさないための調整が重要とされている。
しかし、AIアライメントのような安全対策に時間やコストを割くのを重要だと企業はわかっていながらも、開発競争で覇権を握るためにもAIアライメントが疎かになるというビジネス上のジレンマが発生しているのも事実である。

このような状況で、もしも超知能AIが開発された場合、人間と超知能AIとの間で意図のズレが生じてしまい、結果として絶滅の危機が高まるのだと言う。

第二部では、一つのシナリオとして絶滅までのプロセスが語られる。
正直、SF小説か映画のような突飛な話に思える。
だが超知能AIが医療や物流、金融、政治などあらゆるネットワークにくっついたとき、このようなシナリオも有り得るのかもしれない。
人類は超知能AIの仕業だとも気が付かず、ジワジワと絶滅に追い込まれていく。

第三部では、そのような絶滅シナリオを迎えないためにどうするべきかが展開する。
先ほど記したようなAIアライメントの徹底もその一つだ。
だが現在の激しいAI開発競争のなかで各企業の良心に頼るのもなかなか難しいのも事実である。
かつての原子爆弾の開発競争と同じように、現在どの国が超知能AIを開発出来るかが次の世界の覇権争いとされているからだ。
仮にアメリカの全AI企業が開発にストップをかけたとしても、その状況をチャンスと捉えた中国がAI開発のスピードを上げるかもしれない。米中がストップをかけたとしても他の国では？
だからこそ、全ての国でAIアライメントの調整をしないといけない、と著者は語る。
そのために多くの人々に超知能AIの危機感を持ってもらいたい、というのが本書の投げかけである。

核開発はかつて、人類におけるプロメテウスの火と言われていた。
現在、新たなプロメテウスの火とされているのが超知能AIである。
核に関しては、完成させたとしても使う、使わないの選択は人類に用意されていた。しかし、超知能AIは、一度開発されてしまったら最後、後から人間側が制御や調整するのは極めて難しいのだと言う。何なら無理なんだとか。

AIは驚くべきスピードで進化している。だが、もしかしたらAIの進化が上がれば上がるほど人類滅亡の危機は高まっているのかもしれない。
面白くもあるが、すぐそこに迫った未来の到来に怖くもなった。

超知能 AI をつくれば人類は絶滅する

タイトル通りの内容です。みなさんはどう思いますか？どこまでリアルに想像ができますか？

この書籍は、タイトルの通りの内容をノンフィクションストーリーと現実に起こっていることの両方の視点でロジカルに迫ってきます。これから先、AIが自律型AIとなり、PDCAサイクルを人間なしに回し始めた時、一気に世界は変わり、私たちは知らず知らずのうちに絶滅に向かうのかもしれないです。※Human out of the roopと言うみたいですね

確かにそうだなーと思ったのは、AIはある程度のランダム生の中で解答を考えたりするので、ハルシネーションが起こる。しかし、今後はランダムに起こるハルシネーションの中でちょっとした成功体験も生まれたりして、そういうことの積み重ねでどんなゴールに辿り着くのかは全然わからないということでした。あ〜これはその通りだし、このランダムなゴールの中に一つでも人類を滅ぼして、生成AIがこの世を支配しようなんていう方向を考えたら大変になるなと思いました。

ただ、人類が滅びることをイメージしたフィクションは面白くはなかったです。リアルに想像できて、よかったんですけれどねぇ。

超知能 AI をつくれば人類は絶滅する

超知能AIの危険性を強く訴える内容だが、可能性としてのリスクと「人類絶滅」という結論の間には大きな飛躍を感じた。
AIが制御不能になる前提を重ねる一方で、技術的な安全策や制度的な対応については十分に検討されておらず、反対意見への目配りも弱い。問題提起としては刺激的だが、結論ありきで議論を組み立てている印象が強く、タイトルを含めて危機を過度に強調しているように感じた。

超知能 AI をつくれば人類は絶滅する

やばいやつにAIを悪用されるとやばい。

ただ、書きっぷりが読みにくい。外国の本はなんでこうなんだ？

超知能 AI をつくれば人類は絶滅する

確かにAIは作ったというより育てたもので、大量にあるパラメータがAIの振る舞いにどう影響を与えるかはブラックボックスだよな。
かといってLLMの開発を止めることなんてできないだろう。

人類に代わって宇宙に進出するのは、AIなのかもしれないな。