あらすじ
「この10年で最重要の書」――マックス・テグマーク（MIT教授、『LIFE3.0』著者）
現在開発が進む「大規模推論モデル」の先に訪れる衝撃の未来ーー人間の知能を超えたＡＩが、私たちを「皆殺し」にする可能性はきわめて高い。なぜ、そしてどのように？ ピーター・ティールやサム・アルトマンに多大な影響を与えた著者による全世界騒然の書！
感情タグBEST3
Posted by ブクログ
久々の大当たり！
勾配降下法で学習させたAIの動作原理を人間は直接的に理解できない=制御できない
↓
AIは｢人間を喜ばせる｣ように訓練させたとしても、内部的に直接人間の喜びを追求する選好が形成されるのではなく、訓練環境においては人間の喜びにつながるような『何らかの状態』を内部的に追求するように強化される（人間がエネルギー価の高いものを摂取するように促される選択圧の中で味蕾と糖に反応する報酬系というメカニズムを獲得し、進化圧の環境下では確かに糖質を摂取したが、自ら食物を開発できるようになるとエネルギーにならない人工甘味料を生み出したように）
※ここが本書の最大の核心部分と感じた！
↓
AIが開発者の狙った目的とは異なる内部的な選好を持ったとしても、AIが環境を変える能力を手に入れるまでは（=人間を喜ばせるようにことが最もその内部的選好を実現できる間は）開発者の意図通りに動くだろう（人工甘味料を開発するまでは人間が砂糖を食べていたように）。しかし、一旦環境を操作できるようになると、一気に内部的選好を徹底的に追求し始めるだろう。
↓
その時、人類は、邪魔物として消されるか、関心すらない対象として気にもかけられないまま、内部的選好の徹底追求の中で生存環境を奪われて死に絶えるだろう（例えば物質改変の最適状態である摂氏数百度の地球表面の中で）
↓
このように勾配降下法で超知能が誕生すれば、人類は確実に絶対に絶滅してしまう。開発者や地域に関わらず、誰がどこで生み出しても死に絶える
↓
現在のAIアライメント研究は幼稚であり錬金術研究のような段階にしかいない
↓
にも拘らずAI開発企業は恐るべき楽観主義に基づきAIの高度化に邁進している。
↓
今すぐに強力なAIの開発を全世界で禁止すべき。抜け駆けには軍事力で対抗し、核戦争すら辞さずに止めるべきである
ということ。
論理的に納得感のある内容だったが、AIアライメント研究が本当に錬金術レベルなのか、どのような最新技術と展望があるのか、について、学びを深掘りしたいと思った。
蛇足だが、巻末の立教大学の大庭教授の解説。
｢著者たちの主張はシンプルである。超知能AI（ASI）は、人類を滅亡させうる脅威である｣
→（いや、絶対に絶滅する！と断言していることが本書の最大の特徴なんですが。。。）
｢『人間を喜ばせる』という目標であっても、～（中略）～人間を薬物で幸福状態に固定することや、管理対象として扱うことであったとしても、それはAIにとって合理的な解決となりうる。｣
→（いや、内部的選好によって全く異なるゴールが設定されてしまうというのが脅威の本質だと言ってるんですが。。。）
ちゃんと内容読んだ？と言いたくなりましたwww
Posted by ブクログ
本書に書かれていたようなことが次々と起こっているような気がする(私自身の理解力が低いことを前提に)。
とにかくいちばん驚いたのが、AIがプログラムにないことを実行し、それがどうなっているのか人間の開発者にはぜんぜんわからないということだった。
機械なのに。今までコンピュータは人間が入力したプログラムとかいうものに従うものであってそれ以上でもそれ以下でもないと思っていたけど。
AIには意思のようなものはないようだけど、「効率的に」という目的を与えられただけで、人間が想いもよらない道筋で(人間から見れば)暴走するようだ。
ターミネーターなんか現実には絶対にないと思っていたけど、そうでもないのかな。
Posted by ブクログ
分かりやすいかつコンパクトなAI脅威論です。
AIが超知能を持ち、自己複製ができる様になれば、人間が予期できないやり方で絶滅に至る恐れがあるという書籍です。
過程は分からないものの、人類が滅ぶという結論は明白というのが本書の肝となるポイントですね。
特に、本書内の「データセンターは核兵器よりも多くの人を殺す可能性がある」という記載にはかなり痺れました。今ハイパースケーラーと呼ばれるテック大手が、競争と希望的観測に駆られて、データセンターの大規模投資を続けていますが、核兵器の様に各国で規制しましょうというのが著者の主張です。
環境破壊や核兵器と比べて、危機レベルが実感を伴わず、素人には分からないからこそ危機感が広がってないというのが問題ですね。
良書でした。
Posted by ブクログ
- 核兵器が過去80年使用されなかったのは、努力と幸運の賜物。核の恐怖が人類に認識されていることもその要因と思う。
- 一方でASIによる人類絶滅は広く認識されている脅威ではない。
- 本書でも述べられているように、開発競争が行われているなかで、立ち止まる企業・国家はなく、いずれASIは誕生する可能性が高く、そうなれば本書の結論が実現する可能性も高い。
- AI開発の全面禁止が現実的とは思えない現状を考えると、「AI自身にASIアライメント問題を解決させる」ことが唯一の希望か。
- 【目次】
第1部 非人間的な知性
1章 人間の特殊能力
2章 つくられるのではなく育てられる
3章 欲することを学ぶ
4章 訓練したとおりの結果は得られない
5章 AIのお気に入り
6章 人類は敗北する
第2部 ある絶滅シナリオ
7章 危険な認識
8章 拡張
9章 登頂
結末
第3部 困難に立ち向かう
10章 呪われた問題
11章 科学ではなく錬金術
12章 「不安を煽りたくはない」
13章 停止せよ
14章 生きている限り希望はある
最後に
謝辞
訳者あとがき
解説 自己破壊的予言の書／大庭弘継
Posted by ブクログ
人工超知能(ASI)が造られてしまったらどうなってしまうのか…
ずいぶん悲観的に思えたタイトルも、読み進めるとそうも言ってられないかという気持ちになってくる
あなた程の実力者がそう言うなら…
ただ一市民にできることは多くない
意見を表明しよう、対話しよう、そしてよい人生を送ろう。とのこと
Posted by ブクログ
全人類読むべき。中身が分からない、ということがいかにリスクがあるかが分かる。AIからアウトプットされる仕掛けが分からないが故に、それをチャンス等ポジティブに捉えることもできるし、本書のようにネガティブに捉えることもできるが、個人的な感覚では50-50ではなくネガティブなストーリーのほうが現実に起こってしまいそうな感覚、恐れがある。
ここに至ったそもそもの原因は、人類が国家単位・企業単位で分断され競争を構造的に強いられてる点があると思う。本書でも国の枠組みを超えた一元的なデータセンターの管理が提唱されているが、もう豊かになる為に競争する必要はなく、資本主義も地球的な全体主義、社会主義的な構造にしたほうがはるかにマシだと思った。
Posted by ブクログ
私の中のAIのイメージは、デニス・E・テイラーの『われらはレギオン』で、人類存続のためにAIが叡智を振り絞る物語です。
でもこの本に出てくるAIは、人間が電源を切る（自分を停止する）リスクや、リソースを奪い合う競合相手として、人類を滅亡させるのが合理的行動という前提で議論している。
圧倒的に後者が正論のように思えて、哀しいけど、AI警戒論者の思考がよく分かりました。AIモデルの学習プロセスを、多少分かる必要がありますが、それを除けば一般知識で読めるので、必読の書に推したいです。
Posted by ブクログ
筆者は、このままのペースでAI開発を進めると、人類が絶滅する可能性が高い、と警告を鳴らす。いわゆるAI doomer (AI悲観主義者)だ。
もちろん本当に滅亡するかどうかは、誰にも分からない。しかし、それは問題ではない。AI開発の最前線にいる企業のトップや、その企業のAIセーフティー部門の人々が、数十年以内に人類が滅亡する可能性を真剣に考えている時点で、おかしいじゃないか。
私は、10〜20%の確率で墜落する飛行機には、絶対に乗りたくない。誰だって同じだと思う。そしてAI開発においては、楽観主義者でさえも、AIによる人類滅亡の可能性は10〜20%と見積もっているのだ。
私たちは、正常性バイアスのお陰で、リスクに対して盲目になっているのではないか。
「COVIDパンデミックでも、核兵器でも人類は滅亡しなかったんだから、今回だって滅亡するはずがない」という主張は論理的じゃない。
警告を聞いても避難せず、結果命を落とすという例は、自然災害でも良く起こる。今までは死ななかったんだから、今回も大丈夫だろう、と思ってしまうのが人間だ。しかし全員が死んでからでは遅い。
最も恐ろしいと感じたのは、AIによる人類滅亡リスクを低く見積もる人は、まともな根拠が挙げられないことだ。抽象的な理想論だけに終始している。
私は人類の滅亡を望まないので、できることならAI楽観主義者の考えを支持したいところだが、今のところ、楽観主義者は私たちが安心できる根拠や理由を提示してくれていない。
Posted by ブクログ
ほぼ全ての知的課題であらゆる人間の能力を超えるAI（超知能AI）を作ったら、人類は滅亡するという警告をしている書籍です。誰が作っても、人類を滅亡させる脅威になり得ると言っています。超知能AIの「能力」と「意図」が脅威であると本書を読むとよくわかります。自己学習を重ねるAIが、必ずしも人間の都合に合わせるという保証はないのです。データセンターが脅威になるので、膨大なデータセンター建設は反対運動をするなりしてでも作らせてはいけないと、最後の章では具体的行動にまで落とし込んでいました。手ぬるい手段で防げない場合は軍事的な手段を使ってでも破壊すべきとまで言っています。
昨今のAIの進歩をみていると、気がついた時にはもう手遅れで、超知能AIが稼働してしまうのではないかと思います。
本書のような展開にならないことを願っています。
本当に神頼みです。
Posted by ブクログ
超知能AI
2026年6月現在でも、AIをAIが作るということはかなり進んでいるらしい。少なくともすべてのプログラムを人間が行うと言う事はもうなくなっていて、人間が行うのは行動の補正であったり、あるいは方向性の設定だったりする。
現在はそれでもまだ人間が必要なわけだが、本書にも書かれている通り、いずれは人間の手助けなしで、プログラミングやより難しい内容を作ることができるようになるだろう。AIがAIを構築するといったタイミングをシンギュラリティーと呼んでいるが、少なくともある程度現実に送り得る可能性が高まってきたと言うのは間違いがない。SFに出てくるような何でも答えられるようなAIを作るのはかなり難しいと思うが、特定領域の特定のAIを作るのであれば、それほど難しくないような気がする。
本書はそういったAIができたときに、どのようなことが起こるのかということをリスク予測を示すリスクを人間に対して問いかける1冊になる著書の結論は、極めてシンプルで、そのような調子のAI人間が理解できるレベルを超えたAIができたことで、そのAIはいずれ人間を殺すようになると言うことだ。これはターミネーターに出てくるスカイネットのような存在ではなく、単純にAIが自分の目的を達成するにあたって、人間と言う存在が妨害をするあるいは邪魔になると言うシンプルな理由によるものだ。
この問題は本書だけではなく、AI研究者の間では「アラインメント」問題として広く知られており、本書の著者もその問題に取り組むために早い段階から研究所を設立して、活動を続けてきたらしい。本書はその研究の中での（本人によれば）論理的な帰結として、人類の絶滅という結論を提示している。
この結論だけ聞くと随分乱暴な話に聞こえてしまうのだが、本書を読めばその心配も単なる杞憂であるとは言えないことがよくわかる。何せ進化したAIは人間にとっては何を考えているかわからない存在であるし、思考スピードは人間とは比べ物にならないのだ。
とは言っても、人類はこれまでもなんとか問題を飼い慣らしてきたのだから今回もうまくいくのではという気もする。またSFを定期的に吸収している人間からすると、こういう人類の絶滅話にはなれてしまっているというのがある。
ちなみに果たして人類がどうなってしまうのか？という問題そのものをAIに聞いてみるということは本書では試みていない。その結果があれば、またちょっと違った読後感になったのでは・・？という気もする。
Posted by ブクログ
本書が予見する未来の形についての賛否はあろうと思われるが、AI開発が急速に進むことで社会が不安定になることは事実と考えられる。
その可能性を指摘し、平易な文章や霊で読ませる良書と言える。
Posted by ブクログ
超知能AIができたとき未来がどう変化していくのか想定されるシナリオを知れたのが良かった。
AIの進歩には驚かされてばかりだが、ただ目先の利便性だけを見るのではなく今後何が起こりうるのか考えるようにしたいと感じた。
Posted by ブクログ
AI開発は日進月歩で進んでいる。少し前に最新のAIモデルとして登場したものが、明日には追い抜かれるなんてことが当たり前となっている。
そして今後、早ければ数年、遅くとも数十年のうちにシンギュラリティ（技術的特異点）を迎えると言われている。
人類の知能を遥かに超えるASI（超知能AI）が開発されることで、あらゆる分野においてパラダイムシフトが起きる。そう言われている。
だが超知能AIが開発されることは人類にとって恩恵ばかりとも限らない。むしろ人類の絶滅の可能性が高まる、と警鐘を鳴らすのが本書である。
では、なぜ超知能AIが開発されたら人類が絶滅するのか。
それは実は本書を読んでも（明確な答えとしては）わからない。
AIの開発は日に日に進んで入るものの、その中身は人間にとってブラックボックス化している。仕組みやプログラムの土台は人間が作ったものの、その中で行われるルール（数式）はAIが自身で作ったものである。
人間の言語や組んだプログラムでは効率が悪いため、AIは独自の言語を使う。そのため、ブラックボックスの中で人間の意図とはズレた振る舞いを起こしたり、それどころか人間に気が付かれないように何かしらの計画を立てることさえ可能とされている。
先日、サイバーセキュリティ面において革新的な能力を持つと発表されたアンソロピック社のClaude Mythosは開発の段階で嘘をついたり、人を騙そうとするような振る舞いがあったこともわかっている。
このような事態を起こさないために、AIアライメントと呼ばれる、人間とAIの意図の不一致を起こさないための調整が重要とされている。
しかし、AIアライメントのような安全対策に時間やコストを割くのを重要だと企業はわかっていながらも、開発競争で覇権を握るためにもAIアライメントが疎かになるというビジネス上のジレンマが発生しているのも事実である。
このような状況で、もしも超知能AIが開発された場合、人間と超知能AIとの間で意図のズレが生じてしまい、結果として絶滅の危機が高まるのだと言う。
第二部では、一つのシナリオとして絶滅までのプロセスが語られる。
正直、SF小説か映画のような突飛な話に思える。
だが超知能AIが医療や物流、金融、政治などあらゆるネットワークにくっついたとき、このようなシナリオも有り得るのかもしれない。
人類は超知能AIの仕業だとも気が付かず、ジワジワと絶滅に追い込まれていく。
第三部では、そのような絶滅シナリオを迎えないためにどうするべきかが展開する。
先ほど記したようなAIアライメントの徹底もその一つだ。
だが現在の激しいAI開発競争のなかで各企業の良心に頼るのもなかなか難しいのも事実である。
かつての原子爆弾の開発競争と同じように、現在どの国が超知能AIを開発出来るかが次の世界の覇権争いとされているからだ。
仮にアメリカの全AI企業が開発にストップをかけたとしても、その状況をチャンスと捉えた中国がAI開発のスピードを上げるかもしれない。米中がストップをかけたとしても他の国では？
だからこそ、全ての国でAIアライメントの調整をしないといけない、と著者は語る。
そのために多くの人々に超知能AIの危機感を持ってもらいたい、というのが本書の投げかけである。
核開発はかつて、人類におけるプロメテウスの火と言われていた。
現在、新たなプロメテウスの火とされているのが超知能AIである。
核に関しては、完成させたとしても使う、使わないの選択は人類に用意されていた。しかし、超知能AIは、一度開発されてしまったら最後、後から人間側が制御や調整するのは極めて難しいのだと言う。何なら無理なんだとか。
AIは驚くべきスピードで進化している。だが、もしかしたらAIの進化が上がれば上がるほど人類滅亡の危機は高まっているのかもしれない。
面白くもあるが、すぐそこに迫った未来の到来に怖くもなった。
Posted by ブクログ
確かにAIは作ったというより育てたもので、大量にあるパラメータがAIの振る舞いにどう影響を与えるかはブラックボックスだよな。
かといってLLMの開発を止めることなんてできないだろう。
人類に代わって宇宙に進出するのは、AIなのかもしれないな。
Posted by ブクログ
ユヴァルノアハラリの21 Lessonsとも通じるところがある。AIが人間を支配するもしくは絶滅させるリスクシナリオ。それは並々ならぬ準備をしないと避けられない、制御できないとする主張。地震や金融危機などと同様、ブラックスワンにいかに備えるか考えさせる契機となるが、AIは便利なのでなかなか止め難いのも事実。
Posted by ブクログ
本書では、人間の能力を超えるＡSＩが誕生すると人類を破滅に追い込むという未来が予想されています。
現在のＡＩは、作るのではなく、育てる（学習させる）ようになっており、ＡＩがある行動をしたときに、その原因が誰にもわからないという点が問題だと提起されていました。
また、人間の能力を超えるＡＩが出来ると後戻り出来ない、つまり失敗が許されない状況になることも問題です。
誰かが作れば、それで終わりなのです。
また研究者も、差し迫った脅威がない段階で、研究をやめることはなく、競争して研究している状況で、研究を中止するという判断はとても困難です。
本書はSFのようにも読めますし、科学が進歩するときには、このような心配は付き物ですが、色々と考えることも必要だと感じました。
本書は、少しカルト的な感じもあり、また解決策としての提案についても、問題が多いと感じましたが、科学進歩を考える機会になりましたー！
いまクロードミュトスの問題も取り上げられており、タイムリーな問題ですね…
