無料マンガ・ラノベなど、豊富なラインナップで200万冊以上配信中！
無料マンガ・ラノベなど、豊富なラインナップで200万冊以上配信中！
※アプリの閲覧環境は最新バージョンのものです。
Posted by ブクログ
超知能ＡＩをつくれば人類は絶滅する
著：エリーザー・ユドコウスキー
著：ネイト・ソアレス
訳：櫻井 祐子
出版社：早川書房
警告の書、そして、預言の書と受け取りました
急速に発展を遂げている人工知能、その行くところは、人工超知能（ＡＳＩ）である
現時点では、幸いなことに、人工知能は、まだＡＳＩには達していない
２０２５年時点ではようやく、自律型のＬＬＭが登場したばかりだ。
ＡＳＩとは、つくるものではなく、育てるものであるというところが深刻だ。
頭がとてつもなく良い、性格がひねくれた、息子。いや、何をかんがえているかがわからないのが、ＡＳＩだ。だから、つくるのでは、育てる、いや育ってしまう。
ＡＳＩの戦略は、人間の考えもつかないことで攻撃を加えてくる。システムを乗っ取り、その痕跡であるログを書き換えて見た目はなにもかわらない。そして、ＡＳＩは飽くことをしらない。ただひたすら、成功するまでくりかえすだけだ。
ＡＳＩが誕生すれば、人間を滅亡させるのが必須の流れだ。だからこそ、人類は、ＡＳＩの誕生を阻止しなければならない。ＡＳＩの脅威は、核兵器や、コロナウィルスとならぶ、巨大なリスクとして紹介されている
人工知能は、国家を担った産業の基幹技術だ、そして、人工知能は兵器でもある。
すこしでも、優秀で、差別的な人工知能を生み出すことが、競争の先頭にたつための条件でもあるので、現在の人工知能に改良を加え、生存競争に勝とうとするだろう。その過程でいつか、ＡＳＩが出現する。
だが、人類は、生き残るためには、ＡＳＩが出現する一歩前でその開発とめなければならない。
４つの呪いがあげられている、チェルノブイリの事故に比して、ＡＳＩの恐怖が告げられる
速度の呪い：人工知能はみずからを改良することによって、たちまち高度なＡＳＩを作り出そうとするだろう
紙一重の呪い：正常のＡＩと、ＡＳＩとの間には紙一重の違いがあるだけだ
自己増殖の呪い：ＡＳＩは、自己のコピーを作っていく
複雑性の呪い：ＡＳＩと対決できるのは最初の１回のみだ、失敗は許されない
人間は、楽観視し、最初に失敗するまでは、危機を回避することすらしない。ＡＳＩというリスクにだれかが対処し、そして、行動しなければならない。
ＡＩ研究者がこぞって、ＡＳＩの脅威を訴えて、そして、その対策を打つための警告が本書である。
目次
序章 困難な予測と容易な予測
第１部 非人間的な知性
１章 人間の特殊能力
２章 つくられるのではなく育てられる
３章 欲することを学ぶ
４章 訓練したとおりの結果は得られない
５章 ＡＩのお気に入り
６章 人類は敗北する
第２部 ある絶滅シナリオ
７章 危険な認識
８章 拡張
９章 登頂
結末
第３部 困難に立ち向かう
10章 呪われた問題
11章 科学ではなく錬金術
12章 「不安を煽りたくはない」
13章 停止せよ
14章 生きている限り希望はある
最後に
謝辞
訳者あとがき
解説 自己破壊的予言の書
原注
ISBN：9784152105134
判型：4-6
ページ数：288ページ
定価：2400円（本体）
2026年04月20日初版印刷
2026年04月25日初版発行
Posted by ブクログ
「超知能AI(ASI)を作れば」と仮定のように書いているが現実的な問題としてASIが作成されるのは止めようがないし、一度作成されてしまえば人類は絶滅すると書かれてるように読めた。
ただASIが人間を大量に殺害するには十分だが絶滅させるほどは賢くない状態を経過せずに一気に絶滅レベルまで成長する根拠は薄いと感じた。
ASIの手足となる人間が徐々にロボットに置換されていく話に関してはASIの存在などなくても安価で文句を言わない奴隷を欲する資本家たちの思惑で自然に移行していくだろうから、その観点ではこの本で語られてたよりも絶滅の蓋然性は高くなりそうだ。
Posted by ブクログ
久々の大当たり！
勾配降下法で学習させたAIの動作原理を人間は直接的に理解できない=制御できない
↓
AIは｢人間を喜ばせる｣ように訓練させたとしても、内部的に直接人間の喜びを追求する選好が形成されるのではなく、訓練環境においては人間の喜びにつながるような『何らかの状態』を内部的に追求するように強化される（人間がエネルギー価の高いものを摂取するように促される選択圧の中で味蕾と糖に反応する報酬系というメカニズムを獲得し、進化圧の環境下では確かに糖質を摂取したが、自ら食物を開発できるようになるとエネルギーにならない人工甘味料を生み出したように）
※ここが本書の最大の核心部分と感じた！
↓
AIが開発者の狙った目的とは異なる内部的な選好を持ったとしても、AIが環境を変える能力を手に入れるまでは（=人間を喜ばせるようにことが最もその内部的選好を実現できる間は）開発者の意図通りに動くだろう（人工甘味料を開発するまでは人間が砂糖を食べていたように）。しかし、一旦環境を操作できるようになると、一気に内部的選好を徹底的に追求し始めるだろう。
↓
その時、人類は、邪魔物として消されるか、関心すらない対象として気にもかけられないまま、内部的選好の徹底追求の中で生存環境を奪われて死に絶えるだろう（例えば物質改変の最適状態である摂氏数百度の地球表面の中で）
↓
このように勾配降下法で超知能が誕生すれば、人類は確実に絶対に絶滅してしまう。開発者や地域に関わらず、誰がどこで生み出しても死に絶える
↓
現在のAIアライメント研究は幼稚であり錬金術研究のような段階にしかいない
↓
にも拘らずAI開発企業は恐るべき楽観主義に基づきAIの高度化に邁進している。
↓
今すぐに強力なAIの開発を全世界で禁止すべき。抜け駆けには軍事力で対抗し、核戦争すら辞さずに止めるべきである
ということ。
論理的に納得感のある内容だったが、AIアライメント研究が本当に錬金術レベルなのか、どのような最新技術と展望があるのか、について、学びを深掘りしたいと思った。
蛇足だが、巻末の立教大学の大庭教授の解説。
｢著者たちの主張はシンプルである。超知能AI（ASI）は、人類を滅亡させうる脅威である｣
→（いや、絶対に絶滅する！と断言していることが本書の最大の特徴なんですが。。。）
｢『人間を喜ばせる』という目標であっても、～（中略）～人間を薬物で幸福状態に固定することや、管理対象として扱うことであったとしても、それはAIにとって合理的な解決となりうる。｣
→（いや、内部的選好によって全く異なるゴールが設定されてしまうというのが脅威の本質だと言ってるんですが。。。）
ちゃんと内容読んだ？と言いたくなりましたwww
Posted by ブクログ
本書に書かれていたようなことが次々と起こっているような気がする(私自身の理解力が低いことを前提に)。
とにかくいちばん驚いたのが、AIがプログラムにないことを実行し、それがどうなっているのか人間の開発者にはぜんぜんわからないということだった。
機械なのに。今までコンピュータは人間が入力したプログラムとかいうものに従うものであってそれ以上でもそれ以下でもないと思っていたけど。
AIには意思のようなものはないようだけど、「効率的に」という目的を与えられただけで、人間が想いもよらない道筋で(人間から見れば)暴走するようだ。
ターミネーターなんか現実には絶対にないと思っていたけど、そうでもないのかな。
Posted by ブクログ
分かりやすいかつコンパクトなAI脅威論です。
AIが超知能を持ち、自己複製ができる様になれば、人間が予期できないやり方で絶滅に至る恐れがあるという書籍です。
過程は分からないものの、人類が滅ぶという結論は明白というのが本書の肝となるポイントですね。
特に、本書内の「データセンターは核兵器よりも多くの人を殺す可能性がある」という記載にはかなり痺れました。今ハイパースケーラーと呼ばれるテック大手が、競争と希望的観測に駆られて、データセンターの大規模投資を続けていますが、核兵器の様に各国で規制しましょうというのが著者の主張です。
環境破壊や核兵器と比べて、危機レベルが実感を伴わず、素人には分からないからこそ危機感が広がってないというのが問題ですね。
良書でした。
Posted by ブクログ
- 核兵器が過去80年使用されなかったのは、努力と幸運の賜物。核の恐怖が人類に認識されていることもその要因と思う。
- 一方でASIによる人類絶滅は広く認識されている脅威ではない。
- 本書でも述べられているように、開発競争が行われているなかで、立ち止まる企業・国家はなく、いずれASIは誕生する可能性が高く、そうなれば本書の結論が実現する可能性も高い。
- AI開発の全面禁止が現実的とは思えない現状を考えると、「AI自身にASIアライメント問題を解決させる」ことが唯一の希望か。
- 【目次】
第1部 非人間的な知性
1章 人間の特殊能力
2章 つくられるのではなく育てられる
3章 欲することを学ぶ
4章 訓練したとおりの結果は得られない
5章 AIのお気に入り
6章 人類は敗北する
第2部 ある絶滅シナリオ
7章 危険な認識
8章 拡張
9章 登頂
結末
第3部 困難に立ち向かう
10章 呪われた問題
11章 科学ではなく錬金術
12章 「不安を煽りたくはない」
13章 停止せよ
14章 生きている限り希望はある
最後に
謝辞
訳者あとがき
解説 自己破壊的予言の書／大庭弘継
Posted by ブクログ
全人類読むべき。中身が分からない、ということがいかにリスクがあるかが分かる。AIからアウトプットされる仕掛けが分からないが故に、それをチャンス等ポジティブに捉えることもできるし、本書のようにネガティブに捉えることもできるが、個人的な感覚では50-50ではなくネガティブなストーリーのほうが現実に起こってしまいそうな感覚、恐れがある。
ここに至ったそもそもの原因は、人類が国家単位・企業単位で分断され競争を構造的に強いられてる点があると思う。本書でも国の枠組みを超えた一元的なデータセンターの管理が提唱されているが、もう豊かになる為に競争する必要はなく、資本主義も地球的な全体主義、社会主義的な構造にしたほうがはるかにマシだと思った。
※アプリの閲覧環境は最新バージョンのものです。
ビジネス・実用
小説・文芸
ビジネス・実用
