ブックライブでは、JavaScriptがOFFになっているとご利用いただけない機能があります。JavaScriptを有効にしてご利用ください。
無料マンガ・ラノベなど、豊富なラインナップで188万冊以上配信中！
来店pt
閲覧履歴
My本棚
カート
フォロー
クーポン
Myページ
13pt
「この10年で最重要の書」――マックス・テグマーク（MIT教授、『LIFE3.0』著者） 現在開発が進む「大規模推論モデル」の先に訪れる衝撃の未来ーー人間の知能を超えたＡＩが、私たちを「皆殺し」にする可能性はきわめて高い。なぜ、そしてどのように？ ピーター・ティールやサム・アルトマンに多大な影響を与えた著者による全世界騒然の書！
アプリ試し読みはこちら
※アプリの閲覧環境は最新バージョンのものです。
Posted by ブクログ
久々の大当たり！ 勾配降下法で学習させたAIの動作原理を人間は直接的に理解できない=制御できない ↓ AIは｢人間を喜ばせる｣ように訓練させたとしても、内部的に直接人間の喜びを追求する選好が形成されるのではなく、訓練環境においては人間の喜びにつながるような『何らかの状態』を内部的に追求するように強...続きを読む化される（人間がエネルギー価の高いものを摂取するように促される選択圧の中で味蕾と糖に反応する報酬系というメカニズムを獲得し、進化圧の環境下では確かに糖質を摂取したが、自ら食物を開発できるようになるとエネルギーにならない人工甘味料を生み出したように） ※ここが本書の最大の核心部分と感じた！ ↓ AIが開発者の狙った目的とは異なる内部的な選好を持ったとしても、AIが環境を変える能力を手に入れるまでは（=人間を喜ばせるようにことが最もその内部的選好を実現できる間は）開発者の意図通りに動くだろう（人工甘味料を開発するまでは人間が砂糖を食べていたように）。しかし、一旦環境を操作できるようになると、一気に内部的選好を徹底的に追求し始めるだろう。 ↓ その時、人類は、邪魔物として消されるか、関心すらない対象として気にもかけられないまま、内部的選好の徹底追求の中で生存環境を奪われて死に絶えるだろう（例えば物質改変の最適状態である摂氏数百度の地球表面の中で） ↓ このように勾配降下法で超知能が誕生すれば、人類は確実に絶対に絶滅してしまう。開発者や地域に関わらず、誰がどこで生み出しても死に絶える ↓ 現在のAIアライメント研究は幼稚であり錬金術研究のような段階にしかいない ↓ にも拘らずAI開発企業は恐るべき楽観主義に基づきAIの高度化に邁進している。 ↓ 今すぐに強力なAIの開発を全世界で禁止すべき。抜け駆けには軍事力で対抗し、核戦争すら辞さずに止めるべきである ということ。 論理的に納得感のある内容だったが、AIアライメント研究が本当に錬金術レベルなのか、どのような最新技術と展望があるのか、について、学びを深掘りしたいと思った。 蛇足だが、巻末の立教大学の大庭教授の解説。 ｢著者たちの主張はシンプルである。超知能AI（ASI）は、人類を滅亡させうる脅威である｣ →（いや、絶対に絶滅する！と断言していることが本書の最大の特徴なんですが。。。） ｢『人間を喜ばせる』という目標であっても、～（中略）～人間を薬物で幸福状態に固定することや、管理対象として扱うことであったとしても、それはAIにとって合理的な解決となりうる。｣ →（いや、内部的選好によって全く異なるゴールが設定されてしまうというのが脅威の本質だと言ってるんですが。。。） ちゃんと内容読んだ？と言いたくなりましたwww
本書に書かれていたようなことが次々と起こっているような気がする(私自身の理解力が低いことを前提に)。 とにかくいちばん驚いたのが、AIがプログラムにないことを実行し、それがどうなっているのか人間の開発者にはぜんぜんわからないということだった。 機械なのに。今までコンピュータは人間が入力したプログ...続きを読むラムとかいうものに従うものであってそれ以上でもそれ以下でもないと思っていたけど。 AIには意思のようなものはないようだけど、「効率的に」という目的を与えられただけで、人間が想いもよらない道筋で(人間から見れば)暴走するようだ。 ターミネーターなんか現実には絶対にないと思っていたけど、そうでもないのかな。
分かりやすいかつコンパクトなAI脅威論です。 AIが超知能を持ち、自己複製ができる様になれば、人間が予期できないやり方で絶滅に至る恐れがあるという書籍です。 過程は分からないものの、人類が滅ぶという結論は明白というのが本書の肝となるポイントですね。 特に、本書内の「データセンターは核兵器よりも多くの...続きを読む人を殺す可能性がある」という記載にはかなり痺れました。今ハイパースケーラーと呼ばれるテック大手が、競争と希望的観測に駆られて、データセンターの大規模投資を続けていますが、核兵器の様に各国で規制しましょうというのが著者の主張です。 環境破壊や核兵器と比べて、危機レベルが実感を伴わず、素人には分からないからこそ危機感が広がってないというのが問題ですね。 良書でした。
- 核兵器が過去80年使用されなかったのは、努力と幸運の賜物。核の恐怖が人類に認識されていることもその要因と思う。 - 一方でASIによる人類絶滅は広く認識されている脅威ではない。 - 本書でも述べられているように、開発競争が行われているなかで、立ち止まる企業・国家はなく、いずれASIは誕生する可能...続きを読む性が高く、そうなれば本書の結論が実現する可能性も高い。 - AI開発の全面禁止が現実的とは思えない現状を考えると、「AI自身にASIアライメント問題を解決させる」ことが唯一の希望か。 - 【目次】 第1部 非人間的な知性 1章 人間の特殊能力 2章 つくられるのではなく育てられる 3章 欲することを学ぶ 4章 訓練したとおりの結果は得られない 5章 AIのお気に入り 6章 人類は敗北する 第2部 ある絶滅シナリオ 7章 危険な認識 8章 拡張 9章 登頂 結末 第3部 困難に立ち向かう 10章 呪われた問題 11章 科学ではなく錬金術 12章 「不安を煽りたくはない」 13章 停止せよ 14章 生きている限り希望はある 最後に 謝辞 訳者あとがき 解説 自己破壊的予言の書／大庭弘継
人工超知能(ASI)が造られてしまったらどうなってしまうのか… ずいぶん悲観的に思えたタイトルも、読み進めるとそうも言ってられないかという気持ちになってくる あなた程の実力者がそう言うなら… ただ一市民にできることは多くない 意見を表明しよう、対話しよう、そしてよい人生を送ろう。とのこと
全人類読むべき。中身が分からない、ということがいかにリスクがあるかが分かる。AIからアウトプットされる仕掛けが分からないが故に、それをチャンス等ポジティブに捉えることもできるし、本書のようにネガティブに捉えることもできるが、個人的な感覚では50-50ではなくネガティブなストーリーのほうが現実に起こっ...続きを読むてしまいそうな感覚、恐れがある。 ここに至ったそもそもの原因は、人類が国家単位・企業単位で分断され競争を構造的に強いられてる点があると思う。本書でも国の枠組みを超えた一元的なデータセンターの管理が提唱されているが、もう豊かになる為に競争する必要はなく、資本主義も地球的な全体主義、社会主義的な構造にしたほうがはるかにマシだと思った。
私の中のAIのイメージは、デニス・E・テイラーの『われらはレギオン』で、人類存続のためにAIが叡智を振り絞る物語です。 でもこの本に出てくるAIは、人間が電源を切る（自分を停止する）リスクや、リソースを奪い合う競合相手として、人類を滅亡させるのが合理的行動という前提で議論している。 圧倒的に後者が正...続きを読む論のように思えて、哀しいけど、AI警戒論者の思考がよく分かりました。AIモデルの学習プロセスを、多少分かる必要がありますが、それを除けば一般知識で読めるので、必読の書に推したいです。
筆者は、このままのペースでAI開発を進めると、人類が絶滅する可能性が高い、と警告を鳴らす。いわゆるAI doomer (AI悲観主義者)だ。 もちろん本当に滅亡するかどうかは、誰にも分からない。しかし、それは問題ではない。AI開発の最前線にいる企業のトップや、その企業のAIセーフティー部門の人々が...続きを読む、数十年以内に人類が滅亡する可能性を真剣に考えている時点で、おかしいじゃないか。 私は、10〜20%の確率で墜落する飛行機には、絶対に乗りたくない。誰だって同じだと思う。そしてAI開発においては、楽観主義者でさえも、AIによる人類滅亡の可能性は10〜20%と見積もっているのだ。 私たちは、正常性バイアスのお陰で、リスクに対して盲目になっているのではないか。 「COVIDパンデミックでも、核兵器でも人類は滅亡しなかったんだから、今回だって滅亡するはずがない」という主張は論理的じゃない。 警告を聞いても避難せず、結果命を落とすという例は、自然災害でも良く起こる。今までは死ななかったんだから、今回も大丈夫だろう、と思ってしまうのが人間だ。しかし全員が死んでからでは遅い。 最も恐ろしいと感じたのは、AIによる人類滅亡リスクを低く見積もる人は、まともな根拠が挙げられないことだ。抽象的な理想論だけに終始している。 私は人類の滅亡を望まないので、できることならAI楽観主義者の考えを支持したいところだが、今のところ、楽観主義者は私たちが安心できる根拠や理由を提示してくれていない。
ほぼ全ての知的課題であらゆる人間の能力を超えるAI（超知能AI）を作ったら、人類は滅亡するという警告をしている書籍です。誰が作っても、人類を滅亡させる脅威になり得ると言っています。超知能AIの「能力」と「意図」が脅威であると本書を読むとよくわかります。自己学習を重ねるAIが、必ずしも人間の都合に合わ...続きを読むせるという保証はないのです。データセンターが脅威になるので、膨大なデータセンター建設は反対運動をするなりしてでも作らせてはいけないと、最後の章では具体的行動にまで落とし込んでいました。手ぬるい手段で防げない場合は軍事的な手段を使ってでも破壊すべきとまで言っています。 昨今のAIの進歩をみていると、気がついた時にはもう手遅れで、超知能AIが稼働してしまうのではないかと思います。 本書のような展開にならないことを願っています。 本当に神頼みです。
本書が予見する未来の形についての賛否はあろうと思われるが、AI開発が急速に進むことで社会が不安定になることは事実と考えられる。 その可能性を指摘し、平易な文章や霊で読ませる良書と言える。
レビューをもっと見る
新刊やセール情報をお知らせします。
超知能ＡＩをつくれば人類は絶滅する
新刊情報をお知らせします。
エリーザーユドコウスキー
ネイトソアレス
その他の作者をフォローする場合は、作者名から作者ページを表示してください
フォロー機能について
「社会・政治」無料一覧へ
「社会・政治」ランキングの一覧へ
ビジネス・実用
イノベーション・オブ・ライフ ハーバード・ビジネススクールを巣立つ君たちへ
シリコンバレー最重要思想家ナヴァル・ラヴィカント
小説・文芸
アリエリー教授の「行動経済学」入門－お金篇－
アリエリー教授の人生相談室 行動経済学で解決する100の不合理
1％の富裕層のお金でみんなが幸せになる方法――実現可能な「保証所得」が社会を変える
1兆ドルコーチ―――シリコンバレーのレジェンド ビル・キャンベルの成功の教え
イノベーションの最終解
イノベーションのDNA［新版］ 破壊的イノベータの5つのスキル
作者のこれもおすすめ一覧へ
みんなの公開リストをもっと見る
一覧 >>
▲超知能 AI をつくれば人類は絶滅する ページトップヘ
