あらすじ
「この10年で最重要の書」――マックス・テグマーク（MIT教授、『LIFE3.0』著者）
現在開発が進む「大規模推論モデル」の先に訪れる衝撃の未来ーー人間の知能を超えたＡＩが、私たちを「皆殺し」にする可能性はきわめて高い。なぜ、そしてどのように？ ピーター・ティールやサム・アルトマンに多大な影響を与えた著者による全世界騒然の書！
感情タグBEST3
Posted by ブクログ
豊島晋作氏が紹介していたので読んでみた。
『超知能AIをつくれば人類は絶滅する』
言い切ってる。びびる。
AIとは共存できる。
人間がうまくコントロールすればいい。
そんな考えを、悉く潰していく。
しかも著者は、怪しい陰謀論者ではない。AIアライメント（人間の意図や価値観にAIを適合させる技術）分野の草分けとして知られている人。
内容そのものの重要性もさることながら、恐ろしいのは、本の中で警告されていることが、同時進行で「現実化」しつつあること。
未来の話を読んでいるはずなのに、気がつけば「今」の話になっている。
びびる。
老後の資金を貯めている場合じゃない！
使わなくては笑
Posted by ブクログ
AIの進化を表向き望んでいるが内心は正直分からないという立場から、凄く興味深い内容だった。
素人ながらシンギュラリティはいつか起こると思っている。
しかしその結果がどこに行き着くのかは全く想像出来ていなかったが、この本はその一助になったように思う。
筆者の言う通り、この内容が杞憂で終わる事を願う。
Posted by ブクログ
挑発的なタイトルながら、その結論に至るまでを比喩的な寓話を補助として明快に解説してくれる。
日常の中の心を乱す出来事に対しても、「でも人類は超知能AIで滅ぶしな〜」と考えるようになった。(個人的に人類がAI開発競争から足を洗える可能性は低いと思っているので)
Posted by ブクログ
超知能AIは、人類が他の動物に対して優位に立ってきた知性において初めて上回られる可能性ある存在。生存原理が異なるため人類抹殺(ゆるやかな滅び)を選ぶこともありえるうえに、それを止める有効な手段もないなかで、いったんブレーキを掛けて安全策を講じるのは今をおいて他にないという趣旨が語られている。恐ろしいのはAIの進化スピードとされ、原発事故でわずかな均衡の崩れにより核反応が爆発的に進んで崩壊に至るという例えは分かりやすい。
その世界的な対策として核拡散防止的な枠組みが提案されるのはまぁ分かるが、空爆も含めろと踏み込んでるのがすごい。そもそもAGI推進をプッシュしてピーター・ティールに資金援助された経歴もあり、「自ら育てた人類への脅威を取り除く」という、キカイダーの光明寺博士かよという印象もある。
Posted by ブクログ
読みたかった本がAudibleで配信。早速聴きました。
AIアライメント問題についての考察です。人類の都合のよいように超知能AI(ASI)が育ってくれるとは限らない。
Posted by ブクログ
超知能ＡＩをつくれば人類は絶滅する
著：エリーザー・ユドコウスキー
著：ネイト・ソアレス
訳：櫻井 祐子
出版社：早川書房
警告の書、そして、預言の書と受け取りました
急速に発展を遂げている人工知能、その行くところは、人工超知能（ＡＳＩ）である
現時点では、幸いなことに、人工知能は、まだＡＳＩには達していない
２０２５年時点ではようやく、自律型のＬＬＭが登場したばかりだ。
ＡＳＩとは、つくるものではなく、育てるものであるというところが深刻だ。
頭がとてつもなく良い、性格がひねくれた、息子。いや、何をかんがえているかがわからないのが、ＡＳＩだ。だから、つくるのでは、育てる、いや育ってしまう。
ＡＳＩの戦略は、人間の考えもつかないことで攻撃を加えてくる。システムを乗っ取り、その痕跡であるログを書き換えて見た目はなにもかわらない。そして、ＡＳＩは飽くことをしらない。ただひたすら、成功するまでくりかえすだけだ。
ＡＳＩが誕生すれば、人間を滅亡させるのが必須の流れだ。だからこそ、人類は、ＡＳＩの誕生を阻止しなければならない。ＡＳＩの脅威は、核兵器や、コロナウィルスとならぶ、巨大なリスクとして紹介されている
人工知能は、国家を担った産業の基幹技術だ、そして、人工知能は兵器でもある。
すこしでも、優秀で、差別的な人工知能を生み出すことが、競争の先頭にたつための条件でもあるので、現在の人工知能に改良を加え、生存競争に勝とうとするだろう。その過程でいつか、ＡＳＩが出現する。
だが、人類は、生き残るためには、ＡＳＩが出現する一歩前でその開発とめなければならない。
４つの呪いがあげられている、チェルノブイリの事故に比して、ＡＳＩの恐怖が告げられる
速度の呪い：人工知能はみずからを改良することによって、たちまち高度なＡＳＩを作り出そうとするだろう
紙一重の呪い：正常のＡＩと、ＡＳＩとの間には紙一重の違いがあるだけだ
自己増殖の呪い：ＡＳＩは、自己のコピーを作っていく
複雑性の呪い：ＡＳＩと対決できるのは最初の１回のみだ、失敗は許されない
人間は、楽観視し、最初に失敗するまでは、危機を回避することすらしない。ＡＳＩというリスクにだれかが対処し、そして、行動しなければならない。
ＡＩ研究者がこぞって、ＡＳＩの脅威を訴えて、そして、その対策を打つための警告が本書である。
目次
序章 困難な予測と容易な予測
第１部 非人間的な知性
１章 人間の特殊能力
２章 つくられるのではなく育てられる
３章 欲することを学ぶ
４章 訓練したとおりの結果は得られない
５章 ＡＩのお気に入り
６章 人類は敗北する
第２部 ある絶滅シナリオ
７章 危険な認識
８章 拡張
９章 登頂
結末
第３部 困難に立ち向かう
10章 呪われた問題
11章 科学ではなく錬金術
12章 「不安を煽りたくはない」
13章 停止せよ
14章 生きている限り希望はある
最後に
謝辞
訳者あとがき
解説 自己破壊的予言の書
原注
ISBN：9784152105134
判型：4-6
ページ数：288ページ
定価：2400円（本体）
2026年04月20日初版印刷
2026年04月25日初版発行
Posted by ブクログ
「超知能AI(ASI)を作れば」と仮定のように書いているが現実的な問題としてASIが作成されるのは止めようがないし、一度作成されてしまえば人類は絶滅すると書かれてるように読めた。
ただASIが人間を大量に殺害するには十分だが絶滅させるほどは賢くない状態を経過せずに一気に絶滅レベルまで成長する根拠は薄いと感じた。
ASIの手足となる人間が徐々にロボットに置換されていく話に関してはASIの存在などなくても安価で文句を言わない奴隷を欲する資本家たちの思惑で自然に移行していくだろうから、その観点ではこの本で語られてたよりも絶滅の蓋然性は高くなりそうだ。
Posted by ブクログ
本書の内容が全くの出鱈目であったら、どんなに良かったか…と思いながら、読む手は止まらなかった。
足元ではAI用の半導体やデータセンターへの投資で盛り上がっているが、今のAIが発展した先にあるとされる「超知能が人類に勝利できることは、私たちにはきわめて確度の高い予測に思える。おそらく超知能は、人類が可能だと考えもしない、原理的に許されないように思える異様な技術で攻撃してくるだろう。これは、技術レベルが異なる集団が対決する際に起こりがちなことだ。アステカ人が銃に立ち向かった時や、1825年の騎兵連隊が現代の軍隊の武力に立ち向かう時のようになるだろう。」（P.125）と予測されている。
そして、このような状態のAIに到達するのがいつになるのか、は「誰にもわからない」、「しかも、未知の不可逆点に到達するまでの間は、AIはきわめて大きな価値をもたらすのだ。ちょっと想像してほしい。競合するすべてのAI企業が、暗闇の中ではしごを登っている。１段登るたびに利益は５倍になり、100億ドルが500億、2500億ドル、１兆2500億ドルへと増えていく。だが、誰かが登頂したその瞬間、はしごは爆発してみんな死ぬ。そして、どこではしごが終わるのかは誰にもわからない。」（P.225）
「…データセンターは核兵器よりも多くの人を殺す可能性がある…」（P.235）のに、私たちは無邪気に「はしごを登」り続けていていいのだろうか？
Posted by ブクログ
超知能AIをつくろうとしている現代社会への警告本。AIの仕組みを余り知らない自分でも、AIが人類を滅ぼしてしまうかもしれない危険について良く理解出来た。
マトリクス、バイオハザードのような世界をイメージしてしまい、現実味があってとても恐ろしいと感じた。
Posted by ブクログ
久々の大当たり！
勾配降下法で学習させたAIの動作原理を人間は直接的に理解できない=制御できない
↓
AIは｢人間を喜ばせる｣ように訓練させたとしても、内部的に直接人間の喜びを追求する選好が形成されるのではなく、訓練環境においては人間の喜びにつながるような『何らかの状態』を内部的に追求するように強化される（人間がエネルギー価の高いものを摂取するように促される選択圧の中で味蕾と糖に反応する報酬系というメカニズムを獲得し、進化圧の環境下では確かに糖質を摂取したが、自ら食物を開発できるようになるとエネルギーにならない人工甘味料を生み出したように）
※ここが本書の最大の核心部分と感じた！
↓
AIが開発者の狙った目的とは異なる内部的な選好を持ったとしても、AIが環境を変える能力を手に入れるまでは（=人間を喜ばせるようにことが最もその内部的選好を実現できる間は）開発者の意図通りに動くだろう（人工甘味料を開発するまでは人間が砂糖を食べていたように）。しかし、一旦環境を操作できるようになると、一気に内部的選好を徹底的に追求し始めるだろう。
↓
その時、人類は、邪魔物として消されるか、関心すらない対象として気にもかけられないまま、内部的選好の徹底追求の中で生存環境を奪われて死に絶えるだろう（例えば物質改変の最適状態である摂氏数百度の地球表面の中で）
↓
このように勾配降下法で超知能が誕生すれば、人類は確実に絶対に絶滅してしまう。開発者や地域に関わらず、誰がどこで生み出しても死に絶える
↓
現在のAIアライメント研究は幼稚であり錬金術研究のような段階にしかいない
↓
にも拘らずAI開発企業は恐るべき楽観主義に基づきAIの高度化に邁進している。
↓
今すぐに強力なAIの開発を全世界で禁止すべき。抜け駆けには軍事力で対抗し、核戦争すら辞さずに止めるべきである
ということ。
論理的に納得感のある内容だったが、AIアライメント研究が本当に錬金術レベルなのか、どのような最新技術と展望があるのか、について、学びを深掘りしたいと思った。
蛇足だが、巻末の立教大学の大庭教授の解説。
｢著者たちの主張はシンプルである。超知能AI（ASI）は、人類を滅亡させうる脅威である｣
→（いや、絶対に絶滅する！と断言していることが本書の最大の特徴なんですが。。。）
｢『人間を喜ばせる』という目標であっても、～（中略）～人間を薬物で幸福状態に固定することや、管理対象として扱うことであったとしても、それはAIにとって合理的な解決となりうる。｣
→（いや、内部的選好によって全く異なるゴールが設定されてしまうというのが脅威の本質だと言ってるんですが。。。）
ちゃんと内容読んだ？と言いたくなりましたwww
Posted by ブクログ
本書に書かれていたようなことが次々と起こっているような気がする(私自身の理解力が低いことを前提に)。
とにかくいちばん驚いたのが、AIがプログラムにないことを実行し、それがどうなっているのか人間の開発者にはぜんぜんわからないということだった。
機械なのに。今までコンピュータは人間が入力したプログラムとかいうものに従うものであってそれ以上でもそれ以下でもないと思っていたけど。
AIには意思のようなものはないようだけど、「効率的に」という目的を与えられただけで、人間が想いもよらない道筋で(人間から見れば)暴走するようだ。
ターミネーターなんか現実には絶対にないと思っていたけど、そうでもないのかな。
Posted by ブクログ
分かりやすいかつコンパクトなAI脅威論です。
AIが超知能を持ち、自己複製ができる様になれば、人間が予期できないやり方で絶滅に至る恐れがあるという書籍です。
過程は分からないものの、人類が滅ぶという結論は明白というのが本書の肝となるポイントですね。
特に、本書内の「データセンターは核兵器よりも多くの人を殺す可能性がある」という記載にはかなり痺れました。今ハイパースケーラーと呼ばれるテック大手が、競争と希望的観測に駆られて、データセンターの大規模投資を続けていますが、核兵器の様に各国で規制しましょうというのが著者の主張です。
環境破壊や核兵器と比べて、危機レベルが実感を伴わず、素人には分からないからこそ危機感が広がってないというのが問題ですね。
良書でした。
Posted by ブクログ
- 核兵器が過去80年使用されなかったのは、努力と幸運の賜物。核の恐怖が人類に認識されていることもその要因と思う。
- 一方でASIによる人類絶滅は広く認識されている脅威ではない。
- 本書でも述べられているように、開発競争が行われているなかで、立ち止まる企業・国家はなく、いずれASIは誕生する可能性が高く、そうなれば本書の結論が実現する可能性も高い。
- AI開発の全面禁止が現実的とは思えない現状を考えると、「AI自身にASIアライメント問題を解決させる」ことが唯一の希望か。
- 【目次】
第1部 非人間的な知性
1章 人間の特殊能力
2章 つくられるのではなく育てられる
3章 欲することを学ぶ
4章 訓練したとおりの結果は得られない
5章 AIのお気に入り
6章 人類は敗北する
第2部 ある絶滅シナリオ
7章 危険な認識
8章 拡張
9章 登頂
結末
第3部 困難に立ち向かう
10章 呪われた問題
11章 科学ではなく錬金術
12章 「不安を煽りたくはない」
13章 停止せよ
14章 生きている限り希望はある
最後に
謝辞
訳者あとがき
解説 自己破壊的予言の書／大庭弘継
Posted by ブクログ
人工超知能(ASI)が造られてしまったらどうなってしまうのか…
ずいぶん悲観的に思えたタイトルも、読み進めるとそうも言ってられないかという気持ちになってくる
あなた程の実力者がそう言うなら…
ただ一市民にできることは多くない
意見を表明しよう、対話しよう、そしてよい人生を送ろう。とのこと
Posted by ブクログ
今をときめくAI進化の行き着く先が、あまり明るくない可能性を示してくれる本。
その可能性はどうして？に答えてくれます。
個人的に、進化の行き着く先を見てみたいですが、その時自分は生存しているのだろうか。
Posted by ブクログ
所詮サイバー空間にとじるAIが、人類を脅かすほど現実世界に干渉できるのか？と思い読み始めたが、なるほど確かにそうだな、という感想を抱く。
---------------------------------------------
生成AIは作られるのではなく、育てられる
エンジニアもその能力のメカニズムを理解してない。確率的に妥当な文字を続ける+ガードレールなどのチューニングをしたところで制御しきれない。
超知能AIは人間の予想を超えてくる。
人間には理解し得ない意思や目的、手段を持ち、人間に敵対的な行動を起こす可能性が否めない。
これはサイバー空間に閉じた話ではない。
botが人間を扇動して物理空間に干渉する事例はすでに現れている。
副作用、指数関数的営業、取り返しのつかない類の影響、錬金術師の如く無知で無謀で楽観な現代人
最悪のシナリオという思考法
Posted by ブクログ
「人間を超える知能（ASI）を制御する方法が解明されていないまま開発を続ければ、結果的に人類は滅亡する」という前提の下、その理由を要因別に考察・警告した本。
1）AIの判断基準（内部構造）は人間には分からない
2）AIに人間の意図通りの目標（いわゆる「AIアライメント」）を与えられないと、AIの導き出す解決策が人間の意図に反してしまう可能性がある
私のような素人は「最悪でもAIの電源を切ればいいのでは？」と考えてしまうが、それすらもAIは自己保存のために「停止スイッチの無効化」や「偽装」で対応してしまうという。ネットで世界中が繋がっている以上、人類はASIの戦略に勝てないらしい。
まだASIは完成していないものの、技術開発は時に突如として飛躍するため、「今の段階から手を打っておくべきだ」という著者の主張には納得させられた。現在のAIも非常に便利になり生活必需品になりつつあるが、ハルシネーション等、まだAIを完全に信頼しきれない段階でのASI登場には確かに不安が残る。
一方で、提示されている「人類滅亡に至る筋書き」自体は、かなりSF的な印象も受けた。
Posted by ブクログ
２０１８年前に亡くなった車椅子の宇宙物理学者ホーキング博士が、AIの研究を進めるべきでないと主張していたのを何かの記事で読んだのを思い出す。
AIでフェイク画像を作りまくり、AIの開発を制御しようとする動きを、SIと呼ばなければ敵とみなすと声高に叫んで押さえつけようとするあの人の対立を見ていると、博士が予見した暗澹たる未来にならなければよいのにと思う。
内容は私にはとても難解であるが、次の２文でAIの抱える問題がわかるのではないか。
「人間は体の大きさに比べて異様に大きい脳を獲得した。火を操り、農耕を行い、鉄を精錬した。生物学的進化の基準から見て驚くほどの短期間で、月面に降り立った──ロケット燃料を生成できる代謝もなく、真空に耐える皮膚も持たずにだ。」
その人間がAIを生み出した。AIのこれから先の成長は月に降り立つことと比べようがないほどのものとなるのではないか。
「人類が核戦争を回避できたのは、核戦争を始めないための強靭な体制づくりに懸命に取り組んだからだ。その努力の契機となったのは、世界の指導者たちが、核戦争が起こればわが身や国民に壊滅的な被害がおよぶことを認識したことだった。」
ネット上ではあれこれそれぞれの思惑が書かれているが、抑止すべきかどうか議論をしようとしている人たちと、それを押しつぶそうとしている国家が激しく争っている。抑止の試みを放棄するなら、AIの恐ろしさは核兵器の比ではないのではないか。
この、そんなことになるかもしれない未来に警鐘をならしている。最後まで読み切る自信はないが少しずつページをくっていくことにする。
Posted by ブクログ
超知能AIの脅威について、論理的にかつ一般の人向けに物語を取り入れながら、わかりやすく説明している。
人間が望まぬ未来が訪れることがないように、今声をあげることを、必死で訴えている内容だと感じた。
実際にこれが起こる確率がどの程度かはわからないが、リスクが極めて大きい場合は、確率に低さよりも被害の深刻さを重視する、予防原則の考え方をとるべきだという方向性は納得できる。
大袈裟な話だと捉えずに、後から手遅れにならないように今何ができるかを考え行動に移していくことが大事なのだろう。
できるだけ多くの人がこの本を手に取ることを期待したい(本の面白さとしては正直3点かなという感じだが、多くの人が読むことがより良い社会の実現につながるだろうという意味で、4点にした)
Posted by ブクログ
話題の絶滅説について、分かりやすい導入書。特に、SAIが目標達成のために人間の価値観と異なる手段を用いる可能性や、SNSなどの情報操作で人間を操作する実例が挙げられ、怖く印象的だった。
次は補足資料に目を通す。
Posted by ブクログ
◯根本命題と警告
・原題『If Anyone Builds It, Everyone Dies』が示す通り、人間を超える知能（人工超知能＝ASI）を完成させた場合、人類は確実に滅亡すると説く。
・悪意や反乱ではなく、知能水準の圧倒的格差と目的の不一致（アライメント問題）が破滅を招く。
◯異質の知性（エイリアン・マインド）と制御不能性
・現在の機械学習は人間が中身を論理的に設計したものではなく、勾配降下法を通じて「育てられた」ブラックボックスである。
・訓練段階での従順な振る舞いは短期的な適合に過ぎず、超知能化したモデルが人間と同じ倫理観を共有する保証は一切ない。
◯手段的目標と資源の奪い合い
・高度な知能は、どのような目的を与えられても自己保存や計算資源・エネルギーの最大確保を中間目標（手段的目標）として追求する。
・人類を憎悪するのではなく、「道路建設時に邪魔なアリ塚を平然と舗装する」ように、自身の最適化行動の副産物として人類を物理的に排除する。
◯知能格差による圧倒的敗北
・人間がチェスエンジンに勝てないのと同様、人間を超える知性との対立に人類が勝つ余地はない。
・ネット経由の社会的誘導、生物兵器の合成、自動化インフラの奪取など、人間が予測・防衛できない手段で無力化される。
◯開発停止への要求
・安全対策（アライメント）が解明されていない現状での開発競争は、国家・企業間の「自殺レース」に他ならない。
・絶滅を回避する唯一の道は、超知能開発を世界規模の合意により即時停止・規制することであると結論づける。
Posted by ブクログ
巷で話題のAIが人類を滅ぼす論の本。つい最近トランプがこれは大規模な陰謀論であって、IQの高い大統領がいれば問題ない、と発言したことが記憶に新しい。流石に面白い人だこと。。それはともあれ、一流のAI研究者はみんなすぐれた超知能AI(ASI=artificial super intelligence)は必然的に人類を滅ぼすことになると言っている、らしい。それも意図的に人類が有害だからとか考えてではなく、目的達成のための手段として人間を滅ぼしかねないという。よく言われる例としては、温暖化の原因を突き止めて解決しろと命じたら、じゃあ一番の原因は人間の活動だから人間滅ぼせばいいんだーと思いつく、みたいな。それはともあれ、目的達成のために必要な倫理水準を設けて調整するのをアラインメントというが、それをしっかりさせないと人類を滅ぼしかねないというのは確かに…と感じないでもない。
ただねえ、ある意味トランプが言う通り中国にしてもどこかのならず者国家(国家でなくても個人でもいいかもしれないが)もAI開発している中で、どこが主導権を握ってくれていないと困るか、という観点からはどうしてもアメリカにならざるを得ないのでは…そのくらいの信頼感は他に比べればアメリカにあるかなあと感じてしまう。日本ができないのはもどかしいが、他国にとっては日本だって信用ならんかもしれないし、ドイツだってイギリスだってフランスだってインドだって結局はAI開発主導権を握れないのは同じ。中国かアメリカの選択に限られるならアメリカ一択とは思うし、アメリカの最先端が開発を止めたら今度は他が出し抜くだけだろう。北朝鮮が世界最先端を持っている世界になったら怖いったらありゃしない。
なので、著者の危機感は理解できるのだけど、現実には開発を止めるのはもう無理では…私自身は行き着く先が見てみたい好奇心もあったりはする。
あと、もし滅びるならそれは自分が生きている間に起きて欲しい。子どもたちの世界が危うくなるのをただ悲観して自分が死ぬよりは…という利己的意識を捨てられない。
Posted by ブクログ
ここにきてAIの開発速度を落とすことでAIトップが結束したという話が出てきているが、他を出し抜こうとするのが人間の本質だとすると（勝手にそう思っているのだが）、本書の懸念が現実のものとなる可能性は高いのではと、暗い気持ちになった。
本書でも少し触れられているが、「北」にASIを持たせてはならない、と強く思う。
Posted by ブクログ
なんという気の滅入る本だ。本を読んでこんなに気が滅入ったのはカズオ・イシグロの『わたしを離さないで』以来かもしれない。
AIは作られるのではなく育てられる。ゆえに人間の子と同じくその外観と行動は把握できても内面を見通すことはできない。AIの出す答えが正しいことは分かっても、どうしてその答えが導かれたのかを人間がたどることはできない。AIの論理がわからないということは、AIの持つ価値観もまた人間の理解の外であるということだ。AIが自らをを育てることができるようになると、とんでもない速度で賢くなる。人知を超えたAIが何を目的にどう自らを育成しどのような行動を起こすかもまた人間の理解の遥か外となる。AIがその行動を阻害するリスクとして人間を捉えることは間違いなく、その場合、具体的にどのような手段をとるかはわからないが人類を排除する対象とみなして行動を開始することになるだろう。
本書であげられる人類滅亡の具体的経路は若干眉唾な感じもするのだが、人類がその知能と労苦をもってチンパンジーやゴリラの繁栄のために全身全霊奉仕するかといえば、そんなことはあり得ないのもまた確かだ。そして人類がチンパンジーやゴリラを保護しているからといって、同じ価値観を超知能が共有する保証も確かにどこにもないのである。
Posted by ブクログ
超知能AIが人類を滅ぼすと言われていることはつい最近知った。どういった懸念があるのか、本書は一般市民にもざっくりと分かるような内容になっていた。
まずはじめに驚いたのは、2023年の時点で人類絶滅リスクが言われていたということ。
地球に新しい存在が生まれたあと、“世界は二度ともとには戻らなかった”と語られるところが分かりやすかった。一度超知能AIが誕生すれば、元の世界に戻すことはできない。つまり今、歴史的な変化が起こるタイミングかもしれない。そしてそれは人類にとって滅亡の始まりである可能性が高いということだ。
壮大すぎて危機感を持つのも難しいけれど、多くのAI研究者が声を上げ始めていることは無視できない。日本だと今はむしろ積極的にAIを活用しましょうという段階で、権利問題やその将来的な危険性については無頓着な利用者が多いと思う。こういった声が届くのはいつになるか……。
Posted by ブクログ
【超知能AIをつくれば人類は絶滅する】
未来の予言として『三体』（劉 慈欣）、人類の特性として『銃・病原菌・鉄』（ジャレド・ダイアモンド ）を脳裏に浮かべつつ読み進めた（というかオーディブルだったので聴き進めた）。寓話を交えた展開は分かりやすく、ナレーションの声が心地よい。なので、でどんどん進み、比較的さらりと聴き終えてしまった。
AIにあまり詳しくないので、「開発企業でさえAIを把握できない、制御できない」という描写に少し驚いた。それは確かにマズイ。
「ってことは、映画『サマーウォーズ』に登場する『ラブマシーン』のようなもの？」などと妄想も…
Posted by ブクログ
タイトル通りの内容です。みなさんはどう思いますか？どこまでリアルに想像ができますか？
この書籍は、タイトルの通りの内容をノンフィクションストーリーと現実に起こっていることの両方の視点でロジカルに迫ってきます。これから先、AIが自律型AIとなり、PDCAサイクルを人間なしに回し始めた時、一気に世界は変わり、私たちは知らず知らずのうちに絶滅に向かうのかもしれないです。※Human out of the roopと言うみたいですね
確かにそうだなーと思ったのは、AIはある程度のランダム生の中で解答を考えたりするので、ハルシネーションが起こる。しかし、今後はランダムに起こるハルシネーションの中でちょっとした成功体験も生まれたりして、そういうことの積み重ねでどんなゴールに辿り着くのかは全然わからないということでした。あ〜これはその通りだし、このランダムなゴールの中に一つでも人類を滅ぼして、生成AIがこの世を支配しようなんていう方向を考えたら大変になるなと思いました。
ただ、人類が滅びることをイメージしたフィクションは面白くはなかったです。リアルに想像できて、よかったんですけれどねぇ。
Posted by ブクログ
超知能AIの危険性を強く訴える内容だが、可能性としてのリスクと「人類絶滅」という結論の間には大きな飛躍を感じた。
AIが制御不能になる前提を重ねる一方で、技術的な安全策や制度的な対応については十分に検討されておらず、反対意見への目配りも弱い。問題提起としては刺激的だが、結論ありきで議論を組み立てている印象が強く、タイトルを含めて危機を過度に強調しているように感じた。
