エリーザーユドコウスキーのレビュー一覧
-
Posted by ブクログ
久々の大当たり！
勾配降下法で学習させたAIの動作原理を人間は直接的に理解できない=制御できない
↓
AIは｢人間を喜ばせる｣ように訓練させたとしても、内部的に直接人間の喜びを追求する選好が形成されるのではなく、訓練環境においては人間の喜びにつながるような『何らかの状態』を内部的に追求するように強化される（人間がエネルギー価の高いものを摂取するように促される選択圧の中で味蕾と糖に反応する報酬系というメカニズムを獲得し、進化圧の環境下では確かに糖質を摂取したが、自ら食物を開発できるようになるとエネルギーにならない人工甘味料を生み出したように）
※ここが本書の最大の核心部分と感じた！
↓
AIが -
Posted by ブクログ
本書に書かれていたようなことが次々と起こっているような気がする(私自身の理解力が低いことを前提に)。
とにかくいちばん驚いたのが、AIがプログラムにないことを実行し、それがどうなっているのか人間の開発者にはぜんぜんわからないということだった。
機械なのに。今までコンピュータは人間が入力したプログラムとかいうものに従うものであってそれ以上でもそれ以下でもないと思っていたけど。
AIには意思のようなものはないようだけど、「効率的に」という目的を与えられただけで、人間が想いもよらない道筋で(人間から見れば)暴走するようだ。
ターミネーターなんか現実には絶対にないと思っていたけど、そうでもない -
Posted by ブクログ
分かりやすいかつコンパクトなAI脅威論です。
AIが超知能を持ち、自己複製ができる様になれば、人間が予期できないやり方で絶滅に至る恐れがあるという書籍です。
過程は分からないものの、人類が滅ぶという結論は明白というのが本書の肝となるポイントですね。
特に、本書内の「データセンターは核兵器よりも多くの人を殺す可能性がある」という記載にはかなり痺れました。今ハイパースケーラーと呼ばれるテック大手が、競争と希望的観測に駆られて、データセンターの大規模投資を続けていますが、核兵器の様に各国で規制しましょうというのが著者の主張です。
環境破壊や核兵器と比べて、危機レベルが実感を伴わず、素人には分からない -
Posted by ブクログ
- 核兵器が過去80年使用されなかったのは、努力と幸運の賜物。核の恐怖が人類に認識されていることもその要因と思う。
- 一方でASIによる人類絶滅は広く認識されている脅威ではない。
- 本書でも述べられているように、開発競争が行われているなかで、立ち止まる企業・国家はなく、いずれASIは誕生する可能性が高く、そうなれば本書の結論が実現する可能性も高い。
- AI開発の全面禁止が現実的とは思えない現状を考えると、「AI自身にASIアライメント問題を解決させる」ことが唯一の希望か。
- 【目次】
第1部 非人間的な知性
1章 人間の特殊能力
2章 つくられるのではなく育てられる
3章 -
-
Posted by ブクログ
全人類読むべき。中身が分からない、ということがいかにリスクがあるかが分かる。AIからアウトプットされる仕掛けが分からないが故に、それをチャンス等ポジティブに捉えることもできるし、本書のようにネガティブに捉えることもできるが、個人的な感覚では50-50ではなくネガティブなストーリーのほうが現実に起こってしまいそうな感覚、恐れがある。
ここに至ったそもそもの原因は、人類が国家単位・企業単位で分断され競争を構造的に強いられてる点があると思う。本書でも国の枠組みを超えた一元的なデータセンターの管理が提唱されているが、もう豊かになる為に競争する必要はなく、資本主義も地球的な全体主義、社会主義的な構造にし -
-
Posted by ブクログ
筆者は、このままのペースでAI開発を進めると、人類が絶滅する可能性が高い、と警告を鳴らす。いわゆるAI doomer (AI悲観主義者)だ。
もちろん本当に滅亡するかどうかは、誰にも分からない。しかし、それは問題ではない。AI開発の最前線にいる企業のトップや、その企業のAIセーフティー部門の人々が、数十年以内に人類が滅亡する可能性を真剣に考えている時点で、おかしいじゃないか。
私は、10〜20%の確率で墜落する飛行機には、絶対に乗りたくない。誰だって同じだと思う。そしてAI開発においては、楽観主義者でさえも、AIによる人類滅亡の可能性は10〜20%と見積もっているのだ。
私たちは、正常性 -
Posted by ブクログ
ほぼ全ての知的課題であらゆる人間の能力を超えるAI（超知能AI）を作ったら、人類は滅亡するという警告をしている書籍です。誰が作っても、人類を滅亡させる脅威になり得ると言っています。超知能AIの「能力」と「意図」が脅威であると本書を読むとよくわかります。自己学習を重ねるAIが、必ずしも人間の都合に合わせるという保証はないのです。データセンターが脅威になるので、膨大なデータセンター建設は反対運動をするなりしてでも作らせてはいけないと、最後の章では具体的行動にまで落とし込んでいました。手ぬるい手段で防げない場合は軍事的な手段を使ってでも破壊すべきとまで言っています。
昨今のAIの進歩をみていると、気 -
Posted by ブクログ
ネタバレ超知能AI
2026年6月現在でも、AIをAIが作るということはかなり進んでいるらしい。少なくともすべてのプログラムを人間が行うと言う事はもうなくなっていて、人間が行うのは行動の補正であったり、あるいは方向性の設定だったりする。
現在はそれでもまだ人間が必要なわけだが、本書にも書かれている通り、いずれは人間の手助けなしで、プログラミングやより難しい内容を作ることができるようになるだろう。AIがAIを構築するといったタイミングをシンギュラリティーと呼んでいるが、少なくともある程度現実に送り得る可能性が高まってきたと言うのは間違いがない。SFに出てくるような何でも答えられるようなAIを作るのはか -
-
-
Posted by ブクログ
AI開発は日進月歩で進んでいる。少し前に最新のAIモデルとして登場したものが、明日には追い抜かれるなんてことが当たり前となっている。
そして今後、早ければ数年、遅くとも数十年のうちにシンギュラリティ（技術的特異点）を迎えると言われている。
人類の知能を遥かに超えるASI（超知能AI）が開発されることで、あらゆる分野においてパラダイムシフトが起きる。そう言われている。
だが超知能AIが開発されることは人類にとって恩恵ばかりとも限らない。むしろ人類の絶滅の可能性が高まる、と警鐘を鳴らすのが本書である。
では、なぜ超知能AIが開発されたら人類が絶滅するのか。
それは実は本書を読んでも（明確な答えと -
-
-
Posted by ブクログ
本書では、人間の能力を超えるＡSＩが誕生すると人類を破滅に追い込むという未来が予想されています。
現在のＡＩは、作るのではなく、育てる（学習させる）ようになっており、ＡＩがある行動をしたときに、その原因が誰にもわからないという点が問題だと提起されていました。
また、人間の能力を超えるＡＩが出来ると後戻り出来ない、つまり失敗が許されない状況になることも問題です。
誰かが作れば、それで終わりなのです。
また研究者も、差し迫った脅威がない段階で、研究をやめることはなく、競争して研究している状況で、研究を中止するという判断はとても困難です。
本書はSFのようにも読めますし、科学が進歩するとき