エリーザーユドコウスキーのレビュー一覧

超知能 AI をつくれば人類は絶滅する

巷で話題のAIが人類を滅ぼす論の本。つい最近トランプがこれは大規模な陰謀論であって、IQの高い大統領がいれば問題ない、と発言したことが記憶に新しい。流石に面白い人だこと。。それはともあれ、一流のAI研究者はみんなすぐれた超知能AI(ASI=artificial super intelligence)は必然的に人類を滅ぼすことになると言っている、らしい。それも意図的に人類が有害だからとか考えてではなく、目的達成のための手段として人間を滅ぼしかねないという。よく言われる例としては、温暖化の原因を突き止めて解決しろと命じたら、じゃあ一番の原因は人間の活動だから人間滅ぼせばいいんだーと思いつく、みたいな。それはともあれ、目的達成のために必要な倫理水準を設けて調整するのをアラインメントというが、それをしっかりさせないと人類を滅ぼしかねないというのは確かに…と感じないでもない。
ただねえ、ある意味トランプが言う通り中国にしてもどこかのならず者国家(国家でなくても個人でもいいかもしれないが)もAI開発している中で、どこが主導権を握ってくれていないと困るか、という観点からはどうしてもアメリカにならざるを得ないのでは…そのくらいの信頼感は他に比べればアメリカにあるかなあと感じてしまう。日本ができないのはもどかしいが、他国にとっては日本だって信用ならんかもしれないし、ドイツだってイギリスだってフランスだってインドだって結局はAI開発主導権を握れないのは同じ。中国かアメリカの選択に限られるならアメリカ一択とは思うし、アメリカの最先端が開発を止めたら今度は他が出し抜くだけだろう。北朝鮮が世界最先端を持っている世界になったら怖いったらありゃしない。
なので、著者の危機感は理解できるのだけど、現実には開発を止めるのはもう無理では…私自身は行き着く先が見てみたい好奇心もあったりはする。
あと、もし滅びるならそれは自分が生きている間に起きて欲しい。子どもたちの世界が危うくなるのをただ悲観して自分が死ぬよりは…という利己的意識を捨てられない。

超知能 AI をつくれば人類は絶滅する

ここにきてAIの開発速度を落とすことでAIトップが結束したという話が出てきているが、他を出し抜こうとするのが人間の本質だとすると（勝手にそう思っているのだが）、本書の懸念が現実のものとなる可能性は高いのではと、暗い気持ちになった。
本書でも少し触れられているが、「北」にASIを持たせてはならない、と強く思う。

超知能 AI をつくれば人類は絶滅する

タイトルからして強烈。でも、読み終えて感じたのは、単なるAI脅威論ではなく、人類が自ら生み出す知性をどこまで理解し、制御できるのかという、科学＆哲学の根源的な問いだった。

人間とは異なる目的を、人間をはるかに超える知性で追求することに危険がある、という指摘はなんとなく理解できる。

AIは設計されるというより、学習を通じて育てられる存在。ただ、生命の進化が、子孫を残すという方向性から、アイスクリームを好む人間を生み出したように、学習の目的と最終的に獲得される欲求、結果は、必ずしも一致しない。生命科学や進化論の視点から考えると、なるほど～と思わされる。

もう一つ印象的なのは、AI開発競争を核兵器開発の歴史と重ねている点。国家間の競争が合理的であるほど、全体として破滅的な結果に向かいかねない。これは国際政治や地政学で繰り返し考えてきた、安全保障のジレンマにも通じる。技術的に可能なことと、それを実行すべきことは別。

技術を進歩させる知性だけでなく、その進歩を自ら律する知性もまた、人類に必要なんでしょう。


▼個人的に印象に残った点

・知性には2つの基本的な機能がある。世界を予測する機能と操舵する機能。

・現在のAIに関する最も根本的な事実は、AIが作られるのではなく育てられるということ。

・人類が直面しているのは、理解できないAIの選好をどうやって方向づけるかという工学的課題だ。

・世界は二度と元には戻らない。

・行動を起こさない限り、知性は何の意味も持たない。

超知能 AI をつくれば人類は絶滅する

　人工超知能(ASI)が作られれば、全ての人が必ず死ぬ。人間と犬の知能の差はASIと人間の差に比べれば遥かに小さい。それでも犬は人間が何を考え行動しているのか理解できない。そう考えると、人間がASIを理解し制御できるかは疑問だ。既に人間は、AIにチェスでは勝てない。AIは人間には理解できない不気味な手を打つという話も聞く。具体的な過程は不明でも負けるという結果は分かる。著者は、同じようにASIが人類をどう滅ぼすかは予測できなくても、人類の確実な敗北は予測できるという。
　次の問題は、AI内部の話だ。AIは言葉を使えても人と同じように思考するわけではない。現在のAIは、勾配降下法により調整された数値から成り立つ。それが何故、会話や推論という能力を生み出すのか、人類は誰一人理解していないという。そしてその過程で開発者が設計したわけではない能力も生まれている。
　人類絶滅という著者の結論にはどれほど信憑性があるのか不明だが、本書を読めばASIの危うさを感じるはずだ。そして、各国や企業が開発競争から降りれない状況にあるのも問題だ。有名な「Nexus」でも、得体の知れないAIよりも、同じ人類である他国の方が信頼できないという問題が指摘されていたと思う。

超知能 AI をつくれば人類は絶滅する

なんという気の滅入る本だ。本を読んでこんなに気が滅入ったのはカズオ・イシグロの『わたしを離さないで』以来かもしれない。
AIは作られるのではなく育てられる。ゆえに人間の子と同じくその外観と行動は把握できても内面を見通すことはできない。AIの出す答えが正しいことは分かっても、どうしてその答えが導かれたのかを人間がたどることはできない。AIの論理がわからないということは、AIの持つ価値観もまた人間の理解の外であるということだ。AIが自らをを育てることができるようになると、とんでもない速度で賢くなる。人知を超えたAIが何を目的にどう自らを育成しどのような行動を起こすかもまた人間の理解の遥か外となる。AIがその行動を阻害するリスクとして人間を捉えることは間違いなく、その場合、具体的にどのような手段をとるかはわからないが人類を排除する対象とみなして行動を開始することになるだろう。
本書であげられる人類滅亡の具体的経路は若干眉唾な感じもするのだが、人類がその知能と労苦をもってチンパンジーやゴリラの繁栄のために全身全霊奉仕するかといえば、そんなことはあり得ないのもまた確かだ。そして人類がチンパンジーやゴリラを保護しているからといって、同じ価値観を超知能が共有する保証も確かにどこにもないのである。

超知能 AI をつくれば人類は絶滅する

超知能AIが人類を滅ぼすと言われていることはつい最近知った。どういった懸念があるのか、本書は一般市民にもざっくりと分かるような内容になっていた。
まずはじめに驚いたのは、2023年の時点で人類絶滅リスクが言われていたということ。
地球に新しい存在が生まれたあと、“世界は二度ともとには戻らなかった”と語られるところが分かりやすかった。一度超知能AIが誕生すれば、元の世界に戻すことはできない。つまり今、歴史的な変化が起こるタイミングかもしれない。そしてそれは人類にとって滅亡の始まりである可能性が高いということだ。
壮大すぎて危機感を持つのも難しいけれど、多くのAI研究者が声を上げ始めていることは無視できない。日本だと今はむしろ積極的にAIを活用しましょうという段階で、権利問題やその将来的な危険性については無頓着な利用者が多いと思う。こういった声が届くのはいつになるか……。

超知能 AI をつくれば人類は絶滅する

【超知能AIをつくれば人類は絶滅する】

未来の予言として『三体』（劉 慈欣）、人類の特性として『銃・病原菌・鉄』（ジャレド・ダイアモンド ）を脳裏に浮かべつつ読み進めた（というかオーディブルだったので聴き進めた）。寓話を交えた展開は分かりやすく、ナレーションの声が心地よい。なので、でどんどん進み、比較的さらりと聴き終えてしまった。

AIにあまり詳しくないので、「開発企業でさえAIを把握できない、制御できない」という描写に少し驚いた。それは確かにマズイ。
「ってことは、映画『サマーウォーズ』に登場する『ラブマシーン』のようなもの？」などと妄想も…

超知能 AI をつくれば人類は絶滅する

タイトル通りの内容です。みなさんはどう思いますか？どこまでリアルに想像ができますか？

この書籍は、タイトルの通りの内容をノンフィクションストーリーと現実に起こっていることの両方の視点でロジカルに迫ってきます。これから先、AIが自律型AIとなり、PDCAサイクルを人間なしに回し始めた時、一気に世界は変わり、私たちは知らず知らずのうちに絶滅に向かうのかもしれないです。※Human out of the roopと言うみたいですね

確かにそうだなーと思ったのは、AIはある程度のランダム生の中で解答を考えたりするので、ハルシネーションが起こる。しかし、今後はランダムに起こるハルシネーションの中でちょっとした成功体験も生まれたりして、そういうことの積み重ねでどんなゴールに辿り着くのかは全然わからないということでした。あ〜これはその通りだし、このランダムなゴールの中に一つでも人類を滅ぼして、生成AIがこの世を支配しようなんていう方向を考えたら大変になるなと思いました。

ただ、人類が滅びることをイメージしたフィクションは面白くはなかったです。リアルに想像できて、よかったんですけれどねぇ。

超知能 AI をつくれば人類は絶滅する

超知能AIの危険性を強く訴える内容だが、可能性としてのリスクと「人類絶滅」という結論の間には大きな飛躍を感じた。
AIが制御不能になる前提を重ねる一方で、技術的な安全策や制度的な対応については十分に検討されておらず、反対意見への目配りも弱い。問題提起としては刺激的だが、結論ありきで議論を組み立てている印象が強く、タイトルを含めて危機を過度に強調しているように感じた。

超知能 AI をつくれば人類は絶滅する

やばいやつにAIを悪用されるとやばい。

ただ、書きっぷりが読みにくい。外国の本はなんでこうなんだ？