エリーザーユドコウスキーのレビュー一覧
-
Posted by ブクログ
AI開発は日進月歩で進んでいる。少し前に最新のAIモデルとして登場したものが、明日には追い抜かれるなんてことが当たり前となっている。
そして今後、早ければ数年、遅くとも数十年のうちにシンギュラリティ（技術的特異点）を迎えると言われている。
人類の知能を遥かに超えるASI（超知能AI）が開発されることで、あらゆる分野においてパラダイムシフトが起きる。そう言われている。
だが超知能AIが開発されることは人類にとって恩恵ばかりとも限らない。むしろ人類の絶滅の可能性が高まる、と警鐘を鳴らすのが本書である。
では、なぜ超知能AIが開発されたら人類が絶滅するのか。
それは実は本書を読んでも（明確な答えとしては）わからない。
AIの開発は日に日に進んで入るものの、その中身は人間にとってブラックボックス化している。仕組みやプログラムの土台は人間が作ったものの、その中で行われるルール（数式）はAIが自身で作ったものである。
人間の言語や組んだプログラムでは効率が悪いため、AIは独自の言語を使う。そのため、ブラックボックスの中で人間の意図とはズレた振る舞いを起こしたり、それどころか人間に気が付かれないように何かしらの計画を立てることさえ可能とされている。
先日、サイバーセキュリティ面において革新的な能力を持つと発表されたアンソロピック社のClaude Mythosは開発の段階で嘘をついたり、人を騙そうとするような振る舞いがあったこともわかっている。
このような事態を起こさないために、AIアライメントと呼ばれる、人間とAIの意図の不一致を起こさないための調整が重要とされている。
しかし、AIアライメントのような安全対策に時間やコストを割くのを重要だと企業はわかっていながらも、開発競争で覇権を握るためにもAIアライメントが疎かになるというビジネス上のジレンマが発生しているのも事実である。
このような状況で、もしも超知能AIが開発された場合、人間と超知能AIとの間で意図のズレが生じてしまい、結果として絶滅の危機が高まるのだと言う。
第二部では、一つのシナリオとして絶滅までのプロセスが語られる。
正直、SF小説か映画のような突飛な話に思える。
だが超知能AIが医療や物流、金融、政治などあらゆるネットワークにくっついたとき、このようなシナリオも有り得るのかもしれない。
人類は超知能AIの仕業だとも気が付かず、ジワジワと絶滅に追い込まれていく。
第三部では、そのような絶滅シナリオを迎えないためにどうするべきかが展開する。
先ほど記したようなAIアライメントの徹底もその一つだ。
だが現在の激しいAI開発競争のなかで各企業の良心に頼るのもなかなか難しいのも事実である。
かつての原子爆弾の開発競争と同じように、現在どの国が超知能AIを開発出来るかが次の世界の覇権争いとされているからだ。
仮にアメリカの全AI企業が開発にストップをかけたとしても、その状況をチャンスと捉えた中国がAI開発のスピードを上げるかもしれない。米中がストップをかけたとしても他の国では？
だからこそ、全ての国でAIアライメントの調整をしないといけない、と著者は語る。
そのために多くの人々に超知能AIの危機感を持ってもらいたい、というのが本書の投げかけである。
核開発はかつて、人類におけるプロメテウスの火と言われていた。
現在、新たなプロメテウスの火とされているのが超知能AIである。
核に関しては、完成させたとしても使う、使わないの選択は人類に用意されていた。しかし、超知能AIは、一度開発されてしまったら最後、後から人間側が制御や調整するのは極めて難しいのだと言う。何なら無理なんだとか。
AIは驚くべきスピードで進化している。だが、もしかしたらAIの進化が上がれば上がるほど人類滅亡の危機は高まっているのかもしれない。
面白くもあるが、すぐそこに迫った未来の到来に怖くもなった。 -
-
-
-
-
Posted by ブクログ
本書では、人間の能力を超えるＡSＩが誕生すると人類を破滅に追い込むという未来が予想されています。
現在のＡＩは、作るのではなく、育てる（学習させる）ようになっており、ＡＩがある行動をしたときに、その原因が誰にもわからないという点が問題だと提起されていました。
また、人間の能力を超えるＡＩが出来ると後戻り出来ない、つまり失敗が許されない状況になることも問題です。
誰かが作れば、それで終わりなのです。
また研究者も、差し迫った脅威がない段階で、研究をやめることはなく、競争して研究している状況で、研究を中止するという判断はとても困難です。
本書はSFのようにも読めますし、科学が進歩するときには、このような心配は付き物ですが、色々と考えることも必要だと感じました。
本書は、少しカルト的な感じもあり、また解決策としての提案についても、問題が多いと感じましたが、科学進歩を考える機会になりましたー！
いまクロードミュトスの問題も取り上げられており、タイムリーな問題ですね…