THE COMING WAVE AIを封じ込めよ

ムスタファ・スレイマン / マイケル・バスカー / 上杉隼人

■AlphaGoを開発したDeepMindの共同創業者でMicrosoft AIのCEOが警告
■AI、合成生物学、量子コンピュータ、新世代の技術が招く未曾有の大惨事

AI、ロボット工学、合成生物学、核融合、量子コンピュータ、DNAプリンター、自律型致死兵器、人工ウイルス……。
超進化する新世代テクノロジーが組み合わさることで、開発者すら想定していない未曾有の大混乱と大惨事がもたらされる。

人類は分水嶺を越えようとしている。だがまだ何も準備ができていない。このまま強力なテクノロジーの「封じ込め」に失敗すれば、現在の国家は崩壊し、世界秩序は大混乱に陥る。

私たちは一部の超巨大AI企業と金持ちに牛耳られた激しい格差社会で不安定な生活を強いられるのか。
あるいは権威主義体制のディストピア的監視社会で暮らすのか。

AlphaGoを開発したDeepMindの共同創業者で、Microsoft AIのCEOを務める著者が著した警告の書。


【本書に寄せられた賛辞】
「興味深く重要な本」――ユヴァル・ノア・ハラリ
「必読書」――ダニエル・カーネマン
「未曾有の時代を乗り切るための優れたガイドブック」――ビル・ゲイツ
「政府が取るべき緊急行動とその課題を提唱している」――グレアム・アリソン
「AIと合成生物学の到来により、今後10年間は人類史上最高のものか、あるいは最悪のものになる。スレイマンほど今後の壮大な課題を認識し、説明できる人はいない」――エリック・ブリニョルフソン

• カテゴリ: ビジネス・実用
• ジャンル: IT・コンピュータ / 情報通信
• 出版社: 日経BP
• 掲載誌・レーベル: 日本経済新聞出版
• ページ数: 480ページ
• 電子版発売日: 2024年09月27日
• コンテンツ形式: EPUB
• サイズ(目安): 3MB

[ブクログ · ★★★★★]

人間の理解、能力を超える超知性が野放しとなった場合にどの様な事態を引き起こす可能性があるかは容易に想像出来るが、どうすれば良いかと言われると答えに窮してしまう、というのが読む前の正直な私の限界でした。本書は、新技術のメリットを享受しながらもワーストシナリオへ向かうことを回避するための指南書として大変優れていると感じました。IT業界以外の取り組みや過去の実例は非常に有益な情報提供となっています。地球に棲む「私たち」として多くの気づきがある良書と感じました。

[ブクログ · ★★★★★]

技術の拡散は止められない、ゴールのない隘路を落ちないよう歩き続ける努力をすることが人類の繁栄につながる。というメッセージは技術者には刺さる。世界がどう変わっていくのか、ヒトとは、生命とは、国家は、ということを考えてしまう。

[ブクログ · ★★★★★]

人生の晩年期、脳の経年劣化に空しく抗う毎日、
突然、「種の存続・人類の存否」にかかわる衝撃的な話に遭遇した。この本はテクノロジー(AI)の進化が人間の脳を超える現実と人類の発展か破滅かの未来を予見して生成AI暴走の「封じ込め(Containment)」を訴える警醒の書である。


著者のムスタファ・スレイマンは共同創業したDeep Mind社(英)をGooglに売却し同社でAI開発を担い、現在はMicrosoft AIのCEOを務める合成生物学の専門家である。豊富な経験にもとずいてAI進化の潮流と人にとっての本質的な意味を探り、よくあるシンギュラリティの話をさらに深く論究する。
ビル・ゲイツ、ユバル・ノア・ハラリ他多くの著名人が必読の書とする意味がよくわかる。

2016年DM社のAlpha GOが韓国のチャンピオンを破りAI新時代の到来を告げた。アルゴリズムが自ら新しいことを学習するさま、AIエージェントが自ら新しい知識を発見できることを実証した画期的ブレイクスルーであった。これは岸辺に寄せる穏やかな波の第一報であり、ChatGPTと大規模言語モデルの出現は私たちに現実の波がぶつかり始めた第一報であった。

1996年インターネット(IN)利用者は3600万人で今50億人超、このツール(AI)も同じ道を辿るがスピードははるかに速く数年内にINと同じくいつでもどこでも使え、INよりはるかに重要な結果をもたらす。スケーリング仮説(データー量・パラメーター量・計算量を拡大すれば性能が上がるのでとにかく拡大すればいい)はしばらく続く。
それに比べて、人間の知性そのものはどんなに規模が大きく多面的でもほぼ不変であり、人類の脳は年々劇的に変化することはないので「いずれ」その差は埋まり超えられる。

テクノロジー技術が加速度を増して進化する時、それを利用するために開発した人間の能力を超えて、その人間をもコントロールしたり害したり支配するようになる危険性がある。当初まだまだ先のこととタカを括っていたが、足下の技術の進化スピードを見ると2027年とか30年のことになりつつある。何が何でもそれを「封じ込める」(Containment : 監視・制限・制御し必要に応じて永遠に利用させない能力)ことが必要であるとスレイマンは警告する。

筆者の論理展開は極めて合理的で説得力がある。
各論の内容はキャリアがなす現実感覚で正確なデータを駆使してわかりやすく組み立られている。
テクノロジーやイノベーションの大波への深い洞察が素人の読者に理解させ、納得させ快感すらもたらす。

これを読んでいる時、2024年度のノーベル賞の発表があった。物理学賞に人工知能の基盤となるニューラルネットワークを考案したジョン・ホップフィールド(プリンストン大名誉教授)とさらにディープラーニングを発展させたシェフリー・ヒントン(トロント大名誉教授)であり、衝撃を与えた。ノーベル物理学賞の対象分野は宇宙・物性・素粒子・量子光学などの分野に持ち回りで与えられるのが常で、人工知能などの情報系はおよそ対象外であった。
翌日のノーベル化学賞ではタンパク質の構造を予測するAIモデル「AlphaFold2」の開発でDeepMind社共同創業者のデミス・ハサビス(GoogleのVP)が受賞した。三人ともAIの研究者であった。
物理学賞の二人が自らの研究分野に対する深刻な懸念を相次いで表明した。ポップフィールドは受賞の会見で「物理学者として私は非常に不安を覚えているのは、制御できないもの、その技術を駆使する際に限界がどこにあるのかよくわからないものだ。まさにそれこそがAIが突きつけている問題だ」と指摘した。
ChatGPTの基礎技術となる深層学習の生みの親であり「AIの父」と呼ばれるヒントンも同様の懸念を示した。「さまざまな悪影響が制御不能に陥るという脅威も心配しなくてはならない。人間より賢いシステムが生まれ(私たちを)支配するのではないか」と。
ヒントンは人間以上のAIが誕生する可能性がありいずれ人間の存在を脅かす(人間を支配しようとする)可能性もあるという考えを常に表明している。
汎用性を獲得した基盤モデル登場後のAIに対するものだ。限定された基盤モデルはタスクが限定されていたのでAIが陰謀を考えるなど荒唐無稽の話だった。
しかし目的を限定しない学習基盤モデルが登場したことでこうした懸念を絵空事と片付けられなくなっている。ヒントンは将来的にAIに意識や感覚が宿る可能性があると考えているようだ。
「私は50年もの間AIを人間の脳に近づけようとして開発に携わってきた。脳のほうが機能的に優れていると信じていたからだ。だが2023年に考えを改めた。現在の対話型AIは人間の脳の100分の1の規模でも数千倍の知識がある。おそらく大規模言語モデルはAIよりも効率的に学習できる。主観的な経験という観点から説明するとAIは人間と同じような感覚を持てると考えている。」

1/27-28にかけて中国のDeep seek社がChatGPTよりも大幅にコストが安いオープンAIを開発したとして、Nasdaq市場やNvideaの株価が20パーセント(76兆円減)近く暴落した。

今、世界は生成AIの帰趨と人類の未来を凝視している。

[ブクログ · ★★★★★]

DeepMind創業者によるAI時代の未来予想図。AIと合成生物学が世の中を大きく変えるビッグウェーブとなり、我々はそこに巻き込まれて行くのです。おすすめ

[ブクログ · ★★★★☆]

AI、合成生物学がこれからの世界の社会構造を根本的に変革してしまうポテンシャルを秘めている。その上で世界をそれらの技術の波に飲み込まれてしまうのか、それとも上手く乗りこなしより善い世界へと導かれてゆくのか。これらを分けるのはテクノロジーを適切に封じ込めるかにかかっている。

[ブクログ · ★★★☆☆]

AIとバイオが掛け合わされたときのリスクについて考えさせられる。
封じ込めは無理なのでは…と最初からずっと思いながら読んで、そのまま終わった。うむ。。絶望感w

[ブクログ · ★★★☆☆]

AIや合成生物学を始めとするテクノロジーの効用とリスク(著者は『波』に例える)、その対処療法を概念的に説明。全体的に、浅く広くといった印象で、分かった様で実は分かってない様な、読後感はそこまで良くなかった。

[ブクログ · ★★★☆☆]

AI、合成生物学などの新しい技術が将来人間に与える影響について、警告としてまとめた本。特にAIは単独技術だけでなく他の技術との組み合わせて広い領域に影響を与える事は間違いなく、本当に普及するのが良いのか考えさせられてしまう。映画マトリックスのようなコンピュータが人間を支配(単なるエネルギー源)になってしまわない事を切に願う。

[ブクログ · ★★★☆☆]

AIに対しては両極端な意見に分かれるが本書はAI（と合成生物学）規制論。
個人的にはもう、始まってしまったものはしようがない（規制しようがない）と思うのだけど。

汎用的で価格が急激に低下している技術で、人間の手を借りなくても自律的に改良を繰り返すことができるものは規制すべき。オープンソースで誰でも使えるようにすべきではない（核爆弾を誰もが持つようになるといずれ核戦争が起きる）。

AIと合成生物学はその影響が甚大になりかねないにも関わらずコストは非常に低い。個人レベルにまでいかなくとも破綻した国家や狂信的な団体などの手にわたることで人類存亡の危機になりかねない。できるだけ技術の進展を遅らせ、使用や流通を検閲する体制をつくるべき。