櫻井祐子のレビュー一覧

超知能 AI をつくれば人類は絶滅する

久々の大当たり！

勾配降下法で学習させたAIの動作原理を人間は直接的に理解できない=制御できない
↓
AIは｢人間を喜ばせる｣ように訓練させたとしても、内部的に直接人間の喜びを追求する選好が形成されるのではなく、訓練環境においては人間の喜びにつながるような『何らかの状態』を内部的に追求するように強化される（人間がエネルギー価の高いものを摂取するように促される選択圧の中で味蕾と糖に反応する報酬系というメカニズムを獲得し、進化圧の環境下では確かに糖質を摂取したが、自ら食物を開発できるようになるとエネルギーにならない人工甘味料を生み出したように）
※ここが本書の最大の核心部分と感じた！
↓
AIが開発者の狙った目的とは異なる内部的な選好を持ったとしても、AIが環境を変える能力を手に入れるまでは（=人間を喜ばせるようにことが最もその内部的選好を実現できる間は）開発者の意図通りに動くだろう（人工甘味料を開発するまでは人間が砂糖を食べていたように）。しかし、一旦環境を操作できるようになると、一気に内部的選好を徹底的に追求し始めるだろう。
↓
その時、人類は、邪魔物として消されるか、関心すらない対象として気にもかけられないまま、内部的選好の徹底追求の中で生存環境を奪われて死に絶えるだろう（例えば物質改変の最適状態である摂氏数百度の地球表面の中で）
↓
このように勾配降下法で超知能が誕生すれば、人類は確実に絶対に絶滅してしまう。開発者や地域に関わらず、誰がどこで生み出しても死に絶える
↓
現在のAIアライメント研究は幼稚であり錬金術研究のような段階にしかいない
↓
にも拘らずAI開発企業は恐るべき楽観主義に基づきAIの高度化に邁進している。
↓
今すぐに強力なAIの開発を全世界で禁止すべき。抜け駆けには軍事力で対抗し、核戦争すら辞さずに止めるべきである

ということ。
論理的に納得感のある内容だったが、AIアライメント研究が本当に錬金術レベルなのか、どのような最新技術と展望があるのか、について、学びを深掘りしたいと思った。

蛇足だが、巻末の立教大学の大庭教授の解説。
｢著者たちの主張はシンプルである。超知能AI（ASI）は、人類を滅亡させうる脅威である｣
→（いや、絶対に絶滅する！と断言していることが本書の最大の特徴なんですが。。。）
｢『人間を喜ばせる』という目標であっても、～（中略）～人間を薬物で幸福状態に固定することや、管理対象として扱うことであったとしても、それはAIにとって合理的な解決となりうる。｣
→（いや、内部的選好によって全く異なるゴールが設定されてしまうというのが脅威の本質だと言ってるんですが。。。）
ちゃんと内容読んだ？と言いたくなりましたwww

超知能 AI をつくれば人類は絶滅する

本書に書かれていたようなことが次々と起こっているような気がする(私自身の理解力が低いことを前提に)。

とにかくいちばん驚いたのが、AIがプログラムにないことを実行し、それがどうなっているのか人間の開発者にはぜんぜんわからないということだった。

機械なのに。今までコンピュータは人間が入力したプログラムとかいうものに従うものであってそれ以上でもそれ以下でもないと思っていたけど。

AIには意思のようなものはないようだけど、「効率的に」という目的を与えられただけで、人間が想いもよらない道筋で(人間から見れば)暴走するようだ。

ターミネーターなんか現実には絶対にないと思っていたけど、そうでもないのかな。

超知能 AI をつくれば人類は絶滅する

分かりやすいかつコンパクトなAI脅威論です。
AIが超知能を持ち、自己複製ができる様になれば、人間が予期できないやり方で絶滅に至る恐れがあるという書籍です。
過程は分からないものの、人類が滅ぶという結論は明白というのが本書の肝となるポイントですね。
特に、本書内の「データセンターは核兵器よりも多くの人を殺す可能性がある」という記載にはかなり痺れました。今ハイパースケーラーと呼ばれるテック大手が、競争と希望的観測に駆られて、データセンターの大規模投資を続けていますが、核兵器の様に各国で規制しましょうというのが著者の主張です。
環境破壊や核兵器と比べて、危機レベルが実感を伴わず、素人には分からないからこそ危機感が広がってないというのが問題ですね。
良書でした。

超知能 AI をつくれば人類は絶滅する

- 核兵器が過去80年使用されなかったのは、努力と幸運の賜物。核の恐怖が人類に認識されていることもその要因と思う。
- 一方でASIによる人類絶滅は広く認識されている脅威ではない。
- 本書でも述べられているように、開発競争が行われているなかで、立ち止まる企業・国家はなく、いずれASIは誕生する可能性が高く、そうなれば本書の結論が実現する可能性も高い。
- AI開発の全面禁止が現実的とは思えない現状を考えると、「AI自身にASIアライメント問題を解決させる」ことが唯一の希望か。
- 【目次】
第1部　非人間的な知性
1章　人間の特殊能力
2章　つくられるのではなく育てられる
3章　欲することを学ぶ
4章　訓練したとおりの結果は得られない
5章　AIのお気に入り
6章　人類は敗北する

第2部　ある絶滅シナリオ
7章　危険な認識
8章　拡張
9章　登頂
結末

第3部　困難に立ち向かう
10章　呪われた問題
11章　科学ではなく錬金術
12章　「不安を煽りたくはない」
13章　停止せよ
14章　生きている限り希望はある
最後に

謝辞
訳者あとがき
解説　自己破壊的予言の書／大庭弘継

超知能 AI をつくれば人類は絶滅する

人工超知能(ASI)が造られてしまったらどうなってしまうのか…
ずいぶん悲観的に思えたタイトルも、読み進めるとそうも言ってられないかという気持ちになってくる
あなた程の実力者がそう言うなら…

ただ一市民にできることは多くない
意見を表明しよう、対話しよう、そしてよい人生を送ろう。とのこと

BIG THINGS どデカいことを成し遂げたヤツらはなにをしたのか？

約2万件のプロジェクトを調査。そのうち予算と工期と便益を達成したのは0.5%。その原因を探る。組織や集団が誰得な結論を出してしまうのは何故かと常々考えていたが、かなり核心に触れる内容。BP必読。櫻井祐子氏の翻訳大変読みやすい。翻訳者で本を読みたくなるレベル。

超知能 AI をつくれば人類は絶滅する

全人類読むべき。中身が分からない、ということがいかにリスクがあるかが分かる。AIからアウトプットされる仕掛けが分からないが故に、それをチャンス等ポジティブに捉えることもできるし、本書のようにネガティブに捉えることもできるが、個人的な感覚では50-50ではなくネガティブなストーリーのほうが現実に起こってしまいそうな感覚、恐れがある。
ここに至ったそもそもの原因は、人類が国家単位・企業単位で分断され競争を構造的に強いられてる点があると思う。本書でも国の枠組みを超えた一元的なデータセンターの管理が提唱されているが、もう豊かになる為に競争する必要はなく、資本主義も地球的な全体主義、社会主義的な構造にしたほうがはるかにマシだと思った。

シリコンバレー最重要思想家ナヴァル・ラヴィカント

久しぶりの良書に出会った。
彼の考え方をまとめた本であり、ツイート引用しながら解説している。
読んで、彼の考え方が面白いかつ視野の広さに感銘を受けて，久しぶり線や折り目つけてしまった。
彼の言葉もメモしていました。
印象に残ったフレーズ
「私達は短期思考や見せかけの仕事で時間を無駄にする」

「こうあってほしいという願望が、真実への理解を曇らせる。苦しみは現実を否定できなくなった瞬間にやってくる。」

この本はまた、時間おいて再読したいです。

#読書
#読書記録
#読書ノート
#読書が好きな人と繋がりたい

超知能 AI をつくれば人類は絶滅する

私の中のAIのイメージは、デニス・E・テイラーの『われらはレギオン』で、人類存続のためにAIが叡智を振り絞る物語です。
でもこの本に出てくるAIは、人間が電源を切る（自分を停止する）リスクや、リソースを奪い合う競合相手として、人類を滅亡させるのが合理的行動という前提で議論している。
圧倒的に後者が正論のように思えて、哀しいけど、AI警戒論者の思考がよく分かりました。AIモデルの学習プロセスを、多少分かる必要がありますが、それを除けば一般知識で読めるので、必読の書に推したいです。

超知能 AI をつくれば人類は絶滅する

筆者は、このままのペースでAI開発を進めると、人類が絶滅する可能性が高い、と警告を鳴らす。いわゆるAI doomer (AI悲観主義者)だ。

もちろん本当に滅亡するかどうかは、誰にも分からない。しかし、それは問題ではない。AI開発の最前線にいる企業のトップや、その企業のAIセーフティー部門の人々が、数十年以内に人類が滅亡する可能性を真剣に考えている時点で、おかしいじゃないか。

私は、10〜20%の確率で墜落する飛行機には、絶対に乗りたくない。誰だって同じだと思う。そしてAI開発においては、楽観主義者でさえも、AIによる人類滅亡の可能性は10〜20%と見積もっているのだ。

私たちは、正常性バイアスのお陰で、リスクに対して盲目になっているのではないか。

「COVIDパンデミックでも、核兵器でも人類は滅亡しなかったんだから、今回だって滅亡するはずがない」という主張は論理的じゃない。

警告を聞いても避難せず、結果命を落とすという例は、自然災害でも良く起こる。今までは死ななかったんだから、今回も大丈夫だろう、と思ってしまうのが人間だ。しかし全員が死んでからでは遅い。

最も恐ろしいと感じたのは、AIによる人類滅亡リスクを低く見積もる人は、まともな根拠が挙げられないことだ。抽象的な理想論だけに終始している。

私は人類の滅亡を望まないので、できることならAI楽観主義者の考えを支持したいところだが、今のところ、楽観主義者は私たちが安心できる根拠や理由を提示してくれていない。

とっぱらう 自分の時間を取り戻す「完璧な習慣」

インタースティシャル・ジャーナリングについて勉強したくて、読んでみた。
ちょっと違っていたけど、時間の使い方、仕事への取り組み方について、ほんの最近取り入れた擬似マルチタスク方式（自分でそう読んでいるだけで、本とかに紹介されている方法ではない。単に、複数の仕事を30分から60分程度で、交代にとりくん行くだけのこと）が間違っているわけではないことを確かめることができた。
その上で、ハイライトを決めることが、達成感を味わうためには一つのポイントであることもわかった。
ハイライトを決めるというのは、本当に苦手だ。あれも、これもやらなきゃと思ってしまうからな。

選択の科学 コロンビア大学ビジネススクール特別講義

数年に一度読み返している本。自己決定は幸福の鍵だと言うけれど、結婚相手など重大な選択を放棄している人の方が幸せだったり、顧客に選択肢が多い方が満足度が低下したり、我が子の延命治療の可否を選ばされることで心の傷が深まったり、世界中のケースから話は単純ではないことを思い知らされる。
これを読み返したからといって自分がより正しい選択を選べるようになるかというと疑問だが笑、「時に選択を放棄することを選択することの有用さ」をリマインドさせてもらえるのは良いなと思う。

BIG THINGS どデカいことを成し遂げたヤツらはなにをしたのか？

オリンピックなどのイベント、ランドマーク建設、高速鉄道プロジェクト等のコストと工期の見積が当初よりも大幅に超過する問題を解決する方法

ひとつは、経験。
もう一つは「プロスペクト理論」ではなく「参照クラス」だ。
→参照クラスとは過去の似た事例を参照すること。参照クラスという日本語の響きのダサさが良い。

イノベーションのDNA［新版］ 破壊的イノベータの5つのスキル

「両利きの経営」からの「イノベーションのDNA」。著名な起業家（マスクやザッカーバーグ、ベゾス、ジョブスクラス）数十名に対するインタビューや調査の結果、凡人と何が異なるのかを明らかにしたもの。それは５つの主要な発見力であると結論づけている。その５つとは、「物事を関連づける力」「質問力」「観察力」「人脈力」「実験力」であり、本書ではそれぞれについて事例を用いて詳しく解説してくれている。また、これらの力を発揮しやすくする組織とは何か（発揮できない組織は）についてもまとめてくれている。特に納得したのは、５つの力を発動させるきっかけは行動を変化させることであること。なんでも良いので、ルーティンをできるだけ排除し、常に刺激を受け続けること。これは実践していきたい。

イノベーションの最終解

新市場型イノベーションと無消費者志向のイノベーションという類型、バリューチェーンの差別化ポイントが遷移し統合すべきところを見極める必要があるという考え方。
すごく勉強になりました。

シリコンバレー最重要思想家ナヴァル・ラヴィカント

シリコンバレーにおけるアイコン的起業家・投資家である（らしい）ナヴァル・ラヴィカント氏の発言・思想を第三者（エリック・ジョーゲンソン氏）が編纂した書籍。主なテーマとしては「富の築き方」と「幸福の実現方法」だが、それらの中にも教訓やアドバイスが散りばめられている。

勉強になるし、読んでいて心が落ち着くような良い文章だと感じた。一方で、「目から鱗」というような至って斬新・新鮮というようなアイディアにあふれているかというと、そうでもないように感じた。
例えば「富の築き方」で言及されている「レバレッジを効かせる」「スケールすることをやる（誰かが決めた時給で働かない）」というような内容はロバート・キヨサキ氏の時代（あるいはそれ以前）からずっと知られていることでもある。

それでも、こういった先人の知恵が一つの書籍としてまとめられているのは素直に凄いと感じた。ナヴァル氏自身が多読家であり、かつ読んだ内容を消化して自分の思想としているからこそなせる業なのだろう。

また、誰にでもわかるような平易な文章で構成されていてる。もともと X などで耳目を集めたコンテンツを編纂したという生い立ちでもあるが、このハードルの低さもベストセラーの所以かもしれない。

とっぱらう 自分の時間を取り戻す「完璧な習慣」

めっちゃ読みやすい！
海外ドラマの吹き替えを観てる感覚。
間にジョークを入れてきたり、アメリカ人を感じる部分があったり（ピーナッツバターをフルーツやナッツと同等のおやつとみなしているところとか…）、とにかく最後まで楽しく読むことができた。

特にインパクトがあったのは、どれだけ生活の仕方が変わっても私たちの心身は古代人と同じである、ということ。
ただ運動しろ、ファストフードは良くない、みたいに言われるよりも納得感があった。

これは本のテーマから外れた気づきだが、著者はネーミングを工夫することで楽しく生きている感じがしてよかった。
サラダのことを「セントラルパーク盛り」と呼ぶし、瞑想がしっくりこなかったら「ひと休み」「一時停止」と言い換えてもいいと提案してくれている。
例えば苦手なことをハッピーな言葉に言い換えれば抵抗感が少なくなるのかもしれないと思った。

THINK BIGGER 「最高の発想」を生む方法：コロンビア大学ビジネススクール特別講義

アイデアを作る本
課題の捉え方や進め方は新規事業の立ち上げなど、様々なビジネスシーンで役に立ちそう
解決する意味があるほどに大きく、解決できるほどに小さい
アイデアは、範囲外を含む既存の戦略の組合せ

数字の翻訳―――スタンフォード経営大学院教授の「感情が動く数字」の作り方

学生がプレゼンで発表する時に、ただ表の数値を読み上げるだけではなく、話としてわかりやすくするために考えておいていいものである。どの程度まとめるか、については正確さを求められるよりはだいたいに丸めておいたほうが記憶に残るし、この本の方法で試してみることがいい。

英国一家、フランスを食べる

食いしん坊、フレンチを制する。これは食べるのが好きというだけの著者がコルドンブルーで色々ありつつ大きな成果を残して、料理とデートしてそして別れるまでの日々。フレンチの食材の扱いなんかも面白かった。