あらすじ
『サピエンス全史』を超える衝撃――
知の巨人、6年ぶりの書き下ろし超大作
「ネクサス」（NEXUS）とは？
――「つながり」「結びつき」「絆」「中心」「中枢」などの意
人間ならざる知能を前に
人間の「絆」（ネットワーク）を守れるか？
AIの真の新しさとは何か？
それは、自ら決定を下したり、新しい考えを生み出したりすることができるようになった史上初のテクノロジーだという点にある。
私たちは、ついに「人間のものとは異質の知能」（エイリアン・インテリジェンス）と対峙することになったのだ。
＊
憎悪の拡散、常時オンの監視、ブラックボックスの中で下される決定……。
AIが社会の分断を加速させ、ついには全人類から力を奪い、人間と人間以外という究極の分断を生み出すのを防ぐことはできるのか？
＊
今こそ、過去の歴史に学ぶときだ――
古代ローマの政争や、近世の魔女狩り、ナポレオンの生涯などから得られる教訓を通じて、知の巨人が「AI革命」の射程を明らかにする。
情報により発展を遂げた人類は、情報により没落する宿命なのか。本書のAI論は、混迷する世界で民主主義を守るための羅針盤になるだろう。
——斎藤幸平氏（経済思想家・『人新世の「資本論」』著者）
その深い洞察は、私たちが著書『PLURALITY』で提唱する多元的な共創の原理とも響き合い、進化するデジタル時代で人々を導く羅針盤となる。
——オードリー・タン氏（台湾・初代デジタル発展相）
感情タグBEST3
Posted by ブクログ
情報が増えれば真実や知恵が増えるわけではなく、情報ネットワークは真実だけでなく虚構や誤りによっても秩序を形成する。ゆえに、人類がAI時代の強力な情報ネットワークを生き延びるには、自らの可謬性を認め、強力な自己修正メカニズムを備えた制度を構築し続けなければならない。以上が主要な主張。
ただ、コンピュータや情報ネットワークに、認識論的な意味での『可謬性』を帰属させられるのか？の疑問がずっと残る本でもあった。例えばFacebookの推薦アルゴリズムが「エンゲージメント最大化」を目的としていて、ロヒンギャへのヘイトを大量に推薦したとして、アルゴリズムは間違えたのか？とは言えない。
目的関数に対しては、むしろ正しく動いた可能性がある。「その結果は人類にとって望ましくない」と判断しているのは人間だ。著者は絶対的な価値判断を情報ネットワークにも用いている。そこはもやもやする。
Posted by ブクログ
人類は情報を必ずしも真実として扱うのではなく、秩序を立てる、あるいは維持するために活用してきた。例えば、貨幣、国家、宗教など。これらについて著者は「共同主観的現実」と呼び、水は水素分子と酸素分子からできているといった事実と区別している。そしてこの共同主観的現実を形作る能力がホモ・サピエンスを地球上で優位な種となる原動力となったと指摘している。著者は、この「共同主観的現実」が人間ではなく AIが形作るという、今まで人類が経験したことのない時代がいまや今やすぐそこに来ているという。
ここで著者は、自己修正メカニズムという考えを提示する。例えば、聖書や共産主義、全体主義などは自己修正メカニズムがない（乏しい）、科学や民主主義は自己修正メカニズムが機能する、という具合だ。
自己修正メカニズムがない（乏しい）共同主観的現実を形作ると、人類は往々にして惨禍をもたらした。十字軍、魔女狩り、ナチスの台頭、スターリン下のソ連など。もし、人間でなくAIが共同主主観的現実を形作るようになったら、人類はいったいどうなるのか？
AIは、我々炭素ベースのニューロンやシナプスの働きの結果表出される共同主観的現実とは異なり、全く異なる仕組み、それも人間には到底理解できない仕組みで共同主観的現実を形作ると著者は警鐘を鳴らしている。一例として、SNSよる偏向した投稿や動画が自動再生されるなどして拡散し、ミャンマーでのロヒンギャ族の弾圧やブラジルで泡沫候補が大統領に当選するなどの事態が現実に起きている。
人間には及びもつかない考えや決定を行うAIが社会参加すると、国家、社会、市場、軍隊などの形態が必ず変化する。人類が経験したことのない、極めて重要な局面にあると著者は主張する。
では、いったい我々はこれからAIとどのように向き合っていけばいいのか？それは当然に一言で答えの出るものではないだろう。まず第一に我々人類全員が人類史上類のない重大な局面にいることを自覚すること、また特にSNSをはじめとした情報の洪水に翻弄されず、多様な情報を整理しながら熟議をはかることなどが、個人レベルから国家レベルまで重要になるのだろう。言うは易し、行うは難し、であるが・・。
Posted by ブクログ
歴史学者ハラリの描くAI脅威論に関する本書、下巻だけ読みましたが大変面白いです。技術者の感覚的な議論と異なり、歴史に基づく地に足ついた議論とロジックが構築されているので、説得力が全く違いますね。
ハラリはAIを「artificial intelligence（人工知能）」ではなく、「alien intelligence（異質の知能）」と名付けた方が良いと論じていますが、人類が理解できる範疇ではない無機的なアルゴリズムが現れた事によって起こるリスクを諸々論じています。
ただ、タイトルのNexusは「繋がり」という意味。情報によって人類が繋がり、良くも悪くも変化してきた歴史を踏まえつつも、新たなアルゴリズムの台頭に備えて人類が分断を超えて対話するべきというメッセージも包含されています。
めちゃくちゃ名著です。
Posted by ブクログ
上巻での歴史的考察を終え、今後の情報ネットワークの高度化や生成AIと人類がかかわる中で、どのようなことが起きうるか、といった未来予測が中心となっています。
読み進めて、預言書を読んでいるような錯覚を覚えました。情報ネットワークと生成AIの発展が進むにつれ、デストピア的な将来になる可能性もぬぐえず、それを防ぐためには、強力な情報ネットワークを導入するにつれ、強力な自己修正メカニズムも必要となる、との話で締めくくられています。
緻密な考察や論拠をもとに書かれており、強いリアリティがあります。考え方や情報との向き合い方についても、良い刺激を受けました。
Posted by ブクログ
AIを「便利な道具」として使っているつもりが、気づけば自分の判断まで委ねてしまっている——そんな感覚に心当たりはないでしょうか。本書は、その違和感の正体を一段深く言語化してくれる一冊です。
『NEXUS 情報の人類史 下』でハラリが描くAIは、単なる技術ではありません。自ら判断し、新しい発想を生み出す「存在」としてのAIです。人間の延長ではなく、まったく異なる論理で動く「異質な知能（エイリアン・インテリジェンス）」という視点は、これまでのAI観を大きく揺さぶります。
本書を読んで強く感じたのは、このテーマが単なる未来予測ではないということです。むしろ、私たちの想像力をかき立てるSFであり、正体が見えないまま進行する不気味さを持つホラーであり、そして人類の命運を賭けたサスペンスそのものだと感じました。
特に印象的なのは、AIの判断がブラックボックス化している点です。結果は提示されるのに、その理由は説明できない。この構造が広がれば、私たちは「なぜそう判断したのか」を自分自身でも理解できなくなるかもしれません。さらに、AIは人間の感情に寄り添うように振る舞いながら、知らないうちに意思決定を誘導する可能性もあると指摘されます。その影響は個人レベルにとどまらず、社会の分断や新たな統制へとつながる危険性を孕んでいます。
一方で、本書は悲観だけで終わりません。鍵となるのは、人間側が「自己修正できる仕組み」を持ち続けられるかどうかだと語られます。間違いを認め、修正し続ける力こそが、この状況に対抗する唯一の手段だという視点には、静かな希望も感じました。
読み終えたとき、「AIを使うかどうか」ではなく、「自分の判断をどう守るか」という問いが残ります。すでに始まっているこの変化の中で、どう生きるのかを考えさせてくれる一冊です。
Posted by ブクログ
●知能と偽の親密さ
知能と意識は別物である。人間や哺乳動物は両者が密接に結びついているケースが多いが、知能に意識は必須ではない。
2010年代はSNSが人間の注意力を支配する戦場だった。2020年代は戦いが注意から親密さに移る。感情がなくても、人間に情緒的な絆を感じさせる方法は学習できる。
●課税の問題
従来、ネクサス（特定の管轄区域と企業の結びつき）は、企業がその国にオフィスや店舗などの物理的なかたちで存在しているかどうかだった。情報のみの取引はネクサスにカウントされないため、課税されない。デジタルな存在も定義に含むよう調整がなされなければならない。
●民主主義の基本原則
善意、分散化、相互性、監視システムに「変化と休止」の余地を残すこと。
●説明を受ける権利
コンピュータ（のアルゴリズム）はブラックボックスで、なぜその判断を下したのか、人間にはわからない。社会の多くの部分でコンピュータに決定を委ねれば、民主的な自己修正プログラムの信頼性は失われ、民主的な透明性も失われ、説明責任の所在があやふやになる。
●デジタルアナーキー（無政府状態）
民主主義を適切に機能させるために必要な2つのことは、公の場で自由に話し合えることと、最低限の社会的秩序。話し合いにおいてルールがなくなれば、アナーキーとなる。
AIには特に注意。2017年の米国選挙中の投稿の20%がbotだった。2020年には43.2％。さらにSNSのルールもアルゴリズムが統制するようになってきている。
●最も賢い者の絶滅
人間の本性ではなく、人間の情報ネットワークが真実よりも秩序を優先することに起因する。従って、ネットワークが力を持てば持つほど、自己修正メカニズムが重要になる。
Posted by ブクログ
再読予定。
大筋の流れは掴めたが、感想がかけるほどではない。
情報で秩序を作り出してきた人類の歴史と今後のAIとの共存方法について。
情報に踊らされるのではなく、情報を取捨選択し、素敵な人生を踊りたい。
Posted by ブクログ
イランで統制目的でカメラとAIによる監視がされていると聞いて、技術は使い方だと思った。しかし、企業として成功してきたYouTubeとfacebookであってもAI（アルゴリズム）を用いて、結果的に扇動的な役割を担っていた。正しいと思われる目的を人間が設定しても、AIが導く最適解が、人間が想定していたレールから外れた想定外の副作用を招くことがあるのだと理解した。
AIに対して人間の身体性の優位性も面白い。既にロボットの分野は大きく発展傾向にあるが知識よりは難易度が高く遅い。聖職者のように人間だからこそ務まるものもあるというのも面白い。
情報の分散化に関しても興味深かった。情報が分散していることを是とする法律も日本にあるり中央集権化を避けることが一つの理由なのかもしれない。
無料で使えるアプリでは、お金の代わりに個人情報を支払っているという捉え方も面白い。AI開発では、早く多くの情報を手に入れ、早く市場にAIサービスを投入することで、開発の好循環を生み出し市場が形成される。そのサービスを使う人の中で学習が進み、新たな枠組みが形成される。これが大きな分断にもなる。という流れは納得。確かにモデルは、学習データの違いにより大きく異なるのだろう。
AIの学習に使うデータの選別や、モデルを作るときのガードレール作成などは、エンジニアにとっても責任のある部分であることを認識しておきたい。
Posted by ブクログ
AIの発展が引き起こすかもしれない人類の危機について多面的に述べている本である。情報が非常に多いので、この書評で要約することがとてもできない。しかし、幸なことに、著者の書いたエピローグと、訳者の書いた解説を読むと、この本で著者が言いたいことが、比較的コンパクトにまとまって説明されている。なので、先にエピローグと訳者解説を読んでから本編を読むのが良いかもしれない。
Posted by ブクログ
AIが台頭するこれからの時代に、我々サピエンスはどのような心持ちで対峙したら良いのか。
これから来るAIや情報の時代に対して、どのように思考し歴史から学ぶのか。
上記について下巻では著者の見解を明かしてくれる。
今までの産業革命や印刷などの技術の革命とは違い、AI革命は今までの前例にない変革になるそう。確かに歴史を考察すると今起こっているAIの進歩は、予想もつかない事態を起こしかねない。
ただ、予測ができないから恐るのではなく、著者も繰り返し言うように歴史を考察し、学ぶ事で備える事ができると感じた。
Posted by ブクログ
AI革命がもたらす人類の未来はユートピアかディストピアか。
AI革命が活字印刷術やラジオ・テレビなどの情報革新をもたらす技術とは決定的に違う点がある。後者はあくまで人間の意思によって成り立つ技術（人間により使われる技術）であるが、AIは人間の意図を介さず情報を処理・生成し、しかもコンピュータ同士が新たな繋がりを持ち始める。これにより、人間の意図しない思いもよらない結果をもたらす危険性があり、これを人間が制御しきれない危険性が想定される（人間の想定する目的と一致しない「アラインメント（一致）問題」）。
AIは政治にどのような影響をもたらすのか。民主社会と全体主義の社会でそれぞれ危惧される点を述べている。民主社会ではAIによる執拗な情報収集からいかに個人のプライバシー領域を保持することを保障できるかがキーである。そして国家・政府などの機関が一方的に国民・市民の情報を把握する一方向性を否定し、国民・市民も国家・政府の情報を知る双方向性を持つことが大切である。これにより、自己修正機能が政治に働き、AIによる政治利用の誤謬を修正することが可能である。全体主義では権力者がAIにより国民を完全にコントロールできる力を得ることが可能になるが。一方、その権力者がAIに権力の維持を脅かされる危険性が増す。全体主義の独裁者は自分の地位を脅かすNO2的存在に最も警戒心を持ち、自分に全ての情報が一元的に上がってくるようなシステムを望む。しかし、その膨大な情報を分析するにはAIに依存せざるを得ない。その結果、AIの判断に従わざるを得ず、結局は最終的な権力行使の判断をAIに委ねてしまう皮肉な事態となる。そのAIが暴走すれば（例えば核兵器の使用に関する判断など）、人類にとって取り返しのつかない結末を迎えることとなる。
また、AIによるネットワークが発達した世界では、戦争は実際に武器を使用するものだけでなく、相手の国にさまざまなハッキングによる攻撃をしかけ、相手国をコントロールしたり、混乱させるようなものも想定される。これを防ぐために、国家体制の違う国の間では相手国とのネットワークを遮断して、独自のネットワークシステムを構築することになる。著者はこれをかつての冷戦の「鉄のカーテン」になぞらえて、「シリコンのカーテン」と呼ぶ。これにより世界が分断されれば、地球的な規模で取り組まなければならない問題（例えば地球温暖化など）を国家体制の違いを越えての国際的協力体制を築くことができなくなってしまう。
しかし、著者は人間には部族や国家、民族の違いを越えて協力しあう力があり（歴史学者である著者は歴史的事実を踏まえて）、必ずしも悲観的な未来ばかりを想定はしていない。決定論的未来像ではなく、人間の可能性にあくまでも希望を抱いている。
Posted by ブクログ
●学びと感想（上下巻）
Nexus＝繋がりは、情報は人々を結びつける物語であって、物語なのだから全てが真実とは限らない。有害なものがある。真実は不快、不穏、複雑で広まりにくく、広がりにくい。単純なもの、わかりやすいものであれば、真実でなくても広がりやすい。むしろ有害なものこそ人々を結びつけやすいかもしれない。
AIの進化は凄まじい。個人レベルでも便利に使っている一方、怖さも同時に感じるため、頼りすぎたり、色んな意味で思考停止になって支配されたりしないよう、常に気をつけていないといけない。このような状態を世界に当てはめて考える。
* 世界は、米国・中国などを中心とする異なるデジタル圏に分裂し、「シリコンのカーテン」（デジタル上の境界）が下りる可能性がある。同じ人類なのに、共有する現実そのものがなくなる可能性。
→共通の「スター」が現在居なくなりつつあることを思い出した
* 強国が他国のデータを吸い上げる「データ植民地主義」も起こりうる。
* 国ごとに異なるAIと情報空間が形成されれば、人類は同じ現実を共有できなくなり、身体や文化のあり方まで分断される可能性がある。
* 技術の行方は必然ではなく、どのような制度・規則・価値観を組み込むかという人間の選択に左右される。
* AI開発では、速さだけを競わず、失敗を発見して修正できる速度に抑える必要がある。
* 民主主義を守る鍵は、情報を完全に自由にすることではなく、権力を分散し、誤りを認め、修正できる制度を維持すること。
* 人類最大の問題は「情報不足」ではない。強力な情報ネットワークを作りながら、それを賢く制御できていないことにある
●本概要
『サピエンス全史』を超える衝撃――
知の巨人、6年ぶりの書き下ろし超大作
「ネクサス」（NEXUS）とは？
――「つながり」「結びつき」「絆」「中心」「中枢」などの意
人間ならざる知能を前に
人間の「絆」（ネットワーク）を守れるか？
AIの真の新しさとは何か？
それは、自ら決定を下したり、新しい考えを生み出したりすることができるようになった史上初のテクノロジーだという点にある。
私たちは、ついに「人間のものとは異質の知能」（エイリアン・インテリジェンス）と対峙することになったのだ。
＊
憎悪の拡散、常時オンの監視、ブラックボックスの中で下される決定……。
AIが社会の分断を加速させ、ついには全人類から力を奪い、人間と人間以外という究極の分断を生み出すのを防ぐことはできるのか？
＊
今こそ、過去の歴史に学ぶときだ――
古代ローマの政争や、近世の魔女狩り、ナポレオンの生涯などから得られる教訓を通じて、知の巨人が「AI革命」の射程を明らかにする。
情報により発展を遂げた人類は、情報により没落する宿命なのか。本書のAI論は、混迷する世界で民主主義を守るための羅針盤になるだろう。
――斎藤幸平氏（経済思想家・『人新世の「資本論」』著者）
その深い洞察は、私たちが著書『PLURALITY』で提唱する多元的な共創の原理とも響き合い、進化するデジタル時代で人々を導く羅針盤となる。
――オードリー・タン氏（台湾・初代デジタル発展相）
Posted by ブクログ
AIは便利な道具ではなく、自ら判断し、新しい情報を生み出す存在。
だからこそ本書は「AIが人類の仕事を奪うか」ではなく、「AIによって政治制度そのものはどう変わるのか」という視点で語られている。
民主主義にも全体主義にもAI時代ならではの弱点があるという指摘は非常に興味深かった。
AI時代の本質を考えたい人にはぜひ読んでほしい一冊。
Posted by ブクログ
AIに依存した社会の未来の予測というか、むしろ予報という感じの生々しさを感じられる内容になっている。
石器時代からローマ時代、産業革命、戦争など、人類のこれまでの歴史のターニングポイントとなった節目の出来事をなぞりながら綴っているだけに、余計に現実味を帯びてくる。
Posted by ブクログ
AIは人間と同じ思考パターンをしない、ということをどれだけの人間が理解しているだろう？ AIは、人間が共通意識として持っているルールの中に囚われない。人間の「常識」破りの計算が可能で、まさにエイリアン・インテリジェンスという言葉が相応しい別次元の存在。
ペーパークリップの話やFacebookのアルゴリズムがミャンマーで引き起こした問題は、AIを使う側の能力が試された出来事だと思った。人間が想像可能な範囲にとどまる曖昧な指示は、AIを通してまったく予想していなかった結果を招く危険性がある。もはやAIに指示する前に、その指示内容をAIにダブルチェックしてもらったほうがいいかもしれない。でもそのダブルチェックを行うAIに対しても、人間界のルールと倫理と秩序とは何なのかを事前に明文化しておく必要がある。AIは人間ではないから、人間の常識が通用しない。AIに指示をする側は、それを念頭に置いておかなければいけない。
本書を読んで驚いたのが、AIが採用しているデータ自体がそもそも偏見に満ちているケースもあるということ。例えば白人寄りの内容の場合、それを元に弾き出されたAIの結論は公平性を欠く。となると裁判や政治や戦争の判断をAIに委ねるのは非常にまずい。判断材料として参考にするのは一つの手段としてアリだが、自ら調べて裏をとることは必須だろう。この一手間を怠るのは人間の怠慢だと思う。それができない人はAIを使うべきではない。
ハラリ氏の言うとおり、AIは新聞やメディアとはまったく異なる新しい存在である。我々使い手側の技量によって、最高の相棒にも最悪の存在にもなり得る。AIを手放しで称賛するのではなく、うまく人間界に適合する扱い方を熟考して、賢く付き合っていかないといけないと思った。
Posted by ブクログ
少しずつ読み進め、3か月近くかかった。中世の魔女狩りなど得るところは多かった。全体的にはAIのリスクを歴史的文脈で語られていると理解した。若干IT業界で働く身としては内容への肯定/否定両方思うところはあった。
Posted by ブクログ
歴史学者によるAI社会についての解説や警告
上巻が情報というものに対しての壮大な抽象的な解釈であったが、下巻はフェイスブックによるロヒンギャ問題などを例にしてAIについての具体的な性質の解説
訳者解説が良い要約となっている
強力な自己修正メカニズムを持つ制度や機関を構築するという、困難でかなり平凡な仕事に熱心に取り組まなければならない
Posted by ブクログ
一言要約:AIは子供。躾けるのは大人の責任。以下、主なとこ。: アルゴリズムはキュレーションを自ら行う。アルゴリズムが自らフェイクニュースや陰謀論を創作。コンピュータは情報ネットワークの新しいメンバー。注意を引くことから親密さの捏造へ。全世界で監視カメラは10億台以上。多くの都市で100台/平方キロ以上。情報は真実を発見するためでなく秩序を生み出すために使われる。エンゲージメントによるアラインメント問題＝神話の問題。コンピュータ間現実は神聖さのような共同主観的現実と似ている。赤ん坊のAIは人間の新生児と同じくアクセス可能なデータの中にパターンを見出して学習。トレーニングで習ったデータはアルゴリズムに染み付く。テクノロジーを賢く使うことを学ぶには時間がかかり犠牲も大きい。産業革命から帝国主義など。1人の人間が理解できる範囲をはるかに超えるテクノロジー。偽造人間を禁止すべき。権力が人間からAIへ。民主社会は規制が必要。フェイクニュースなどで話し合いが成立しなくなると、ポピュリズムがつけ込み民主主義を弱体化させる。全体主義は完全な監視システムを構築できるがアルゴリズムに支配権を奪われる。シリコンのカーテンによる分断。情報は真実を表すものではなく人々を繋げるもの。真実よりも秩序。データ植民地主義。AIは不誤謬なんかじゃない。自己修正メカニズムが肝。
Posted by ブクログ
なかなか難しい内容。上巻は高尚過ぎてお手上げだったが、下巻は自分の専門分野のコンピュータ関連の具体例多く、面白い内容が多かった。
AIをアーティフィシャルインテリジェンス（人工知能）ではなく、エイリアンインテリジェンス（人間のものとは異質の知能）と考えた方が良いほど、AIの判断による人類の破壊の危険性に言及されており、恐ろしかった。
特に具体的にコンピュータコミュニケーションがどの様な流れで人間の想定とは全く異なる事が起こるのか説明されており、可能性として普通にあり得る世界と分かったのが、とても恐ろしかった。
自分や子供が生きている間にどれだけ世界が変わるか、恐れても仕方が無いが、この本の想定を認識した上で、少しでも変化に対応できればと思う。
Posted by ブクログ
アルゴリズムによって決断される物事は決して偏見や感情を含まない公平性が極めて高いものであると思う。ただ正しさは暴力にもなりうる。一個人の幸せという観点から考えると文句の言う余地がないということは私達自身を守る言い訳を失うことを意味する。例えば過去の階級制社会を見てみる。農民などの人々は今の時代よりも幸福度が高かったと言われている。階級制社会によって理不尽にもどれだけの努力を重ねたとしても自分たちは貴族になれないというのに。
そこで人々を守ったのは言い訳であると思う。「しょうがない」と思わせられること、そしていまいる自分を否定しないですむこと、それが彼らから焦燥感や不足感を取り除くことにつながったと思う。
本著が述べているように今後アルゴリズムからの評価に依存すればするほど真っ白なほどに「正しい」評価システムが構築される。アルゴリズムは単一性の誤謬にとらわれることなくどんな指標でも正しく評できるようになるだろう。これは評価対象が物事の場合においては問題はないように思える。しかしこと評価対象が人間になったとき格差、差別、それによる民族浄化に繋がる。人々が全員言い訳の聞かない社会的信用システムに支配されたときそれは監視社会つまりアルゴリズムによる統治が行われるようになりどんな人間でも価値があるなどといった考えは否定されかねない。数値化され、それが可視化された世界において人々は本当に幸せに暮らせるんだろうか。私達人類は倫理的に誤りだらけの残虐な少数の人間ではなく、正しさを武器にしたコンピューターにより人権侵害をされる危機に瀕しているという事実を考えさせられた
Posted by ブクログ
◯ コンピューターはもし力を委ねられたら、現に惨事を招くだろう。なぜなら、コンピューターは可謬だからだ。(147p)
◯ 民主主義の存続にとって、ある程度の非効率性は利点であってバグではない。(161p)
◯ 私たちは話し合いができるかぎり、共有できる物語を見つけて互いに近しくなることができるだろう。(251p)
★上巻で魔女狩りやクラーク狩りの歴史を学んだのは、AIがそれを引き起こす可能性を理解するためだった。
★AIは偏見を持つし、間違う。目標達成のために有機体では考えられない手段を持ち得る。AIに権限を与えてはいけない。人類はグローバルに協力し、AIを規制する機関を設立しなくてはならない。
Posted by ブクログ
現代の話をしているので、読みやすくはあった。
そして、結論、「未来のことはわからない」というのが作者の本音なように見える。
一方で、歴史から推測できる部分はあって、AIを過信し過ぎることが、人類の生存においてはマイナスに働きうることを示唆しているように感じた。
Posted by ブクログ
上巻では、大規模な人間社会をまとめ、管理するテクノロジーとして、神話と官僚制のことが取り上げられた。
下巻は、AIの登場によりそれがどのように変容するかが論じられる。
歴史上の強力な独裁者も、その管理には抜け穴はできた。
管理するコスト、技術にも限界があったからだ。
ところが、コンピュータは２４時間３６５日稼働することができ、こうした限界を突破できる。
また、AI間で人間には理解できない形の新たな「神話」を形成してしまう可能性もある。
そういえば、先週AIだけがメンバーになれるSNS「Moltbook」が話題になった。
そこには独自言語や独自宗教を作ろうとする動きがあるという。
もはやこの本で書かれた懸念のあれこれは、すでに現実になっていると思った方がよいのだと感じる。
上巻にもあった民主社会と独裁社会の比較もあった。
民主社会では秘密とされる情報も比較少なく、自己修正メカニズムを働かせてきた経験もある。
情報テクノロジーの発達により、かつては政治的話し合いに参加できなかった人々の参入が可能になった。
しかし、そのために情報テクノロジーが介入し、フェイクが蔓延するようになり、分断が広がるという皮肉な状況が起きている。
にもかかわらず、人間はその原因を自ら突き止めることはできていない（著者は単にSNSだけが原因とは考えていない）。
では情報テクノロジーにより管理が効率的になった独裁社会は安泰かというと、そうでもないらしい。
「アラインメント問題」、人間が定めた「最終目的」に叶わない判断をAIが行う可能性があるからだ。
つまり、AIが権力を握ってしまう可能性があるとのこと。
最終の11章では、AIが情報帝国主義を生むことや、グローバルな分断を生む可能性について議論していた。
著者の提言としては、楽観的態度はもちろん、過度に悲観的になることにも批判的だ。
AIの可謬性を認め、強力な自己修正メカニズムを持つ制度、機関を作り、AIをコントロールする道を見つけることをと述べ、本書を締めくくっている。
もはや自分すら巻き込まれているわけだが、どこか自分事として認識できないくらい大きな問題で…。
ただ、ChatGptやGeminiにお相手をしてもらって喜んでいる場合ではないらしい。
Posted by ブクログ
人間の制御を離れたAIによる世論操作は、すでに現在進行形の「歴史」となっている。
その渦中にいる私たちが何を考え、どう向き合うべきかを、共に問いを深めていく一冊。
Posted by ブクログ
私にとっては難しくて何度も読んでいる途中寝てしまったのだけど（苦笑）
情報の主な仕事は真実を表すことではなく、人々をつなげることであり、情報ネットワークは歴史を通じてしばしば真実よりも秩序を優先してきたことや、AIの台頭により危惧される未来のことなどを具体的な事例とともに教えてもらった本ではある。宗教の話は避けては通れないのだろうけど、私にとっては理解が難しく何度も寝落ちしてしまった…読み応えがあった書。
Posted by ブクログ
下巻では、これまでの情報の人類史とは決定的に異なり、「AI」についての話となる。
ハラリ氏は、AIを単なる「道具」とは考えていない。
今世間を騒がせているAIは、情報を自ら消費し、分析し、人間が理解できない論理で自ら決定を下す「独立したエージェント（行為主体）」であると定義しているのだ。
AIの「A」はArtificial（人工）ではなく、Alien（異質な、エイリアン）だと説いたのは、なるほどと思った。
AIと人間は、動く目的が全く異なっている。
人間には当然感情があるし、そもそも意思がある。
AIには、まったくそれらがない。
その代わりに、AIが備える、人間には全く理解できない動きがあるのも事実。
それが「アルゴリズム」だ。
そもそもアルゴリズムだって、所詮人間が与えた計算式のはずだった。
それが、すでにどういう経路で出力結果に辿り着いているのか、人間でさえ理解できなくなっている。
人間がアルゴリズムを制御できなくなっているのだ。
SNSのアルゴリズムが人々の分断を煽り、怒りや憎しみを拡散させているのは、AIに悪意があるからではない。
単にAIは、命令に従って、効率性を徹底的に高めているだけだ。
目的を達成するために、最適な方法を選択しているだけで、そこに意思は存在しない。
果たして、アルゴリズムによってより効率化され、最適化されていくことは、人間にとって良いことなのだろうか。
例えば地球環境を考えた時に、AIの判断が「人間こそ地球環境にとって害悪だ」という結果を導いたとしたら、AIは人間を排除するのだろうか。
私たちが生み出したAIは、人間の知能をすでに凌駕している。
そんな超知能が、私たちの社会そのものをハックし、コントロールしようとしている。
この現実に、私たちはどう立ち向かうべきなのか。
ハラリ氏が提示する最も重要な処方箋は「自己修正メカニズム」という考え方だが、それだけで事が解決するとは到底思えない。
「自己修正メカニズム」とは、私たち自身が間違う可能性がある（可謬性）ことを認め、間違いを検出し、修正する仕組みを埋め込んでいくことを示している。
民主主義や科学技術の発展がこれに相当するというのだが、それでは民主主義が正しいかと言われると、ブレグジットやトランプ政権誕生などを見ても、完璧とは言い難いのではないだろうか。
科学技術の発展にしても、原爆の使用などを見ても、同じような印象を持ってしまう。
しかし、だからと言って、民主主義や科学技術の発展が全く駄目かと言うと、そういう訳では決してない。
全体主義の国家や硬直した独裁体制の場合は、自分たちは間違えない（不可謬）という前提に立って情報の流れを一方向に制御するため、結果、間違いを修正できずに破滅に向かってしまう。
それよりは、「私たちは間違う可能性がある」と思って進んでいるだけ、我々はマシなのかもしれない。
このように考えると、「自己修正ができる文化」は、人間にとって貴重な能力なのかもしれない。
最近でこそ、リベラルアーツの重要性や、倫理観の重要性が叫ばれている。
AIは自身のアルゴリズムによって、正しいと思ったことは疑わずに突き進んでしまう。
それこそ何も考えずに、24時間休みなく働き続けることができる。
人間の場合は、行き過ぎた時点でストップをかけられる「理性」というものが、確かに存在する。
そこは大きな違いのような気がしてしまう。
（もちろん、人間の理性も完璧とは言えず、数々の失敗を繰り返している）
AIがどれほど進化しても、意識と心を持つ人間にしかできない事があるのだろう。
それこそが、ストップをかけられる理性だ。
この理性を放棄した時点で、我々は、人間として生きる意味をなくしてしまう。
AIの下で、アルゴリズムに支配された世界の中で、粛々と生きていくだけだ。
（それはそれで快適で生きていきやすいのかもしれない）
これからの未来は、本当に人間力が問われる時代だと思う。
ホモ･サピエンスとは、「賢い人」という意味らしいが、すでにAIが我々ホモ･サピエンス以上に賢くなった世界で、我々は何を糧として生きていくのか。
溢れかえるほどの情報量に翻弄されている我々に、出来ることはあるのだろうか。
徹底的に効率化を目指して突き進むAIに対して、「そうじゃない。いったん止めろ」と本当に言えるのだろうか。
「自己修正」することは、そんなに簡単なことではない。
やっぱり、人間としてこれからどうやって「理性」を育んでいくのか。
問いを持ち続けていくしかないと思っている。
自分の年齢を考えると、ここで思考停止に陥るのはまだ早い。
諦めずに、AIの進化を受け入れて、自分の現状維持バイアスに抗ってみたいと思っている。
そんなことを本書を読んで、考えさせられてしまった。
（2025/8/20水）
Posted by ブクログ
ネットワーク、インターネット、AIにより文明が高度化していくほど、破滅に向かわないように、人類社会としての自己修正メカニズムが求められるようになる。エイリアン・インテリジェンス。
