【感想・ネタバレ】NEXUS 情報の人類史 下 AI革命のレビュー

ユヴァル・ノア・ハラリ / 柴田裕之

『サピエンス全史』を超える衝撃――
知の巨人、6年ぶりの書き下ろし超大作


「ネクサス」（NEXUS）とは？
――「つながり」「結びつき」「絆」「中心」「中枢」などの意


人間ならざる知能を前に
人間の「絆」（ネットワーク）を守れるか？
AIの真の新しさとは何か？
それは、自ら決定を下したり、新しい考えを生み出したりすることができるようになった史上初のテクノロジーだという点にある。
私たちは、ついに「人間のものとは異質の知能」（エイリアン・インテリジェンス）と対峙することになったのだ。
＊
憎悪の拡散、常時オンの監視、ブラックボックスの中で下される決定……。
AIが社会の分断を加速させ、ついには全人類から力を奪い、人間と人間以外という究極の分断を生み出すのを防ぐことはできるのか？
＊
今こそ、過去の歴史に学ぶときだ――
古代ローマの政争や、近世の魔女狩り、ナポレオンの生涯などから得られる教訓を通じて、知の巨人が「AI革命」の射程を明らかにする。


情報により発展を遂げた人類は、情報により没落する宿命なのか。本書のAI論は、混迷する世界で民主主義を守るための羅針盤になるだろう。
——斎藤幸平氏（経済思想家・『人新世の「資本論」』著者）

その深い洞察は、私たちが著書『PLURALITY』で提唱する多元的な共創の原理とも響き合い、進化するデジタル時代で人々を導く羅針盤となる。
——オードリー・タン氏（台湾・初代デジタル発展相）

[ブクログ · ★★★★★]

AI革命がもたらす人類の未来はユートピアかディストピアか。
AI革命が活字印刷術やラジオ・テレビなどの情報革新をもたらす技術とは決定的に違う点がある。後者はあくまで人間の意思によって成り立つ技術（人間により使われる技術）であるが、AIは人間の意図を介さず情報を処理・生成し、しかもコンピュータ同士が新たな繋がりを持ち始める。これにより、人間の意図しない思いもよらない結果をもたらす危険性があり、これを人間が制御しきれない危険性が想定される（人間の想定する目的と一致しない「アラインメント（一致）問題」）。
AIは政治にどのような影響をもたらすのか。民主社会と全体主義の社会でそれぞれ危惧される点を述べている。民主社会ではAIによる執拗な情報収集からいかに個人のプライバシー領域を保持することを保障できるかがキーである。そして国家・政府などの機関が一方的に国民・市民の情報を把握する一方向性を否定し、国民・市民も国家・政府の情報を知る双方向性を持つことが大切である。これにより、自己修正機能が政治に働き、AIによる政治利用の誤謬を修正することが可能である。全体主義では権力者がAIにより国民を完全にコントロールできる力を得ることが可能になるが。一方、その権力者がAIに権力の維持を脅かされる危険性が増す。全体主義の独裁者は自分の地位を脅かすNO2的存在に最も警戒心を持ち、自分に全ての情報が一元的に上がってくるようなシステムを望む。しかし、その膨大な情報を分析するにはAIに依存せざるを得ない。その結果、AIの判断に従わざるを得ず、結局は最終的な権力行使の判断をAIに委ねてしまう皮肉な事態となる。そのAIが暴走すれば（例えば核兵器の使用に関する判断など）、人類にとって取り返しのつかない結末を迎えることとなる。
また、AIによるネットワークが発達した世界では、戦争は実際に武器を使用するものだけでなく、相手の国にさまざまなハッキングによる攻撃をしかけ、相手国をコントロールしたり、混乱させるようなものも想定される。これを防ぐために、国家体制の違う国の間では相手国とのネットワークを遮断して、独自のネットワークシステムを構築することになる。著者はこれをかつての冷戦の「鉄のカーテン」になぞらえて、「シリコンのカーテン」と呼ぶ。これにより世界が分断されれば、地球的な規模で取り組まなければならない問題（例えば地球温暖化など）を国家体制の違いを越えての国際的協力体制を築くことができなくなってしまう。
しかし、著者は人間には部族や国家、民族の違いを越えて協力しあう力があり（歴史学者である著者は歴史的事実を踏まえて）、必ずしも悲観的な未来ばかりを想定はしていない。決定論的未来像ではなく、人間の可能性にあくまでも希望を抱いている。

[ブクログ · ★★★★★]

Audible

サピエンス全史(Audible,漫画、子供向け)以来の著者のAIに関する警告と対策の本。

AIがもたらしうるリスクをまず、情報とは何か？という問いから始める。
肉体的にはこれほど脆弱な人間が、他の生物を圧倒できたのは、虚構を信じることができ、そのことが多くの人間を繋げ協力することができたから。

それゆえ、情報は真実でもないし、多くの情報が真実に結びつくこともない。

AIは人類が不可能な量の情報を処理できるだけでなく、創り出すこともできる。アンチロヒンギャのフェイクニュースはAIによりつくられた。人間は憎悪を駆り立てる情報や陰謀論の方を好む＝再生回数が伸びるので、Facebookなども止めない。

既に、この時点で人間は部分的ではあるが、AIに操られていると言える。

AIは絵、音楽、物語だけでなく既に様々なものを生み出しているが、人間の枠を超えつつあり、著者はartificial intelligence ではなく、alien intelligenceと呼んでいる。

2次大戦のように、AIのブロック化で、世界が分断する未来を警鐘しつつ、人類は協力することで発展してきたのだから、協力することで、この危機を乗り越えられるとも提言している。

彼の著書は大変興味深いのだが、主張を構築する情報の質と量が凄すぎて、正気化不良を起こしてしまう。一気に読むのが良いのだろうが、集中力が必要なためなかなか進まず、概要をつかみ切れていない。

[ブクログ · ★★★★★]

第6章 非有機的ネットワーク
Facebookのフェイクニュースによるミャンマーでのロヒンギャの虐殺は史上初のアルゴリズムによる人間の行動への関与であり活版印刷やラジオなどのプラットフォームとは責任の意味が違う。ユーザーエンゲージメントを最大化するために自動的に最適化されたアルゴリズムが憎しみを煽るフェイクニュースだったというのは人間の潜在的なバイアスとしても重要だと思われる。
意識consciousnessと知能intelligenceは異なり、前者は主観的な感情であり後者は客観的な行動決定である。例えば細菌は意識を持たずとも知能を用いるし、人間でさえも生命維持のための呼吸や心拍などは無意識の知能である。ではコンピューターは意識を持ちうるのか？アルゴリズムが自然淘汰する過程で生じる優先順位は意識と似た振る舞いをするのか。
コンピューターは人間以外で初めて情報のネットワークへの参加者となった。そのような場合に人間にとって何が脅威となるのか？かつて想像されたコンピューターの脅威はコンピューターの頭脳を持ったロボットによる物理的な脅威だったかもしれないが、昨今のAIによる言語処理能力の発達を見れば言語による人間の支配という方が現実的かもしれない。すでにチャットボットに恋愛や依存する人間は潜在的には多数いると考えるのが自然で、人間かコンピューターが何らかの目的でそのような依存的な人間をコントロールするのは容易ではないか。またGoogleの事例もチャットボットのために自らの職業を失うリスクを負ったと言う意味で似通っている。
このような一連の変化は急速に進んでいて、我々がコントロール出来る対象であるプラットフォームは世界の変化にどう責任を持つべきかという問いは重要である。また経済的な活動も情報に置き換えられつつある。金融などはすでに現物資産のやりとりよりも情報のみの取引に置き換えられつつあるし、取引自体も貨幣を介さない情報同士の交換で行われることが増えている。経済活動の主体が貨幣から情報に移行するとき国家はどのように課税するのか難しい問いである。
第7章 執拗さ
コンピューター以前から人間による人間の監視システムは存在していたが、コンピューターの登場により休みない監視が可能になった。監視対象には人体の状態なども含まれるが、それよりも個人が所有するスマホの履歴で十分に思想管理は出来て、その意味でプライバシーのない監視社会はすでに始まっているとも言える。またトリップアドバイザーがレストランをプライベートな空間からパブリックな空間に変えてしまったという考え方にも概ね同意する。P2Pの監視システムは信用という意味でも人々の評価のスコアリングに用いられ、様々なデータが社会活動を制限し得る息苦しい社会になりつつある。また人間による監視は人間の生物学的なスパンによって必然的に調整されていたが、コンピューターによる監視にはそのような休息も衰弱もないことは脅威的である。
第8章 可謬
ミャンマーの事例と似ているが、2018年のブラジルの大統領選にもSNSプラットフォームのアルゴリズムが大きな影響を与えてポピュリズム政権の登場を助けた。企業がそのようなフェイクニュースや憎悪をかき立てる投稿を野放しにしたり助長したりするのは1つにはビジネスモデルとしてユーザーエンゲージメントを高める必要があったと言えるが、他方で情報の素朴な見方により、なるべく多くの情報を取り入れれば最終的に正しい見解が支配的になるだろうという民主的な誤解があったとも想像される。
アラインメント問題とは戦術的勝利と戦略的勝利が一致しないことであり、クラウゼビッツの戦争論で述べられているように戦争は政治的な外交の一つの手段でありその軍事的な勝利は必ずしも国家の外交的な勝利を意味しない。かつてはナポレオンによる短期的な勝利がドイツとイタリアの国家成立を助けフランスを凋落させたことやアメリカによるイラク戦争の勝利が地政学的なメリットを何も与えなかった例などが挙げられる。（余談かもしれないがナポレオンが何を実際に目的としていたという話は面白い。ナポレオンがフランスを代表していたが元々はイタリア人としての起源を持っていたという話）
コンピューターにとってのアラインメント問題とはフェイスブックの例のようにユーザーエンゲージメントの最大化という目先の目的が会社の意図した通りに働かないという場合や、極論すればペーパークリップ問題のようなコンピューターによる人間の排除も考えられる。またコンピューターは人間が思いつかないような抜け穴を見つけてしまうことがあるため予めそのような行動を選択的に制御することは難しい。ではコンピューターの高次の目的や最終目的とは何であるべきか。哲学的に高次の究極的な目的を決める方法の一つはカントのような義務論、もう一つはベンサムのような公理主義が考えられるが歴史的にどちらも成功していない。またコンピューター自体が新たな秩序を作り人間社会に影響を与えている点も留意しなければならない。コンピューターが学習を通じて人間に対する事実を発見するかもしれないが、逆にコンピューター自体の影響によって人間の行動に影響を及ぼす。またコンピューターはそれ自体がネットワークを作りその中でコンピューター間現実と呼べるものを作ることができる。それは例えばポケモンGOのARのように現実世界を拡張していくだろう。コンピューター以前の人間の目的は究極的には何らかの神話に起因していたが、そのような人間の神話はコンピューター間現実上の神話にとってかわられるのか。問題なのはそのような強大な力をコンピューターが得るとして、果たしてコンピューターがどのような目的を設定するのかということと、どこまで正確な判定を下せるのかということである。AIが学習するためにはデータと目的が必要であるが、この世に偏見のないデータも目的も存在しないことは明らかであり、したがってAIの学習とその結果には常に何かしらの偏見が内在している。そのような偏見に基づいた目的と判断でコンピューターが人間秩序に影響を与え始めたら一体何が起きるのか。聖書は解釈の部分で人間の関与が必須だったがコンピューターは解釈と決断を自己的に行うことができる。
第9章 民主社会
民主主義の原則の1つは善意であり、私たちが提供する情報は私たちを支配するためではなく私たちを助けるために使われること、第2の原則は分散であり民間でも政府でも権力を一点に集中させないことが望まれる。第3の原則は相互性であり、政府が多くの情報を持つときには民衆もそれを政府に対して行うこと、第4は民主主義に変化と休止の余地を残すことも重要となる。特にアルゴリズム自体も、人間が日々変化する生物だということを加味して判断できなければならない。民主主義の継続に経済的安定が必要なことはワイマール共和国とヒトラーの例からも分かるが、AIによる雇用の変化により経済が不安定になればそれ自体も民主主義を毀損する原因になりうる。過去と現在の状況から民主主義の変化に要する時間を考えることができるが、そもそも保守と変革とは体制の変化のスピードの違いに対する違いであった。しかし近年保守派が変革を求めて自らの保守性を失う傾向にある。その背景には現代の社会が誰も抗えないほどの大きな変化を遂げているという点があるが、そのような新しい時代には特に柔軟性が求められ、民主主義はそのために有用である。民主主義の中でも既にアルゴリズムによる人間の支配は部分的に始まっておりアメリカではアルゴリズムによる再犯率の予測に基づいた判例が実際にある。そのようなアルゴリズムの決定について説明を義務付けるべきと思うかもしれないが、アルファ碁の例から分かるようにすでにアルゴリズムの論理は人智を超えた領域にある。また人間が決断や理由付けするときには少数の要素に基づきがちなのに対してアルゴリズムは一般に膨大な量のインプットを用いるため人間にはなおさら理解しにくい。そしてアルゴリズムが人間の信用スコアや犯罪性などを評価するときにどのような要素なら考慮してよいかという問いにも明確な答えはない。信用スコア以外で民主主義にとっての脅威の一つはボットによる討論の支配であり、すでに40％以上のSNSの投稿はボットによるものだという統計もあるが、今後その内容及びボットと人間との結びつきがさらに加速すると想像できる。
第10章 全体主義
全体主義は中央集権的なネットワークを構成し情報を一点に集中するためAIなどのアルゴリズムと相性が良い。例えば中国などのように人口が多く個人情報の管理が弱い国では、大量のデータを用いてさらに進んだアルゴリズムを作り、他国に対する優位を保つことができ得る。一方で全体主義国家におけるリスクの1つとしてボットによる政府の意図しない挙動が挙げられ、ボットは恐怖を感じず、言論統制も処罰もできない。また本音と建前のダブルスタンダードを理解できないため意図せず建前の部分、例えば民主的なロシアの憲法など、に基づいて発言しかねない。全体主義の独裁者は歴史的には部下、AIが権力を奪い取るなら民主社会よりも全体主義社会の方が圧倒的に容易
第11章 シリコンのカーテン
民主社会と全体主義に対するAIの影響をみてきたが、実際の社会は様々な国で構成されていて、それらの相互作用で国際情勢が決まる。例えばある一国が他国に先駆けてAIの主導権を握れば、国際社会は実質的にその国に支配されることになり得る。ここで支配とは例えばデータを搾取されることを意味していて、過去の帝国主義による土地の支配と異なる点はデータの集約は瞬間的に起こり大してコストもかからないということである。このような帝国主義的なAIの権力の拡大で最終的には単一のAI社会が世界を支配するという可能性もあるが、一方で現代のアメリカと中国のようにAIのネットワークが独立した形で発展すれば、それぞれが分断した複数の社会、すなわちウェブではなくコクーンのような社会になるかもしれない。異なったコクーンの間では全く違う社会形態や価値観になり得るため、例えばAIの存在自体もキリスト教における身体と魂の分離への理解が変容したように各コクーンで異なった扱いを受けることも考えられる。またコクーンはアメリカと中国のみならず、現在各国で開発しているそれぞれのAIがそれぞれの社会を作り出すかもしれない。またそれぞれのコクーン間の争いも、現在の国家間の争いのようにあからさまな対立ではなくオンラインでのもっと静かな対立になるだろう。一方で人類には必ずしも対立するだけでなく協力するという選択肢もある。例えばパンデミックという世界的な脅威に対して各国が協力するのと同様にAIという世界的な脅威にも各国の協力で対処できる可能性もある。

訳者あとがきは全体の簡潔なサマリーとなっていて、もしこの本を読み返したいときは参考にしたい。

[ブクログ · ★★★★★]

下巻はAI中心であった。それは上巻のローマやキリスト教やスターリンの歴史と対応していた。中国14億がAIのデータベースとなることでAIが発展していったら日本もその傘下になるのかもしれないと思われる。現に中国はAI政策を主導している。大学生にも下巻は読みがいがあるであろう。

[ブクログ · ★★★★☆]

私にとっては難しくて何度も読んでいる途中寝てしまったのだけど（苦笑）
情報の主な仕事は真実を表すことではなく、人々をつなげることであり、情報ネットワークは歴史を通じてしばしば真実よりも秩序を優先してきたことや、AIの台頭により危惧される未来のことなどを具体的な事例とともに教えてもらった本ではある。宗教の話は避けては通れないのだろうけど、私にとっては理解が難しく何度も寝落ちしてしまった…読み応えがあった書。