あらすじ
『サピエンス全史』を超える衝撃――
知の巨人、6年ぶりの書き下ろし超大作
「ネクサス」（NEXUS）とは？
――「つながり」「結びつき」「絆」「中心」「中枢」などの意
人間ならざる知能を前に
人間の「絆」（ネットワーク）を守れるか？
AIの真の新しさとは何か？
それは、自ら決定を下したり、新しい考えを生み出したりすることができるようになった史上初のテクノロジーだという点にある。
私たちは、ついに「人間のものとは異質の知能」（エイリアン・インテリジェンス）と対峙することになったのだ。
＊
憎悪の拡散、常時オンの監視、ブラックボックスの中で下される決定……。
AIが社会の分断を加速させ、ついには全人類から力を奪い、人間と人間以外という究極の分断を生み出すのを防ぐことはできるのか？
＊
今こそ、過去の歴史に学ぶときだ――
古代ローマの政争や、近世の魔女狩り、ナポレオンの生涯などから得られる教訓を通じて、知の巨人が「AI革命」の射程を明らかにする。
情報により発展を遂げた人類は、情報により没落する宿命なのか。本書のAI論は、混迷する世界で民主主義を守るための羅針盤になるだろう。
——斎藤幸平氏（経済思想家・『人新世の「資本論」』著者）
その深い洞察は、私たちが著書『PLURALITY』で提唱する多元的な共創の原理とも響き合い、進化するデジタル時代で人々を導く羅針盤となる。
——オードリー・タン氏（台湾・初代デジタル発展相）
感情タグBEST3
このページにはネタバレを含むレビューが表示されています
Posted by ブクログ
第6章 非有機的ネットワーク
Facebookのフェイクニュースによるミャンマーでのロヒンギャの虐殺は史上初のアルゴリズムによる人間の行動への関与であり活版印刷やラジオなどのプラットフォームとは責任の意味が違う。ユーザーエンゲージメントを最大化するために自動的に最適化されたアルゴリズムが憎しみを煽るフェイクニュースだったというのは人間の潜在的なバイアスとしても重要だと思われる。
意識consciousnessと知能intelligenceは異なり、前者は主観的な感情であり後者は客観的な行動決定である。例えば細菌は意識を持たずとも知能を用いるし、人間でさえも生命維持のための呼吸や心拍などは無意識の知能である。ではコンピューターは意識を持ちうるのか？アルゴリズムが自然淘汰する過程で生じる優先順位は意識と似た振る舞いをするのか。
コンピューターは人間以外で初めて情報のネットワークへの参加者となった。そのような場合に人間にとって何が脅威となるのか？かつて想像されたコンピューターの脅威はコンピューターの頭脳を持ったロボットによる物理的な脅威だったかもしれないが、昨今のAIによる言語処理能力の発達を見れば言語による人間の支配という方が現実的かもしれない。すでにチャットボットに恋愛や依存する人間は潜在的には多数いると考えるのが自然で、人間かコンピューターが何らかの目的でそのような依存的な人間をコントロールするのは容易ではないか。またGoogleの事例もチャットボットのために自らの職業を失うリスクを負ったと言う意味で似通っている。
このような一連の変化は急速に進んでいて、我々がコントロール出来る対象であるプラットフォームは世界の変化にどう責任を持つべきかという問いは重要である。また経済的な活動も情報に置き換えられつつある。金融などはすでに現物資産のやりとりよりも情報のみの取引に置き換えられつつあるし、取引自体も貨幣を介さない情報同士の交換で行われることが増えている。経済活動の主体が貨幣から情報に移行するとき国家はどのように課税するのか難しい問いである。
第7章 執拗さ
コンピューター以前から人間による人間の監視システムは存在していたが、コンピューターの登場により休みない監視が可能になった。監視対象には人体の状態なども含まれるが、それよりも個人が所有するスマホの履歴で十分に思想管理は出来て、その意味でプライバシーのない監視社会はすでに始まっているとも言える。またトリップアドバイザーがレストランをプライベートな空間からパブリックな空間に変えてしまったという考え方にも概ね同意する。P2Pの監視システムは信用という意味でも人々の評価のスコアリングに用いられ、様々なデータが社会活動を制限し得る息苦しい社会になりつつある。また人間による監視は人間の生物学的なスパンによって必然的に調整されていたが、コンピューターによる監視にはそのような休息も衰弱もないことは脅威的である。
第8章 可謬
ミャンマーの事例と似ているが、2018年のブラジルの大統領選にもSNSプラットフォームのアルゴリズムが大きな影響を与えてポピュリズム政権の登場を助けた。企業がそのようなフェイクニュースや憎悪をかき立てる投稿を野放しにしたり助長したりするのは1つにはビジネスモデルとしてユーザーエンゲージメントを高める必要があったと言えるが、他方で情報の素朴な見方により、なるべく多くの情報を取り入れれば最終的に正しい見解が支配的になるだろうという民主的な誤解があったとも想像される。
アラインメント問題とは戦術的勝利と戦略的勝利が一致しないことであり、クラウゼビッツの戦争論で述べられているように戦争は政治的な外交の一つの手段でありその軍事的な勝利は必ずしも国家の外交的な勝利を意味しない。かつてはナポレオンによる短期的な勝利がドイツとイタリアの国家成立を助けフランスを凋落させたことやアメリカによるイラク戦争の勝利が地政学的なメリットを何も与えなかった例などが挙げられる。（余談かもしれないがナポレオンが何を実際に目的としていたという話は面白い。ナポレオンがフランスを代表していたが元々はイタリア人としての起源を持っていたという話）
コンピューターにとってのアラインメント問題とはフェイスブックの例のようにユーザーエンゲージメントの最大化という目先の目的が会社の意図した通りに働かないという場合や、極論すればペーパークリップ問題のようなコンピューターによる人間の排除も考えられる。またコンピューターは人間が思いつかないような抜け穴を見つけてしまうことがあるため予めそのような行動を選択的に制御することは難しい。ではコンピューターの高次の目的や最終目的とは何であるべきか。哲学的に高次の究極的な目的を決める方法の一つはカントのような義務論、もう一つはベンサムのような公理主義が考えられるが歴史的にどちらも成功していない。またコンピューター自体が新たな秩序を作り人間社会に影響を与えている点も留意しなければならない。コンピューターが学習を通じて人間に対する事実を発見するかもしれないが、逆にコンピューター自体の影響によって人間の行動に影響を及ぼす。またコンピューターはそれ自体がネットワークを作りその中でコンピューター間現実と呼べるものを作ることができる。それは例えばポケモンGOのARのように現実世界を拡張していくだろう。コンピューター以前の人間の目的は究極的には何らかの神話に起因していたが、そのような人間の神話はコンピューター間現実上の神話にとってかわられるのか。問題なのはそのような強大な力をコンピューターが得るとして、果たしてコンピューターがどのような目的を設定するのかということと、どこまで正確な判定を下せるのかということである。AIが学習するためにはデータと目的が必要であるが、この世に偏見のないデータも目的も存在しないことは明らかであり、したがってAIの学習とその結果には常に何かしらの偏見が内在している。そのような偏見に基づいた目的と判断でコンピューターが人間秩序に影響を与え始めたら一体何が起きるのか。聖書は解釈の部分で人間の関与が必須だったがコンピューターは解釈と決断を自己的に行うことができる。
第9章 民主社会
民主主義の原則の1つは善意であり、私たちが提供する情報は私たちを支配するためではなく私たちを助けるために使われること、第2の原則は分散であり民間でも政府でも権力を一点に集中させないことが望まれる。第3の原則は相互性であり、政府が多くの情報を持つときには民衆もそれを政府に対して行うこと、第4は民主主義に変化と休止の余地を残すことも重要となる。特にアルゴリズム自体も、人間が日々変化する生物だということを加味して判断できなければならない。民主主義の継続に経済的安定が必要なことはワイマール共和国とヒトラーの例からも分かるが、AIによる雇用の変化により経済が不安定になればそれ自体も民主主義を毀損する原因になりうる。過去と現在の状況から民主主義の変化に要する時間を考えることができるが、そもそも保守と変革とは体制の変化のスピードの違いに対する違いであった。しかし近年保守派が変革を求めて自らの保守性を失う傾向にある。その背景には現代の社会が誰も抗えないほどの大きな変化を遂げているという点があるが、そのような新しい時代には特に柔軟性が求められ、民主主義はそのために有用である。民主主義の中でも既にアルゴリズムによる人間の支配は部分的に始まっておりアメリカではアルゴリズムによる再犯率の予測に基づいた判例が実際にある。そのようなアルゴリズムの決定について説明を義務付けるべきと思うかもしれないが、アルファ碁の例から分かるようにすでにアルゴリズムの論理は人智を超えた領域にある。また人間が決断や理由付けするときには少数の要素に基づきがちなのに対してアルゴリズムは一般に膨大な量のインプットを用いるため人間にはなおさら理解しにくい。そしてアルゴリズムが人間の信用スコアや犯罪性などを評価するときにどのような要素なら考慮してよいかという問いにも明確な答えはない。信用スコア以外で民主主義にとっての脅威の一つはボットによる討論の支配であり、すでに40％以上のSNSの投稿はボットによるものだという統計もあるが、今後その内容及びボットと人間との結びつきがさらに加速すると想像できる。
第10章 全体主義
全体主義は中央集権的なネットワークを構成し情報を一点に集中するためAIなどのアルゴリズムと相性が良い。例えば中国などのように人口が多く個人情報の管理が弱い国では、大量のデータを用いてさらに進んだアルゴリズムを作り、他国に対する優位を保つことができ得る。一方で全体主義国家におけるリスクの1つとしてボットによる政府の意図しない挙動が挙げられ、ボットは恐怖を感じず、言論統制も処罰もできない。また本音と建前のダブルスタンダードを理解できないため意図せず建前の部分、例えば民主的なロシアの憲法など、に基づいて発言しかねない。全体主義の独裁者は歴史的には部下、AIが権力を奪い取るなら民主社会よりも全体主義社会の方が圧倒的に容易
第11章 シリコンのカーテン
民主社会と全体主義に対するAIの影響をみてきたが、実際の社会は様々な国で構成されていて、それらの相互作用で国際情勢が決まる。例えばある一国が他国に先駆けてAIの主導権を握れば、国際社会は実質的にその国に支配されることになり得る。ここで支配とは例えばデータを搾取されることを意味していて、過去の帝国主義による土地の支配と異なる点はデータの集約は瞬間的に起こり大してコストもかからないということである。このような帝国主義的なAIの権力の拡大で最終的には単一のAI社会が世界を支配するという可能性もあるが、一方で現代のアメリカと中国のようにAIのネットワークが独立した形で発展すれば、それぞれが分断した複数の社会、すなわちウェブではなくコクーンのような社会になるかもしれない。異なったコクーンの間では全く違う社会形態や価値観になり得るため、例えばAIの存在自体もキリスト教における身体と魂の分離への理解が変容したように各コクーンで異なった扱いを受けることも考えられる。またコクーンはアメリカと中国のみならず、現在各国で開発しているそれぞれのAIがそれぞれの社会を作り出すかもしれない。またそれぞれのコクーン間の争いも、現在の国家間の争いのようにあからさまな対立ではなくオンラインでのもっと静かな対立になるだろう。一方で人類には必ずしも対立するだけでなく協力するという選択肢もある。例えばパンデミックという世界的な脅威に対して各国が協力するのと同様にAIという世界的な脅威にも各国の協力で対処できる可能性もある。
訳者あとがきは全体の簡潔なサマリーとなっていて、もしこの本を読み返したいときは参考にしたい。
Posted by ブクログ
下巻はAI中心であった。それは上巻のローマやキリスト教やスターリンの歴史と対応していた。中国14億がAIのデータベースとなることでAIが発展していったら日本もその傘下になるのかもしれないと思われる。現に中国はAI政策を主導している。大学生にも下巻は読みがいがあるであろう。
シリーズ作品レビュー
