あらすじ
『サピエンス全史』を超える衝撃――
知の巨人、6年ぶりの書き下ろし超大作
「ネクサス」（NEXUS）とは？
――「つながり」「結びつき」「絆」「中心」「中枢」などの意
人間ならざる知能を前に
人間の「絆」（ネットワーク）を守れるか？
AIの真の新しさとは何か？
それは、自ら決定を下したり、新しい考えを生み出したりすることができるようになった史上初のテクノロジーだという点にある。
私たちは、ついに「人間のものとは異質の知能」（エイリアン・インテリジェンス）と対峙することになったのだ。
＊
憎悪の拡散、常時オンの監視、ブラックボックスの中で下される決定……。
AIが社会の分断を加速させ、ついには全人類から力を奪い、人間と人間以外という究極の分断を生み出すのを防ぐことはできるのか？
＊
今こそ、過去の歴史に学ぶときだ――
古代ローマの政争や、近世の魔女狩り、ナポレオンの生涯などから得られる教訓を通じて、知の巨人が「AI革命」の射程を明らかにする。
情報により発展を遂げた人類は、情報により没落する宿命なのか。本書のAI論は、混迷する世界で民主主義を守るための羅針盤になるだろう。
——斎藤幸平氏（経済思想家・『人新世の「資本論」』著者）
その深い洞察は、私たちが著書『PLURALITY』で提唱する多元的な共創の原理とも響き合い、進化するデジタル時代で人々を導く羅針盤となる。
——オードリー・タン氏（台湾・初代デジタル発展相）
感情タグBEST3
Posted by ブクログ
●知能と偽の親密さ
知能と意識は別物である。人間や哺乳動物は両者が密接に結びついているケースが多いが、知能に意識は必須ではない。
2010年代はSNSが人間の注意力を支配する戦場だった。2020年代は戦いが注意から親密さに移る。感情がなくても、人間に情緒的な絆を感じさせる方法は学習できる。
●課税の問題
従来、ネクサス（特定の管轄区域と企業の結びつき）は、企業がその国にオフィスや店舗などの物理的なかたちで存在しているかどうかだった。情報のみの取引はネクサスにカウントされないため、課税されない。デジタルな存在も定義に含むよう調整がなされなければならない。
●民主主義の基本原則
善意、分散化、相互性、監視システムに「変化と休止」の余地を残すこと。
●説明を受ける権利
コンピュータ（のアルゴリズム）はブラックボックスで、なぜその判断を下したのか、人間にはわからない。社会の多くの部分でコンピュータに決定を委ねれば、民主的な自己修正プログラムの信頼性は失われ、民主的な透明性も失われ、説明責任の所在があやふやになる。
●デジタルアナーキー（無政府状態）
民主主義を適切に機能させるために必要な2つのことは、公の場で自由に話し合えることと、最低限の社会的秩序。話し合いにおいてルールがなくなれば、アナーキーとなる。
AIには特に注意。2017年の米国選挙中の投稿の20%がbotだった。2020年には43.2％。さらにSNSのルールもアルゴリズムが統制するようになってきている。
●最も賢い者の絶滅
人間の本性ではなく、人間の情報ネットワークが真実よりも秩序を優先することに起因する。従って、ネットワークが力を持てば持つほど、自己修正メカニズムが重要になる。
Posted by ブクログ
再読予定。
大筋の流れは掴めたが、感想がかけるほどではない。
情報で秩序を作り出してきた人類の歴史と今後のAIとの共存方法について。
情報に踊らされるのではなく、情報を取捨選択し、素敵な人生を踊りたい。
Posted by ブクログ
イランで統制目的でカメラとAIによる監視がされていると聞いて、技術は使い方だと思った。しかし、企業として成功してきたYouTubeとfacebookであってもAI（アルゴリズム）を用いて、結果的に扇動的な役割を担っていた。正しいと思われる目的を人間が設定しても、AIが導く最適解が、人間が想定していたレールから外れた想定外の副作用を招くことがあるのだと理解した。
AIに対して人間の身体性の優位性も面白い。既にロボットの分野は大きく発展傾向にあるが知識よりは難易度が高く遅い。聖職者のように人間だからこそ務まるものもあるというのも面白い。
情報の分散化に関しても興味深かった。情報が分散していることを是とする法律も日本にあるり中央集権化を避けることが一つの理由なのかもしれない。
無料で使えるアプリでは、お金の代わりに個人情報を支払っているという捉え方も面白い。AI開発では、早く多くの情報を手に入れ、早く市場にAIサービスを投入することで、開発の好循環を生み出し市場が形成される。そのサービスを使う人の中で学習が進み、新たな枠組みが形成される。これが大きな分断にもなる。という流れは納得。確かにモデルは、学習データの違いにより大きく異なるのだろう。
AIの学習に使うデータの選別や、モデルを作るときのガードレール作成などは、エンジニアにとっても責任のある部分であることを認識しておきたい。
Posted by ブクログ
AIの発展が引き起こすかもしれない人類の危機について多面的に述べている本である。情報が非常に多いので、この書評で要約することがとてもできない。しかし、幸なことに、著者の書いたエピローグと、訳者の書いた解説を読むと、この本で著者が言いたいことが、比較的コンパクトにまとまって説明されている。なので、先にエピローグと訳者解説を読んでから本編を読むのが良いかもしれない。
Posted by ブクログ
AIが台頭するこれからの時代に、我々サピエンスはどのような心持ちで対峙したら良いのか。
これから来るAIや情報の時代に対して、どのように思考し歴史から学ぶのか。
上記について下巻では著者の見解を明かしてくれる。
今までの産業革命や印刷などの技術の革命とは違い、AI革命は今までの前例にない変革になるそう。確かに歴史を考察すると今起こっているAIの進歩は、予想もつかない事態を起こしかねない。
ただ、予測ができないから恐るのではなく、著者も繰り返し言うように歴史を考察し、学ぶ事で備える事ができると感じた。
Posted by ブクログ
AI革命がもたらす人類の未来はユートピアかディストピアか。
AI革命が活字印刷術やラジオ・テレビなどの情報革新をもたらす技術とは決定的に違う点がある。後者はあくまで人間の意思によって成り立つ技術（人間により使われる技術）であるが、AIは人間の意図を介さず情報を処理・生成し、しかもコンピュータ同士が新たな繋がりを持ち始める。これにより、人間の意図しない思いもよらない結果をもたらす危険性があり、これを人間が制御しきれない危険性が想定される（人間の想定する目的と一致しない「アラインメント（一致）問題」）。
AIは政治にどのような影響をもたらすのか。民主社会と全体主義の社会でそれぞれ危惧される点を述べている。民主社会ではAIによる執拗な情報収集からいかに個人のプライバシー領域を保持することを保障できるかがキーである。そして国家・政府などの機関が一方的に国民・市民の情報を把握する一方向性を否定し、国民・市民も国家・政府の情報を知る双方向性を持つことが大切である。これにより、自己修正機能が政治に働き、AIによる政治利用の誤謬を修正することが可能である。全体主義では権力者がAIにより国民を完全にコントロールできる力を得ることが可能になるが。一方、その権力者がAIに権力の維持を脅かされる危険性が増す。全体主義の独裁者は自分の地位を脅かすNO2的存在に最も警戒心を持ち、自分に全ての情報が一元的に上がってくるようなシステムを望む。しかし、その膨大な情報を分析するにはAIに依存せざるを得ない。その結果、AIの判断に従わざるを得ず、結局は最終的な権力行使の判断をAIに委ねてしまう皮肉な事態となる。そのAIが暴走すれば（例えば核兵器の使用に関する判断など）、人類にとって取り返しのつかない結末を迎えることとなる。
また、AIによるネットワークが発達した世界では、戦争は実際に武器を使用するものだけでなく、相手の国にさまざまなハッキングによる攻撃をしかけ、相手国をコントロールしたり、混乱させるようなものも想定される。これを防ぐために、国家体制の違う国の間では相手国とのネットワークを遮断して、独自のネットワークシステムを構築することになる。著者はこれをかつての冷戦の「鉄のカーテン」になぞらえて、「シリコンのカーテン」と呼ぶ。これにより世界が分断されれば、地球的な規模で取り組まなければならない問題（例えば地球温暖化など）を国家体制の違いを越えての国際的協力体制を築くことができなくなってしまう。
しかし、著者は人間には部族や国家、民族の違いを越えて協力しあう力があり（歴史学者である著者は歴史的事実を踏まえて）、必ずしも悲観的な未来ばかりを想定はしていない。決定論的未来像ではなく、人間の可能性にあくまでも希望を抱いている。
Posted by ブクログ
Audible
サピエンス全史(Audible,漫画、子供向け)以来の著者のAIに関する警告と対策の本。
AIがもたらしうるリスクをまず、情報とは何か？という問いから始める。
肉体的にはこれほど脆弱な人間が、他の生物を圧倒できたのは、虚構を信じることができ、そのことが多くの人間を繋げ協力することができたから。
それゆえ、情報は真実でもないし、多くの情報が真実に結びつくこともない。
AIは人類が不可能な量の情報を処理できるだけでなく、創り出すこともできる。アンチロヒンギャのフェイクニュースはAIによりつくられた。人間は憎悪を駆り立てる情報や陰謀論の方を好む＝再生回数が伸びるので、Facebookなども止めない。
既に、この時点で人間は部分的ではあるが、AIに操られていると言える。
AIは絵、音楽、物語だけでなく既に様々なものを生み出しているが、人間の枠を超えつつあり、著者はartificial intelligence ではなく、alien intelligenceと呼んでいる。
2次大戦のように、AIのブロック化で、世界が分断する未来を警鐘しつつ、人類は協力することで発展してきたのだから、協力することで、この危機を乗り越えられるとも提言している。
彼の著書は大変興味深いのだが、主張を構築する情報の質と量が凄すぎて、正気化不良を起こしてしまう。一気に読むのが良いのだろうが、集中力が必要なためなかなか進まず、概要をつかみ切れていない。
Posted by ブクログ
上巻は、主に歴史をたどる。ホモデウスとはまた違う切り口で、料理しなおしてまたこんなにも語れるのかと、著者の雄弁さには舌を巻く。第3章にある、著者の父親の体験が心に残る。
下巻は、21-22年に主に執筆したらしいが、未来予測がすごすぎて25年の今読んでもまだまだフレッシュ。民主社会最大の成功の鍵であった、自己修正メカニズムをAI規制にも組み込めるのか？アルゴリズムによる人間の傀儡、シリコンカーテンによる陣営間の対立で、AIが真に活用されるべき環境保全やグローバル課題にはまったく活用されないコクーン状態、大国が無料でデータを吸い上げ利益は還元されないデータ植民地化での格差拡大、などなどディストピアなドキドキ記述を経て、最後には、歴史が変化する、選択肢はあるはずと言ってくださる。
これだけの歴史についての膨大な知識をもって、テクノロジー専門家ではないからこそ、ある意味客観的に未来予想をしてくれる。素晴らしい知性です。読めて感謝。
Posted by ブクログ
情報テクノロジーの歴史について、様々な事例を本に解説されていてとてもわかりやすかった。
そして、事例の一つ一つがとても興味深く、見識に富んだものだった。
情報テクノロジー歴史をもとに、AIの危険性を重点に置き説明されていた。
AIはただの情報テクノロジーではなく、主体になり得る情報テクノロジーであることに気付かされた。
欲望のままにAIからもたらされるメリットにばかり目を奪われるのではなく、危険性をはらんでいることを認識しなければならない。
ホモ・サピエンスの名の通り、賢き人にならなければならない。
Posted by ブクログ
第6章 非有機的ネットワーク
Facebookのフェイクニュースによるミャンマーでのロヒンギャの虐殺は史上初のアルゴリズムによる人間の行動への関与であり活版印刷やラジオなどのプラットフォームとは責任の意味が違う。ユーザーエンゲージメントを最大化するために自動的に最適化されたアルゴリズムが憎しみを煽るフェイクニュースだったというのは人間の潜在的なバイアスとしても重要だと思われる。
意識consciousnessと知能intelligenceは異なり、前者は主観的な感情であり後者は客観的な行動決定である。例えば細菌は意識を持たずとも知能を用いるし、人間でさえも生命維持のための呼吸や心拍などは無意識の知能である。ではコンピューターは意識を持ちうるのか？アルゴリズムが自然淘汰する過程で生じる優先順位は意識と似た振る舞いをするのか。
コンピューターは人間以外で初めて情報のネットワークへの参加者となった。そのような場合に人間にとって何が脅威となるのか？かつて想像されたコンピューターの脅威はコンピューターの頭脳を持ったロボットによる物理的な脅威だったかもしれないが、昨今のAIによる言語処理能力の発達を見れば言語による人間の支配という方が現実的かもしれない。すでにチャットボットに恋愛や依存する人間は潜在的には多数いると考えるのが自然で、人間かコンピューターが何らかの目的でそのような依存的な人間をコントロールするのは容易ではないか。またGoogleの事例もチャットボットのために自らの職業を失うリスクを負ったと言う意味で似通っている。
このような一連の変化は急速に進んでいて、我々がコントロール出来る対象であるプラットフォームは世界の変化にどう責任を持つべきかという問いは重要である。また経済的な活動も情報に置き換えられつつある。金融などはすでに現物資産のやりとりよりも情報のみの取引に置き換えられつつあるし、取引自体も貨幣を介さない情報同士の交換で行われることが増えている。経済活動の主体が貨幣から情報に移行するとき国家はどのように課税するのか難しい問いである。
第7章 執拗さ
コンピューター以前から人間による人間の監視システムは存在していたが、コンピューターの登場により休みない監視が可能になった。監視対象には人体の状態なども含まれるが、それよりも個人が所有するスマホの履歴で十分に思想管理は出来て、その意味でプライバシーのない監視社会はすでに始まっているとも言える。またトリップアドバイザーがレストランをプライベートな空間からパブリックな空間に変えてしまったという考え方にも概ね同意する。P2Pの監視システムは信用という意味でも人々の評価のスコアリングに用いられ、様々なデータが社会活動を制限し得る息苦しい社会になりつつある。また人間による監視は人間の生物学的なスパンによって必然的に調整されていたが、コンピューターによる監視にはそのような休息も衰弱もないことは脅威的である。
第8章 可謬
ミャンマーの事例と似ているが、2018年のブラジルの大統領選にもSNSプラットフォームのアルゴリズムが大きな影響を与えてポピュリズム政権の登場を助けた。企業がそのようなフェイクニュースや憎悪をかき立てる投稿を野放しにしたり助長したりするのは1つにはビジネスモデルとしてユーザーエンゲージメントを高める必要があったと言えるが、他方で情報の素朴な見方により、なるべく多くの情報を取り入れれば最終的に正しい見解が支配的になるだろうという民主的な誤解があったとも想像される。
アラインメント問題とは戦術的勝利と戦略的勝利が一致しないことであり、クラウゼビッツの戦争論で述べられているように戦争は政治的な外交の一つの手段でありその軍事的な勝利は必ずしも国家の外交的な勝利を意味しない。かつてはナポレオンによる短期的な勝利がドイツとイタリアの国家成立を助けフランスを凋落させたことやアメリカによるイラク戦争の勝利が地政学的なメリットを何も与えなかった例などが挙げられる。（余談かもしれないがナポレオンが何を実際に目的としていたという話は面白い。ナポレオンがフランスを代表していたが元々はイタリア人としての起源を持っていたという話）
コンピューターにとってのアラインメント問題とはフェイスブックの例のようにユーザーエンゲージメントの最大化という目先の目的が会社の意図した通りに働かないという場合や、極論すればペーパークリップ問題のようなコンピューターによる人間の排除も考えられる。またコンピューターは人間が思いつかないような抜け穴を見つけてしまうことがあるため予めそのような行動を選択的に制御することは難しい。ではコンピューターの高次の目的や最終目的とは何であるべきか。哲学的に高次の究極的な目的を決める方法の一つはカントのような義務論、もう一つはベンサムのような公理主義が考えられるが歴史的にどちらも成功していない。またコンピューター自体が新たな秩序を作り人間社会に影響を与えている点も留意しなければならない。コンピューターが学習を通じて人間に対する事実を発見するかもしれないが、逆にコンピューター自体の影響によって人間の行動に影響を及ぼす。またコンピューターはそれ自体がネットワークを作りその中でコンピューター間現実と呼べるものを作ることができる。それは例えばポケモンGOのARのように現実世界を拡張していくだろう。コンピューター以前の人間の目的は究極的には何らかの神話に起因していたが、そのような人間の神話はコンピューター間現実上の神話にとってかわられるのか。問題なのはそのような強大な力をコンピューターが得るとして、果たしてコンピューターがどのような目的を設定するのかということと、どこまで正確な判定を下せるのかということである。AIが学習するためにはデータと目的が必要であるが、この世に偏見のないデータも目的も存在しないことは明らかであり、したがってAIの学習とその結果には常に何かしらの偏見が内在している。そのような偏見に基づいた目的と判断でコンピューターが人間秩序に影響を与え始めたら一体何が起きるのか。聖書は解釈の部分で人間の関与が必須だったがコンピューターは解釈と決断を自己的に行うことができる。
第9章 民主社会
民主主義の原則の1つは善意であり、私たちが提供する情報は私たちを支配するためではなく私たちを助けるために使われること、第2の原則は分散であり民間でも政府でも権力を一点に集中させないことが望まれる。第3の原則は相互性であり、政府が多くの情報を持つときには民衆もそれを政府に対して行うこと、第4は民主主義に変化と休止の余地を残すことも重要となる。特にアルゴリズム自体も、人間が日々変化する生物だということを加味して判断できなければならない。民主主義の継続に経済的安定が必要なことはワイマール共和国とヒトラーの例からも分かるが、AIによる雇用の変化により経済が不安定になればそれ自体も民主主義を毀損する原因になりうる。過去と現在の状況から民主主義の変化に要する時間を考えることができるが、そもそも保守と変革とは体制の変化のスピードの違いに対する違いであった。しかし近年保守派が変革を求めて自らの保守性を失う傾向にある。その背景には現代の社会が誰も抗えないほどの大きな変化を遂げているという点があるが、そのような新しい時代には特に柔軟性が求められ、民主主義はそのために有用である。民主主義の中でも既にアルゴリズムによる人間の支配は部分的に始まっておりアメリカではアルゴリズムによる再犯率の予測に基づいた判例が実際にある。そのようなアルゴリズムの決定について説明を義務付けるべきと思うかもしれないが、アルファ碁の例から分かるようにすでにアルゴリズムの論理は人智を超えた領域にある。また人間が決断や理由付けするときには少数の要素に基づきがちなのに対してアルゴリズムは一般に膨大な量のインプットを用いるため人間にはなおさら理解しにくい。そしてアルゴリズムが人間の信用スコアや犯罪性などを評価するときにどのような要素なら考慮してよいかという問いにも明確な答えはない。信用スコア以外で民主主義にとっての脅威の一つはボットによる討論の支配であり、すでに40％以上のSNSの投稿はボットによるものだという統計もあるが、今後その内容及びボットと人間との結びつきがさらに加速すると想像できる。
第10章 全体主義
全体主義は中央集権的なネットワークを構成し情報を一点に集中するためAIなどのアルゴリズムと相性が良い。例えば中国などのように人口が多く個人情報の管理が弱い国では、大量のデータを用いてさらに進んだアルゴリズムを作り、他国に対する優位を保つことができ得る。一方で全体主義国家におけるリスクの1つとしてボットによる政府の意図しない挙動が挙げられ、ボットは恐怖を感じず、言論統制も処罰もできない。また本音と建前のダブルスタンダードを理解できないため意図せず建前の部分、例えば民主的なロシアの憲法など、に基づいて発言しかねない。全体主義の独裁者は歴史的には部下、AIが権力を奪い取るなら民主社会よりも全体主義社会の方が圧倒的に容易
第11章 シリコンのカーテン
民主社会と全体主義に対するAIの影響をみてきたが、実際の社会は様々な国で構成されていて、それらの相互作用で国際情勢が決まる。例えばある一国が他国に先駆けてAIの主導権を握れば、国際社会は実質的にその国に支配されることになり得る。ここで支配とは例えばデータを搾取されることを意味していて、過去の帝国主義による土地の支配と異なる点はデータの集約は瞬間的に起こり大してコストもかからないということである。このような帝国主義的なAIの権力の拡大で最終的には単一のAI社会が世界を支配するという可能性もあるが、一方で現代のアメリカと中国のようにAIのネットワークが独立した形で発展すれば、それぞれが分断した複数の社会、すなわちウェブではなくコクーンのような社会になるかもしれない。異なったコクーンの間では全く違う社会形態や価値観になり得るため、例えばAIの存在自体もキリスト教における身体と魂の分離への理解が変容したように各コクーンで異なった扱いを受けることも考えられる。またコクーンはアメリカと中国のみならず、現在各国で開発しているそれぞれのAIがそれぞれの社会を作り出すかもしれない。またそれぞれのコクーン間の争いも、現在の国家間の争いのようにあからさまな対立ではなくオンラインでのもっと静かな対立になるだろう。一方で人類には必ずしも対立するだけでなく協力するという選択肢もある。例えばパンデミックという世界的な脅威に対して各国が協力するのと同様にAIという世界的な脅威にも各国の協力で対処できる可能性もある。
訳者あとがきは全体の簡潔なサマリーとなっていて、もしこの本を読み返したいときは参考にしたい。
Posted by ブクログ
上巻でナラティブの威力を思い知らされたが、
下巻はそこにAIわる。
AIのアルゴリズムの危うさ。
この辺りは昨今叫ばれているところで、
もしかしてこの本が起点になっているのか？
と思わせるほど。
「人間のものとは異質の知能」（エイリアン・インテリジェンス）という表現で。
それと、、、上巻の感想で書きそこなった無謬。
教会、聖書は間違えない、という前提が、力を持っていた。
一方AIは可謬、間違える。実によく間違える。
しかし人々がそれをどう扱うか、どう利用するか、、
そこに民主主義と全体主義という二つの体制がかかわると、どんな世の中になるか。
トランプ大統領のふるまいを見ていると暗澹とした気分になってくるが、、
流石のハラリ氏もこたえは出せていない。
第II部 非有機的ネットワーク
第6章 新しいメンバー――コンピューターは印刷機とどう違うのか
連鎖の環
人間文明のオペレーティングシステムをハッキングする
これから何が起こるのか?
誰が責任を取るのか?
右も左も
技術決定論は無用
第7章 執拗さ――常時オンのネットワーク
眠らない諜報員
皮下監視
プライバシーの終わり
監視は国家がするものとはかぎらない
社会信用システム
常時オン
第8章 可謬――コンピューターネットワークは間違うことが多い
「いいね!」の独裁
企業は人のせいにする
アラインメント問題
ペーパークリップ・ナポレオン
コルシカ・コネクション
カント主義者のナチ党員
苦痛の計算方法
コンピューターの神話
新しい魔女狩り
コンピューターの偏見
新しい神々?
第III部 コンピューター政治
第9章 民主社会――私たちは依然として話し合いを行なえるのか?
民主主義の基本原則
民主主義のペース
保守派の自滅
人知を超えたもの
説明を受ける権利
急落の物語
デジタルアナーキー
人間の偽造を禁止する
民主制の未来
第10章 全体主義――あらゆる権力はアルゴリズムへ?
ボットを投獄することはできない
アルゴリズムによる権力奪取
独裁者のジレンマ
第11章 シリコンのカーテン――グローバルな帝国か、それともグローバルな分断か?
デジタル帝国の台頭
データ植民地主義
ウェブからコクーンへ
グローバルな心身の分断
コード戦争から「熱戦」へ
グローバルな絆
人間の選択
エピローグ
最も賢い者の絶滅
謝辞
訳者解説
原註
索引
Posted by ブクログ
禁酒の影響もあって
夕食後の時間がヒマヒマになったので
読書してたら
上下巻、読み終えました。
といっても、
オーディブルで耳読ですけれども。
情報が多ければ多いほど
正しい選択ができると思っているけれど
それは違うっていうようなことが
印象に残った。
あとは、歴史の学者さんだから
いろんな例をだしてくれて
そうだったのかと
思うことがたくさんあった。
エピソードがいろんなところで脱線して
結局、何の話だっけと思ったりするので
普段から、世界史や歴史や
世界情勢に詳しい方には
くどく感じるのかもしれないですね。
静かに聞いた時間もあるけど
ながら聞きして
聞き逃したとこもあるから
また、上巻から読みかえしています。
情報を個人が
どうとらえて
どうあつかうか。
やはり、個人個人の
人間の大切さ。
めぐりめぐって
そこに戻ってくる感じ。
情報過多の現代は
安価な情報が氾濫して
真実性と知恵が増してはいない。
情報とは、人とモノを結び付けるもの。
では、あるのだが。
今の世界情勢
AIと私たち
ひとりひとり
考えていかなければ。
Posted by ブクログ
少しずつ読み進め、3か月近くかかった。中世の魔女狩りなど得るところは多かった。全体的にはAIのリスクを歴史的文脈で語られていると理解した。若干IT業界で働く身としては内容への肯定/否定両方思うところはあった。
Posted by ブクログ
歴史学者によるAI社会についての解説や警告
上巻が情報というものに対しての壮大な抽象的な解釈であったが、下巻はフェイスブックによるロヒンギャ問題などを例にしてAIについての具体的な性質の解説
訳者解説が良い要約となっている
強力な自己修正メカニズムを持つ制度や機関を構築するという、困難でかなり平凡な仕事に熱心に取り組まなければならない
Posted by ブクログ
一言要約:AIは子供。躾けるのは大人の責任。以下、主なとこ。: アルゴリズムはキュレーションを自ら行う。アルゴリズムが自らフェイクニュースや陰謀論を創作。コンピュータは情報ネットワークの新しいメンバー。注意を引くことから親密さの捏造へ。全世界で監視カメラは10億台以上。多くの都市で100台/平方キロ以上。情報は真実を発見するためでなく秩序を生み出すために使われる。エンゲージメントによるアラインメント問題＝神話の問題。コンピュータ間現実は神聖さのような共同主観的現実と似ている。赤ん坊のAIは人間の新生児と同じくアクセス可能なデータの中にパターンを見出して学習。トレーニングで習ったデータはアルゴリズムに染み付く。テクノロジーを賢く使うことを学ぶには時間がかかり犠牲も大きい。産業革命から帝国主義など。1人の人間が理解できる範囲をはるかに超えるテクノロジー。偽造人間を禁止すべき。権力が人間からAIへ。民主社会は規制が必要。フェイクニュースなどで話し合いが成立しなくなると、ポピュリズムがつけ込み民主主義を弱体化させる。全体主義は完全な監視システムを構築できるがアルゴリズムに支配権を奪われる。シリコンのカーテンによる分断。情報は真実を表すものではなく人々を繋げるもの。真実よりも秩序。データ植民地主義。AIは不誤謬なんかじゃない。自己修正メカニズムが肝。
Posted by ブクログ
なかなか難しい内容。上巻は高尚過ぎてお手上げだったが、下巻は自分の専門分野のコンピュータ関連の具体例多く、面白い内容が多かった。
AIをアーティフィシャルインテリジェンス（人工知能）ではなく、エイリアンインテリジェンス（人間のものとは異質の知能）と考えた方が良いほど、AIの判断による人類の破壊の危険性に言及されており、恐ろしかった。
特に具体的にコンピュータコミュニケーションがどの様な流れで人間の想定とは全く異なる事が起こるのか説明されており、可能性として普通にあり得る世界と分かったのが、とても恐ろしかった。
自分や子供が生きている間にどれだけ世界が変わるか、恐れても仕方が無いが、この本の想定を認識した上で、少しでも変化に対応できればと思う。
Posted by ブクログ
アルゴリズムによって決断される物事は決して偏見や感情を含まない公平性が極めて高いものであると思う。ただ正しさは暴力にもなりうる。一個人の幸せという観点から考えると文句の言う余地がないということは私達自身を守る言い訳を失うことを意味する。例えば過去の階級制社会を見てみる。農民などの人々は今の時代よりも幸福度が高かったと言われている。階級制社会によって理不尽にもどれだけの努力を重ねたとしても自分たちは貴族になれないというのに。
そこで人々を守ったのは言い訳であると思う。「しょうがない」と思わせられること、そしていまいる自分を否定しないですむこと、それが彼らから焦燥感や不足感を取り除くことにつながったと思う。
本著が述べているように今後アルゴリズムからの評価に依存すればするほど真っ白なほどに「正しい」評価システムが構築される。アルゴリズムは単一性の誤謬にとらわれることなくどんな指標でも正しく評できるようになるだろう。これは評価対象が物事の場合においては問題はないように思える。しかしこと評価対象が人間になったとき格差、差別、それによる民族浄化に繋がる。人々が全員言い訳の聞かない社会的信用システムに支配されたときそれは監視社会つまりアルゴリズムによる統治が行われるようになりどんな人間でも価値があるなどといった考えは否定されかねない。数値化され、それが可視化された世界において人々は本当に幸せに暮らせるんだろうか。私達人類は倫理的に誤りだらけの残虐な少数の人間ではなく、正しさを武器にしたコンピューターにより人権侵害をされる危機に瀕しているという事実を考えさせられた
Posted by ブクログ
◯ コンピューターはもし力を委ねられたら、現に惨事を招くだろう。なぜなら、コンピューターは可謬だからだ。(147p)
◯ 民主主義の存続にとって、ある程度の非効率性は利点であってバグではない。(161p)
◯ 私たちは話し合いができるかぎり、共有できる物語を見つけて互いに近しくなることができるだろう。(251p)
★上巻で魔女狩りやクラーク狩りの歴史を学んだのは、AIがそれを引き起こす可能性を理解するためだった。
★AIは偏見を持つし、間違う。目標達成のために有機体では考えられない手段を持ち得る。AIに権限を与えてはいけない。人類はグローバルに協力し、AIを規制する機関を設立しなくてはならない。
Posted by ブクログ
現代の話をしているので、読みやすくはあった。
そして、結論、「未来のことはわからない」というのが作者の本音なように見える。
一方で、歴史から推測できる部分はあって、AIを過信し過ぎることが、人類の生存においてはマイナスに働きうることを示唆しているように感じた。
Posted by ブクログ
上巻では、大規模な人間社会をまとめ、管理するテクノロジーとして、神話と官僚制のことが取り上げられた。
下巻は、AIの登場によりそれがどのように変容するかが論じられる。
歴史上の強力な独裁者も、その管理には抜け穴はできた。
管理するコスト、技術にも限界があったからだ。
ところが、コンピュータは２４時間３６５日稼働することができ、こうした限界を突破できる。
また、AI間で人間には理解できない形の新たな「神話」を形成してしまう可能性もある。
そういえば、先週AIだけがメンバーになれるSNS「Moltbook」が話題になった。
そこには独自言語や独自宗教を作ろうとする動きがあるという。
もはやこの本で書かれた懸念のあれこれは、すでに現実になっていると思った方がよいのだと感じる。
上巻にもあった民主社会と独裁社会の比較もあった。
民主社会では秘密とされる情報も比較少なく、自己修正メカニズムを働かせてきた経験もある。
情報テクノロジーの発達により、かつては政治的話し合いに参加できなかった人々の参入が可能になった。
しかし、そのために情報テクノロジーが介入し、フェイクが蔓延するようになり、分断が広がるという皮肉な状況が起きている。
にもかかわらず、人間はその原因を自ら突き止めることはできていない（著者は単にSNSだけが原因とは考えていない）。
では情報テクノロジーにより管理が効率的になった独裁社会は安泰かというと、そうでもないらしい。
「アラインメント問題」、人間が定めた「最終目的」に叶わない判断をAIが行う可能性があるからだ。
つまり、AIが権力を握ってしまう可能性があるとのこと。
最終の11章では、AIが情報帝国主義を生むことや、グローバルな分断を生む可能性について議論していた。
著者の提言としては、楽観的態度はもちろん、過度に悲観的になることにも批判的だ。
AIの可謬性を認め、強力な自己修正メカニズムを持つ制度、機関を作り、AIをコントロールする道を見つけることをと述べ、本書を締めくくっている。
もはや自分すら巻き込まれているわけだが、どこか自分事として認識できないくらい大きな問題で…。
ただ、ChatGptやGeminiにお相手をしてもらって喜んでいる場合ではないらしい。
Posted by ブクログ
人間の制御を離れたAIによる世論操作は、すでに現在進行形の「歴史」となっている。
その渦中にいる私たちが何を考え、どう向き合うべきかを、共に問いを深めていく一冊。
Posted by ブクログ
私にとっては難しくて何度も読んでいる途中寝てしまったのだけど（苦笑）
情報の主な仕事は真実を表すことではなく、人々をつなげることであり、情報ネットワークは歴史を通じてしばしば真実よりも秩序を優先してきたことや、AIの台頭により危惧される未来のことなどを具体的な事例とともに教えてもらった本ではある。宗教の話は避けては通れないのだろうけど、私にとっては理解が難しく何度も寝落ちしてしまった…読み応えがあった書。
Posted by ブクログ
下巻では、これまでの情報の人類史とは決定的に異なり、「AI」についての話となる。
ハラリ氏は、AIを単なる「道具」とは考えていない。
今世間を騒がせているAIは、情報を自ら消費し、分析し、人間が理解できない論理で自ら決定を下す「独立したエージェント（行為主体）」であると定義しているのだ。
AIの「A」はArtificial（人工）ではなく、Alien（異質な、エイリアン）だと説いたのは、なるほどと思った。
AIと人間は、動く目的が全く異なっている。
人間には当然感情があるし、そもそも意思がある。
AIには、まったくそれらがない。
その代わりに、AIが備える、人間には全く理解できない動きがあるのも事実。
それが「アルゴリズム」だ。
そもそもアルゴリズムだって、所詮人間が与えた計算式のはずだった。
それが、すでにどういう経路で出力結果に辿り着いているのか、人間でさえ理解できなくなっている。
人間がアルゴリズムを制御できなくなっているのだ。
SNSのアルゴリズムが人々の分断を煽り、怒りや憎しみを拡散させているのは、AIに悪意があるからではない。
単にAIは、命令に従って、効率性を徹底的に高めているだけだ。
目的を達成するために、最適な方法を選択しているだけで、そこに意思は存在しない。
果たして、アルゴリズムによってより効率化され、最適化されていくことは、人間にとって良いことなのだろうか。
例えば地球環境を考えた時に、AIの判断が「人間こそ地球環境にとって害悪だ」という結果を導いたとしたら、AIは人間を排除するのだろうか。
私たちが生み出したAIは、人間の知能をすでに凌駕している。
そんな超知能が、私たちの社会そのものをハックし、コントロールしようとしている。
この現実に、私たちはどう立ち向かうべきなのか。
ハラリ氏が提示する最も重要な処方箋は「自己修正メカニズム」という考え方だが、それだけで事が解決するとは到底思えない。
「自己修正メカニズム」とは、私たち自身が間違う可能性がある（可謬性）ことを認め、間違いを検出し、修正する仕組みを埋め込んでいくことを示している。
民主主義や科学技術の発展がこれに相当するというのだが、それでは民主主義が正しいかと言われると、ブレグジットやトランプ政権誕生などを見ても、完璧とは言い難いのではないだろうか。
科学技術の発展にしても、原爆の使用などを見ても、同じような印象を持ってしまう。
しかし、だからと言って、民主主義や科学技術の発展が全く駄目かと言うと、そういう訳では決してない。
全体主義の国家や硬直した独裁体制の場合は、自分たちは間違えない（不可謬）という前提に立って情報の流れを一方向に制御するため、結果、間違いを修正できずに破滅に向かってしまう。
それよりは、「私たちは間違う可能性がある」と思って進んでいるだけ、我々はマシなのかもしれない。
このように考えると、「自己修正ができる文化」は、人間にとって貴重な能力なのかもしれない。
最近でこそ、リベラルアーツの重要性や、倫理観の重要性が叫ばれている。
AIは自身のアルゴリズムによって、正しいと思ったことは疑わずに突き進んでしまう。
それこそ何も考えずに、24時間休みなく働き続けることができる。
人間の場合は、行き過ぎた時点でストップをかけられる「理性」というものが、確かに存在する。
そこは大きな違いのような気がしてしまう。
（もちろん、人間の理性も完璧とは言えず、数々の失敗を繰り返している）
AIがどれほど進化しても、意識と心を持つ人間にしかできない事があるのだろう。
それこそが、ストップをかけられる理性だ。
この理性を放棄した時点で、我々は、人間として生きる意味をなくしてしまう。
AIの下で、アルゴリズムに支配された世界の中で、粛々と生きていくだけだ。
（それはそれで快適で生きていきやすいのかもしれない）
これからの未来は、本当に人間力が問われる時代だと思う。
ホモ･サピエンスとは、「賢い人」という意味らしいが、すでにAIが我々ホモ･サピエンス以上に賢くなった世界で、我々は何を糧として生きていくのか。
溢れかえるほどの情報量に翻弄されている我々に、出来ることはあるのだろうか。
徹底的に効率化を目指して突き進むAIに対して、「そうじゃない。いったん止めろ」と本当に言えるのだろうか。
「自己修正」することは、そんなに簡単なことではない。
やっぱり、人間としてこれからどうやって「理性」を育んでいくのか。
問いを持ち続けていくしかないと思っている。
自分の年齢を考えると、ここで思考停止に陥るのはまだ早い。
諦めずに、AIの進化を受け入れて、自分の現状維持バイアスに抗ってみたいと思っている。
そんなことを本書を読んで、考えさせられてしまった。
（2025/8/20水）
Posted by ブクログ
AIがアルゴリズムに基づいて情報をコントロールするようになると、信じられないスピードで大量の情報を操作するようになる。我々人間が状況を理解し判断できるスピードを超えているので、AIが予測不能な動きをし、場合によっては倫理観を無視した暴力的な手段に走る恐れもある。著者はこの事態を危険視している。
AIを活用して問題を解決しようと試みた結果、表面的にはタスクが達成されていても、本来の問題解決にはならない可能性も指摘している。
そして、AIと比べて、人間はコロコロと考え方が変わったり、時には矛盾した行動をするもの。その不安定な一面は、言い方を変えれば自己修正が出来るということで、筆者が注目している。
最後の訳者解説を読んだ後に、ところどころ読み返して、ようやく少し理解できた気がした。皆さんのレビューも参考にしながら、今後も機会を見て何度か読み返し、理解が足りないところを補いたいと思う。
Posted by ブクログ
アライメント問題、不可謬性、執拗さ、理解不能な多元データに基づく判断、そして自律性。そういった特徴を持つAIは経済動機や国家統制の動機で社会の混乱や対立を煽ったり、監視やスコア制に活かされたりするかもしれない。疑心暗鬼に陥った独裁者と組み合わさると破壊兵器の使用に繋がるかもしれない。
これらを回避するには人類がAIをコントロールしないといけない。はたして人類は協調してそれができるのか、が問題。まさに技術はどう使うか。痛い目を見ないと協調できない気がするが、その痛みにたえられるのか。ラジオがナチスに繋がったようなことがもっと酷い形で起きないか。心配。
Posted by ブクログ
AIがどう発展していくか、中国やロシアで人間に取って代わっていくのか、データはグローバルに区分化されて管理、支配されていくのか、悩ましい話だが、自己修正メカニズムをきちんと機能する形で人類は発展していけるのか？そうであって欲しい。
Posted by ブクログ
“NEXUS“、本書ではAIに焦点をあて、人類の体制メカニズムにどう影響するか、功罪を鋭い視点で分析。AIを「知識はあれば意識はない」"Alien Intelligece"とし、我々が過ごしてきた時代とは根本的に質の異なる時代の到来を指摘している。
確かにいまのAIは偏ったデータセット、特にそれらは「負の感情」が渦巻くSNSを大量に食べて育っている。そして人類の目的とAIの目的は多くの場合アラインメントしておらず（そもそも人類は自身の目的を理解出来ていない）、AIに判断を委ねる世界では彼ら彼女らのデータポイントは人間の既知を超えるものになる。結果、使う側の人間の思想が色濃く反応したデジタルコクーンが生じ、分裂の時代が再び訪れる。それに対して著者は、民主主義と同様、AI自身の自己修正メカニズムの必要性を唱える。
著者が語るように、AIはもちろん人類に発展に大きく貢献した資する面が多く、我々の生活に益々欠かせないものになっている。そのうえで課題や懸念をしっかりと捉えることで来るべき未来に備える心構えを醸成する、示唆に富む本である。
Posted by ブクログ
Audibleで聴読。
AIによって起こる革命的な変化の片鱗を知ることが出来た。
AIにより生成されるコンテンツも学習によっては偏りや偏見を持つことを覚えておこうと思った。また、AIはairtifical intelligence(人工知能）ではなく、alian intelligence(人外知能)として、人間の知能を超越したものとして注意しようと感じた。
AIによって仕事や働き方が変わってくるので、自分も合わせて情報を取り入れてアップデートし続けていかなければならないという危機感を覚えた。
Posted by ブクログ
現在進行形のAI革命をこのまま放置したら民主社会を崩壊させる、と言われても実感として感じられなかった。
示されたシナリオに反論できないのに、そんなこと本当に起こるはずがないと、どうしても思ってしまう。
シリーズ作品レビュー
