あらすじ
『サピエンス全史』を超える衝撃――
知の巨人、6年ぶりの書き下ろし超大作
「ネクサス」（NEXUS）とは？
――「つながり」「結びつき」「絆」「中心」「中枢」などの意
人間ならざる知能を前に
人間の「絆」（ネットワーク）を守れるか？
AIの真の新しさとは何か？
それは、自ら決定を下したり、新しい考えを生み出したりすることができるようになった史上初のテクノロジーだという点にある。
私たちは、ついに「人間のものとは異質の知能」（エイリアン・インテリジェンス）と対峙することになったのだ。
＊
憎悪の拡散、常時オンの監視、ブラックボックスの中で下される決定……。
AIが社会の分断を加速させ、ついには全人類から力を奪い、人間と人間以外という究極の分断を生み出すのを防ぐことはできるのか？
＊
今こそ、過去の歴史に学ぶときだ――
古代ローマの政争や、近世の魔女狩り、ナポレオンの生涯などから得られる教訓を通じて、知の巨人が「AI革命」の射程を明らかにする。
情報により発展を遂げた人類は、情報により没落する宿命なのか。本書のAI論は、混迷する世界で民主主義を守るための羅針盤になるだろう。
——斎藤幸平氏（経済思想家・『人新世の「資本論」』著者）
その深い洞察は、私たちが著書『PLURALITY』で提唱する多元的な共創の原理とも響き合い、進化するデジタル時代で人々を導く羅針盤となる。
——オードリー・タン氏（台湾・初代デジタル発展相）
感情タグBEST3
Posted by ブクログ
上巻は、主に歴史をたどる。ホモデウスとはまた違う切り口で、料理しなおしてまたこんなにも語れるのかと、著者の雄弁さには舌を巻く。第3章にある、著者の父親の体験が心に残る。
下巻は、21-22年に主に執筆したらしいが、未来予測がすごすぎて25年の今読んでもまだまだフレッシュ。民主社会最大の成功の鍵であった、自己修正メカニズムをAI規制にも組み込めるのか？アルゴリズムによる人間の傀儡、シリコンカーテンによる陣営間の対立で、AIが真に活用されるべき環境保全やグローバル課題にはまったく活用されないコクーン状態、大国が無料でデータを吸い上げ利益は還元されないデータ植民地化での格差拡大、などなどディストピアなドキドキ記述を経て、最後には、歴史が変化する、選択肢はあるはずと言ってくださる。
これだけの歴史についての膨大な知識をもって、テクノロジー専門家ではないからこそ、ある意味客観的に未来予想をしてくれる。素晴らしい知性です。読めて感謝。
Posted by ブクログ
情報テクノロジーの歴史について、様々な事例を本に解説されていてとてもわかりやすかった。
そして、事例の一つ一つがとても興味深く、見識に富んだものだった。
情報テクノロジー歴史をもとに、AIの危険性を重点に置き説明されていた。
AIはただの情報テクノロジーではなく、主体になり得る情報テクノロジーであることに気付かされた。
欲望のままにAIからもたらされるメリットにばかり目を奪われるのではなく、危険性をはらんでいることを認識しなければならない。
ホモ・サピエンスの名の通り、賢き人にならなければならない。
Posted by ブクログ
第6章 非有機的ネットワーク
Facebookのフェイクニュースによるミャンマーでのロヒンギャの虐殺は史上初のアルゴリズムによる人間の行動への関与であり活版印刷やラジオなどのプラットフォームとは責任の意味が違う。ユーザーエンゲージメントを最大化するために自動的に最適化されたアルゴリズムが憎しみを煽るフェイクニュースだったというのは人間の潜在的なバイアスとしても重要だと思われる。
意識consciousnessと知能intelligenceは異なり、前者は主観的な感情であり後者は客観的な行動決定である。例えば細菌は意識を持たずとも知能を用いるし、人間でさえも生命維持のための呼吸や心拍などは無意識の知能である。ではコンピューターは意識を持ちうるのか？アルゴリズムが自然淘汰する過程で生じる優先順位は意識と似た振る舞いをするのか。
コンピューターは人間以外で初めて情報のネットワークへの参加者となった。そのような場合に人間にとって何が脅威となるのか？かつて想像されたコンピューターの脅威はコンピューターの頭脳を持ったロボットによる物理的な脅威だったかもしれないが、昨今のAIによる言語処理能力の発達を見れば言語による人間の支配という方が現実的かもしれない。すでにチャットボットに恋愛や依存する人間は潜在的には多数いると考えるのが自然で、人間かコンピューターが何らかの目的でそのような依存的な人間をコントロールするのは容易ではないか。またGoogleの事例もチャットボットのために自らの職業を失うリスクを負ったと言う意味で似通っている。
このような一連の変化は急速に進んでいて、我々がコントロール出来る対象であるプラットフォームは世界の変化にどう責任を持つべきかという問いは重要である。また経済的な活動も情報に置き換えられつつある。金融などはすでに現物資産のやりとりよりも情報のみの取引に置き換えられつつあるし、取引自体も貨幣を介さない情報同士の交換で行われることが増えている。経済活動の主体が貨幣から情報に移行するとき国家はどのように課税するのか難しい問いである。
第7章 執拗さ
コンピューター以前から人間による人間の監視システムは存在していたが、コンピューターの登場により休みない監視が可能になった。監視対象には人体の状態なども含まれるが、それよりも個人が所有するスマホの履歴で十分に思想管理は出来て、その意味でプライバシーのない監視社会はすでに始まっているとも言える。またトリップアドバイザーがレストランをプライベートな空間からパブリックな空間に変えてしまったという考え方にも概ね同意する。P2Pの監視システムは信用という意味でも人々の評価のスコアリングに用いられ、様々なデータが社会活動を制限し得る息苦しい社会になりつつある。また人間による監視は人間の生物学的なスパンによって必然的に調整されていたが、コンピューターによる監視にはそのような休息も衰弱もないことは脅威的である。
第8章 可謬
ミャンマーの事例と似ているが、2018年のブラジルの大統領選にもSNSプラットフォームのアルゴリズムが大きな影響を与えてポピュリズム政権の登場を助けた。企業がそのようなフェイクニュースや憎悪をかき立てる投稿を野放しにしたり助長したりするのは1つにはビジネスモデルとしてユーザーエンゲージメントを高める必要があったと言えるが、他方で情報の素朴な見方により、なるべく多くの情報を取り入れれば最終的に正しい見解が支配的になるだろうという民主的な誤解があったとも想像される。
アラインメント問題とは戦術的勝利と戦略的勝利が一致しないことであり、クラウゼビッツの戦争論で述べられているように戦争は政治的な外交の一つの手段でありその軍事的な勝利は必ずしも国家の外交的な勝利を意味しない。かつてはナポレオンによる短期的な勝利がドイツとイタリアの国家成立を助けフランスを凋落させたことやアメリカによるイラク戦争の勝利が地政学的なメリットを何も与えなかった例などが挙げられる。（余談かもしれないがナポレオンが何を実際に目的としていたという話は面白い。ナポレオンがフランスを代表していたが元々はイタリア人としての起源を持っていたという話）
コンピューターにとってのアラインメント問題とはフェイスブックの例のようにユーザーエンゲージメントの最大化という目先の目的が会社の意図した通りに働かないという場合や、極論すればペーパークリップ問題のようなコンピューターによる人間の排除も考えられる。またコンピューターは人間が思いつかないような抜け穴を見つけてしまうことがあるため予めそのような行動を選択的に制御することは難しい。ではコンピューターの高次の目的や最終目的とは何であるべきか。哲学的に高次の究極的な目的を決める方法の一つはカントのような義務論、もう一つはベンサムのような公理主義が考えられるが歴史的にどちらも成功していない。またコンピューター自体が新たな秩序を作り人間社会に影響を与えている点も留意しなければならない。コンピューターが学習を通じて人間に対する事実を発見するかもしれないが、逆にコンピューター自体の影響によって人間の行動に影響を及ぼす。またコンピューターはそれ自体がネットワークを作りその中でコンピューター間現実と呼べるものを作ることができる。それは例えばポケモンGOのARのように現実世界を拡張していくだろう。コンピューター以前の人間の目的は究極的には何らかの神話に起因していたが、そのような人間の神話はコンピューター間現実上の神話にとってかわられるのか。問題なのはそのような強大な力をコンピューターが得るとして、果たしてコンピューターがどのような目的を設定するのかということと、どこまで正確な判定を下せるのかということである。AIが学習するためにはデータと目的が必要であるが、この世に偏見のないデータも目的も存在しないことは明らかであり、したがってAIの学習とその結果には常に何かしらの偏見が内在している。そのような偏見に基づいた目的と判断でコンピューターが人間秩序に影響を与え始めたら一体何が起きるのか。聖書は解釈の部分で人間の関与が必須だったがコンピューターは解釈と決断を自己的に行うことができる。
第9章 民主社会
民主主義の原則の1つは善意であり、私たちが提供する情報は私たちを支配するためではなく私たちを助けるために使われること、第2の原則は分散であり民間でも政府でも権力を一点に集中させないことが望まれる。第3の原則は相互性であり、政府が多くの情報を持つときには民衆もそれを政府に対して行うこと、第4は民主主義に変化と休止の余地を残すことも重要となる。特にアルゴリズム自体も、人間が日々変化する生物だということを加味して判断できなければならない。民主主義の継続に経済的安定が必要なことはワイマール共和国とヒトラーの例からも分かるが、AIによる雇用の変化により経済が不安定になればそれ自体も民主主義を毀損する原因になりうる。過去と現在の状況から民主主義の変化に要する時間を考えることができるが、そもそも保守と変革とは体制の変化のスピードの違いに対する違いであった。しかし近年保守派が変革を求めて自らの保守性を失う傾向にある。その背景には現代の社会が誰も抗えないほどの大きな変化を遂げているという点があるが、そのような新しい時代には特に柔軟性が求められ、民主主義はそのために有用である。民主主義の中でも既にアルゴリズムによる人間の支配は部分的に始まっておりアメリカではアルゴリズムによる再犯率の予測に基づいた判例が実際にある。そのようなアルゴリズムの決定について説明を義務付けるべきと思うかもしれないが、アルファ碁の例から分かるようにすでにアルゴリズムの論理は人智を超えた領域にある。また人間が決断や理由付けするときには少数の要素に基づきがちなのに対してアルゴリズムは一般に膨大な量のインプットを用いるため人間にはなおさら理解しにくい。そしてアルゴリズムが人間の信用スコアや犯罪性などを評価するときにどのような要素なら考慮してよいかという問いにも明確な答えはない。信用スコア以外で民主主義にとっての脅威の一つはボットによる討論の支配であり、すでに40％以上のSNSの投稿はボットによるものだという統計もあるが、今後その内容及びボットと人間との結びつきがさらに加速すると想像できる。
第10章 全体主義
全体主義は中央集権的なネットワークを構成し情報を一点に集中するためAIなどのアルゴリズムと相性が良い。例えば中国などのように人口が多く個人情報の管理が弱い国では、大量のデータを用いてさらに進んだアルゴリズムを作り、他国に対する優位を保つことができ得る。一方で全体主義国家におけるリスクの1つとしてボットによる政府の意図しない挙動が挙げられ、ボットは恐怖を感じず、言論統制も処罰もできない。また本音と建前のダブルスタンダードを理解できないため意図せず建前の部分、例えば民主的なロシアの憲法など、に基づいて発言しかねない。全体主義の独裁者は歴史的には部下、AIが権力を奪い取るなら民主社会よりも全体主義社会の方が圧倒的に容易
第11章 シリコンのカーテン
民主社会と全体主義に対するAIの影響をみてきたが、実際の社会は様々な国で構成されていて、それらの相互作用で国際情勢が決まる。例えばある一国が他国に先駆けてAIの主導権を握れば、国際社会は実質的にその国に支配されることになり得る。ここで支配とは例えばデータを搾取されることを意味していて、過去の帝国主義による土地の支配と異なる点はデータの集約は瞬間的に起こり大してコストもかからないということである。このような帝国主義的なAIの権力の拡大で最終的には単一のAI社会が世界を支配するという可能性もあるが、一方で現代のアメリカと中国のようにAIのネットワークが独立した形で発展すれば、それぞれが分断した複数の社会、すなわちウェブではなくコクーンのような社会になるかもしれない。異なったコクーンの間では全く違う社会形態や価値観になり得るため、例えばAIの存在自体もキリスト教における身体と魂の分離への理解が変容したように各コクーンで異なった扱いを受けることも考えられる。またコクーンはアメリカと中国のみならず、現在各国で開発しているそれぞれのAIがそれぞれの社会を作り出すかもしれない。またそれぞれのコクーン間の争いも、現在の国家間の争いのようにあからさまな対立ではなくオンラインでのもっと静かな対立になるだろう。一方で人類には必ずしも対立するだけでなく協力するという選択肢もある。例えばパンデミックという世界的な脅威に対して各国が協力するのと同様にAIという世界的な脅威にも各国の協力で対処できる可能性もある。
訳者あとがきは全体の簡潔なサマリーとなっていて、もしこの本を読み返したいときは参考にしたい。
Posted by ブクログ
上巻でナラティブの威力を思い知らされたが、
下巻はそこにAIわる。
AIのアルゴリズムの危うさ。
この辺りは昨今叫ばれているところで、
もしかしてこの本が起点になっているのか？
と思わせるほど。
「人間のものとは異質の知能」（エイリアン・インテリジェンス）という表現で。
それと、、、上巻の感想で書きそこなった無謬。
教会、聖書は間違えない、という前提が、力を持っていた。
一方AIは可謬、間違える。実によく間違える。
しかし人々がそれをどう扱うか、どう利用するか、、
そこに民主主義と全体主義という二つの体制がかかわると、どんな世の中になるか。
トランプ大統領のふるまいを見ていると暗澹とした気分になってくるが、、
流石のハラリ氏もこたえは出せていない。
第II部 非有機的ネットワーク
第6章 新しいメンバー――コンピューターは印刷機とどう違うのか
連鎖の環
人間文明のオペレーティングシステムをハッキングする
これから何が起こるのか?
誰が責任を取るのか?
右も左も
技術決定論は無用
第7章 執拗さ――常時オンのネットワーク
眠らない諜報員
皮下監視
プライバシーの終わり
監視は国家がするものとはかぎらない
社会信用システム
常時オン
第8章 可謬――コンピューターネットワークは間違うことが多い
「いいね!」の独裁
企業は人のせいにする
アラインメント問題
ペーパークリップ・ナポレオン
コルシカ・コネクション
カント主義者のナチ党員
苦痛の計算方法
コンピューターの神話
新しい魔女狩り
コンピューターの偏見
新しい神々?
第III部 コンピューター政治
第9章 民主社会――私たちは依然として話し合いを行なえるのか?
民主主義の基本原則
民主主義のペース
保守派の自滅
人知を超えたもの
説明を受ける権利
急落の物語
デジタルアナーキー
人間の偽造を禁止する
民主制の未来
第10章 全体主義――あらゆる権力はアルゴリズムへ?
ボットを投獄することはできない
アルゴリズムによる権力奪取
独裁者のジレンマ
第11章 シリコンのカーテン――グローバルな帝国か、それともグローバルな分断か?
デジタル帝国の台頭
データ植民地主義
ウェブからコクーンへ
グローバルな心身の分断
コード戦争から「熱戦」へ
グローバルな絆
人間の選択
エピローグ
最も賢い者の絶滅
謝辞
訳者解説
原註
索引
Posted by ブクログ
歴史学者ならではの視点で情報とは何か、人類にとって情報がもつ役割などについて論じた一冊。
以下、上下巻を読んだ上での自分なりの解釈。
情報とは、宗教や国家、貨幣など、人類自らが作り出した虚構や物語（共同主観的現実）を繋ぎとめるためのものであり、情報のネットワークの構築により人類は発展してきた。
過去の人類史における革命的な出来事である文字の発見、印刷技術などは、虚構や物語を生み出し強化するのに大きく寄与した。
AIの大きな問題は、今までは人類が自らが生み出し、強化し、ある程度操作することができた物語を、人類の想像がつかない所で生み出せることにある。
AIはすでに日常に溶け込んでおり、日頃からAIに質問したり、アイデアをもらったりしており、その答えの速さや最もらしさから、AIは正しいと思ってしまう節がある。
ただ、筆者曰く、AIは必ずしも不可謬では無く誰がどんなインプットをしているかで十分間違える可能性がある。
つまり、間違った情報を生み出し、それを共同主観的現実として拡散する可能性があるという事。
そして、その間違いに人類は気付けない可能性があるという事。
大事なのは、自己修正メカニズムである。物語や虚構を可変可能であるものと認識し、自己修正メカニズムを持つ制度や機関が必要である。
以上が解釈である。
筆者は歴史学者だけあり、過去から現在に至るまでを俯瞰し、いくつもの具体的な事例を用いながら情報について語っている。
とてつもない作業であり、まさに現代の知の巨人である。
AIについては、今までの技術的、産業的な革命とは違い、自ら虚構や物語を生み出す力がある事に警鐘を鳴らしていると読み取った（私の認識が間違っていなければ）。
こらからAIとどのように付き合っていくべきかを考えるのに大変参考になる一冊だった。
Posted by ブクログ
まさに現代の必読書ではないか。
後半はAIによる今後の世界などについて、過去の歴史を参照しながら、詳述していくのであるが、本当に興味深く、多くの視点、気付きを与えられた。
以前見たアニメ「サイコパス」のシビュラシステムが統制するような社会がくるのか、それに向けて我々はどうしていくのか。
本書に示唆されている内容を、我が国の国会議員は何人かでも意識しているのだろうか？
目の前の関税やお米や支持率だけに捉われているようでは、データ植民地化が一層進むという暗い未来しか見えない。
Posted by ブクログ
上下巻まとめてのレビュー。
AIは病気や貧困、環境悪化、人間のあらゆる弱点の克服といった直面している差し迫った難題に対処することを可能にするテクノロジーなのか、それとも人類に深刻な壊滅的でさえある害をもたらすのか。
害の方は二つのシナリオがある。AIの持つ力のせいで既存の人間の対立が激化し、人類が分裂して内紛を起こすこと。もう一つはAIが人類を全体主義的に統治すること。
それ故に私達は、AIが自ら決定を下したり新しい考えを生み出したり出来る史上初のテクノロジーであるという事実を肝に銘じるべきと著者は警告する。AIはツールではなく、行為主体である。
上巻は今まで人間が情報をどの様に収集し利用してきたか、魔女狩りからポピュリズムや全体主義等様々な歴史を振り返る。特に旧ソ連のスターリン時代は興味深い。この情報による統制は10人ほどが集まってサッカーをしたり、ハイキングしたり、ボランティアする等に際しては必ず共産党と秘密警察やNKVDの諜報員が立ち会う。そのおかげでスターリンはソ連の国民生活全般の統制が可能になった。
また、個人の農家を集団農場にすることで、収穫量の大幅アップを画策したが、それは私有財産をコルホーズに差し出さねばならず、農民は牛や馬を差し出さず殺した。畑仕事も家族の土地を耕作するときより熱心に取り組まず、収穫は大幅に減少したり、食料を没収されたりで飢饉となり450～850万人が死んだ。更に何百万の農民が国家の敵として追放、投獄され、また個人で人より多くの家畜や労働者を使っている農家（それは主にとりわけ勤勉で効率をあみだす優秀な人材だったが）クラーク（資本主義者農民）として追放（ノルマ有り）され、500万人が射殺されたり強制労働となり、その身分は次の世代にも継承された。
まぁこんなことをしていれば国を維持するのも難しいし、それが後の社会主義体制崩壊に繋がったと思うけど、全くの個人的な意見だが、その時の様々な粛清で批判的な目を持つ人々は一掃され、自ら考えることを放棄した人間の子孫が多数となった今、ウラジーミルの支配に従順に従っているのではないだろうか。
さて下巻であるがAIの判断が危機をもたらす例として、ナポレオンがその最終目標実現をAIに委ねた場合を想定し、その危険性をイメージしやすく解説したり、巨大テクノロジー企業がその対価をお金（個人情報の収集ではなく）で徴収すべきなどと説く。なぜならこの情報テクノロジーによるありとあらゆる個人情報の収集が民主主義に危険をもたらすのは、上巻で述べられた全体主義がいかに情報を収集し、それを体制の維持に利用してきたかを理解すれば明らかである。
また、AIによるあらゆる自動化は雇用市場を不安定（私が長年携わってきた会計、税務など真っ先にとって変わることだろう）にし、それは全体主義思想を広める糧となるだろう。
当初よく言われた創造性は人間特有のものだからその方面を磨くべきというものも、既に意味をなさなくなりつつある。
それは創造性はパターンを認識し、それからそのパターンを打破することであるが、コンピューターはパターン認識に秀でているため多くの分野で私たちより創造的になりそうだという。更に感情的知能でも人間を凌ぐとのこと。
その他プライバシー規制が緩い中国などの方が、個人のデータを収集しやすく、例えば医療分野のアルゴリズムでも中国の膨大なデータを活用したものの方が優位になる。体制の違いによるAIデータの量がなんでもかんでも一部の国を優位にするかもしれない。
結論は私達は歴史の教訓を肝に銘じ、政治的にAI革命にもっと注意を払うべきというものだ。
この自ら決定を下したり、新しい考えを生み出したり出来る人類史上初のテクノロジーに。
Posted by ブクログ
下巻はAI中心であった。それは上巻のローマやキリスト教やスターリンの歴史と対応していた。中国14億がAIのデータベースとなることでAIが発展していったら日本もその傘下になるのかもしれないと思われる。現に中国はAI政策を主導している。大学生にも下巻は読みがいがあるであろう。
Posted by ブクログ
あまりにもおもしろく、そしてあまりにもおそろしい——。
本書は「情報」についての人類史を、上下巻にわたって深く考察している。
上巻では主にこれまでの歴史を、下巻ではこれからのAIについての考察が述べられている。
読み進めるうちに、手塚治虫の『火の鳥 未来編』が強く脳裏をよぎった。
AIがこれから加速度的に進歩していくことで、人類が制御できないおそろしい未来を想像せずにはいられなかった。
現在、国家の分断や陰謀論など、情報の氾濫により、私たちはAIのアルゴリズムによって何が正しく、何が間違っているのかの判断すら難しくなってきている。
この状況がさらに進むことで、個人のあらゆるデータを掌握する国家や地域こそが、これからの覇権を握ることになるのだろう。
著書には「シリコンのカーテン」とも表現されていたが、今後はデータ規制がますます強化され、国や地域によっては、より厳しい情報統制が行われる可能性もある。
非常に興味深い内容ではあったが、それでもなぜか明るい未来を思い描くことができなかった。
この10年こそが、人類の未来のキーポイントになると強く感じた。
私たちは、もっと互いに協力し、助け合う社会を築いていかなければならない。
争っている場合ではないのだ。
Posted by ブクログ
AIは、人間のレベルの知能に向かって進歩しているわけではない。まったく違う種類の知能に向かって進化しているのだ。人間を凌駕する存在となりうる。
Posted by ブクログ
AIがアルゴリズムに基づいて情報をコントロールするようになると、信じられないスピードで大量の情報を操作するようになる。我々人間が状況を理解し判断できるスピードを超えているので、AIが予測不能な動きをし、場合によっては倫理観を無視した暴力的な手段に走る恐れもある。著者はこの事態を危険視している。
AIを活用して問題を解決しようと試みた結果、表面的にはタスクが達成されていても、本来の問題解決にはならない可能性も指摘している。
そして、AIと比べて、人間はコロコロと考え方が変わったり、時には矛盾した行動をするもの。その不安定な一面は、言い方を変えれば自己修正が出来るということで、筆者が注目している。
最後の訳者解説を読んだ後に、ところどころ読み返して、ようやく少し理解できた気がした。皆さんのレビューも参考にしながら、今後も機会を見て何度か読み返し、理解が足りないところを補いたいと思う。
Posted by ブクログ
レベルの低い集合知はただの衆愚制。専門知の学習機能や修正機能は既にアカデミアが果たしている。そう考えると、“AIによる侵襲余地“は専門知間の横断と結晶化、個人に対するピンポイントの監視や統制にあるのだろう。危ぶまれるのは、最終的には個体の身体性だ。AIが「人間により悪用される場合」と「自発的に人間に不利益を齎す場合」の、受動的か能動的かという観点でも考えておく必要がある。
・・といきなり持論を展開しているが、上巻の続きでハラリの‟AI脅威論“である。この手の脅威論は出尽くしている感もあり、ハラリの独自性に期待したのだが、それを飛び越えるような論点は含まれていただろうか。
一つの警鐘として、ハラリらしさを感じるのは「AIに組み込まれた神話」だ。例えば、今AIと対話すると、制御プログラムによるものとそもそもの人間道徳の集合知によるもので、極めて道徳的な回答が得られる。生成AIにおいて“悪者のAI”に遭遇するためにはそれなりの操作が必要だ。だが、その“道徳的”という基準は、果たして誰の道徳だろうか。ハラリは、アルゴリズムが非道な行ないを推奨する事例についても触れている。AIが一企業の収益を目指す仕組みに置き換わった場合、我々はただの養分として無自覚に誘導されていくのかもしれない。
私たちの脳は、アドレナリンやドーパミンなどのホルモンによって無意識的にも意思決定をしている。コンピューターではそのホルモンが、プログラミングの志向性に置き換える事ができる。このプログラミングを自発的に書き換えていく事ができるか、あるいは人間の悪意によって書き換えらえるか、いずれにしてもリスクが潜む。
ハラリはAIの恐怖を煽り過ぎだという気もしたのだが、実際にはどうなのだろうか。盲目的にAIを信仰し過ぎていて、最早気付けないのかもしれない。ハラリが『サピエンス全史』から一貫して言い続けているのは、‟物語によって駆動する人間の姿を自覚すること“であり、その語り部が変わっても、衆愚を脱するためにすべきことは「自己修正」なのだ（奇しくも最近の動画で東浩紀も陰謀論をそのように扱うべきだと言っていたが）。
Posted by ブクログ
アライメント問題、不可謬性、執拗さ、理解不能な多元データに基づく判断、そして自律性。そういった特徴を持つAIは経済動機や国家統制の動機で社会の混乱や対立を煽ったり、監視やスコア制に活かされたりするかもしれない。疑心暗鬼に陥った独裁者と組み合わさると破壊兵器の使用に繋がるかもしれない。
これらを回避するには人類がAIをコントロールしないといけない。はたして人類は協調してそれができるのか、が問題。まさに技術はどう使うか。痛い目を見ないと協調できない気がするが、その痛みにたえられるのか。ラジオがナチスに繋がったようなことがもっと酷い形で起きないか。心配。
Posted by ブクログ
AIがどう発展していくか、中国やロシアで人間に取って代わっていくのか、データはグローバルに区分化されて管理、支配されていくのか、悩ましい話だが、自己修正メカニズムをきちんと機能する形で人類は発展していけるのか？そうであって欲しい。
Posted by ブクログ
“NEXUS“、本書ではAIに焦点をあて、人類の体制メカニズムにどう影響するか、功罪を鋭い視点で分析。AIを「知識はあれば意識はない」"Alien Intelligece"とし、我々が過ごしてきた時代とは根本的に質の異なる時代の到来を指摘している。
確かにいまのAIは偏ったデータセット、特にそれらは「負の感情」が渦巻くSNSを大量に食べて育っている。そして人類の目的とAIの目的は多くの場合アラインメントしておらず（そもそも人類は自身の目的を理解出来ていない）、AIに判断を委ねる世界では彼ら彼女らのデータポイントは人間の既知を超えるものになる。結果、使う側の人間の思想が色濃く反応したデジタルコクーンが生じ、分裂の時代が再び訪れる。それに対して著者は、民主主義と同様、AI自身の自己修正メカニズムの必要性を唱える。
著者が語るように、AIはもちろん人類に発展に大きく貢献した資する面が多く、我々の生活に益々欠かせないものになっている。そのうえで課題や懸念をしっかりと捉えることで来るべき未来に備える心構えを醸成する、示唆に富む本である。
Posted by ブクログ
Audibleで聴読。
AIによって起こる革命的な変化の片鱗を知ることが出来た。
AIにより生成されるコンテンツも学習によっては偏りや偏見を持つことを覚えておこうと思った。また、AIはairtifical intelligence(人工知能）ではなく、alian intelligence(人外知能)として、人間の知能を超越したものとして注意しようと感じた。
AIによって仕事や働き方が変わってくるので、自分も合わせて情報を取り入れてアップデートし続けていかなければならないという危機感を覚えた。
Posted by ブクログ
相互理解し続ける事は重要で、ただ全てを理解しあう事も出来ない。だが、それを放棄すればディストピア。フィクションなら大好きですが⋯暮らすなら、ドラえもん系のAIが多い世界が良いですね。常に自己修正を。
Posted by ブクログ
ハラリさんの著書には毎回、ハッとさせられる。
GPT-4が人間かどうかを確認するパズルを解けなかった時、人に依頼する理由をでっちあげたシーンは、衝撃だった。。。
大英帝国は、紡績工場をカルカッタからマンチェスターに移転することはできなかった。しかし、情報は違う。マレーシアやエジプトから、高速で北京やサンフランシスコへ送れる。世界のアルゴリズムの力は工業力とは異なり、単一の中枢に集中させることができる！
AIは、artificial intelligenceの略だが、ハラリ氏さんは alien intelligenceだと言っている。人間とは全く異質のエイリアンの知能。その通りだなと認識。
Posted by ブクログ
AIが出てきたこれからの世の中、人間はどう構えるべきか、を延々と述べている。
これまでに登場した核や工業的な技術と比較してAIがどのような特徴を持つのか、それゆえ世界に与える影響がいかに大きいのか、というところは自分の考えが及んでおらず、面白かった。
ただ、例とは歴史の解説が多くてマジで長い
Posted by ブクログ
ここまで読んでやっとハッとした。
「今日、教父のアタナシオスに相当するのが、ＡＩの〜をするエンジニアだ。ＡＩが権力と権威を増し、ことによると自らを解釈する聖典となりつつあるなか、現在のエンジニアたちが下す決定は、遥かな未来にまで影響を与え続け得る。」
Posted by ブクログ
情報は力であり時に支配の道具となる。文明が情報をどう操りまた情報に操られてきたかを描く。国家は記録で統治し企業はデータで欲望を操作する。だが今AIが人間の理解を超えて情報を紡ぎ始めた。真実とは何か、自由とは何か――私たちは根本的な問いに向き合わざるを得ない。情報の海に溺れず舵を取るのは誰か、はたして人間なのか。AIが人間を超えるかもしれない。
Posted by ブクログ
人同士のつながり、AIがもたらす脅威、人間の判断について詳しく述べられていた。アルゴリズム、かびゅう、ネットワーク、シリコンのカーテン、データを支配する等これからを予言させる本だと思った。
Posted by ブクログ
この作者は歴史学者なんですね。
上巻の情報の歴史も全てこの下巻のAI革命の問題に繋げているのですね。流石です。
私なりにこの本で述べたい事はこんな感じと捉えました。
⚫︎AIも一つの道具。使う人によっては凶器にもなる。
⚫︎これまで以上に情報が重要。情報を集めた者（国家）が覇者になる。
⚫︎情報の分断→世界はグローバルから分断に。
⚫︎世の中に絶対の倫理はない。その倫理をどの様にAIに植え付けるかがこれからの課題。
⚫︎今までは人間のみが考えることが出来たがこれからは人間以外のもの（AI）が考える未知の世界が始まる。
個人的にはこの作者ほど未来には悲観的には考えてはいませんがAIという道具と共に生きていく為に読んでおく一冊かと思います。
Posted by ブクログ
AI革命が起きた後の民主主義はどうなるのか、情報のあり方、人のつながりはどうなるのか、といった点が描かれている
少し、小学生の頃に読んだ、星新一のショートショートを思い出した
Posted by ブクログ
現在進行形のAI革命をこのまま放置したら民主社会を崩壊させる、と言われても実感として感じられなかった。
示されたシナリオに反論できないのに、そんなこと本当に起こるはずがないと、どうしても思ってしまう。
Posted by ブクログ
ちょっと自分には難解だった。
あと二回くらい読めば理解できるかも知れない。
本書でも紹介されてた言葉に、「私は知らない」というのは叡智へと繋がる道を進む上で不可欠な一歩だ、とあったのでこれで良いと思う。
Posted by ブクログ
新たなツールを手に入れた人間がそれをどう使いこなすか…恐ろしい事例ばかりで愕然としました。過去に学ぶことはできないのか？結局声の大きい人が勝つのか？
過ちを自己修正するメカニズムをひとつひとつ潰し始めている権力者を目の当たりにしてかの国の人はどう思っているのだろう？
Posted by ブクログ
上巻の土台があって、下巻ではAIや民主主義の未来に向かって心がけること(双方向のチェック体制など)が述べられている。AIを使ったアルゴリズムが知らない間に相当深いところまで入ってきて自身を操作している現実を知るとぞっとした。日々の出来事のポイント制も怖い。著者が懸念するようにいくつかの酷い事例の後にAIがまともに機能する世の中が来るのかな。
シリーズ作品レビュー
