ポールシャーレのレビュー一覧

副題に「AI、ロボット、自立型兵器と未来の戦争」とあるが、これらについて、「そもそもなんぞや」から始め、人の関与の度合いのありようの違いから
・オートメーション
・半自律
・監督付自律
・完全自律
の定義の違いを説明し、なぜ、人が判断に関与しない汎用AI自立型兵器が好ましくないのかを説明するためには...続きを読む、このくらいのページ数が必要になる。（そしてまた、民間の株取引では既に完全自律システムによる実害が発生していることも）

いわゆる「サイバー戦」に於いては、速度を考えればAIの助力を人間が受けるケンタウロス方式でさえ不十分で有り、部分的に完全AI自律に頼らざるを得ない可能性を考えると、そこに心配は残る。

また、おそらく「キルスイッチの無い完全自律無人兵器」は軍事用途よりも、中国のような国家が自国内の反体制派を弾圧するために使用されそうな気もする。

しかし、対AI欺瞞画像が既に発見されているとは驚きである。

本書は、現代の自律型兵器に関する情報や考え方を網羅した、この分野におけるバイブルのような本だが、発行からわずか数年で、兵器がさらに進化し実用化が進んでいる。

ウクライナ戦争においても、トルコ製無人攻撃機のバイラクタルTB2や自爆型の「神風ドローン」が活躍し、自律型兵器は戦争の帰趨を決するような存在...続きを読むにまで成長してきた。

著者は軍人出身であることから、AIによる判断よりも軍人による判断を信用している。しかし、アフガニスタンの米軍撤退戦でも、米軍による民間人への誤爆があった。実際にはどちらの方が判断ミスが少なくなるのだろうか。

人間の判断とAIの判断のどちらが正しいのか。プーチンのような独裁者の存在まで考えると、どちらが信用できるのか分からなくなってきた。

【無人の兵団―AI、ロボット、自律型兵器と未来の戦争】
来るべき未来に出現するであろう、汎用人工知能を持つ兵器の展望と、人との関わりのお話。
【スーパーインテリジェンス】での人間を越える汎用能力を持つAI出現や、【誰のためのデザイン？】での人とシステムのインターフェース設計を思い出しながら読んだ。
...続きを読む自律型兵器が一線を越える前に決めておくべきルールのいくつかは顕在化できてるものの、残念ながら全く定まっていないところで開発が進んでる。そもそも何をもって自律した兵器と言うのかってところから。
過去のエピソードや、物理的な領域に限定されない自律型兵器の戦場についても広く紹介があった。兵器の話に止まらない、AIの活用と未来を考える本。
#読書 #AI #兵器 #早川書房

自律型兵器の使用について、特に賛成でも反対でもなく、どちらの立場であってもよく検討しておかなければならいない事項を、具体的な内容とともに説明しており、非常に参考になった。

自律型兵器の問題は、結局のところ攻撃目標選択をAIという名のアルゴリズムに委ねている点であり、その（プログラムした人間の意図ど...続きを読むおりという意味での）正確性と倫理的妥当性である（と私は考える）。

正確性はプログラムである以上限界があり、そのため現状は人間が自律型兵器のループ内に挟まる形となっているが、しかし人間が間に挟まろうが、意図をしないミスは発生するものであり、結局は自律型兵器の問題ではなく、例外事項発生時の対処を如何にするかの問題である。

後者の倫理的妥当性、つまり人を殺すという意思決定を、人間が下さずコンピュータが下すという行為の残酷さ、生命の扱いの軽さの問題については、そもそも人を殺すという行為そのものが残酷であり、アルゴリズムが決定したから残酷で、人間が決定した残酷ではないというのもおかしな話である。そもそもの判定プログラムのコーディングの時点で、どういった対象を殺害するという人間の意志は反映されており、直接の決定の部分をコンピュータが行ったから倫理的に妥当でないというのもナンセンスである。

ここまで考えると、自律型兵器の何が問題なのかよくわからなくなるが、しかし本書には倫理的妥当性に関して、その先のことが書いてあった。

人を殺すという意思決定は、人間が下そうが自律型兵器が下そうが残酷でおぞましいものであり、それが戦争というものであるが、そのおぞましい行為を自律型兵器に委ねてしまえば、人を殺すことにより生じる道徳的負荷を消滅または軽減してしまうことになる。
これは殺人という行為を悪いと感じなくさせてしまうことを意味し、確かにこういった意味で自律型兵器の問題は大きいと感じた。

遠距離精密兵器の登場により、殺人の道徳的負荷はどんどん軽減されっていっており、それを自律型兵器はより一歩進める可能性がある。

将来の戦争は、このまま殺人を前提としつつ、その道徳的負荷を軽減しながら実行していく形となるのか、それともサイバー戦のように、殺人は前提とせず、相手の国への意図の強要だけが行える形となっていくのか。

自律型兵器は、戦争のやり方という（従来戦の中での）作戦・戦術面の影響だけではなく、戦争のありよう・戦争への人間の関わり方を変えるという、より大きな影響を持つ重要な兵器なのだということに気づかされた。

自らの判断で戦う、人を殺すロボットは誕生するのか。著者が元兵士らしく、戦場経験に照らして書いてくれてるのは良し。深層学習云々はコッチが知識無さすぎてちょっとついていけてないのが残念。

長い。かなり長い。
兵器や軍事に興味が強い人でないと読めないだろう（まあ、そうじゃない人は読まないか）。
自律型兵器の定義そのものから、実際の兵器の運用や過去の誤爆事例なども含めて、詳細に丁寧に述べられている。

最近はやっている株取引の高速取引、いわゆるアルゴリズム取引にて、コンマ何秒の世界で勝負...続きを読むする世界になり、結果、フラッシュクラッシュという原因不明の暴落を例に説明していた点においては、とても納得がいった。

判断が人間の手を離れ、機械が自動的に判定すると、いきつくところまで行ってしまうということ。株ならまだなんとかなる（まあ、これはこれで大変なことだけど）が、戦争で行きつくところまで、勝手に行ってしまう、リスクがあることを知った。

無人兵器システムは人間の監督下に置かれるべき、というコンセンサスについては、まったくその通りだと感じるが、人間がどこまで責任を負うべきか、というのはとても難しい問題だ。

科学技術の発展をドライブさせる因子には様々なものがあるが、最も重要な因子の一つが”軍事”であるのは間違いがない。では、現代を代表する科学技術の一分野であるAIは”軍事”の中でどのように用いられ、発展していくのか？

本書は実際にアメリカのレンジャー部隊に所属し、イラクとアフガニスタンにて危険な任務に...続きを読む従事した後、軍事兵器のアナリストとして活躍している著者が、AIがどう”軍事”の中で用いられており、どのような論争が起こっているのかという全体像を非常にわかりやすく示してくれる。

軍事兵器にAIを用いることで得られる究極の姿は、人間の判断を経ることなく、自律的な軍事行動の遂行である。それはつまり、敵を自ら探索し、自ら攻撃を仕掛けて殲滅させる、という行動を意味する。しかし、民間人がほぼ存在しない水中や宇宙空間などの特殊な場所ならまだしも、大多数の陸上においては、その敵と民間人の区別を付けるのはAIであっても極めて困難である。そして、仮に画像認識等の技術によりそれが可能になったとしても、人間の生命を奪うという行為を、人間の判断を経ることなくAIが行うという点についても、倫理的な問題が立ちはだかっている。

とはいえ、超小型ドローンなど、AIを搭載して、一定の範囲内で制限付きの自律行動を取る軍事兵器は既に存在している。AIの倫理を考える上で、人を殺すという軍事において、我々がどのように対処していくべきなのかが極めて深刻な問題であるということを本書は教えてくれる。

自律（オートノマス）の技術の発展により、兵器においても人が関与する部分は徐々に少なくなり、ロボットや兵器が自律的に動作するようになっている。
今後もプロセスの中に人間は介在し続けるのか、あるいは完全自立型の兵器が稼働する未来が来るのか。
自律型兵器は汎用AIではなく、あくまでナローAI。ターミネータ...続きを読むーのようなことが起こることを真剣に心配する必要はないが、ドローンとAIは民間でも手に入るテクノロジー。

第一部：ドローン登場のインパクト。自動化と自律。自律型兵器とはなにか。
第二部：米DARPAや世界各国における自律型兵器の研究開発について。
第三部：ペトリオットの友軍相撃事件と、ミサイル巡洋艦ヴィンセンズ事件。完璧な機械はない。また、複雑な機械・システムは人に理解できず、緊急事態での対応が困難になる。
第四部：サイバー空間が新たな戦地となっている。
第五部：自律型兵器に対する倫理的な問題と意見。殺人の痛みは戦争における抑止力でもあり、人間が責任を負うべきである。核兵器は戦争を抑止する効果もあるが、自律型兵器は本当に使われてしまう可能性が高い。

AI搭載の無人兵器の話が中心

実用にあたってはどうなのか
その際の課題はどうなのか

なるほどね…、という感じでした

無人の兵団というこれから来るであろう戦争の一形態について、
まさに2019年の今、周りに普通に存在するテクノロジーから、古くは機関銃が自動化として発明されたころまで遡って、その進化の歴史と、映画のターミネーターのスカイネットが出来るのか？をテクノロジーのみならず戦争の歴史と法の形成まで含めて述べら...続きを読むれています。

前半は、近年注目が集まるAIと絡めたストーリーで、特に自律型兵器についての考察があり、「人間がループの中枢にいる。」事が重要という指摘。

この本を読んで、戦争は長い歴史を通じて、一応、法律が存在していて、民間人を巻き込まないとか毒ガスは使わないなど、どこまで効力があるのか分からない法が有るらしい事がわかった。
そして、出来る限り戦争という形を取りたくないと言いつつも、自分たちが自律型兵器を作らなくても、誰かが作って使うかもしれないというジレンマ。

「人間がループの中枢にいる。」事で過去の大惨事を防いで来た例を挙げつつも、株式市場では、機械同士のマイクロ秒のアルゴリズムの戦いが既に起きている事実も挙げている。

過去の兵器は、精度が低い為に、被害の規模を大きくしてしまうが、画像認識のテクノロジーでターゲットを精確に判定する事で最小限の被害で済む可能性にも言及しつつ、それでも「人間がループの中枢にいる。」事を筆者は支持している。

この本では、ドローンをはじめとして、アルゴリズムすら簡単に手に入る現状も紹介しており、混沌とした状況に頭が疲れる。

読後感としては、日本は、安価になり続けるテクノロジーを自己の力を誇示する為に人を殺すところに使うのではなく、災害救助や介護など、人を助ける為の活動に世界で一番投資して欲しいなと思った。




目次

第一部　地獄のロボット黙示録
1 スウォーム襲来　軍事ロボット工学革命
2 ターミネーターと〈ルンバ〉　自律とはなにか？
3 人を殺す機械　自律型兵器とはなにか？

第二部　ターミネーター建造
4 未来はいま造られている　自律ミサイル・ドローン・ロボットの群れ
5 パズル・パレスの内部　国防総省は自律型兵器を建造しているのか？
6 境界線を越える　自律型兵器の承認
7 世界ロボット戦争　世界のロボット兵器
8 ガレージ・ロボット　DIY殺人ロボット

第三部　ランアウェイ・ガン
9 暴れ狂うロボット　自律システムの故障
10 指揮および意思決定　自律型兵器は安全に使えるのか？
11 ブラックボックス　深層ニューラル・ネットワークの摩訶不思議で異質な世界
12 死をもたらす故障　自律型兵器のリスク

第四部　フラッシュ・ウォー
13 ロボット対ロボット　速度の軍拡競争
14 見えない戦争　サイバースペースの自律
15 “悪魔を呼び出す” 知能を備えた機械の勃興

第五部　自律型兵器禁止の戦い
16 審理にかけられるロボット　自律型兵器と戦時国際法
17 非常な殺し屋　自律型兵器の殺傷力
18 火遊び　自律型兵器と安定性

第六部　世界の終末を回避する　政策兵器
19 ケンタウロス戦士　人間+機械
20 教皇とクロスボウ　軍備管理の雑多な歴史
21 自律型兵器はどうしても必要なのか？　ロボット工学の地誌原則の探究
結論　運命などなく、私たちが作るものがある

軍事面のＡＩの現状と将来を考察した、謂わば研究書だ。期待していたシンギュラリティ（ロボットが人間を超越する）の話ではない。だが、全く関係がないわけではなく、戦争で人間が使用するＡＩを搭載した兵器の将来は、何の規制もなければ（人間の何らかの関与がなければ）、ロボット兵器が勝手に攻撃対象を探索し、勝手に...続きを読む攻撃することになる。場合によっては、例えば、敵の工作などにより、敵・味方の区別なく攻撃することになる。国際的な調整の動きはあるが、いざとなれば、そんな調整は無視されるのがこれまでの歴史である。だが、我々は既に数百の都市を壊滅させられるほどの核兵器搭載ミサイルを、たった一隻の原潜に積み込んでいるのだ。射撃手のミス、あるいは機器の誤作動によって、地球は壊滅する。これをいかに防ぐか、著者にも確たる対策は見えていない。
５００ページにも及ぶ大著だが、例が豊富に引用されているので、やや専門的ながら、また、議論が空回りする部分があるが、それほど苦労せずに読み進められる。