ＡＩが人間を殺す日 車、医療、兵器に組み込まれる人工知能

小林雅一

『AIの衝撃』著者による警告の書！ 飛躍的な進化を遂げる人工知能（AI）。明るい未来が語られる一方で、「AIに雇用が奪われる」という見方や、超越的な進化を遂げたAIが人類を支配する「2045年問題」などのAI脅威論も少なくない。しかし著者はむしろ、目前に迫る危機として、車、医療、兵器の３つを挙げる。共通するのは、私達の命に直結する分野であること。ここに今、最先端のAIが導入されようとしているが、中身の見えないブラックボックスであるうえに、ときに暴走の危険性をはらむ。世界の制御権が人間からAIへと移譲されたとき、その先に見えるのは自ら判断する機械・システムが人の命を奪う衝撃の未来。AIの真の脅威が明らかに！【目次】はじめに/第一章 AI脅威論の虚実/第二章 自動運転車の死角/第三章 ロボ・ドクターの誤診/第四章 自律的兵器の照準/第五章 スーパー・オートメーションの罠/おわりに

• カテゴリ: ビジネス・実用
• ジャンル: IT・コンピュータ / IT・Eビジネス
• 出版社: 集英社
• 掲載誌・レーベル: 集英社新書
• ページ数: 240ページ
• 電子版発売日: 2017年08月18日
• コンテンツ形式: EPUB
• サイズ(目安): 2MB

[ブクログ · ★★★★★]

自動運転や医療の世界、将棋ソフトなどでにわかに存在感を高めているAI。第4次産業革命をもたらすとまで言われるこの技術が内包する危険性について解説した本。決してAIを否定するるのではなく、科学技術は使用方法を誤ると人間の命を脅かす可能性があるという立場で、現在のAIの主流となりつつあるディープラーニングの仕組みを解説しています。
現在のAIの圧倒的なパターン認識能力は人間が到底及ぶレベルではなく、それを活用しない手はないのだろうと思います。AI将棋ソフトがプロ棋士を圧倒した結果がそれを実証しています。
しかし相関関係を見出す究極の能力があっても、現在のAIは因果関係を見出すことはできていないという点が現在のAIの限界であり、その点が解決できない限りは最後の意思決定は人間が行うべきというのが著者の主張です。
医療や自動運転、そして軍事における現在のAIの適用の現場を具体的に挙げながら、この技術をいかに人間が使いこなすべきかという問題を判りやすく解説してます。
書名がちょっとセンセーショナルですが、AIの優れた点も認めつつ地に足がついた本であるという印象でした。

[ブクログ · ★★★★☆]

【読後感想】#AIの裏側
AIが人にもらたすモノは、全てが受け入れられるものばかりではない。自律的兵器と文中では表されている「殺人ロボット」が筆頭である。すでに実証の段階にある兵器をあると聞く。今後の戦闘の様相が間違いなく変わっていく。その時に攻撃対象を決めて、攻撃を許可するのは果たして…
※最終判断はAIにはならないと個人的には思います。

[ブクログ · ★★★★☆]

人工知能（AI）がこの数年で飛躍的に進歩したと聞いたことがあります。インターネット（スマホ等）の発達による大量データの取得可能、それを保存する記憶容量の拡大等、それを下支えする技術の発展もそれに起因していると思います。

映画のターミネータのワンシーンをいまでも覚えていますが、ある時点（あの時はターミネータロボットの一部が送られてくる、でしたが）から急激に技術が進歩するようですね。これは人工知能が暴走して、人間に反乱を起こした例でしたね。

この本では、人工知能が組み込まれて、それが暴走することで人間を脅かす可能性のある例として、車・医療・兵器、にとりあげて解説しています。自動運転車が普及するころには、自動車メーカも今のビジネスモデルを大幅に変えていることになると思います。

多くの仕事が人工知能に置き換わるということは、果たして人間にとって福音なのか、そうでないのか、人工知能を上手に使いこなして、人間にしかできないことは何なのか、果たしてそれを探すことが人間を幸せにすることなのか等、を考えていきたいと思いました。

以下は気になったポイントです。

・病気の予測システム（ディープ・ペイシェント）は、その並外れた病気が発生する予知能力があるが、一抹の不安がある。その根拠・理由は教えてくれない（ｐ８）

・パターン認識において、人工知能は今や人間を抜き去ったと見られている、ある職種がパターン認識に依存する度合いが高ければ高いほど、それはコンピュータやAIに奪われる可能性が高い（ｐ１９）

・現在進みつつある第四次産業革命では、人間にとっての最後の砦として残されてきた「制御系のシステム」つまり「マシンをコントロールする権利」が、ついに私たち人間からマシン自体へと委譲されようとしている、自動化の最終プロセスである点が今までと異なる（ｐ２５）

・内部がブラックボックス化されている、ディープラーニングでは、それがどのようにして何等かの結論に至ったかを医師は説明することが出来ない（ｐ５５）
・AI脅威論の本質は、その制御に人間が関与しないこと、である。（ｐ６０）

・車体周囲の３Dマップを作成するには、様々な技術（LIDAR、超音波センサー、DMI、振動センサー等）が必要であるが、どう組み合わせるかは、車の開発・製造コストとの兼ね合いである、テスラ「モデルS」には、高額なLIDARの代わりに、超音波センサー（測定距離５メートル程度）が使われている（ｐ８１）

・理論（正規分布）と現実（ファットテール）との「ずれ」がしばしば問題となる、現実世界では「ファットテール曲線」に従っている（ｐ９９）

・人工知能は絶対的に正しい診断や治療法ではなく、最も確信度（正解確率）が高い回答候補を返してくれるに過ぎない、どれほど性能がアップしても、誤った答えを返す可能性がある（ｐ１２７）

・不愛想なロボドクターは腕は良さそうだが、理由を説明して患者を安心させるところまでは気が回らない（ｐ１７０）

・米軍の「第三の軍事刷新」では、AIを搭載した自律的兵器の導入により、兵士の「戦死」「負傷」が減少するといわれている（ｐ１７８）

・現在のAIが苦手とするのは、戦場のように何が起きるかわからない複雑な状況下で、臨機応変に行動する柔軟な対応力である（ｐ１７９）

・現在のAIは、通常の人間なら敵わないような難題を楽々とこなす一方で、梯子を上る・ノブを回してドアを開ける・ボトルの蓋を閉める、といった子供でも簡単にできる日常行為に四苦八苦している（ｐ２２０）

2019年4月7日作成

[ブクログ · ★★★★☆]

この著者は視点がいいと思う。技術の発展を手放しで称賛するわけでも、無暗に恐れるわけでもなく、機械と人間の関係や社会への影響について真摯に向き合っている。

テスラ社は、2015年にオートパイロット機能を搭載した半自動運転車モデルSをリリースしたが、2016年に死傷事故を起こした。モデルSには高性能で高価なセンサーのLIDARが搭載されていなかった。グーグルは、2016年に分社化したウェイモに自動運転事業を移管し、人間を制御の環から外した完全自動運転の開発を進めている。各社では、ごくまれに発生する非常事態にも対応できるようにするため、指令センターの人間が制御権を引き継いで遠隔操作する方式も検討されている(Human in the Loop)。

IBMが開発したワトソンは、2011年にテレビのクイズ番組で歴代チャンピョンをを下した後、本格的なビジネス用のコンピューターに改造することを決定し、これまでに25業種で導入されている。中でも、ワトソン事業部の人員の3分の2が医療ビジネスに振り向けられており、新薬の開発やがんの診断支援、ゲノム解析アドバイザーなどに応用しようとしている。東大医科学研究所でも、2015年に導入している。ワトソンは、ルール・ベースの自然言語処理に機械学習やニューラルネットワーク、ビッグデータの探索技術を組み合わせた折衷型。

グーグル傘下のディープマインド社は、2016年にアルファ碁でイ・セドル棋士を負かしたが、ディープラーニングを医療に応用する取り組みを進めている。グーグル翻訳は2016年、対訳文書を比較するディープラーニングに基づいたモデルにリニューアルした。画像・音声認識の分野では、最高水準のディープラーニングのエラー率は3%前後に達しており、5%前後である人間のエラー率を追い越している。

オバマ政権が2012年に策定した国防総省指令では、兵士が標的を定めて攻撃する半自律的兵器と、兵器自体が標的を定めて攻撃する完全な自立兵器を区分し、米軍は前者を保持・使用すると定めている。戦場で戦う兵士や指揮官が欲しがっているロボットは、自ら戦況を判断して見方を助け、敵を攻撃する自律的兵器だが、自律性を高めようとすれば、人間の予想を超える行動に出る危険性も高まる。

従来の自動車や高速鉄道、ジェット機など、これまでの技術でも、私たちが中身の仕組みや技術を理解しないまま機械に命を預けるケースは多いが、これらを開発した科学者や技術者はその原理や仕組みを正確に把握しており、人間の制御下にあった。しかし、人工知能では、当の技術者さえ内部メカニズムや思考回路を把握しきれなくなっており、人間が制御できなくなっている(Human out of the Loop)。ディープラーニングで入出力層の間に追加する隠れ層は急増しており、100層を超えるものも珍しくない。入力するパラメータの数も億単位になっている。ディープラーニングの結論に至った理由を説明できるようにすることが課題になっている。

しかし、ディープラーニングの結論に至る理由を人間が理解できる形で説明することなどできるのだろうか？ディープラーニングの方法と似ている主成分分析でも、第1成分や第2成分といった説明が行われる。第1成分は入力したパラメータのうちのどれとどれが、それぞれどのような割合で構成されているなどと説明される。隠れ層の数が多くなるほど、そのような説明が長々と続くことになるだろうし、層の段階が進むほど人間には理解できなくなるのではないか。

著者は、ディープラーニングの技術が人間社会に受け入れられる過程について、古来の薬草が効くことがわかっていても理由は不明だったことに例えて、高い確度で妥当性が示されれば受け入れざるを得なくなるだろうと予想している。自らの思考や判断よりも人工知能の結論の方が好ましいことを経験的に学べば、人々は人工知能に従うようになっていくだろう。そうして思考力や判断力を養うことを怠れば、ますます人工知能への依存が強くなる恐れも抱く。

著者が本書の最後で書いていることは、私が人工知能に対して抱く懸念と同じだ。

「いつの日か私たちが本来の心を失い、人工知能にすべての判断をゆだねるとき、人は人であることを止め、人の姿をしたロボットになる。人工知能がもたらす真の脅威とは、それが人間を殺すことではなく、人間性を殺すことなのかもしれない。」

[ブクログ · ★★★★☆]

近年、ＡＩをネタにした話題が巷を賑わせています。
中でも、囲碁や将棋のトップ棋士を打ち負かしたことなどは大いにニュースや情報番組を盛り上げていましたね。
こうしたゲームでの取り組みは、ＡＩの現状の力を測るとともに、以後の研究の発展に役立てる先駆けをなすものと思われますが、実社会で役立てるものとしてこれまたマスコミで再三取り上げられ最も脚光を浴びている分野が、本書のテーマである「車」「医療」「兵器」といえるでしょう。

私もこうしたＡＩを取り上げた情報番組などをみていてつくづく思うのは、車だったり医療だったり、ＡＩによる自動化が人間の導き出している局面局面の判断の一端を大きく凌駕しつつある現状で、ＡＩによる結論をどこまで信じることができるのかというところです。
ＡＩによる自動化が人間社会に大きな恩恵をもたらすことの反面、ＡＩが行う自動学習の過程はもはやブラックボックス化されてしまい、開発者ですらなぜこの結論に至ったのかを追求することができない。（追求するためのＡＩを別に開発中）
車の場合、なぜこの動きをして事故ったのかとか、医療の場合、なぜこの治療法を提示したのか、誰にもわからない状態で、果たして理由説明なしに人は受け入れることが可能なんだろうか？映画『ターミネーター２』のように人間の存在そのものが否定されることはないんだろうか？と不安に思うわけです。

こうした不安を、やっぱりそうか！と思う手助けをしてくれるのと（笑）、ＡＩ技術の前線について事例を交えながらわかりやすく解説してくれるのが本書になります。
著者が最も力説していたのは、「Human out of the Loop（制御の環から人間が除外される）」の危険性と、現状のＡＩのレベルでは、「Human in the Loop（制御の環に人間を含む）」の方が実際にかなっているということだと思われます。
アメリカの電動自動車メーカー「テスラ」が販売している「自動運転」車の事故の事例では、そもそも車が完全「自動運転」車ではないのに運転手が「自動運転」を過信したがために発生した事故であるとの結論とのことだし、インドやシンガポールなどでは既に医療分野でＡＩが運用されているものの最終判断は当然のことながら医師の手に委ねられているということで、つまり現状では、きっちりとした倫理的、法的な統一見解が整うまではこうした利用方法が最も最適で過信は禁物ということなんだと思います。当たり前か！

「Human out of the Loop（制御の環から人間が除外される）」であることの一番わかりやすい事例だったのはやはり医療での用途の方ですね。
仮に患者の病名や治療方法をＡＩが提示したとして、しかし、ＡＩは可能性が最も高い結論を提示してくるだけでその論理プロセスはブラックボックス、それが１００％確実だとも限らない。さらに仮に医師がＡＩに従った結果、患者を死なせた場合、責任はどこにいくのか？また逆に医師が信念に基づきＡＩとは異なる選択をして患者を死なせた場合、ＡＩに従わなかったという責任まで医師は負うことになるのか？などなど、人間の関与をどこまで認めるのかという議論になりかねず、実社会におけるＡＩの本格的な運用には越えなければいけないハードルがいくつもあるということですね。
また１０年に１度くらい発生しているＡＩの暴走による世界同時株価暴落や、刑事罰の量刑やバス運転手の適正診断、はたまた予知データとしての人事考課への活用など、論理プロセスもわからないのに人間社会がＡＩに振り回される様はまさに寒々とした光景だと言えます。
私は兵器面での活用で、『ターミネーター２』のようになったらコワイなあと内心思っていたのですが、ちゃんとターミネーター問題ってあるんですね！（怖っ！）
アメリカのロボット大会の興行が軍事費で賄われていて、日本人研究者もそちらの研究の方にとられているようで、ホントに「ターミネーター」の方に向かわないよね！？

ＡＩが構想されてから現在は第三次ブーム（？）のような状況であるとのことです。
第一世代はいわゆるプログラムング主体の命令文をコンピュータに覚え込ませる「ルール・ベースのＡＩ」と言われるものだったのが、その限界からしばらく冷え込み、次に第二世代として「統計・確立型のＡＩ」が主体となったそうです。そして、その限界からまたしばらく冷え込み、現在は第三世代として「自動学習」（ディープ・ラーニング）による「パターン認識」が世を騒がせているようです。
ＩＢＭの誇るＡＩ「ワトソン」などは「ルール・ベース」と「統計・確立型」の組み合わせが主体とのことで、現在は、何から何まで「ＡＩ」概念でひとまとめにされているので注意する必要がありそうです。
「自動学習」による「パターン認識」は、これまで人間が「勘」に頼ってきた部分を、プロセスはブラックボックスながら、人間よりも確実に結果を出せるという部分で人間の能力を上回ってきたものの、イレギュラーデータの対応の難しさや、自然言語処理に代表されるように複雑な状況への対応には「パターン認識」だけではまだまだ不十分のようです。
この感じからすると第四世代まではもう少しありそうなので、半分残念、半分ほっとした感じですかね。（笑）

本書ではこれらＡＩの現状をわかりやすく説明されていて、即興知識として勉強になりましたが、はじめにと第一章での前振りがそれぞれ本書の内容の簡潔編になっていて、程度の差がありこそすれ、都合３回、同じ話が繰り返されるのと、「兵器」の章では世界の軍事情勢の話など本論には関係ない話への脱線もあったりするので、正味は７０％くらいなのではないかと思います。まあ新書だし、こんなもんなのかな？（笑）

[ブクログ · ★★★☆☆]

この一つ前に読んだ『人工知能の最適解と人間の選択』がとても良かったので、こちらはちょっと見劣りしてしまう。が、ハイリスクな分野を３つに絞っている良さはある。小論文対策にはこっちかな。

[ブクログ · ★★★☆☆]

自動運転、医療、兵器の3分野でそれぞれのAIの活躍と将来について過激なタイトルの割にはわかりやすい説明。職業柄自動運転に興味があり購入したけど医療の分野が興味深かった

[ブクログ · ★★★☆☆]

おもに自動運転、医療、兵器の３要素について、AI の現状と今後の倫理面について問題提起。
想定どおり「答えは無い本」ですが、現状を知る目的では悪くない本かなと思いました。