岡野原大輔のレビュー一覧

生成ＡＩのしくみ 〈流れ〉が画像・音声・動画をつくる

岡野原大輔

数式が出てこないので分かりやすいようで、結局数式が分からない人がわかる内容かと言われると疑問符。確率に関する概念を人に説明するのは難しいのだと感じさせる。
個人的には生成AIに関する用語や仕組みがまとまっていて非常に勉強になった。

生成ＡＩのしくみ 〈流れ〉が画像・音声・動画をつくる

岡野原大輔

難しい！ 読みやすい言葉で記述されているので、目は通せるが内容を理解するのが大変だ．「生成タスクでは一つの入力に対し無数の正解の出力候補がある」との記述がある．如何に効率的に解答を得るかが重要だと感じた．様々なモデルが提案されてきた歴史も出てくるが、その時代の計算機の能力では対応できない事例が多々あったようだ．最終的に「拡散モデル」と「フローマッチング」をつかった生成手法で大量の学習データを用いて安定的に学習することができるようになった と述べているが、具体的な形がつかめなかった．難しい！！

大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界

岡野原大輔

　人工知能の本、四冊目。この本は薄くて読みやすかったが、「読みやすい」と感じたのはこれまで読んできた蓄積のおかげかもしれない。エッセンスが短くまとまっていて、かつ比較的新しい本（二〇二三年六月発行）なので今の視点での課題や展望も語られ、良いまとめとなった。ただ、六章は難しそうだったので飛ばした。

　以下、心に残ったところと、自分の考えたことのみメモ。

■帰納と演繹
　これまでの機械学習は帰納的なアプローチであり、演繹的アプローチは苦手であった。だが大規模言語モデル（ＬＬＭ）は、「人間のように論理をたどって演繹しているわけではない」のに、次の言葉を予測する（＝文脈にもっとも自然な単語を選ぶ）という動作を積み重ねるうちに、結果として「演繹っぽい答え」にたどり着くことがある。ここの理屈はよくわかっていないそうなのだが、とにかくふるまいとして「演繹に似ている」ことができている。
　人間の仕方とは違うから「わかっちゃいない」と見るか、「実用上問題なし」と見るかは、読み手や使い方によって変わってくるところ。

■幻覚
　「幻覚（hallucination）」とは、ＡＩがまだ正解を知らない問いに対して、“それっぽい答え”を出してしまう現象。これは訓練データからの法則やパターンの獲得を目指すことと密接に関係しており、予測精度を上げるための副作用でもある。特に、「記憶」の安定した保持が難しいモデルでは、一度覚えたはずのことを忘れたり壊したりすることもある。そのため、「同じデータを繰り返し見せる（再学習させる）」必要がある。この問題はまだ解決できていない。
　論文やレポート作成時に必要な調査をするなど、正確な情報の取得を目的としてＡＩを使用する場合、 幻覚は「誤情報」「エラー」であり、できるだけ防ぐべきものとなる。ＡＩには再学習やファクトチェック、根拠の明示が求められるし、利用者側も事実の検証が必要（そういう意味では、とりあえず聞いてみるにはいいが、頼りきってはいけないわけで、本当にいつでも正確さを求めるなら「まだ使い物にならない」とも言える）。
　一方、愚痴を聞いてもらったり思考整理に付き合ってもらったりといった「話し相手」としての役割を求め、「関係性」を大事にするやりとりの中では、幻覚も「その場でいちばんふさわしい言葉を出そうとした結果」として、“ちょっと違ってたけど、いまのあなたらしいな”と受け止められることもある。
　今まで読んできた本のうちいくつかは、「役に立つ道具としてのＡＩ」しか前提にしていないと感じられるものだったが、この岡野原さんの著書は、ＡＩのことを「新しい知能を持った、時には間違えることもある、ちょっと変わった人」として付き合ってはどうかという視点を持ち出しているところがユニークで、「道具」前提の本とは違う、優しさや愛情が感じられた。人とＡＩと、お互いの良いところを生かして協力し合えばいい、という考え方だ。私は『鉄腕アトム』の世界を思い出したりもした。
　 『アトム』にも「良いロボット」と「悪いロボット」が出てきて、アトムが悩むようなシーンもあった。岡野原さんの本でも、誰かが悪意を持ってＡＩを作れば（使えば）いかようにも悪用できるということもリスクとしてしっかり書かれていた。その場合、ＡＩは人間の悪意を反映したに過ぎないのだが、きっともし、ひとたびそういった事件が起きたりその萌芽のようなニュースが流れたりでもすれば、ＡＩは怖い、と悪者にされるような気がする。手塚治虫作品でも、ロボットと人間の共生がそう上手くはいかないことは繰り返し描かれている。
　ＳＦ好きとしては、小説の世界に近づいてきた…！とわくわくする気持ちもある。その一方で、こうやってわくわくしたり、chatGPTすごいよね〜と一般人が言い合っている「今」が、「人とＡＩとのいちばん良い時代だった…」なんてあとから言われるようなことにならなければいいな…とも思った。

生成ＡＩのしくみ 〈流れ〉が画像・音声・動画をつくる

岡野原大輔

少し原理が理解できたことでまだうまく使いこなせていない生成AIの使い方のアプローチを変えてみようと思った。

大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界

岡野原大輔

Chat GPTが登場した時は、本当に驚いた。一方で、「なんでこんな間違いをするんだ！？」と不思議に思うこともあった。ということで、『大規模言語モデル』を理解すべく読んでみた。

「一般向け」としているものの、文系には厳しい部分はあり、特に、本書の要とも言える6章の「大規模言語モデルはどのような動いているのか」はかなり難しい。

とは言え、
①大規模言語モデルがやっていることは、次の単語を予測すること
②訓練されたデータ以外の見たことのない未知のデータではうまく予測できない（これができるように研究は進んでいる）
因みに、私が、2023年4月に開成中学の入試問題（2021年の小問）を解かせたところ、まったくダメ。
③存在しない情報を作り出してしまうという致命的問題がある、そしてそれが何故かが完全には解明されていない
といったポイントは理解でき、『大規模言語モデル』との付き合い方を考える上で有用であった。

生成ＡＩのしくみ 〈流れ〉が画像・音声・動画をつくる

岡野原大輔

2022年末にリリースされたChatGPTがその圧倒的性能を知らしめた｢生成AI｣というものが、どういった仕組みで動いていて、これまで存在したAIとはどう違うのか、更には現在のような性能に至るまでにどういったモデル(仕組み)があったのかを基礎から説明してくれる良書
ある程度の前提知識が求められているため、本書一冊でゼロから理解することは難しいかもしれないが、入念に読み込んだり他の科学系一般書や科学雑誌などを見ることで、より腑に落ちる形で理解できると思う
そもそもデータとはどういう形で存在しているのか、といった基礎的かつ重要な事柄から、去年(2024年)のノーベル賞の話まで幅広く扱われており多くのトピックで興味がそそられた
付録として、AI学習に欠かせない｢機械学習｣や｢ニューラルネットワーク｣についての解説も付いているためそこも読むとより分かりやすくなるだろう

生成ＡＩのしくみ 〈流れ〉が画像・音声・動画をつくる

岡野原大輔

「数式なし」という言葉に釣られて油断して読むと結構難しいと思う。著者が「理系大学生くらい向け」と言っていたが、まさにその位のリテラシーは求められる印象。また本当に「仕組み」にフォーカスがあるので、生成AIの事例等を期待している人は買わないように注意。
以上に留意すれば、この分野にしてはかなり分かりやすい一冊だと思う。

生成ＡＩのしくみ 〈流れ〉が画像・音声・動画をつくる

岡野原大輔

生成AIについて、そして「流れ」を使ってデータを生成する技術について記述。数式は出てこないが、なかなか理解が追い付かない。

大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界

岡野原大輔

やや難解だが、長期記憶やメタ学習が実現されていることを説明した部分は読みごたえがあった。

chatGPTが学習した情報の量は1兆文字、書籍で1000万冊相当分。

1948年、シャノンは情報量（情報エントロピー）と呼ばれる概念を導入した。ある情報がどれだけ予想していない驚くべき情報かを表し、起こりにくい事象が起きた場合は情報量が大きくなる。この情報理論によって、情報を数学的な枠組みの中で扱えるようになった。

2020年、学習する際に使う訓練データの量、利用するモデルのパラメーター数（モデルサイズ）、投入計算量の3つの要因と、言語モデルの検証データの予測誤差との間には、べき乗測が成り立つことが発見された。さらに、検証データの単語の予測性能と、言語理解などの後続タスクのとの間にも、正の相関が見られる。これは言語モデルが自己教師あり学習によって、言語理解に必要な能力を獲得していることを支持する。

ニューラルネットワークでは、誤差逆伝搬法を使って学習に必要な修正量を効率的かつ正確に求められる。

注意機構は、過去の単語列で重要な部分を思い出す短期記憶と考えることができる。トランスフォーマーは、自己注意機構と、三層の全結合層を使ったニューラルネットワーク（MLPブロック）を交互に重ねてデータを処理するモデル。 MLPブロックは、今処理している情報と関連する情報を読み出して処理する長期記憶とみなすことができる。

注意機構はデータを集約する役割があるが、重みパラメーターを一時的に変えているとみなすことができる。大規模言語モデルに使われている自己注意機構は、パラメーターを変えて学習した場合と同様に、指示や今生成しているデータに合わせてモデルを適用させていくことがわかった。言語モデルと自己注意機構の組み合わせによって、複数のタスクを学習することで学習方法自体を学習するメタ学習が意図せずに実現された。

大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界

岡野原大輔

大規模言語モデル、いわゆる生成AIの仕組みと今後の課題等が素人にもわかりやすく解説されている。
開発者自身も大規模言語モデルがこれだけ上手く行っているのか、まだ分かっていない部分があるとの記述に驚いた。
人間の言語習得の仕組みとの違いがあるのか無いのか、はたまた知能そのものの獲得は可能なのか、今後学習するデータが更に増えていった時に何が起こるのか興味は尽きない。
ただ、悪用されたり暴走したりしないように、しっかりウォッチしていく事が必要だろう。

大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界

岡野原大輔

ChatGPTを実現した大規模言語モデルの解説書だが、難しい！ 概念だけでも理解しようと本書を繙いたが、初めて出会う用語が大量に出てくる．汎化、幻覚、目標駆動学習、自己注意機構、本文中学習などなど．次の単語を予測するというタスクを解くために、自己注意機構というモデルは設計者も想定していなかった働きを獲得していた という記述があったが(p117)、画期的なことだと感じた．大規模言語モデルを新しい道具としてとらえ、人とは違う新たな知能を持ったシステムと考える著者のコメントに共感を覚える．難しかった．

ディープラーニングを支える技術——「正解」を導くメカニズム［技術基礎］

岡野原大輔

この時期、オープンAIの1日の稼働にかかる費用が70万ドル（1億円）とニュースで賑わっていた。

本書を、読むとそれだけコストがかかるのか理解できました。（全ての作業を、1からを高速で汲み上げている）

大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界

岡野原大輔

一般ユーザーの触れる諸サービスに限らず日進月歩の研究が人工知能界隈で尚進められているものと思うが
その動きを大仰にビジネス書チックに扱うのではなく、質実に比較的紙幅の限られる中で辿ったという感じ。

取り上げられるトピックに目新しさは少ないが、本書を専門知識の入り口とするには端的にまとまっている。

大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界

岡野原大輔

言語モデルが意味や構造を理解していると想定できると書かれていた。意味が分かるとは思っていなかったが、意味が分かっているという結果が出ているようだ。内部構造を分析することが難しいようだが、ぜひどうやって言語モデルが考えているのかを解明してもらいたい。

大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界

岡野原大輔

著者の前作（AI技術の最前線）は全く理解不能な内容だったが今回は一般読者向けを意識したのか、最新の技術が平易に解説されている

・LLMは、人間のように家族がいることなどによる価値観を有しておらず、身体性をもつことから生じる世界の理解もない。おそらくこのシステムが人間の知能と同じになることはない

・価値観や偏見をめぐる判断は人間のフィードバックによる強化学習で行っている

・LLMが次の単語を選ぶメカニズムとしては、英語の穴埋め問題を思い浮かべるとよい、というのはなんとなく腑に落ちる。確かに、あれは周辺情報から次の単語を高い確率で選ぶ例になっている。

・モデルとしては、小さいもののほうが効率よく学習できていると思われていたが、大きいものほど効率的であることがわかった。今後もよりパラメータの多い、大規模モデルの開発が予想される。

大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界

岡野原大輔

ChatGPTのベースになるLLM (大規模言語モデル)についてとても簡潔に解説された本。著者はPreferred Networksの創業者の方で、同社のエンジニアからも多くフィードバックをもらったとのことで、その点でも安心できる。

LLMの成功の鍵となる各要素、自己教師あり学習、汎化、言語モデルのべき乗則、創発、宝くじ仮説、目標駆動学習(RLHF)、自己注意機構、本文中学習、メタ学習、などの説明は簡潔でわかりやすい。

幻覚の課題は大きいが、実際にはChatGPTなどプロンプト事例を引きながら使い倒していくのが、まずは個人的観点からは最初の第一歩になるだろう。実社会では、特定用途への最適化、学習のローカライズ、プライバシーの課題のためにいったんは多くのLLM対応のSI事業が出てくるのではなるのかもしれない。インターネットの黎明期にWebサイト構築業者が出てきて、そして集約されていったのと似たようなことが起きるのだろうなと思う。

予測モデルのフィードバックがLLMでも有効であることなどは、フリストンらが提唱する自由エネルギー原理などの脳や意識の仕組みとの類似性がこの本でも色濃く感じられた。著者も指摘するように、大規模言語モデルがこれだけうまく働くことから、大規模言語モデルを研究することで、人が言語をどのように理解し、それを用いて世界をどのように認識をしているのかを理解できることを期待している。驚くほどの類似が、意外に正解に近づいているのではないかと思わせるのだ。

ひとまず、大規模言語モデルを短期間で理解するには最適な本のひとつ。

オンライン機械学習

海野裕也 / 岡野原大輔 / 得居誠也 / 徳永拓之

本書の内容自体は．オンライン学習でもバッチ学習でも適用できるような機械学習の原理が大半である。他の本に比べると最適化手法の紹介数が多いか。

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

西川徹 / 岡野原大輔

ある一つの軸・目標があるからこそこのように活躍してきたんだなと思った。
今後のロボット産業に注目しようと思う。

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

西川徹 / 岡野原大輔

Learn or DieはPFNがTech企業のリード的立場であるという前提があるからこその姿勢という見方もできるかもしれないが、学ばないものは廃れていくというのはあらゆる企業に通じる真理かもしれない。
レベル感は違えどもエッセンスは自身のマインドに取り入れていきたいと感じた。

AI技術の最前線 これからのAIを読み解く先端技術73

岡野原大輔

人工知能に興味があって、この人の本は、ディープラーニングを支える技術1、2と読んできたが面白かった。
とは言え、難しいので全部理解できた訳ではなく、興味のあるところをピックアップして読んだのだが。
他のどの本にも載っていない最新の最先端のAI技術について解説してくれているのでありがたい。