岡野原大輔のレビュー一覧

生成ＡＩのしくみ 〈流れ〉が画像・音声・動画をつくる

岡野原大輔

拡散モデルやフローマッチングについてイメージでわかりやすく記述していた。技術の歴史的な背景や技術的要請からの設計思想についても詳述されていてとてもよかった。

大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界

岡野原大輔

大規模言語モデルの現状、展望、問題点が平易ではあるが、かなり広く深く書かれている。
著者は若い起業家であり、数式に頼らずにうまく概念を説明している。事例もビジネスの現場の最先端から引用されている。この辺りが学者が書いたものとは全く異なり、かなりリーダブルな本となっている。

大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界

岡野原大輔

一回AIとはどういうものかをかじって概略の知識があり、さらにそのかじった時にニューラルネットワークについてある程度かじった人には、とても具体的でわかりやすい本だと思います。『ＣｈａｔＧＰＴの全貌　何がすごくて、何が危険なのか？ (光文社新書 1267)』などを読んだ後に読むとよいのでは。

大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界

岡野原大輔

大規模言語モデル（LLM）について、またいわゆる（人口）知能とは、どのような理屈で動作しているのか？、について、その大まかな歴史、また正確な理論の解説と、わかりやすい（ただ決して万人向けではないが…）、技術的な興味を惹かれる記述を含む形で書かれた、優れた技術書であると思う。

私はかつて、学卒後約8年、いわゆるIT業界に身を置き、またその後業界こそ異なれどITに関わる仕事に長年従事してきた。ただ数年前にセミリタイアのような形でかの業界からは身を引き、ちょうど時を同じくしてChatGPTに代表されるような人工知能（AI）（LLM）が世間の耳目を集める時代になったように思う。そのような「自分の仕事とは関わりのない」「仕事を通じて触れる事のできない」LLMという概念をその基礎から知ることができず、ずっともやもやとした気分でいた。余談だが1995年のいわゆるウィンドウズショック、インターネット元年、その後の一連のIT革命（と勝手に私が呼んでいる）をまさに公私に渡って体験してきた身ではある。

そのようなLLM、について、学ぶ資料、書籍、になかなか出会うことが出来なかった。尤も、いわゆる親切な絵柄や過剰な色彩、それこそ「万人向け」の「ムック本」ならば、いくらでも書店に並んでいるだろう。ただ私は決してそのような形で（AIについて）学びたいとは思わなかった。実際、もしそのような形で触れていれば、下記のような発見はなかっただろう。

私が本書を通じて得た「発見」とは、「AIについてその技術を進化させようとする研究、行為、開発作業、は、人間の脳について、より深くその動作原理を知ろうとすることではないか？」という事である。私が冒頭で、「（人口）知能」とあえてカッコで括った事はそれを意味している。当たり前の事だが、私たちは常に考え、行動し、反省し、よりよく行動しようと、という日常を意識する事なく繰り返しているはずである。それは全く文字通り「無意識」の行動であり、その「命令」は殆ど「脳」がやはり無意識に「発信」していると思う。ではその無意識な行動は具体的にどうやって、どういう理屈で、どういう経験則に従って命令が発せられたのか？、もっとわかりやすい（と私が勝手に考えだした）例を挙げれば、テレビ番組に出てくるお笑い漫才師の演芸、その間合いとセリフが、なぜ我々はまさにその瞬間に面白いと感じるのか？、そこにAI、或いは人間の脳、というものの動作を理解するヒントがあるのではないかと、本書を読むことを通じて、私は発見させられたように思う。すなわち、AIの研究とは人間の脳の研究では無いかと。

最後に、本書の終末あたりの一文をそのまま引用する。まさにこの事がAIと人間の未来を表しているのでは無いかとも思う。

「結局のところ、人は異なる知能をもった存在によって、初めて自分たち自身を理解できるのかもしれない。人工知能が人間の自己理解に貢献していくと考えられる。」

大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界

岡野原大輔

大規模言語モデルが現在どこまで辿り着いているよかが平易な文章でよく理解できました。

通常は学習させればさせるほど、データ量が多ければ多いほど過学習が起こり、汎用的なモデルにならない所が、ブレイクスルーできている点が最も大きい。汎用的な知識に近いものが獲得できている所がすごい。あとはハルシネーションに対する対応がどうなるか次第だと思います

大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界

岡野原大輔

大規模言語モデルを「数式を使わず」に(つまり、数学分からない人間に)解説するもの。
その意味でわかり良い本の最高のものとおもいました。
二回、読みました。
数ヶ月したら「続編」(この分野は激しく変わっていくので)を出して欲しい。この内容をより充実させ、新しい状況に対応したものを期待したい。

大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界

岡野原大輔

大規模言語モデルに関する最初の一歩としては、質量共に十分な一書。

できること、リスク、背景技術、歴史など肝を押さえた記述だ。

これからの利用にあたっても、背景技術が分かると、さらに効果的な使い方ができることを予感できた。

大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界

岡野原大輔

一般向けの書籍としてPFN代表が著した本書。無駄な誇張がなく、現実的な未来ある技術として地に足のついた理解が進んだ。
大規模言語モデルは、答えを設定してテストドリブンで開発する手法とは違い、複雑なアルゴリズムを組んでデータを読ませてみて、その結果を分析したり研究したりする手法だったのか。

大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界

岡野原大輔

ChatGPTをはじめとするAIチャットサービスの裏側を一般向けにわかりやすく解説していた。難しい内容だが図解も使ってかなり理解しやすかった。

大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界

岡野原大輔

幻覚の克服はできるのか…頻度を減らすことはできるのだろうけど、ゼロにはできないのだろうなと思う。GoogleのBERTモデルの基本思想が分かった。「苦い教訓」面白そうで読んでみたい。結局、モデルとか手法を人知を加えてこねくり回すより計算能力(とデータ量？)で殴った方が良い精度が出るっぽい、ということか。モデルサイズの冪乗則と創発現象。モデルの重みパラメータは学習時以降固定だが、自己注意機構がパラメータを一時変更したかのように挙動するためメタ学習として本文中学習が可能となる。そしてRLHFによるモデル修正。
AIの適切な利用には人類の倫理観の成長が求められるフェーズになってきているが、この分野を中心とした科学技術全般の発展が楽しみで仕方ない。限りある人生の中でその劇的な発展を見届け、あわよくば貢献できればと思った。

ディープラーニングを支える技術〈2〉——ニューラルネットワーク最大の謎

岡野原大輔

※ 出版社さんよりいただきました，また，著者と面識がありますことご承知おきください．

シリーズ1巻目の『「正解」を導くメカニズム』に続く，岡野原さんによる深層学習の解説本．1巻目よりも発展的な内容を，ギュッっと圧縮して説明した本．1巻目より高度なので，機械学習を初見の読者を対象とはしていないようだ．教科書で機械学習を一通り学んだ人が深層学習の情報を得るにはとても便利な本．新しい拡散モデルまで紹介されていていることに驚かされる．

第1章：第1巻で紹介しきれなかった，学習の改良手法を一通り紹介している

第2章：深層学習が，データを一般的な状況にうまく汎化できる理由は，理論上の大きな問題として残っている．この問題について，現状での有力な仮説をまとめている．

第3章：代表的な生成モデルを超圧縮で紹介した本．機械学習のバックグラウンドがある人向けに，うまくかいつまんで紹介している．しかも，VAE，敵対的生成ネット，自己回帰モデル，そして新たな拡散モデルまで網羅している．

第4章：まず，強化学習についての基本的な内容を一通り復習．そして，深層学習と結び付いた DQN と Alpha GO について紹介だが，何が難しく，それをどうやって克服していったかが紹介されている．

第5章：最初の節だけは，取りこぼした自己教師あり学習．その後は，今後の展望について Sutton さんや Bengio さんの講演を基にした議論を紹介する．最後に，まだ解かれていない課題についてまとめているが，これを見ると一番難しいところは50年間変わらないなと感慨にふけってしまった．

ディープラーニングを支える技術——「正解」を導くメカニズム［技術基礎］

岡野原大輔

※ 出版社さんよりいただきました，また，著者と面識がありますことご承知おきください．

深層学習に関する多くの技術的知見を少ないページ数に凝縮している．非常に多くの情報が取り上げられているが，それぞれは概要の説明になっている．

深層学習についてこれから知りたい人には，全体を俯瞰するための本で，さらに理解を深めたい話題を見つけて，他の資料にたどり付ける．ある程度知っている人には，思い返すときの辞書となると思う．

詰め込んであるので雑多になりやすいが，各章の始めに図で，最後にまとめの章を設けていて，主張したいことが明確にするといった工夫がなされている．

各技術要素について，それがどうしてうまく働くのかの知見についても述べているのは特徴的．例えば，正規化が，表現力や学習のし易さを向上させる効果があり，その理由についても簡潔に取り上げている．

第1章：論理のような明示的な処理と，視覚処理のような暗黙的な知識処理との統合という人工知能実現の難関を最初に示している．人工知能史を紹介してから，深層学習の概念的な説明と応用事例を示している．大規模なデータと計算量については1節をさいてその重要性を力説しているのは，この本のポイントの一つだと思う．

第2章：1990年代までに確立した機械学習の代表的な概念を超圧縮で紹介．この後の章を読むのに必要な用語を，簡単な数式を交えて概念的に説明したもの．

第3章：深層学習以前のニュールネットの説明をやはり超圧縮で紹介．画像を扱うための畳み込みネットや，系列を扱う RNN や LSTM まで一気に進める．活性化関数のところが，だいぶ力を入れて執筆されている．

第4章：深層学習以降に，深層ニュールネットをうまく扱えるように開発されたバッチ正規化，スキップ機構，注意機構の紹介．スキップ機構は個人的にはそれほど重視していなかったが，知らなかった利点があることが分かった．

第5章：画像認識モデルの進展を，各モデルの主なアイデアと共にまとめている．音声認識は基本をまとめた内容．自然言語処理のBERTの成功理由の考察は興味深かった．

ディープラーニングを支える技術——「正解」を導くメカニズム［技術基礎］

岡野原大輔

ディープラーニングの基本となる考え方から最新の発展まで知ることができる。

【概要】
●機械学習の基本
●ディープラーニングで最近注目されている手法
●ディープラーニングの歴史と現在、今後の展開

【感想】
●本書に書かれているとおり技術解説書であり入門書ではないため、ディープラーニングを知らない人は他書で勉強してから読む必要がある。言い換えると、この本が難しすぎると思う人はしっかり入門書を読んで勉強した方がよい。
●体系的にまとめられているため、検定合格者やディープラーニングを学習したことがある人にとっては非常に理解しやすく、ためになる本だと思う。
●今後も技術進展に伴い、バージョンアップしてもらえるとありがたい。

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

西川徹 / 岡野原大輔

何故か「ストーリーとしての競争戦略」を連想しました。世によくあるHow Toやベストプラクティスはなく、あるとするなら疑え。経験に甘んじることなく常に学び続ける。とてもパワーを貰えるし、読者が行動を起こせるように非常に理解しやすい言語セレクトがされている事が印象的。こんな文章を書く人ほど、非常に優秀なのだろうなと感じる。そもそもこの本が何のためにリリースされているのかを実感する。

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

西川徹 / 岡野原大輔

プリファードネットワークス(PFN)創業者の2人、西川・岡野原が綴ったこれまでの軌跡と、行動規範・未来についてである。

PFNはAI技術を扱う会社でありソフトウェアとハードウェアの融合、AIを扱うロボットを目指す企業だ。
個人的には、GAFAに蓋をされたような日本において、未来に希望を抱くことのできる内容だった。

まさにGoogleのように研究開発重視の姿勢で20%のリソースを自由な研究に割き、組織も同じ方向性に立つ人材に限って採用する、まさに前に進み続けるためにある企業だ。
コミュニケーションを重視する姿勢も良くあるIT企業とは異なると感じる。

表題にもある当社のバリューのうち、Learn or Dieこそが躍進の源泉なのだろう。その他含めて

　＊Motivation-Driven（熱意を元に）
　＊Learn or Die（死ぬ気で学べ）
　＊Proud, but Humble
　（誇りを持って、しかし謙虚に）
　＊Boldly do what no one has done before
　（誰もしたことがないことを大胆に為せ）

どれも、らしさを、表している。

世界を変える様なことをできる彼らを羨むだけであることはもったいない、成功すると分かっていることは面白くないという気概で生きたい。

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

西川徹 / 岡野原大輔

PFNが何をやっている会社か、どのような経緯で今の会社になったのか、どんな気持ちで会社が運営されているのかなどが概観できた。会社のポリシー（？）のようなものにも触れられて少しモチベーションが高まった

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

西川徹 / 岡野原大輔

とにかくすごいということがよくわかった．技術志向のところは，地に足がついてるし，時代の変化にも適応できるというか，むしろ時代を作っていくという感じがする．

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

西川徹 / 岡野原大輔

謎の天才集団というイメージが強いPFN。本書ではその天才性をまざまざと感じつつ、「学び続ける」「謙虚でいる」といった姿勢こそが肝要なのだということを伝えてくれる。
読んでいてここまでワクワクする企業ものもなかなかない。
研究開発を主体にした「なにをやっているのかよくわからない」企業への理解を深め、圧倒的に興味を持ってしまう魔力をもった一冊。

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

西川徹 / 岡野原大輔

プリファード・ネットワークスの沿革や概念について創業者の視点から書かれている。
会社が掲げる主な理念として４つほど挙げられてる。
Motivation-Driven (熱意を元に)
Learn or Die (死ぬ気で学ぶ）
Proud, but Humble　（誇りを持って、しかし謙虚に）
Boldly do what no one has done before (誰もしたことがないことを大胆に為せ)
この４つ、確かに大事だなという気がするし、真っ当なことは大きい会社がさっさとやってしまう。だからこそできるかできないか分からないところに挑戦するといった姿勢は好感が持てた（それができるような資金調達に成功しているのもすごいが）
PFNが強くなった理由も納得できた気がした一冊でした。
やっぱり夢があるって良い

生成ＡＩのしくみ 〈流れ〉が画像・音声・動画をつくる

岡野原大輔

言語処理（離散的）を除く、連続的な動画、音声、画像の生成AIの現状の技術レベルを数式を使わず、説明している。あくまで現状なので、まだ汎化にはいたっていない。

難しかった、分からなかったという感想が多いが、私にはよく分かった。
理由を考えると、
１．熱力学・統計力学の知識があった。エネルギーや分配関数への理解が容易になる。
２．多様体、対称性など現代数学の知識があった。
３．計算量や並列処理など計算機工学の知識があった。
４．物理的な意味での位相配位空間の知識があった。
５．流体力学の知識があった。
などが挙げられる。
しかし、本書では喩えを用いながら、簡便に説明されているので、前提知識はいらないという感想ももったが、概して大学学部レベルの物理学の知識があると、理解が容易になる。