岡野原大輔のレビュー一覧

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

ギークで野心的な経営者の、会社設営の歴史、経営思想と技術的展望が分かりやすく説明されています。何に対しても挑戦的というところが素晴らしく、刺激を受けました。
深層学習の技術的なところの説明が良くて、深層学習とその周辺技術の進展と大枠を掴むのに役立ちます。

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

技術的に、また、組織的に面白かった。
信念として強いものがあり、変な意識改革を煽らないところが良い。
文章にキレと熱量があった。

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

会社としての在り方もそうですが、西川さん、岡野原さんというビジョナリーの考えを垣間見られるのが本書の一番いいところでした。

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

主著者を知っているのもあり、凄く心に刺さってきた。
想定よりも心を揺さぶられた。シン・ニホンよりも未来を感じた。

読んでいて、数年前まで感じていた
圧倒的劣等感を思い出した。
東大には猛烈な才能がごろごろと転がっていて
いかに自分が普通なのかということに。
こういう天才たちにあこがれを抱き
自分と比較して、自分はなんてダメなんだと思い知らされたけど、こういう天才がいるから社会は変わっていく。
自分には自分の役割がある。
謙虚にというのは大事。
謙虚になるために、いくつもの軸を渡り歩く。
初心者を経験し続けることで、多様性の理解も進むし
他人に対して謙虚でもいられる。

起業は、思い立った時に始める。
氏の軽いノリを思い出す。
でもそれをまねしても、他人がうまくいくわけではない。
間違えてはいけないのは、
圧倒的な才能の集まりがあるからこそ。
圧倒的な資産（技術や人）があるからこそ。
運もあるけど。

機械学習と深層学習の違いを分かりやすく説明してくれた。
そして、そこに対する研究の流れが分かった。
確かに面白い。
なにより、プログラムがなくなるというのが衝撃
自ら学習し、プログラムを書くようになる未来。
それは社会が大きく変動する。

機械学習の主体としたPFI→PFNへ
社会の動静を把握していたのが大きい。
新しいこと、面白いことをしないと生きている意味がない。
本当に自分はやれているか？

生体を相手にしていると、そのデータの取得方法にかなり依存してしまうけど、
機械相手であれば、相手が勝手にデータを吐き出しまくっているというセンス。
だからこそリアルに向上を持っているものが強い。

Motivation-driven
Learn or die
学び続ける人を採用する。まずそこが前提。
チームで学ぶというやり方；個人が能力を開発しても、引き継がれていかない。集団で仕事をするうえで、
この人に聞けばわかるという状態になって初めて意味が生まれる。
一人でやる仕事はない。
社会実装をメインに考えるからこそ、技術的課題にぶち当たる。それが健全だと思う。
Proud but humble：先に挙げた通り、新しい分野に挑戦するからこそ自分の実力を相対化できて、謙虚になれる。
時代の流れを察知して、きちんと乗り換えるのは大事。
そこも、新しいことを勉強するという意識から生まれるのかもしれない。
Boldly do what no one has done before


VCを入れないというのは、必ずしも正しくはなかったかもしれないけど
説明責任が軽いというのは大事。
そこで仕事の自由度が確保できる。
（Netflixの時のブロックバスターや、PIXARのジョブスなど）
技術を分かる人からお金を借りる。
本業で恩返しをする。

外部資金を入れないと、日銭を稼ぐために、
本業ではないことをやらなければならなくなる。
それは、技術もノウハウも蓄積しない。
それは、会社として意味がない。

やりたい研究ができる、そのためのビジネス。
まずは自分が何をやりたいのか？
それを実現できるテーマを採択する。
コンピューターを作りたい。それのためのビジネス。

人生を楽しんでいる人
自分より優秀な人、成長欲求があるひと、人と一緒に仕事ができる人、結局わからないから、情熱や、モチベーションを見る。自分の専門性に対して、どれだけの熱量をもって取り組めているかは大事。

失敗を責めない、説明責任を負わせない、というのが大事な気がする。
ただ、そもそも、そこに値する人を採用するというところとセットだけど。
やっぱり、どれだけ成長できたか・というのが大事。
結果は後からついてくる。

技術を作る。社会実装をベースに技術を磨けば、
価値はいつでも作れる、
１０万のロボットがあれば普及する。
独りよがりの技術ではなく。実装できる技術を嗜好すれば。
ロボットが各家庭に普及した社会も
いずれ来るんだろう。


心が揺さぶられた良い本だった。

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

PFNという会社についてのことがわかる本である。
差別化できるポイントを作り、試行錯誤を繰り返すという言葉が響いた。
また、深層学習についても少し知れた。

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

日本を代表するAI研究開発企業であるPreferred Networksの創業者である西川氏、岡野原氏の2名が、PFNという企業の実態を、初めて一般向けに語った書籍。

タイトルは4つある行動規範のうち、最もPFNらしさを表わすものとして選んだとのこと。このような行動規範やミッションから、会社設立に至る背景、Equityベースの資金調達、しかもVCではなくファナックやNTTなどの事業会社からの調達にこだわっている理由、そして西川氏の水樹奈々への尊敬と愛情など、多岐に渡るトピックが非常に読みやすくまとまっている。

特に重点的に取り組んでいる事業分野であるロボットに関しては、相当なページが割かれて今後の未来像が描かれており、大変面白かった。

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

Learn or Die. PFN経営陣が大切にする行動規範のひとつをタイトルに据えた著作。日本を代表するベンチャーと言われながらも、きらびやかな世界を歩んできた訳でなく、不可能や無理と言われてることを疑い、その可能性の抜け道を探してきた、というのが文字から伝わって来る。

チャレンジではあるが適切な目標を立て、周りの協力を得て学びながら、達成していくことが大事、というのは、言うのは簡単だが実行することが難しい。

ロボットにかける意気込みも感じられ、あっという間に読み終わる。

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

プリファードネットワークのツートップ、西川徹氏と岡野原大輔氏が自社の成り立ちから今後の展望を語ります。
検索エンジンから自然言語処理のJubatus、そしてディープラーニングの世界に飛び込みChainerを開発するもそれを捨ててfacebookのPyTorchに研究開発基盤を移行したとのこと。
弊社でもJubatusを試しつつTwitterやfacebookのデータを使って何かできないか模索したこともあり、注目していましたが、改めて本書を読むとその凄みがよく分かります。
また、ディープラーニングの説明をしている章は解明できてない点が徐々に分かってきたことも説明されていてとても興味深く読めました。
Learn or Die（死ぬ気で学べ）、素晴らしいタイトルです！

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

書店で目に入った瞬間、テンション上がって即買い。PFNのことをずっと知りたかった。読んでみると、チームビルディングが上手くいっており、尚且つ楽しんで研究している人たちであることが分かって益々魅力を感じた。謙虚に学び続ける人の集団。かっこいい。

これからの事業をどう見据えているのか、目標とする未来についてもこれまた率直に述べられていて好感持てました。シンプルで正直な本、かな。

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

Learn or Die というより、 Born to be Learningという感じ。
エンジニアの会社のエンジニア創業者二人が、これまでの経緯と会社でやっているところ、目指すところを平易な文章で書いた本。
もちろん面白い。文章は平易だけど、「インデクシング」とか「Hadoop」とかが説明なしにわかる人が読んだほうが楽しめるはず。
内容は回想録や社史みたいな感じなので、「PFIと言う会社には興味ないけどAI全体とかベンチャーそのものを知りたい」みたいな人には向かなそう。また、暴露本ではないので、この本でいきなり何かの事実が登場してるみたいなのも無いと思う。

深層学習で様々な問題を解く可能性は今もたくさんあるし、優れたエンジニアが集まらないと解けなさそうな問題も多い。

奇想天外な話はないけど、「あの時期にこの意思決定できたのは未来が見えてたな」みたいな話はいっぱいあるし、悪く盛ったりハッタリ的なところはなくて、気分良く読めたしいろいろ参考になった。

オンライン機械学習

機械学習の概要から書き起こしてくれ、サボートベクターマシン、パーセプトロンに触れるとともに、オンライン機械学習の長所、短所から、ディープラーニングまでカバーしてくれている。タイトルから分かりにくいが、これ一冊読めば、機械学習の概要を掴めると思う。理解するにはやはり数式を追わなければならないが、この本は比較的その負担が少ないほうだと思う。

ヒトとＡＩ

書いてあることはそれなりに納得性があるけれども冗長かなと思った。半分くらいの分量で表現できたのでは。

ヒトとＡＩ

AI開発・研究者である著者の肩書から、当初はAIの仕組みや最新技術について解説する本を想像していた。しかし実際には、技術的な説明は必要最小限にとどまり、「学習するとは何か」「理解とは何か」「意識や自己とは何か」といった、哲学や心理学にも通じる問いが中心となっている。その点がいい意味で予想外だった。

本書では、AIの知能と人間の知能をさまざまな角度から比較することで、むしろ人間の思考や学習の特徴が浮かび上がってくる。少ない経験から学ぶ力、抽象化や言語の働き、感情や文化、死という有限性、さらには自由や責任といったテーマまで扱われており、「人間らしさとは何か」をあらためて考えさせられた。

また、AIの発展によって仕事や教育、研究、コミュニケーションがどのように変化していくのかについても、単なる未来予測ではなく、人間がどのような役割や責任を担うことになるのかという視点から論じられている。AIについて理解するための本であると同時に、AIとの比較を通して人間そのものを理解するための本でもあると感じた。

AIが急速に身近な存在になっている今、AIに何ができるのかだけでなく、人間にしかないものは何か、そしてAIと共に生きる社会をどのように設計していくべきかを考えるうえで、とても参考になる一冊だった。

ヒトとＡＩ

仕事上必要になったので関連書籍に加えて購入。実用以前の考え方や仕組み作りの参考になった。

責任は誰のものか？
責任とは結果を受け止め続ける主体であることと定義し。責任の生じる条件を３つに整理
①判断がなされていること
　「こうする/こうしない」の分岐が存在すること
②その判断が外部に影響すること
③結果が不可逆であること

また、責任はどこに置かれるのか？についてAIが関与するシステムでは責任が複数の階層に分配されるとする。
①（設計責任）どのような判断が可能になるように設計したか。どこまでを自動化し、どこに制約を置いたのか。
②（運用責任）設計されたシステムを、どの文脈で、どの目的で使ったのか。例えば、未検証のまま現実に投入した場合は責任に問われる
③（介入責任）問題が兆候としてあらわれたとき、止められたか、変更できたか。

つまり、判断の前提となる構造をどう作り、それをどこで使い、止めることができたかどうか。その全体に責任は分散し連なっている。

これらは当たり前のようでいてAIエージェントという巨大なシステムを前にして混乱した頭をシンプルに整理できた。

責任を個人に還元しないために
一　必要なのは、あらかじめ責任が割り当てられている構造である。誰がどの判断に関与し、どの段階で介入でき、どこから先は不可逆になるのか。それを事前に定め、共有し、運用する仕組みが求められる。

最後に推進の決め台詞に下記を認めておく。

「理解してから進む」という慎重な態度は、時として「進歩を放棄する」と同義になる。

でもわからないものに手を出すのは誰だって不安なんだよな。

業務関係ないなら実は好きな個所は哲学的なヒトの意識に関する問いや死と集団の学習についてだ。

大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界

2023年発行と変化の激しいこの分野において少し前の本ではあるが、分かりやすく基本が学べるとの書評を読んで購読。可能なこと、リスクと課題辺りまではさすがに知っている内容が多かったのも、2023年から時間が経っているからかも。
さすがに、大規模言語モデルはどのように動いているか辺りは、自分には専門性が高くて理解が及ばなかった（というか、知っても使いどころが…なのでちゃんと読まなかった）。
その中でも印象的だったのは、脳の神経回路網を参考にして作られたモデルであるニューラルネットワークが、もはやどう進化していっているのかよく分からなくなっているという話。だとすると、人知の及ばないところで人間の手がつけられなくなることもやっぱりあるのかなと恐ろしくなる。

大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界

ギュッと内容が凝縮されていてとても勉強になった。ただし凝縮されているだけに説明がコンパクトで細かいところを理解するのは難しい。

生成ＡＩのしくみ 〈流れ〉が画像・音声・動画をつくる

エネルギーモデル
各要素について、学習データにより確率を学習し、多次元空間上でよりエネルギーの低い安定した状態にボールが転がるように確率の高い方へ推論することでデータを推測。各要素について学習した確率の総和が1となるよう補正する必要があり、全要素の確率を出さないといけないため計算量が膨大すぎる

正規化モデル
予め設定した確率分布に、学習する度に補正を加え、補正時は全体の総和が変わらないように周辺を補正していくモデル。これでも計算量が膨大であることと、学習データに過度に適応した複雑な流れができてしまうことがネック

拡散モデル
学習データにノイズを加えていき最終的にランダムなデータにまで移行していく際のノイズの加わる流れを学習し、これを反転させることでデータを生成するもの。段階・位置ごとに流れを学習できるため効率的。

フロー・マッチング
段階を踏まずに学習データの各点からランダムデータの各点までの直線を学習し、一気に生成するモデル。全要素を学習しようとすると計算量が膨大であるため、サンプリングした点で学習し、それらを束ねた流れでデータ生成を行う。

拡散モデルによって汎化が達成され未知のデータも生成できるようになった。汎化の仕組みが解明されれば創造性とハルシネーションの抑止をコントロールできるようになるとのこと。
また、言語モデルでも拡散モデルが使えるようになれば（現状は言語データが離散的であるためうまく機能せず）、多様な推測が可能となりより複雑な推論できるようになることや、逐次処理ではなく全要素を並列で処理できるようになることによる効率化期待されるとのこと。



※■ 2026年5月時点の補正・最新アップデート
1. エネルギー／正規化モデルの現状**
補正：「計算量の膨大さ」という課題は、確率の総和を計算せず、密度の勾配（スコア）のみを追う「スコアベースモデル」への移行によって実用レベルで解決済み。エネルギーモデルの柔軟性を保ちつつ、効率的な学習が可能になっている。
2. 拡散モデルの高速化
変化：かつては「生成に時間がかかる」のが弱点だったが、「蒸留（Distillation）」技術の進化により、現在では1〜数ステップで高品質なデータを生成可能。かつての「段階を踏むため遅い」という認識は過去のものとなった。
3. フロー・マッチングの主流化
変化：2024年当時は次世代技術だったが、現在は動画生成や音声生成のデファクトスタンダード（標準技術）に昇格。拡散モデルの複雑な軌道を「直線化（Rectified Flow）」することで、計算効率と精度の両立が達成されている。
4. 言語モデルにおける「離散データの壁」の突破
補正： 離散的な言語データを直接扱うのではなく、「連続的な潜在空間（埋め込み空間）」上で拡散やフローを行う手法が確立。
進化：これにより、従来の「一文字ずつ順番に出力する（逐次処理）」だけでなく、テキスト全体を並列で一気に生成する「非自己回帰型生成」が実用化。生成速度が劇的に向上し、より複雑な論理構造の保持が可能になった。
5. 汎化と制御（創造性とハルシネーション）
状況：汎化の仕組みの解明が進み、フロー（流れ）の軌道を意図的に外らすことで「創造性」を、軌道の確信度を測定することで「ハルシネーションの検知・抑制」を、動的にコントロールする技術が実装され始めている。
6. 総括：統一理論への移行
最新知見：画像、言語、動画などのメディア種別を問わず、すべてを多次元空間上の「流れ」として制御する「ユニバーサル・フロー・アーキテクチャ」へと技術が統合されており、モデル間の境界線は消失しつつある。

大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界

驚くほど分かりやすい文章で、超絶文系でも途中まで面白く読めました。後半の大規模言語モデルの仕組み？の話は、残念ながらついていけませんでした…理系の知り合いは一晩で読み終え「面白かった、分かりやすかった」とのことです。

さて、大規模言語モデルが感情を持っているように見えるのはも、あまりひどい表現(偏見に満ちた表現や攻撃的な表現など)を使わないのも、現時点(この本が書かれた時点？)では、ラベラーと呼ばれる専門家たちがフィードバックして強化学習をしているからなのだなということは理解できました。
専門家でない利用者も、ハルシネーションの問題などもあり、出された答えを闇雲に信じ込まず、その中から有益な情報を選び出すという姿勢も必要です。

個人的には近頃とてもチャッピーにもお世話になっているのですが、やはり、全てを預け切らず、間違っていることは間違っていると指摘できるような距離感で、でも便利に活用していこうと思いました。

生成ＡＩのしくみ 〈流れ〉が画像・音声・動画をつくる

【カバー範囲】
「生成AIのしくみ」というタイトルではありますが、ここでは基本的に画像生成の原理に触れているだけです。潜在変数モデル（VAE）を歴史として紹介したのち、拡散モデルによる画像の学習と生成について、著者の視点で語られています。それらについて読んで面白かったですが、それは勉強というより専門家とされる人とカジュアルな会話している感じでした。

【特徴的と思った点】
(1) 確率モデルの説明で自由エネルギーの話をするとき、イジングモデルから説明をされていました。分配関数など統計力学の素養があるようで、それが他の類書？と異なっている気がしました。分配関数についてもページ数を割いていました。ただ、触れているだけで、知っている人が聞けば「そうだね」という感じではあります。
(2) 拡散過程については、私は元の論文を読んだことはないのですが、関連論文（Stable diffusionなど）は読んで、公開コードに目を通し動かしたことはあるレベルでした。拡散過程は直観的に分からないのですが、巷できく「確率過程について、学習においてはマクロな数学的記述（フォッカー・プランク方程式）、生成においてはミクロな記述（ランジェバン方程式）の特性を利用している」という話と整合性のある説明があり、自分の中で直観的な理解のヒントにさせていただこうと思いました。
(3) VAE、拡散モデルなど、発表時期、発表者を書いていて、これは良いと思いました。2010年代の話であり、私も紹介された内容は狭い学会で閉じた枝葉末節ではなく、紹介されるに値する内容であり、また、2025年現在の立ち位置を理解するのにも役に立つと思います。

【おすすめ？】
文章（プロンプト）から画像が生成される原理については触れられていません。音、テキストにも触れられていなかったと思います。おすすめかと言われれば、「誰向け？」という感じで微妙です。AIを使うだけの人、エンジニアでも既存のコードを利用するだけの人、アルゴリズムに興味がる人、には強くは薦められないと思いました。欲を言えば、同じくらいの文章の量で良いので、横書きで数式を出して説明してくれるものを読みたいなと思いました。
【蛇足】
最後の「○○モデルは○○モデルの一例とみなせる」は読んでいて「うーん、、、」と思いました。

一度目に読んだときは読み流して何も残らず、読書メモを書こうと読み返したときに初めて「ふむふむ」と読めました。

大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界

ざっくりと生成AIがどんな仕組みで何がブレイクスルーだったのかを知れた

理系の知識がないと読むの辛いところもあるかも