岡野原大輔のレビュー一覧

ディープラーニングを支える技術〈2〉——ニューラルネットワーク最大の謎

岡野原大輔

一通り読んだが、かなり難しい。
ただ、とてもよい本なので、ディープラーニングに関心のある人は、ある程度基礎を身につけた後(第1巻がある程度理解できるようになった後)で、読んでおくべき本だと思う。
ディープラーニングで、今、何が課題になっているのかを俯瞰的に理解できるはず。

ディープラーニングを支える技術——「正解」を導くメカニズム［技術基礎］

岡野原大輔

以前ディープラーニングについて学んだことがあって、資格も持っているのですが、それでも結構難しかった。
最初にいきなり読むのではなく、一通りディープラーニングについて勉強してから読んだ方が理解できると思う。
ディープラーニングに関する基本的な技術が網羅的に説明されているので、教科書になり得る本だと思う。

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

西川徹 / 岡野原大輔

PFNがプロセッサ（アクセラレータ）の独自チップ開発をしていることを知ったときは、「早い！」と思っていたが、なるほど、西川氏がハードよりの方ですぐにその必要性を理解されていたからなのだろうと悟った。

本書においては、PFNの沿革がストーリー仕立てで分かりやすく記されており、特に会社としての行動規範や哲学、考え方にふれることができる。

個人的には７章以降に金言が多かったと思う。勢いがとてもよく伝わってくる。
読んでよかったと思える１冊。

ディープラーニングを支える技術——「正解」を導くメカニズム［技術基礎］

岡野原大輔

支える技術とのことでインフラ寄りの話かと思いきや理論の解説でした
『深層学習』青本を読む前に理論に慣れる用の本って
感じでしょうか

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

西川徹 / 岡野原大輔

成功率10%以下の課題に挑み続ける。
PFNバリュー
　Motivation-Driven　熱意を元に
　Learn or Die　死ぬ気で学べ
　Proud, but Humble　誇りを持って、しかし謙虚に
　Boldly do what no one has done before　誰もしたことがないことを大胆に為せ

IoT × AI
　深層学習＋ロボティクス、クリエイティブ、スポーツアナリティクス
　深層学習専用プロセッサー　MN-Core

ファナック
　ロボットがロボットを作っている
　機械学習が機能する領域はロボット、物理世界での問題をAIとロボットで解く

自動運転
　シミュレーター×強化学習　　報酬の計算
ゲーム
　強化学習で自分と同じくらい強い相手をつくり、学習する

生成モデル
　深層学習の派生技術　教師なし学習　似た事例を生成

深層学習
　汎化能力　「確率的勾配降下法」　適当なノイズを入れて追試する

インターネット時代の研究開発
　自分以外が優れたアイデアを出す可能性はすごく高い。
　外部のアイデアを見ながら自分たちができるところを探る。　
　フレームワークでは機能差がなくなり、競争の源泉が移り変わった。

技術を作るために
　一人では絶対できないことをやるために会社を立ち上げた。
　エキスパート同士が分担し、繋がり、理解する。
　一匹狼では会社は知識を吸収できない。
　
500年後のテクノロジー
　今と全く異なったものになる、今から500年前を振り返っても何もなかった。

製造業
　モノを作っているからできることがある。
　今のハードウェアは人が設計しやすいようにできている。
　将来は深層学習が設計まで踏み込める。人ができない並列で考えることができる。

ロボット
　手と足がついたコンピュータになる　自動車もロボット
　パーソナルナルロボット分野に取り組む
　　目は人間にほぼ近いものができている
　　手＝アクチュエーターはこれから
　プログラミングのハードルを下げる＝ビデオ予約と同じくらいの感覚に
　人間ができている情報処理能力を与えるためには ソフトとハードを密に融合
　今のロボットもロケットも モデルベースの制御技術、AIではない

　ルールベースから、「学習ベース」になると複雑な制御も可能になる
　エッジでもクラウドでもない最適化＝ネットワークの革新
　コンピュータネットワークにも人間の細胞同様、免疫システムを

順当にやることはGAFAのような大手がやる。
できるわけないと思っているところに解を探す。

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

西川徹 / 岡野原大輔

Learn or Die とは、プリファードネットワーク社の社是であり、創業者の思いが語られた本。
若くて勢いのある話は、読んでいてワクワクします。
深層学習とロボットが結びついた社会を見てみたいです。

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

西川徹 / 岡野原大輔

ギークで野心的な経営者の、会社設営の歴史、経営思想と技術的展望が分かりやすく説明されています。何に対しても挑戦的というところが素晴らしく、刺激を受けました。
深層学習の技術的なところの説明が良くて、深層学習とその周辺技術の進展と大枠を掴むのに役立ちます。

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

西川徹 / 岡野原大輔

技術的に、また、組織的に面白かった。
信念として強いものがあり、変な意識改革を煽らないところが良い。
文章にキレと熱量があった。

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

西川徹 / 岡野原大輔

会社としての在り方もそうですが、西川さん、岡野原さんというビジョナリーの考えを垣間見られるのが本書の一番いいところでした。

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

西川徹 / 岡野原大輔

主著者を知っているのもあり、凄く心に刺さってきた。
想定よりも心を揺さぶられた。シン・ニホンよりも未来を感じた。

読んでいて、数年前まで感じていた
圧倒的劣等感を思い出した。
東大には猛烈な才能がごろごろと転がっていて
いかに自分が普通なのかということに。
こういう天才たちにあこがれを抱き
自分と比較して、自分はなんてダメなんだと思い知らされたけど、こういう天才がいるから社会は変わっていく。
自分には自分の役割がある。
謙虚にというのは大事。
謙虚になるために、いくつもの軸を渡り歩く。
初心者を経験し続けることで、多様性の理解も進むし
他人に対して謙虚でもいられる。

起業は、思い立った時に始める。
氏の軽いノリを思い出す。
でもそれをまねしても、他人がうまくいくわけではない。
間違えてはいけないのは、
圧倒的な才能の集まりがあるからこそ。
圧倒的な資産（技術や人）があるからこそ。
運もあるけど。

機械学習と深層学習の違いを分かりやすく説明してくれた。
そして、そこに対する研究の流れが分かった。
確かに面白い。
なにより、プログラムがなくなるというのが衝撃
自ら学習し、プログラムを書くようになる未来。
それは社会が大きく変動する。

機械学習の主体としたPFI→PFNへ
社会の動静を把握していたのが大きい。
新しいこと、面白いことをしないと生きている意味がない。
本当に自分はやれているか？

生体を相手にしていると、そのデータの取得方法にかなり依存してしまうけど、
機械相手であれば、相手が勝手にデータを吐き出しまくっているというセンス。
だからこそリアルに向上を持っているものが強い。

Motivation-driven
Learn or die
学び続ける人を採用する。まずそこが前提。
チームで学ぶというやり方；個人が能力を開発しても、引き継がれていかない。集団で仕事をするうえで、
この人に聞けばわかるという状態になって初めて意味が生まれる。
一人でやる仕事はない。
社会実装をメインに考えるからこそ、技術的課題にぶち当たる。それが健全だと思う。
Proud but humble：先に挙げた通り、新しい分野に挑戦するからこそ自分の実力を相対化できて、謙虚になれる。
時代の流れを察知して、きちんと乗り換えるのは大事。
そこも、新しいことを勉強するという意識から生まれるのかもしれない。
Boldly do what no one has done before


VCを入れないというのは、必ずしも正しくはなかったかもしれないけど
説明責任が軽いというのは大事。
そこで仕事の自由度が確保できる。
（Netflixの時のブロックバスターや、PIXARのジョブスなど）
技術を分かる人からお金を借りる。
本業で恩返しをする。

外部資金を入れないと、日銭を稼ぐために、
本業ではないことをやらなければならなくなる。
それは、技術もノウハウも蓄積しない。
それは、会社として意味がない。

やりたい研究ができる、そのためのビジネス。
まずは自分が何をやりたいのか？
それを実現できるテーマを採択する。
コンピューターを作りたい。それのためのビジネス。

人生を楽しんでいる人
自分より優秀な人、成長欲求があるひと、人と一緒に仕事ができる人、結局わからないから、情熱や、モチベーションを見る。自分の専門性に対して、どれだけの熱量をもって取り組めているかは大事。

失敗を責めない、説明責任を負わせない、というのが大事な気がする。
ただ、そもそも、そこに値する人を採用するというところとセットだけど。
やっぱり、どれだけ成長できたか・というのが大事。
結果は後からついてくる。

技術を作る。社会実装をベースに技術を磨けば、
価値はいつでも作れる、
１０万のロボットがあれば普及する。
独りよがりの技術ではなく。実装できる技術を嗜好すれば。
ロボットが各家庭に普及した社会も
いずれ来るんだろう。


心が揺さぶられた良い本だった。

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

西川徹 / 岡野原大輔

PFNという会社についてのことがわかる本である。
差別化できるポイントを作り、試行錯誤を繰り返すという言葉が響いた。
また、深層学習についても少し知れた。

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

西川徹 / 岡野原大輔

日本を代表するAI研究開発企業であるPreferred Networksの創業者である西川氏、岡野原氏の2名が、PFNという企業の実態を、初めて一般向けに語った書籍。

タイトルは4つある行動規範のうち、最もPFNらしさを表わすものとして選んだとのこと。このような行動規範やミッションから、会社設立に至る背景、Equityベースの資金調達、しかもVCではなくファナックやNTTなどの事業会社からの調達にこだわっている理由、そして西川氏の水樹奈々への尊敬と愛情など、多岐に渡るトピックが非常に読みやすくまとまっている。

特に重点的に取り組んでいる事業分野であるロボットに関しては、相当なページが割かれて今後の未来像が描かれており、大変面白かった。

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

西川徹 / 岡野原大輔

Learn or Die. PFN経営陣が大切にする行動規範のひとつをタイトルに据えた著作。日本を代表するベンチャーと言われながらも、きらびやかな世界を歩んできた訳でなく、不可能や無理と言われてることを疑い、その可能性の抜け道を探してきた、というのが文字から伝わって来る。

チャレンジではあるが適切な目標を立て、周りの協力を得て学びながら、達成していくことが大事、というのは、言うのは簡単だが実行することが難しい。

ロボットにかける意気込みも感じられ、あっという間に読み終わる。

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

西川徹 / 岡野原大輔

プリファードネットワークのツートップ、西川徹氏と岡野原大輔氏が自社の成り立ちから今後の展望を語ります。
検索エンジンから自然言語処理のJubatus、そしてディープラーニングの世界に飛び込みChainerを開発するもそれを捨ててfacebookのPyTorchに研究開発基盤を移行したとのこと。
弊社でもJubatusを試しつつTwitterやfacebookのデータを使って何かできないか模索したこともあり、注目していましたが、改めて本書を読むとその凄みがよく分かります。
また、ディープラーニングの説明をしている章は解明できてない点が徐々に分かってきたことも説明されていてとても興味深く読めました。
Learn or Die（死ぬ気で学べ）、素晴らしいタイトルです！

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

西川徹 / 岡野原大輔

書店で目に入った瞬間、テンション上がって即買い。PFNのことをずっと知りたかった。読んでみると、チームビルディングが上手くいっており、尚且つ楽しんで研究している人たちであることが分かって益々魅力を感じた。謙虚に学び続ける人の集団。かっこいい。

これからの事業をどう見据えているのか、目標とする未来についてもこれまた率直に述べられていて好感持てました。シンプルで正直な本、かな。

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

西川徹 / 岡野原大輔

Learn or Die というより、 Born to be Learningという感じ。
エンジニアの会社のエンジニア創業者二人が、これまでの経緯と会社でやっているところ、目指すところを平易な文章で書いた本。
もちろん面白い。文章は平易だけど、「インデクシング」とか「Hadoop」とかが説明なしにわかる人が読んだほうが楽しめるはず。
内容は回想録や社史みたいな感じなので、「PFIと言う会社には興味ないけどAI全体とかベンチャーそのものを知りたい」みたいな人には向かなそう。また、暴露本ではないので、この本でいきなり何かの事実が登場してるみたいなのも無いと思う。

深層学習で様々な問題を解く可能性は今もたくさんあるし、優れたエンジニアが集まらないと解けなさそうな問題も多い。

奇想天外な話はないけど、「あの時期にこの意思決定できたのは未来が見えてたな」みたいな話はいっぱいあるし、悪く盛ったりハッタリ的なところはなくて、気分良く読めたしいろいろ参考になった。

オンライン機械学習

海野裕也 / 岡野原大輔 / 得居誠也 / 徳永拓之

機械学習の概要から書き起こしてくれ、サボートベクターマシン、パーセプトロンに触れるとともに、オンライン機械学習の長所、短所から、ディープラーニングまでカバーしてくれている。タイトルから分かりにくいが、これ一冊読めば、機械学習の概要を掴めると思う。理解するにはやはり数式を追わなければならないが、この本は比較的その負担が少ないほうだと思う。

大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界

岡野原大輔

2023年発行と変化の激しいこの分野において少し前の本ではあるが、分かりやすく基本が学べるとの書評を読んで購読。可能なこと、リスクと課題辺りまではさすがに知っている内容が多かったのも、2023年から時間が経っているからかも。
さすがに、大規模言語モデルはどのように動いているか辺りは、自分には専門性が高くて理解が及ばなかった（というか、知っても使いどころが…なのでちゃんと読まなかった）。
その中でも印象的だったのは、脳の神経回路網を参考にして作られたモデルであるニューラルネットワークが、もはやどう進化していっているのかよく分からなくなっているという話。だとすると、人知の及ばないところで人間の手がつけられなくなることもやっぱりあるのかなと恐ろしくなる。

大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界

岡野原大輔

ギュッと内容が凝縮されていてとても勉強になった。ただし凝縮されているだけに説明がコンパクトで細かいところを理解するのは難しい。

生成ＡＩのしくみ 〈流れ〉が画像・音声・動画をつくる

岡野原大輔

エネルギーモデル
各要素について、学習データにより確率を学習し、多次元空間上でよりエネルギーの低い安定した状態にボールが転がるように確率の高い方へ推論することでデータを推測。各要素について学習した確率の総和が1となるよう補正する必要があり、全要素の確率を出さないといけないため計算量が膨大すぎる

正規化モデル
予め設定した確率分布に、学習する度に補正を加え、補正時は全体の総和が変わらないように周辺を補正していくモデル。これでも計算量が膨大であることと、学習データに過度に適応した複雑な流れができてしまうことがネック

拡散モデル
学習データにノイズを加えていき最終的にランダムなデータにまで移行していく際のノイズの加わる流れを学習し、これを反転させることでデータを生成するもの。段階・位置ごとに流れを学習できるため効率的。

フロー・マッチング
段階を踏まずに学習データの各点からランダムデータの各点までの直線を学習し、一気に生成するモデル。全要素を学習しようとすると計算量が膨大であるため、サンプリングした点で学習し、それらを束ねた流れでデータ生成を行う。

拡散モデルによって汎化が達成され未知のデータも生成できるようになった。汎化の仕組みが解明されれば創造性とハルシネーションの抑止をコントロールできるようになるとのこと。
また、言語モデルでも拡散モデルが使えるようになれば（現状は言語データが離散的であるためうまく機能せず）、多様な推測が可能となりより複雑な推論できるようになることや、逐次処理ではなく全要素を並列で処理できるようになることによる効率化期待されるとのこと。



※■ 2026年5月時点の補正・最新アップデート
1. エネルギー／正規化モデルの現状**
補正：「計算量の膨大さ」という課題は、確率の総和を計算せず、密度の勾配（スコア）のみを追う「スコアベースモデル」への移行によって実用レベルで解決済み。エネルギーモデルの柔軟性を保ちつつ、効率的な学習が可能になっている。
2. 拡散モデルの高速化
変化：かつては「生成に時間がかかる」のが弱点だったが、「蒸留（Distillation）」技術の進化により、現在では1〜数ステップで高品質なデータを生成可能。かつての「段階を踏むため遅い」という認識は過去のものとなった。
3. フロー・マッチングの主流化
変化：2024年当時は次世代技術だったが、現在は動画生成や音声生成のデファクトスタンダード（標準技術）に昇格。拡散モデルの複雑な軌道を「直線化（Rectified Flow）」することで、計算効率と精度の両立が達成されている。
4. 言語モデルにおける「離散データの壁」の突破
補正： 離散的な言語データを直接扱うのではなく、「連続的な潜在空間（埋め込み空間）」上で拡散やフローを行う手法が確立。
進化：これにより、従来の「一文字ずつ順番に出力する（逐次処理）」だけでなく、テキスト全体を並列で一気に生成する「非自己回帰型生成」が実用化。生成速度が劇的に向上し、より複雑な論理構造の保持が可能になった。
5. 汎化と制御（創造性とハルシネーション）
状況：汎化の仕組みの解明が進み、フロー（流れ）の軌道を意図的に外らすことで「創造性」を、軌道の確信度を測定することで「ハルシネーションの検知・抑制」を、動的にコントロールする技術が実装され始めている。
6. 総括：統一理論への移行
最新知見：画像、言語、動画などのメディア種別を問わず、すべてを多次元空間上の「流れ」として制御する「ユニバーサル・フロー・アーキテクチャ」へと技術が統合されており、モデル間の境界線は消失しつつある。