岡野原大輔のレビュー一覧

ディープラーニングを支える技術——「正解」を導くメカニズム［技術基礎］

岡野原大輔

以前ディープラーニングについて学んだことがあって、資格も持っているのですが、それでも結構難しかった。
最初にいきなり読むのではなく、一通りディープラーニングについて勉強してから読んだ方が理解できると思う。
ディープラーニングに関する基本的な技術が網羅的に説明されているので、教科書になり得る本だと思う。

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

西川徹 / 岡野原大輔

PFNがプロセッサ（アクセラレータ）の独自チップ開発をしていることを知ったときは、「早い！」と思っていたが、なるほど、西川氏がハードよりの方ですぐにその必要性を理解されていたからなのだろうと悟った。

本書においては、PFNの沿革がストーリー仕立てで分かりやすく記されており、特に会社としての行動規範や哲学、考え方にふれることができる。

個人的には７章以降に金言が多かったと思う。勢いがとてもよく伝わってくる。
読んでよかったと思える１冊。

ディープラーニングを支える技術——「正解」を導くメカニズム［技術基礎］

岡野原大輔

支える技術とのことでインフラ寄りの話かと思いきや理論の解説でした
『深層学習』青本を読む前に理論に慣れる用の本って
感じでしょうか

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

西川徹 / 岡野原大輔

成功率10%以下の課題に挑み続ける。
PFNバリュー
　Motivation-Driven　熱意を元に
　Learn or Die　死ぬ気で学べ
　Proud, but Humble　誇りを持って、しかし謙虚に
　Boldly do what no one has done before　誰もしたことがないことを大胆に為せ

IoT × AI
　深層学習＋ロボティクス、クリエイティブ、スポーツアナリティクス
　深層学習専用プロセッサー　MN-Core

ファナック
　ロボットがロボットを作っている
　機械学習が機能する領域はロボット、物理世界での問題をAIとロボットで解く

自動運転
　シミュレーター×強化学習　　報酬の計算
ゲーム
　強化学習で自分と同じくらい強い相手をつくり、学習する

生成モデル
　深層学習の派生技術　教師なし学習　似た事例を生成

深層学習
　汎化能力　「確率的勾配降下法」　適当なノイズを入れて追試する

インターネット時代の研究開発
　自分以外が優れたアイデアを出す可能性はすごく高い。
　外部のアイデアを見ながら自分たちができるところを探る。　
　フレームワークでは機能差がなくなり、競争の源泉が移り変わった。

技術を作るために
　一人では絶対できないことをやるために会社を立ち上げた。
　エキスパート同士が分担し、繋がり、理解する。
　一匹狼では会社は知識を吸収できない。
　
500年後のテクノロジー
　今と全く異なったものになる、今から500年前を振り返っても何もなかった。

製造業
　モノを作っているからできることがある。
　今のハードウェアは人が設計しやすいようにできている。
　将来は深層学習が設計まで踏み込める。人ができない並列で考えることができる。

ロボット
　手と足がついたコンピュータになる　自動車もロボット
　パーソナルナルロボット分野に取り組む
　　目は人間にほぼ近いものができている
　　手＝アクチュエーターはこれから
　プログラミングのハードルを下げる＝ビデオ予約と同じくらいの感覚に
　人間ができている情報処理能力を与えるためには ソフトとハードを密に融合
　今のロボットもロケットも モデルベースの制御技術、AIではない

　ルールベースから、「学習ベース」になると複雑な制御も可能になる
　エッジでもクラウドでもない最適化＝ネットワークの革新
　コンピュータネットワークにも人間の細胞同様、免疫システムを

順当にやることはGAFAのような大手がやる。
できるわけないと思っているところに解を探す。

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

西川徹 / 岡野原大輔

Learn or Die とは、プリファードネットワーク社の社是であり、創業者の思いが語られた本。
若くて勢いのある話は、読んでいてワクワクします。
深層学習とロボットが結びついた社会を見てみたいです。

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

西川徹 / 岡野原大輔

ギークで野心的な経営者の、会社設営の歴史、経営思想と技術的展望が分かりやすく説明されています。何に対しても挑戦的というところが素晴らしく、刺激を受けました。
深層学習の技術的なところの説明が良くて、深層学習とその周辺技術の進展と大枠を掴むのに役立ちます。

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

西川徹 / 岡野原大輔

技術的に、また、組織的に面白かった。
信念として強いものがあり、変な意識改革を煽らないところが良い。
文章にキレと熱量があった。

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

西川徹 / 岡野原大輔

会社としての在り方もそうですが、西川さん、岡野原さんというビジョナリーの考えを垣間見られるのが本書の一番いいところでした。

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

西川徹 / 岡野原大輔

主著者を知っているのもあり、凄く心に刺さってきた。
想定よりも心を揺さぶられた。シン・ニホンよりも未来を感じた。

読んでいて、数年前まで感じていた
圧倒的劣等感を思い出した。
東大には猛烈な才能がごろごろと転がっていて
いかに自分が普通なのかということに。
こういう天才たちにあこがれを抱き
自分と比較して、自分はなんてダメなんだと思い知らされたけど、こういう天才がいるから社会は変わっていく。
自分には自分の役割がある。
謙虚にというのは大事。
謙虚になるために、いくつもの軸を渡り歩く。
初心者を経験し続けることで、多様性の理解も進むし
他人に対して謙虚でもいられる。

起業は、思い立った時に始める。
氏の軽いノリを思い出す。
でもそれをまねしても、他人がうまくいくわけではない。
間違えてはいけないのは、
圧倒的な才能の集まりがあるからこそ。
圧倒的な資産（技術や人）があるからこそ。
運もあるけど。

機械学習と深層学習の違いを分かりやすく説明してくれた。
そして、そこに対する研究の流れが分かった。
確かに面白い。
なにより、プログラムがなくなるというのが衝撃
自ら学習し、プログラムを書くようになる未来。
それは社会が大きく変動する。

機械学習の主体としたPFI→PFNへ
社会の動静を把握していたのが大きい。
新しいこと、面白いことをしないと生きている意味がない。
本当に自分はやれているか？

生体を相手にしていると、そのデータの取得方法にかなり依存してしまうけど、
機械相手であれば、相手が勝手にデータを吐き出しまくっているというセンス。
だからこそリアルに向上を持っているものが強い。

Motivation-driven
Learn or die
学び続ける人を採用する。まずそこが前提。
チームで学ぶというやり方；個人が能力を開発しても、引き継がれていかない。集団で仕事をするうえで、
この人に聞けばわかるという状態になって初めて意味が生まれる。
一人でやる仕事はない。
社会実装をメインに考えるからこそ、技術的課題にぶち当たる。それが健全だと思う。
Proud but humble：先に挙げた通り、新しい分野に挑戦するからこそ自分の実力を相対化できて、謙虚になれる。
時代の流れを察知して、きちんと乗り換えるのは大事。
そこも、新しいことを勉強するという意識から生まれるのかもしれない。
Boldly do what no one has done before


VCを入れないというのは、必ずしも正しくはなかったかもしれないけど
説明責任が軽いというのは大事。
そこで仕事の自由度が確保できる。
（Netflixの時のブロックバスターや、PIXARのジョブスなど）
技術を分かる人からお金を借りる。
本業で恩返しをする。

外部資金を入れないと、日銭を稼ぐために、
本業ではないことをやらなければならなくなる。
それは、技術もノウハウも蓄積しない。
それは、会社として意味がない。

やりたい研究ができる、そのためのビジネス。
まずは自分が何をやりたいのか？
それを実現できるテーマを採択する。
コンピューターを作りたい。それのためのビジネス。

人生を楽しんでいる人
自分より優秀な人、成長欲求があるひと、人と一緒に仕事ができる人、結局わからないから、情熱や、モチベーションを見る。自分の専門性に対して、どれだけの熱量をもって取り組めているかは大事。

失敗を責めない、説明責任を負わせない、というのが大事な気がする。
ただ、そもそも、そこに値する人を採用するというところとセットだけど。
やっぱり、どれだけ成長できたか・というのが大事。
結果は後からついてくる。

技術を作る。社会実装をベースに技術を磨けば、
価値はいつでも作れる、
１０万のロボットがあれば普及する。
独りよがりの技術ではなく。実装できる技術を嗜好すれば。
ロボットが各家庭に普及した社会も
いずれ来るんだろう。


心が揺さぶられた良い本だった。

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

西川徹 / 岡野原大輔

PFNという会社についてのことがわかる本である。
差別化できるポイントを作り、試行錯誤を繰り返すという言葉が響いた。
また、深層学習についても少し知れた。

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

西川徹 / 岡野原大輔

日本を代表するAI研究開発企業であるPreferred Networksの創業者である西川氏、岡野原氏の2名が、PFNという企業の実態を、初めて一般向けに語った書籍。

タイトルは4つある行動規範のうち、最もPFNらしさを表わすものとして選んだとのこと。このような行動規範やミッションから、会社設立に至る背景、Equityベースの資金調達、しかもVCではなくファナックやNTTなどの事業会社からの調達にこだわっている理由、そして西川氏の水樹奈々への尊敬と愛情など、多岐に渡るトピックが非常に読みやすくまとまっている。

特に重点的に取り組んでいる事業分野であるロボットに関しては、相当なページが割かれて今後の未来像が描かれており、大変面白かった。

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

西川徹 / 岡野原大輔

Learn or Die. PFN経営陣が大切にする行動規範のひとつをタイトルに据えた著作。日本を代表するベンチャーと言われながらも、きらびやかな世界を歩んできた訳でなく、不可能や無理と言われてることを疑い、その可能性の抜け道を探してきた、というのが文字から伝わって来る。

チャレンジではあるが適切な目標を立て、周りの協力を得て学びながら、達成していくことが大事、というのは、言うのは簡単だが実行することが難しい。

ロボットにかける意気込みも感じられ、あっという間に読み終わる。

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

西川徹 / 岡野原大輔

プリファードネットワークのツートップ、西川徹氏と岡野原大輔氏が自社の成り立ちから今後の展望を語ります。
検索エンジンから自然言語処理のJubatus、そしてディープラーニングの世界に飛び込みChainerを開発するもそれを捨ててfacebookのPyTorchに研究開発基盤を移行したとのこと。
弊社でもJubatusを試しつつTwitterやfacebookのデータを使って何かできないか模索したこともあり、注目していましたが、改めて本書を読むとその凄みがよく分かります。
また、ディープラーニングの説明をしている章は解明できてない点が徐々に分かってきたことも説明されていてとても興味深く読めました。
Learn or Die（死ぬ気で学べ）、素晴らしいタイトルです！

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

西川徹 / 岡野原大輔

書店で目に入った瞬間、テンション上がって即買い。PFNのことをずっと知りたかった。読んでみると、チームビルディングが上手くいっており、尚且つ楽しんで研究している人たちであることが分かって益々魅力を感じた。謙虚に学び続ける人の集団。かっこいい。

これからの事業をどう見据えているのか、目標とする未来についてもこれまた率直に述べられていて好感持てました。シンプルで正直な本、かな。

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

西川徹 / 岡野原大輔

Learn or Die というより、 Born to be Learningという感じ。
エンジニアの会社のエンジニア創業者二人が、これまでの経緯と会社でやっているところ、目指すところを平易な文章で書いた本。
もちろん面白い。文章は平易だけど、「インデクシング」とか「Hadoop」とかが説明なしにわかる人が読んだほうが楽しめるはず。
内容は回想録や社史みたいな感じなので、「PFIと言う会社には興味ないけどAI全体とかベンチャーそのものを知りたい」みたいな人には向かなそう。また、暴露本ではないので、この本でいきなり何かの事実が登場してるみたいなのも無いと思う。

深層学習で様々な問題を解く可能性は今もたくさんあるし、優れたエンジニアが集まらないと解けなさそうな問題も多い。

奇想天外な話はないけど、「あの時期にこの意思決定できたのは未来が見えてたな」みたいな話はいっぱいあるし、悪く盛ったりハッタリ的なところはなくて、気分良く読めたしいろいろ参考になった。

オンライン機械学習

海野裕也 / 岡野原大輔 / 得居誠也 / 徳永拓之

機械学習の概要から書き起こしてくれ、サボートベクターマシン、パーセプトロンに触れるとともに、オンライン機械学習の長所、短所から、ディープラーニングまでカバーしてくれている。タイトルから分かりにくいが、これ一冊読めば、機械学習の概要を掴めると思う。理解するにはやはり数式を追わなければならないが、この本は比較的その負担が少ないほうだと思う。

大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界

岡野原大輔

驚くほど分かりやすい文章で、超絶文系でも途中まで面白く読めました。後半の大規模言語モデルの仕組み？の話は、残念ながらついていけませんでした…理系の知り合いは一晩で読み終え「面白かった、分かりやすかった」とのことです。

さて、大規模言語モデルが感情を持っているように見えるのはも、あまりひどい表現(偏見に満ちた表現や攻撃的な表現など)を使わないのも、現時点(この本が書かれた時点？)では、ラベラーと呼ばれる専門家たちがフィードバックして強化学習をしているからなのだなということは理解できました。
専門家でない利用者も、ハルシネーションの問題などもあり、出された答えを闇雲に信じ込まず、その中から有益な情報を選び出すという姿勢も必要です。

個人的には近頃とてもチャッピーにもお世話になっているのですが、やはり、全てを預け切らず、間違っていることは間違っていると指摘できるような距離感で、でも便利に活用していこうと思いました。

生成ＡＩのしくみ 〈流れ〉が画像・音声・動画をつくる

岡野原大輔

【カバー範囲】
「生成AIのしくみ」というタイトルではありますが、ここでは基本的に画像生成の原理に触れているだけです。潜在変数モデル（VAE）を歴史として紹介したのち、拡散モデルによる画像の学習と生成について、著者の視点で語られています。それらについて読んで面白かったですが、それは勉強というより専門家とされる人とカジュアルな会話している感じでした。

【特徴的と思った点】
(1) 確率モデルの説明で自由エネルギーの話をするとき、イジングモデルから説明をされていました。分配関数など統計力学の素養があるようで、それが他の類書？と異なっている気がしました。分配関数についてもページ数を割いていました。ただ、触れているだけで、知っている人が聞けば「そうだね」という感じではあります。
(2) 拡散過程については、私は元の論文を読んだことはないのですが、関連論文（Stable diffusionなど）は読んで、公開コードに目を通し動かしたことはあるレベルでした。拡散過程は直観的に分からないのですが、巷できく「確率過程について、学習においてはマクロな数学的記述（フォッカー・プランク方程式）、生成においてはミクロな記述（ランジェバン方程式）の特性を利用している」という話と整合性のある説明があり、自分の中で直観的な理解のヒントにさせていただこうと思いました。
(3) VAE、拡散モデルなど、発表時期、発表者を書いていて、これは良いと思いました。2010年代の話であり、私も紹介された内容は狭い学会で閉じた枝葉末節ではなく、紹介されるに値する内容であり、また、2025年現在の立ち位置を理解するのにも役に立つと思います。

【おすすめ？】
文章（プロンプト）から画像が生成される原理については触れられていません。音、テキストにも触れられていなかったと思います。おすすめかと言われれば、「誰向け？」という感じで微妙です。AIを使うだけの人、エンジニアでも既存のコードを利用するだけの人、アルゴリズムに興味がる人、には強くは薦められないと思いました。欲を言えば、同じくらいの文章の量で良いので、横書きで数式を出して説明してくれるものを読みたいなと思いました。
【蛇足】
最後の「○○モデルは○○モデルの一例とみなせる」は読んでいて「うーん、、、」と思いました。

一度目に読んだときは読み流して何も残らず、読書メモを書こうと読み返したときに初めて「ふむふむ」と読めました。

大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界

岡野原大輔

ざっくりと生成AIがどんな仕組みで何がブレイクスルーだったのかを知れた

理系の知識がないと読むの辛いところもあるかも

大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界

岡野原大輔

★なんとなく消化不良★前半はあまりに初歩的、一方で大規模言語モデルがどうやって次の言葉を探し出しているのかを説明する終盤は一足飛びすぎる印象がある。研究が難しいことが分かり、さらにモデルのイメージが湧くだけでも類似の入門書より優れていると思うが、その先に自分のアタマが進まなかった。門外漢にも分かるような、仕組みと未来を橋渡ししてくれるいいガイドがあれば。