菊田遥平の作品一覧
「菊田遥平」の「原論文から解き明かす生成AI」「フリーライブラリで学ぶ機械学習入門」ほか、ユーザーレビューをお届けします！
- 作者をフォローする
- フォローすると、この作者の新刊が配信された際に、お知らせします。
作品一覧
-
4.0 -
4.0◆変化の激しい生成AIの本質としくみを理解する◆ 生成AI技術は目覚ましい進歩を続けています。そのため、表面的なトレンドを追うだけでは、そのしくみを理解することが困難になっています。こうした状況において、本書は生成AIを支える理論的基礎について原論文レベルまで深く踏み込んで解説し、読者が技術の核心部分を理解できるよう導く一冊です。本書の主な特徴は、以下の3つにあります。 1つ目の特徴は、Transformerから推論時のスケーリング則に至るまでの「生成AIの重要な理論」について、原論文の内容を参照しながら数式と図版を用いて詳細に解説しています。2つ目の特徴は、英語・日本語を問わず既存の文献ではあまり扱われていない分布仮説の実験的根拠や拡散モデルの数学的保証など、「生成AIを理解する上で、重要であるものの他の書籍などで十分に扱われていない理論」も丁寧に掘り下げています。3つ目の特徴として、「演習問題とGitHubサポートページを連携させた読者参加型の学習環境」を提供し、より深い学びをサポートしています。 本書を通じて読者は、生成AIに関わる重要な理論について深い理解を得ることができるだけでなく、原論文レベルの内容を読み解く力を身につけることができます。これにより、新たなモデルや技術動向を独力で理解し、急速に変化する技術トレンドへの自律的なキャッチアップ能力を獲得することができるでしょう。表面的な知識ではなく、生成AI技術の本質的な理解を求める全ての方にとって、必携の一冊です。 ■こんな方におすすめ ・生成 AI 分野の理論の基礎をキャッチアップしたいと考えている方々 ・機械学習を学んでいる学部生や院生の方々 ・機械学習を業務で活用しているエンジニア ・異分野の研究者の方々 ■目次 第1章 本書の読み方と論文を読み解く技術 ・1.1 本書の読み方 ・1.2 論文を読み解く技術 ・1.3 本書における数式記法 第2章 入力データの特徴量化 ・2.1 埋め込みと分布仮説 ・2.2 サブワードの必要性とトークン化 ・2.3 バイト対符号化 (Byte Pair Encoding) ・2.4 サブワードユニグラム言語モデル ・2.5 SentencePiece ・2.6 文字単位よりも細かいサブワード分割 ・2.7 トークナイザーは本当に必要なのか 第3章 生成AI モデルの大前提となるTransformer ・3.1 Transformer の全体像 ・3.2 位置埋め込み (Positional Encoding) ・3.3 マルチヘッド注意 ・3.4 エンコーダーとデコーダーの共通要素 ・3.5 デコーダーの出力部分 ・3.6 モデルの学習と実験結果 第4章 Generative Pre-trained Transformerとテキスト生成 ・4.1 複数タスクモデルとしての GPT-1, 2 ・4.2 生成モデルとしての GPT-3, 4 ・4.3 テキスト生成モデルの性能を高めるための要素 第5章 拡散モデルと画像生成 ・5.1 画像分類モデルとしての Vision Transformer ・5.2 拡散モデル ・5.3 画像生成モデル Diffusion Transformer 第6章 テキストと画像の融合 ・6.1 テキストと画像を関係づけるCLIP ・6.2 text-to-imageモデル unCLIP ・6.3 text+image-to-imageモデル Imagic ・6.4 text+image-to-text の実現方法 第7章 生成 AI モデルのスケーリング則 ・7.1 生成AIモデルの事前学習スケーリング則 ・7.2 テキスト生成の推論スケーリング則 第8章 生成 AI モデルの評価 ・8.1 人間による相対評価 ・8.2 高い専門性を有するタスクでの評価 Appendix A.1 参考文献の取り扱い Appendix A.2 Landauのビッグオー記法と計算量 ■著者プロフィール 菊田 遥平：1986年生まれ。2014年総合研究大学院大学高エネルギー加速器科学研究科素粒子原子核専攻修了。博士（理学）。機械学習と生成AIの専門家として、複数の企業で研究開発・プロダクト開発・開発組織のリードなどを経験。X：@yohei_kikuta
ユーザーレビュー
-
Posted by ブクログ
ネタバレ知ったかぶりをしなくてもすむ生成AI理解のための書。ただし、内容は正直難しいので生成AIにコトバを教わりながら読んでいくのが望ましい。
生成AIを仕組みから理解するのに最適の一冊
本書は、生成AIを「表面的な使い方」ではなく、アルゴリズムと学習原理のレベルから捉え直すうえで、現時点でもっともバランスがよい入門書だと感じた。個々の技術解説にとどまらず、モデルのスケール、圧縮、運用設計までを一連の流れとして示しており、生成AIの全体像を構造的に掴みたい読者にとって格好の足場になっている。
スケーリングと知能の関係に気づく驚き
最も強く印象に残ったのは、「スケーリング則」が単なるパラ -
