原論文から解き明かす生成AI

菊田遥平

◆変化の激しい生成AIの本質としくみを理解する◆
生成AI技術は目覚ましい進歩を続けています。そのため、表面的なトレンドを追うだけでは、そのしくみを理解することが困難になっています。こうした状況において、本書は生成AIを支える理論的基礎について原論文レベルまで深く踏み込んで解説し、読者が技術の核心部分を理解できるよう導く一冊です。本書の主な特徴は、以下の3つにあります。

1つ目の特徴は、Transformerから推論時のスケーリング則に至るまでの「生成AIの重要な理論」について、原論文の内容を参照しながら数式と図版を用いて詳細に解説しています。2つ目の特徴は、英語・日本語を問わず既存の文献ではあまり扱われていない分布仮説の実験的根拠や拡散モデルの数学的保証など、「生成AIを理解する上で、重要であるものの他の書籍などで十分に扱われていない理論」も丁寧に掘り下げています。3つ目の特徴として、「演習問題とGitHubサポートページを連携させた読者参加型の学習環境」を提供し、より深い学びをサポートしています。

本書を通じて読者は、生成AIに関わる重要な理論について深い理解を得ることができるだけでなく、原論文レベルの内容を読み解く力を身につけることができます。これにより、新たなモデルや技術動向を独力で理解し、急速に変化する技術トレンドへの自律的なキャッチアップ能力を獲得することができるでしょう。表面的な知識ではなく、生成AI技術の本質的な理解を求める全ての方にとって、必携の一冊です。


■こんな方におすすめ
・生成 AI 分野の理論の基礎をキャッチアップしたいと考えている方々
・機械学習を学んでいる学部生や院生の方々
・機械学習を業務で活用しているエンジニア
・異分野の研究者の方々


■目次
第1章 本書の読み方と論文を読み解く技術
・1.1 本書の読み方
・1.2 論文を読み解く技術
・1.3 本書における数式記法
第2章 入力データの特徴量化
・2.1 埋め込みと分布仮説
・2.2 サブワードの必要性とトークン化
・2.3 バイト対符号化 (Byte Pair Encoding)
・2.4 サブワードユニグラム言語モデル
・2.5 SentencePiece
・2.6 文字単位よりも細かいサブワード分割
・2.7 トークナイザーは本当に必要なのか
第3章 生成AI モデルの大前提となるTransformer
・3.1 Transformer の全体像
・3.2 位置埋め込み (Positional Encoding)
・3.3 マルチヘッド注意
・3.4 エンコーダーとデコーダーの共通要素
・3.5 デコーダーの出力部分
・3.6 モデルの学習と実験結果
第4章 Generative Pre-trained Transformerとテキスト生成
・4.1 複数タスクモデルとしての GPT-1, 2
・4.2 生成モデルとしての GPT-3, 4
・4.3 テキスト生成モデルの性能を高めるための要素
第5章 拡散モデルと画像生成
・5.1 画像分類モデルとしての Vision Transformer
・5.2 拡散モデル
・5.3 画像生成モデル Diffusion Transformer
第6章 テキストと画像の融合
・6.1 テキストと画像を関係づけるCLIP
・6.2 text-to-imageモデル unCLIP
・6.3 text+image-to-imageモデル Imagic
・6.4 text+image-to-text の実現方法
第7章 生成 AI モデルのスケーリング則
・7.1 生成AIモデルの事前学習スケーリング則
・7.2 テキスト生成の推論スケーリング則
第8章 生成 AI モデルの評価
・8.1 人間による相対評価
・8.2 高い専門性を有するタスクでの評価
Appendix A.1 参考文献の取り扱い
Appendix A.2 Landauのビッグオー記法と計算量


■著者プロフィール
菊田 遥平：1986年生まれ。2014年総合研究大学院大学高エネルギー加速器科学研究科素粒子原子核専攻修了。博士（理学）。機械学習と生成AIの専門家として、複数の企業で研究開発・プロダクト開発・開発組織のリードなどを経験。X：@yohei_kikuta

• カテゴリ: ビジネス・実用
• ジャンル: IT・コンピュータ / 情報科学
• 出版社: 技術評論社
• ページ数: 304ページ
• 電子版発売日: 2025年08月22日
• コンテンツ形式: EPUB
• サイズ(目安): 27MB

[ブクログ · ★★★★☆]

知ったかぶりをしなくてもすむ生成AI理解のための書。ただし、内容は正直難しいので生成AIにコトバを教わりながら読んでいくのが望ましい。

生成AIを仕組みから理解するのに最適の一冊

本書は、生成AIを「表面的な使い方」ではなく、アルゴリズムと学習原理のレベルから捉え直すうえで、現時点でもっともバランスがよい入門書だと感じた。個々の技術解説にとどまらず、モデルのスケール、圧縮、運用設計までを一連の流れとして示しており、生成AIの全体像を構造的に掴みたい読者にとって格好の足場になっている。

スケーリングと知能の関係に気づく驚き

最も強く印象に残ったのは、「スケーリング則」が単なるパラメータ増加の話ではなく、知能の質的な変化をもたらす“法則”として描かれていた点である。モデル規模・データ量・計算量を増やすと損失がべき乗則で滑らかに減少するという知見は、知能を「連続的に拡張可能なもの」として捉え直させる契機になった。 そのスケールアップが現在のLLM発展の根幹にあることが、具体的な数式とともに示されており、抽象的な「賢さ」の話が一気に具体化して感じられる。

拡散モデルとノイズの意味づけ

画像生成の章では、拡散モデルがなぜGANやVAEに置き換わる中心技術になったのかを、ノイズと特徴抽出の関係から説明している点が興味深かった。ノイズを段階的に加え、そこから元の画像構造を復元する過程を学習する仕組みは、一見遠回りだが「画像の本質的な特徴」と「偶然的な揺らぎ」を分離する手続きとして理解できる。 その結果として、学習は安定し、多様で高精細な画像生成が可能になることが、GANやVAEとの比較を通じて読者に納得感を持って伝わってくる。

CLIPがもたらした「ことば−画像」結合のインパクト

テキストから画像を生成する仕組みについては、CLIPの説明が本書の中でも重要な位置を占めていた。画像とテキストを同じベクトル空間に埋め込み、両者の距離を最小化する訓練によって、「プロンプト＝意味空間上の座標指定」として機能するという描き方は非常にわかりやすい。 拡散モデルがこの意味ベクトルをガイドとしてノイズを削り、画像を「彫刻」のように立ち上げていくプロセスは、テキスト生成と画像生成の共通性と差異を同時に意識させる構造になっている。

大規模モデルからコンパクトモデルへの橋渡し

本書が優れているのは、巨大モデルを作る話で終わらず、蒸留・量子化・ファインチューニングといった「現実に使える形への変換」にしっかり紙幅を割いている点だと感じた。教師モデルから生徒モデルへの知識転写としての蒸留、重み表現のビット数を落としても性能を極力維持する量子化、それらを前提としたタスク特化のファインチューニングという三段構えは、エネルギー効率やオンデバイス運用を考えるうえで極めて現実的な視点を提供している。 「大規模に学習し、小さく使う」というパターンが、単なる技術的トリックではなくエコシステム設計の中核として位置づけられていることがよく伝わった。

コンテキスト管理と「賢さ」の関係を考えさせる視点

印象的だったのは、「モデルを大きくすれば賢くなる一方で、利用時にコンテキストを詰め込みすぎると逆に振る舞いが悪化する」という指摘である。長文コンテキストで情報が「中ほどで失われる」現象や、必要な情報だけを選択的に提示するRAG的アプローチが紹介され、学習時のスケーリングと推論時のコンテキスト設計が別次元の課題として整理されていた。 これにより、「賢さ」はモデルのサイズだけでなく、対話設計・情報設計の問題でもあるという視点が、読後も考え続けたくなる問いとして残る。

生成AIエコシステムという全体像

全体を通じて、本書は生成AIを単一のモデルとしてではなく、「大規模学習 → 圧縮・特化 → 戦略的コンテキスト設計 → 運用フィードバック → 倫理・ガバナンス」というループとして描こうとしているように読めた。 読み終えたとき、拡散モデル、CLIP、スケーリング則、蒸留・量子化といった個々のトピックが、ばらばらの部品ではなく、一つのエコシステムを成すモジュールとして頭の中で接続されている感覚があった。単なる技術解説書を超え、これからの人間とAIの関係や、社会の中での位置づけまで含めて考えるための、良質な「思考のプラットフォーム」になっている一冊だと感じた。