岡野原大輔のレビュー一覧
-
Posted by ブクログ
Learn or Die というより、 Born to be Learningという感じ。
エンジニアの会社のエンジニア創業者二人が、これまでの経緯と会社でやっているところ、目指すところを平易な文章で書いた本。
もちろん面白い。文章は平易だけど、「インデクシング」とか「Hadoop」とかが説明なしにわかる人が読んだほうが楽しめるはず。
内容は回想録や社史みたいな感じなので、「PFIと言う会社には興味ないけどAI全体とかベンチャーそのものを知りたい」みたいな人には向かなそう。また、暴露本ではないので、この本でいきなり何かの事実が登場してるみたいなのも無いと思う。
深層学習で様々な問題を解く可能性は今もたくさんあるし、優れたエンジニアが集まらないと解けなさそうな問題も多い。
奇想天外な話はないけど、「あの時期にこの意思決定できたのは未来が見えてたな」みたいな話はいっぱいあるし、悪く盛ったりハッタリ的なところはなくて、気分良く読めたしいろいろ参考になった。 -
-
-
-
Posted by ブクログ
AI開発・研究者である著者の肩書から、当初はAIの仕組みや最新技術について解説する本を想像していた。しかし実際には、技術的な説明は必要最小限にとどまり、「学習するとは何か」「理解とは何か」「意識や自己とは何か」といった、哲学や心理学にも通じる問いが中心となっている。その点がいい意味で予想外だった。
本書では、AIの知能と人間の知能をさまざまな角度から比較することで、むしろ人間の思考や学習の特徴が浮かび上がってくる。少ない経験から学ぶ力、抽象化や言語の働き、感情や文化、死という有限性、さらには自由や責任といったテーマまで扱われており、「人間らしさとは何か」をあらためて考えさせられた。
また、AIの発展によって仕事や教育、研究、コミュニケーションがどのように変化していくのかについても、単なる未来予測ではなく、人間がどのような役割や責任を担うことになるのかという視点から論じられている。AIについて理解するための本であると同時に、AIとの比較を通して人間そのものを理解するための本でもあると感じた。
AIが急速に身近な存在になっている今、AIに何ができるのかだけでなく、人間にしかないものは何か、そしてAIと共に生きる社会をどのように設計していくべきかを考えるうえで、とても参考になる一冊だった。 -
Posted by ブクログ
仕事上必要になったので関連書籍に加えて購入。実用以前の考え方や仕組み作りの参考になった。
責任は誰のものか？
責任とは結果を受け止め続ける主体であることと定義し。責任の生じる条件を３つに整理
①判断がなされていること
「こうする/こうしない」の分岐が存在すること
②その判断が外部に影響すること
③結果が不可逆であること
また、責任はどこに置かれるのか？についてAIが関与するシステムでは責任が複数の階層に分配されるとする。
①（設計責任）どのような判断が可能になるように設計したか。どこまでを自動化し、どこに制約を置いたのか。
②（運用責任）設計されたシステムを、どの文脈で、どの目的で使ったのか。例えば、未検証のまま現実に投入した場合は責任に問われる
③（介入責任）問題が兆候としてあらわれたとき、止められたか、変更できたか。
つまり、判断の前提となる構造をどう作り、それをどこで使い、止めることができたかどうか。その全体に責任は分散し連なっている。
これらは当たり前のようでいてAIエージェントという巨大なシステムを前にして混乱した頭をシンプルに整理できた。
責任を個人に還元しないために
一 必要なのは、あらかじめ責任が割り当てられている構造である。誰がどの判断に関与し、どの段階で介入でき、どこから先は不可逆になるのか。それを事前に定め、共有し、運用する仕組みが求められる。
最後に推進の決め台詞に下記を認めておく。
「理解してから進む」という慎重な態度は、時として「進歩を放棄する」と同義になる。
でもわからないものに手を出すのは誰だって不安なんだよな。
業務関係ないなら実は好きな個所は哲学的なヒトの意識に関する問いや死と集団の学習についてだ。 -
Posted by ブクログ
2023年発行と変化の激しいこの分野において少し前の本ではあるが、分かりやすく基本が学べるとの書評を読んで購読。可能なこと、リスクと課題辺りまではさすがに知っている内容が多かったのも、2023年から時間が経っているからかも。
さすがに、大規模言語モデルはどのように動いているか辺りは、自分には専門性が高くて理解が及ばなかった（というか、知っても使いどころが…なのでちゃんと読まなかった）。
その中でも印象的だったのは、脳の神経回路網を参考にして作られたモデルであるニューラルネットワークが、もはやどう進化していっているのかよく分からなくなっているという話。だとすると、人知の及ばないところで人間の手がつけられなくなることもやっぱりあるのかなと恐ろしくなる。 -
-
Posted by ブクログ
エネルギーモデル
各要素について、学習データにより確率を学習し、多次元空間上でよりエネルギーの低い安定した状態にボールが転がるように確率の高い方へ推論することでデータを推測。各要素について学習した確率の総和が1となるよう補正する必要があり、全要素の確率を出さないといけないため計算量が膨大すぎる
正規化モデル
予め設定した確率分布に、学習する度に補正を加え、補正時は全体の総和が変わらないように周辺を補正していくモデル。これでも計算量が膨大であることと、学習データに過度に適応した複雑な流れができてしまうことがネック
拡散モデル
学習データにノイズを加えていき最終的にランダムなデータにまで移行していく際のノイズの加わる流れを学習し、これを反転させることでデータを生成するもの。段階・位置ごとに流れを学習できるため効率的。
フロー・マッチング
段階を踏まずに学習データの各点からランダムデータの各点までの直線を学習し、一気に生成するモデル。全要素を学習しようとすると計算量が膨大であるため、サンプリングした点で学習し、それらを束ねた流れでデータ生成を行う。
拡散モデルによって汎化が達成され未知のデータも生成できるようになった。汎化の仕組みが解明されれば創造性とハルシネーションの抑止をコントロールできるようになるとのこと。
また、言語モデルでも拡散モデルが使えるようになれば（現状は言語データが離散的であるためうまく機能せず）、多様な推測が可能となりより複雑な推論できるようになることや、逐次処理ではなく全要素を並列で処理できるようになることによる効率化期待されるとのこと。
※■ 2026年5月時点の補正・最新アップデート
1. エネルギー／正規化モデルの現状**
補正：「計算量の膨大さ」という課題は、確率の総和を計算せず、密度の勾配（スコア）のみを追う「スコアベースモデル」への移行によって実用レベルで解決済み。エネルギーモデルの柔軟性を保ちつつ、効率的な学習が可能になっている。
2. 拡散モデルの高速化
変化：かつては「生成に時間がかかる」のが弱点だったが、「蒸留（Distillation）」技術の進化により、現在では1〜数ステップで高品質なデータを生成可能。かつての「段階を踏むため遅い」という認識は過去のものとなった。
3. フロー・マッチングの主流化
変化：2024年当時は次世代技術だったが、現在は動画生成や音声生成のデファクトスタンダード（標準技術）に昇格。拡散モデルの複雑な軌道を「直線化（Rectified Flow）」することで、計算効率と精度の両立が達成されている。
4. 言語モデルにおける「離散データの壁」の突破
補正： 離散的な言語データを直接扱うのではなく、「連続的な潜在空間（埋め込み空間）」上で拡散やフローを行う手法が確立。
進化：これにより、従来の「一文字ずつ順番に出力する（逐次処理）」だけでなく、テキスト全体を並列で一気に生成する「非自己回帰型生成」が実用化。生成速度が劇的に向上し、より複雑な論理構造の保持が可能になった。
5. 汎化と制御（創造性とハルシネーション）
状況：汎化の仕組みの解明が進み、フロー（流れ）の軌道を意図的に外らすことで「創造性」を、軌道の確信度を測定することで「ハルシネーションの検知・抑制」を、動的にコントロールする技術が実装され始めている。
6. 総括：統一理論への移行
最新知見：画像、言語、動画などのメディア種別を問わず、すべてを多次元空間上の「流れ」として制御する「ユニバーサル・フロー・アーキテクチャ」へと技術が統合されており、モデル間の境界線は消失しつつある。
-
Posted by ブクログ
驚くほど分かりやすい文章で、超絶文系でも途中まで面白く読めました。後半の大規模言語モデルの仕組み？の話は、残念ながらついていけませんでした…理系の知り合いは一晩で読み終え「面白かった、分かりやすかった」とのことです。
さて、大規模言語モデルが感情を持っているように見えるのはも、あまりひどい表現(偏見に満ちた表現や攻撃的な表現など)を使わないのも、現時点(この本が書かれた時点？)では、ラベラーと呼ばれる専門家たちがフィードバックして強化学習をしているからなのだなということは理解できました。
専門家でない利用者も、ハルシネーションの問題などもあり、出された答えを闇雲に信じ込まず、その中から有益な情報を選び出すという姿勢も必要です。
個人的には近頃とてもチャッピーにもお世話になっているのですが、やはり、全てを預け切らず、間違っていることは間違っていると指摘できるような距離感で、でも便利に活用していこうと思いました。
-
Posted by ブクログ
【カバー範囲】
「生成AIのしくみ」というタイトルではありますが、ここでは基本的に画像生成の原理に触れているだけです。潜在変数モデル（VAE）を歴史として紹介したのち、拡散モデルによる画像の学習と生成について、著者の視点で語られています。それらについて読んで面白かったですが、それは勉強というより専門家とされる人とカジュアルな会話している感じでした。
【特徴的と思った点】
(1) 確率モデルの説明で自由エネルギーの話をするとき、イジングモデルから説明をされていました。分配関数など統計力学の素養があるようで、それが他の類書？と異なっている気がしました。分配関数についてもページ数を割いていました。ただ、触れているだけで、知っている人が聞けば「そうだね」という感じではあります。
(2) 拡散過程については、私は元の論文を読んだことはないのですが、関連論文（Stable diffusionなど）は読んで、公開コードに目を通し動かしたことはあるレベルでした。拡散過程は直観的に分からないのですが、巷できく「確率過程について、学習においてはマクロな数学的記述（フォッカー・プランク方程式）、生成においてはミクロな記述（ランジェバン方程式）の特性を利用している」という話と整合性のある説明があり、自分の中で直観的な理解のヒントにさせていただこうと思いました。
(3) VAE、拡散モデルなど、発表時期、発表者を書いていて、これは良いと思いました。2010年代の話であり、私も紹介された内容は狭い学会で閉じた枝葉末節ではなく、紹介されるに値する内容であり、また、2025年現在の立ち位置を理解するのにも役に立つと思います。
【おすすめ？】
文章（プロンプト）から画像が生成される原理については触れられていません。音、テキストにも触れられていなかったと思います。おすすめかと言われれば、「誰向け？」という感じで微妙です。AIを使うだけの人、エンジニアでも既存のコードを利用するだけの人、アルゴリズムに興味がる人、には強くは薦められないと思いました。欲を言えば、同じくらいの文章の量で良いので、横書きで数式を出して説明してくれるものを読みたいなと思いました。
【蛇足】
最後の「○○モデルは○○モデルの一例とみなせる」は読んでいて「うーん、、、」と思いました。
一度目に読んだときは読み流して何も残らず、読書メモを書こうと読み返したときに初めて「ふむふむ」と読めました。 -
-
-
-
-
-
Posted by ブクログ
本書が発売されて1年、大規模言語モデルの使い方や付き合い方については様々な本やＳＮＳで活発的に議論・言及されている。一方で、平易な言葉で技術的な仕組みを語っている本はこれを除いてまだ他にないように思う。
「ChatGPTは入力内容から次の単語を確立で予測して出力(生成)している」とは聞いていたが、具体的にどのような仕組みで予測しているのかをぼんやりと理解できただけでも大きな収穫だった。脳の短期記憶と長期記憶にあたる仕組みを表現できるようになったことで、予測の精度が上がった、と理解した。
最も面白かったのは、何故この仕組みで動いているのか専門家でもよくわかっていないこと。そして、人がどのように言語を習得して思考しているのかもわかっていないということ。生成AIの精度が高まるにつれて、人の脳についても解明されていくのかと思うと、ますます生成AIから目が離せない。
今まで機械学習について勉強して来なかったが、本書を通じて、もう少し詳細に勉強してみようかなと思えた。 -
Posted by ブクログ
大規模言語モデルの正負両面について専門家が初心者向けに書いた本。
序章で初心者向け、とは書かれていたがIT完全初心者の私にはところどころわからないところがあった。
実際には、ある程度ITにかかわる仕事をしていたり、興味を持っている方向けの難易度だと思われる。
本書の中で何度も繰り返されていたことは、
①大規模言語モデルは間違える（存在しない記憶を作り出す）ことがある
⇒機械以外の第三者の裏どり、間違っている可能性をもって自分で考える必要性
②大規模言語モデルは「道具」であり「人間」ではない
⇒うまく使えば有益であるが、機械であるが故に基本的な常識や価値観がかけていることを理解した上で使う必要がある -
-