岡野原大輔のレビュー一覧

大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界

岡野原大輔

驚くほど分かりやすい文章で、超絶文系でも途中まで面白く読めました。後半の大規模言語モデルの仕組み？の話は、残念ながらついていけませんでした…理系の知り合いは一晩で読み終え「面白かった、分かりやすかった」とのことです。

さて、大規模言語モデルが感情を持っているように見えるのはも、あまりひどい表現(偏見に満ちた表現や攻撃的な表現など)を使わないのも、現時点(この本が書かれた時点？)では、ラベラーと呼ばれる専門家たちがフィードバックして強化学習をしているからなのだなということは理解できました。
専門家でない利用者も、ハルシネーションの問題などもあり、出された答えを闇雲に信じ込まず、その中から有益な情報を選び出すという姿勢も必要です。

個人的には近頃とてもチャッピーにもお世話になっているのですが、やはり、全てを預け切らず、間違っていることは間違っていると指摘できるような距離感で、でも便利に活用していこうと思いました。

生成ＡＩのしくみ 〈流れ〉が画像・音声・動画をつくる

岡野原大輔

【カバー範囲】
「生成AIのしくみ」というタイトルではありますが、ここでは基本的に画像生成の原理に触れているだけです。潜在変数モデル（VAE）を歴史として紹介したのち、拡散モデルによる画像の学習と生成について、著者の視点で語られています。それらについて読んで面白かったですが、それは勉強というより専門家とされる人とカジュアルな会話している感じでした。

【特徴的と思った点】
(1) 確率モデルの説明で自由エネルギーの話をするとき、イジングモデルから説明をされていました。分配関数など統計力学の素養があるようで、それが他の類書？と異なっている気がしました。分配関数についてもページ数を割いていました。ただ、触れているだけで、知っている人が聞けば「そうだね」という感じではあります。
(2) 拡散過程については、私は元の論文を読んだことはないのですが、関連論文（Stable diffusionなど）は読んで、公開コードに目を通し動かしたことはあるレベルでした。拡散過程は直観的に分からないのですが、巷できく「確率過程について、学習においてはマクロな数学的記述（フォッカー・プランク方程式）、生成においてはミクロな記述（ランジェバン方程式）の特性を利用している」という話と整合性のある説明があり、自分の中で直観的な理解のヒントにさせていただこうと思いました。
(3) VAE、拡散モデルなど、発表時期、発表者を書いていて、これは良いと思いました。2010年代の話であり、私も紹介された内容は狭い学会で閉じた枝葉末節ではなく、紹介されるに値する内容であり、また、2025年現在の立ち位置を理解するのにも役に立つと思います。

【おすすめ？】
文章（プロンプト）から画像が生成される原理については触れられていません。音、テキストにも触れられていなかったと思います。おすすめかと言われれば、「誰向け？」という感じで微妙です。AIを使うだけの人、エンジニアでも既存のコードを利用するだけの人、アルゴリズムに興味がる人、には強くは薦められないと思いました。欲を言えば、同じくらいの文章の量で良いので、横書きで数式を出して説明してくれるものを読みたいなと思いました。
【蛇足】
最後の「○○モデルは○○モデルの一例とみなせる」は読んでいて「うーん、、、」と思いました。

一度目に読んだときは読み流して何も残らず、読書メモを書こうと読み返したときに初めて「ふむふむ」と読めました。

大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界

岡野原大輔

ざっくりと生成AIがどんな仕組みで何がブレイクスルーだったのかを知れた

理系の知識がないと読むの辛いところもあるかも

大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界

岡野原大輔

★なんとなく消化不良★前半はあまりに初歩的、一方で大規模言語モデルがどうやって次の言葉を探し出しているのかを説明する終盤は一足飛びすぎる印象がある。研究が難しいことが分かり、さらにモデルのイメージが湧くだけでも類似の入門書より優れていると思うが、その先に自分のアタマが進まなかった。門外漢にも分かるような、仕組みと未来を橋渡ししてくれるいいガイドがあれば。

生成ＡＩのしくみ 〈流れ〉が画像・音声・動画をつくる

岡野原大輔

しくみそのものが図示してあるので、その原理の理解ができたような気になるが、そこから実際のものとの橋渡しの理解が難しい。

大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界

岡野原大輔

LLMのおおまかな仕組みやどう動いているのかを一般向けに解説した書籍。2025年の現在からすれば、もうすでに古い本だが、概要を掴むには優れていると思う。
数式は出てこないので、なんとか通読できるのがありがたい。LLMの次の単語の予測は、脳の神経回路網をアナロジーとして作られたモデルで行っているというのも大変面白い。

大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界

岡野原大輔

書評読んでの拝読
大規模言語モデルについて知識ほぼゼロのひとでもスッと入ってくる丁寧な説明、これからAIと共存し上手く活用していくためのアドバイスをもらえる。拒絶反応起こしたり闇雲に怯えているような人は手に取ってみたらいいと思う。

大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界

岡野原大輔

本書が発売されて1年、大規模言語モデルの使い方や付き合い方については様々な本やＳＮＳで活発的に議論・言及されている。一方で、平易な言葉で技術的な仕組みを語っている本はこれを除いてまだ他にないように思う。
「ChatGPTは入力内容から次の単語を確立で予測して出力(生成)している」とは聞いていたが、具体的にどのような仕組みで予測しているのかをぼんやりと理解できただけでも大きな収穫だった。脳の短期記憶と長期記憶にあたる仕組みを表現できるようになったことで、予測の精度が上がった、と理解した。

最も面白かったのは、何故この仕組みで動いているのか専門家でもよくわかっていないこと。そして、人がどのように言語を習得して思考しているのかもわかっていないということ。生成AIの精度が高まるにつれて、人の脳についても解明されていくのかと思うと、ますます生成AIから目が離せない。

今まで機械学習について勉強して来なかったが、本書を通じて、もう少し詳細に勉強してみようかなと思えた。

大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界

岡野原大輔

大規模言語モデルの正負両面について専門家が初心者向けに書いた本。
序章で初心者向け、とは書かれていたがIT完全初心者の私にはところどころわからないところがあった。
実際には、ある程度ITにかかわる仕事をしていたり、興味を持っている方向けの難易度だと思われる。

本書の中で何度も繰り返されていたことは、
①大規模言語モデルは間違える（存在しない記憶を作り出す）ことがある
　⇒機械以外の第三者の裏どり、間違っている可能性をもって自分で考える必要性
②大規模言語モデルは「道具」であり「人間」ではない
　⇒うまく使えば有益であるが、機械であるが故に基本的な常識や価値観がかけていることを理解した上で使う必要がある

大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界

岡野原大輔

開始: 2023/12/27
終了: 2024/1/5

感想
人と異なる知能。圧倒的だが弱点も多数存在する。彼らは言葉の意味を真に理解しているのだろうか。情緒的なアドバイスに空恐ろしさを覚える。

大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界

岡野原大輔

大規模言語モデルについて、素人にもわかるようにまとめた本。

確かに、わかりやすく噛み砕こうとしてくれている感じはあり、なんとなく雰囲気を掴むことはできた。しかし、それでも内容は難しく、十分に理解したとは言えない。
ところどころ、文章として読みにくい箇所があった点は惜しい。

大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界

岡野原大輔

タイトルにある通り、
「知能」とは何か、を定式化し、大規模言語モデル(LLM)が
それを満たすといえるのかを問うたり、
あるいはLLMのふるまいから「知能」とは何かを考える
道筋をつけるものかと思って購入したが、
そういうのはほとんどなかった。
帯にあたる部分に書いてある、
「何が可能か」「どんなリスクがあるか」「どう付き合うか」
がメイン。
LLMやその他の言語学習モデルが簡単に説明されている。
同シリーズの「クオリアはどこからくるのか？」を
先に読んでいたので、そういった内容を期待して
肩透かしを食らってしまったが、
ChatGPTなどの啓蒙書としてはちょうどいいかも。

大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界

岡野原大輔

私もChatGPTを使い始めたが、まだ、日本の地方やマニアックな話題は難しそうである。ただ、上手く使えば使い道はあると思った。
このまま性能が上がれば、世の中は変わっていくだろう。

大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界

岡野原大輔

【星:3.5】
本書のテーマに対する私の知識不足が原因と思われるが、色々分からないところがあった。

本書は一般向けとの事であるが、多分AIとかに一定レベルの知識を持った一般の方向けというこだと思う。

ただ、理解出来た部分については色々と参考になり、今後AIについての一定程度の知識が必須となることは肌身で感じることができた。

大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界

岡野原大輔

成功のキーは「大規模」であった。画期的な新しい方式をとったわけではない。なんとなく思っていた通りだ。ただ、なんと実現した人達もなぜうまく行ったかわかってない、というのは驚き。

AI技術の最前線 これからのAIを読み解く先端技術73

岡野原大輔

全部理解するのは無理でした。
興味を引く部分がそれぞれの読者にあるはずで、そこから調査を広げ深める入り口として良著だと思いました。

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

西川徹 / 岡野原大輔

プリファードネットワークス社の創業者、西川徹さんと岡野原大輔さんが、PFNの創業の経緯や、今の事業内容（研究内容）について、専門家でもない人に分かりやすく書いた書籍です。
日本にPFNのような尖ったベンチャーが次々に現れるといいな！と思う内容でした。

ディープラーニングを支える技術——「正解」を導くメカニズム［技術基礎］

岡野原大輔

4章の後半くらいから難しかったですが、
・強化学習が教師あり学習とどう違うポジショニングにあるか
・正規化層の役割
・アテンション機構
のあたりは個人的に理解が深まった部分もあり良かったです。使っていく中、問題に出会う中で振り返ると良さそうな本だと思います。

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

西川徹 / 岡野原大輔

刺激的な題名だなと思って手に取った為、恥ずかしながらPFNのことは全然知りませんでした。本の内容はPFNがどのような会社で何を目指しているのかでした。凄い企業が日本にあるのだと知れて良かった。大人になったら学ばなくて良いと、学生の頃思っていましたが、社会人になっても仕事する為にはある程度学ばなくちゃいけない。ただ、その学ぶレベルや量がPFNの人達は全然違う。彼等程にはなれなくても、頑張らねばと身が引き締まる思いでした。パーソナルロボット産業はまだ覇者がいないと思うので、イーロン・マスク等に負けず、頑張って頂きたい！

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

西川徹 / 岡野原大輔

コンピュータに詳しい人、興味を持てる人は強いなと改めて思う。何もかも重要だが、自分のこころが震える経験をするためには、なんでもやる全部やるの精神も重要だろう。その辺りのバランスがいつもわからなくなる。