ＣｈａｔＧＰＴの頭の中

スティーヴンウルフラム / 稲葉通将 / 高橋聡

人工知能チャットボット「ChatGPT」の知られざる仕組みと基礎技術について、自らも質問応答システムの開発に携わる理論物理学者が詳細に解説。今も進化し続けるChatGPTが、将来的に人間の脳に匹敵する「思考の本質」を身につける可能性が鮮やかに示される

• カテゴリ: ビジネス・実用
• ジャンル: IT・コンピュータ / 全般
• 出版社: 早川書房
• 掲載誌・レーベル: ハヤカワ新書
• タイトル: ＣｈａｔＧＰＴの頭の中
• タイトルID: 1387865
• ページ数: 168ページ
• 電子版発売日: 2023年07月19日
• コンテンツ形式: EPUB
• サイズ(目安): 35MB

[ブクログ · ★★★★★]

ChatGPT関連で目を通した中では、一番示唆に富む。
何よりシンプルな所がいい、薄いしね。

ヒトの情報処理機構と認知の大枠を考えるには、とても役に立つ。飛行機の発明、開発によって、鳥の飛行メカニズムの解明が、進んだように。

まだ、と考えるべきなのか、そういう点では知性に関しては及ばないが、知能に関しては、かなりの接近が見込める気がする。本書の中の「記憶素子」だったか、これが上手く活性化、遺伝的にか発現した人が、IQが高くなるのでないのかな。

頭の中をまとめるため、とりあえず、半分目を通しての感想。続きは、そのうち書こう。

[ブクログ · ★★★★☆]

ウルフラム・アルファの作者がChatGPTの動作原理をわかりやすく解説。とはいえ、トランスフォーマーの動作原理は極めて難解で「どうして答えが正しいのか」誰も説明できない状況に変わりはない。最終文末でChatGPTとウルフラム・アルファの比較を行っているが、生成AIでプロンプトを生成して、エージェントとしてウルフラム・アルファを用いるといった、説明性を求められるところは記号手法を用いたエージェントで、汎化知識（統計手法）で対応できるところは生成AIでという棲み分けが示唆されている、

[ブクログ · ★★★★☆]

AIとは何なのか、ChatGPTはどのように機能するのか、を教えてくれる本。AIはもっともらしい文章を出してくるので、理解して思考しているように思ってしまうが、あくまでも文章を組み立てているだけ。で、その文章の組み立てがどうやって成されているのか？をかいつまんでざっくりと説明してくれる。かいつまんでざっくり、なのだが、それゆえか、あるいはそもそもが難解だからなのか、理解するのが割と難しい。読むにあたっては、ITパスポートくらいのリテラシーというか、ITやプログラミングの知識があったほうが良いかもしれない。

[ブクログ · ★★★★☆]

長年NNを研究している筆者視点でChatGPTの何が優れ、何が課題なのかを明確に指摘する技術にも詳細に触れている導入書。ライトに読めるのでオススメ。

[ブクログ · ★★★★☆]

chatGPTの動作原理を解説。意外と単純な仕組み。でもそれを実行しようとすると大変。シリコン計算機は、計算素子と記憶素子が別々なので、計算が大変、とあったので、そういったシリコン計算機を作れば、より人間らしく、正確な応答のできるAIになるのかも。

[ブクログ · ★★★★☆]

ChatGPTに代表されるLLMのしくみとして、トランスフォーマーを用いて単語を意味空間に位置付ける「埋め込みベクトル」の最適化と、入力された単語間の意味空間上の距離を把握して、次に来る単語を予測するという動作原理がわかった。
現在の生成AIが、なぜこれほどうまく機能するのかを理論的には明らかにできておらず、「結果としてうまくいっている」だけの状態であること、しかし、結果としてうまくいっている以上、人間の言語と思考を表現する未発見の理論が存在しているはずであるとの著者の主張は印象的であった。

[ブクログ · ★★★★☆]

新書だから何とかなるかと思いましたが、自分にはやはり難しかったです。
ただ、ChatGPTがなぜ誤った内容を回答するのか、そして、その間違った答えをもっともらしい文章で返して来るのか、の原理的なことは理解できたように思います。

[ブクログ · ★★★★☆]

原文ブログを読んで、理解及ばなかったと思って、そのまとめの日本語訳を手にした訳だけど、大体、読んだ通りだった。Wolfram氏の哲学（ChatGPTの「自然言語」とMathematica・Wolfram言語の「計算言語」の融合で、相補的な進展の先に進む）がよく分かる。計算言語の創始者とも言える氏が、自然言語を高く評価しているのは予想外だった。

NNの説明までは良い。ニューロンの中間層で絞られる事自体に意味があると。
人間の脳との働きが似ているという説には肯定的。だからこそ、説明不能というのも理解できる。
シナプスに当たる計算ユニットにメモリを持たせて独立で演算、というアイデア自体は、既に市場にあるけど、そこへの言及は無い。IntelのNorthpole開発報道は、出版後だったかも。

ただし、計算不能性については、もっと説明が要ると思う。大前提っぽい導入のされ方だけど、その辺は、一般的な知識かな？

日本語版での追加は、監訳者解説とその参考文献4件。こちらの参考文献は後で確認。解説で追加されたRLHFの訓練手順の説明が大変分かりやすい。モノグラムなら、こういう感じかな。

悪い点は、Wolfram言語で提示されている例題の式が、そのまま過ぎて、説明が無い事｡氏の「世界は計算」という究極の思想から振り返ると思うと、枝葉にこだわる必要は無いので、この書き方でも良いと思うけど。

[ブクログ · ★★★★☆]

マセマティカを作ったことで有名なウルフラムさんのchat gpt解説本。彼のサービスのウルフラムアルファに繋げるとすごいぞという本なんだけど、導入の所の説明は見事。素晴らしい。オープンループなんだよってすごい強調するとか微笑ましい、私の興味は、人間の文の組み立て方の仕組みがわかった。それで作られてきたぶんによって社会はどのように作られてきたのか？なんだけど、ウルフラムさんはそこには興味はない。理系。

[ブクログ · ★★★★☆]

細かい議論を感得しようとも思わないで、どういう立ち位置の書籍かと思いながら試し読むにはページ数は軽い。
数式のようなものは少なく、概念的な明示は図形で処理されている（画像への注釈がないので対応関係が普段の読書経験からは違和感があるが）ので
AI的な、数学的な思考の一端を見るものとしては彼岸のことながらなるほどと思い、Wolframについても、本書の主題と逸れる部分もあり手前味噌とも感じられるが、こういう研究領野があることを体感できた。