ＣｈａｔＧＰＴの頭の中

スティーヴンウルフラム / 稲葉通将 / 高橋聡

人工知能チャットボット「ChatGPT」の知られざる仕組みと基礎技術について、自らも質問応答システムの開発に携わる理論物理学者が詳細に解説。今も進化し続けるChatGPTが、将来的に人間の脳に匹敵する「思考の本質」を身につける可能性が鮮やかに示される

• カテゴリ: ビジネス・実用
• ジャンル: IT・コンピュータ / 全般
• 出版社: 早川書房
• 掲載誌・レーベル: ハヤカワ新書
• ページ数: 168ページ
• 電子版発売日: 2023年07月19日
• コンテンツ形式: EPUB
• サイズ(目安): 35MB

[ブクログ · ★★★★★]

ChatGPT関連で目を通した中では、一番示唆に富む。
何よりシンプルな所がいい、薄いしね。

ヒトの情報処理機構と認知の大枠を考えるには、とても役に立つ。飛行機の発明、開発によって、鳥の飛行メカニズムの解明が、進んだように。

まだ、と考えるべきなのか、そういう点では知性に関しては及ばないが、知能に関しては、かなりの接近が見込める気がする。本書の中の「記憶素子」だったか、これが上手く活性化、遺伝的にか発現した人が、IQが高くなるのでないのかな。

頭の中をまとめるため、とりあえず、半分目を通しての感想。続きは、そのうち書こう。

[ブクログ · ★★★★☆]

長年NNを研究している筆者視点でChatGPTの何が優れ、何が課題なのかを明確に指摘する技術にも詳細に触れている導入書。ライトに読めるのでオススメ。

[ブクログ · ★★★★☆]

chatGPTの動作原理を解説。意外と単純な仕組み。でもそれを実行しようとすると大変。シリコン計算機は、計算素子と記憶素子が別々なので、計算が大変、とあったので、そういったシリコン計算機を作れば、より人間らしく、正確な応答のできるAIになるのかも。

[ブクログ · ★★★★☆]

ChatGPTに代表されるLLMのしくみとして、トランスフォーマーを用いて単語を意味空間に位置付ける「埋め込みベクトル」の最適化と、入力された単語間の意味空間上の距離を把握して、次に来る単語を予測するという動作原理がわかった。
現在の生成AIが、なぜこれほどうまく機能するのかを理論的には明らかにできておらず、「結果としてうまくいっている」だけの状態であること、しかし、結果としてうまくいっている以上、人間の言語と思考を表現する未発見の理論が存在しているはずであるとの著者の主張は印象的であった。

[ブクログ · ★★★★☆]

新書だから何とかなるかと思いましたが、自分にはやはり難しかったです。
ただ、ChatGPTがなぜ誤った内容を回答するのか、そして、その間違った答えをもっともらしい文章で返して来るのか、の原理的なことは理解できたように思います。

[ブクログ · ★★★★☆]

原文ブログを読んで、理解及ばなかったと思って、そのまとめの日本語訳を手にした訳だけど、大体、読んだ通りだった。Wolfram氏の哲学（ChatGPTの「自然言語」とMathematica・Wolfram言語の「計算言語」の融合で、相補的な進展の先に進む）がよく分かる。計算言語の創始者とも言える氏が、自然言語を高く評価しているのは予想外だった。

NNの説明までは良い。ニューロンの中間層で絞られる事自体に意味があると。
人間の脳との働きが似ているという説には肯定的。だからこそ、説明不能というのも理解できる。
シナプスに当たる計算ユニットにメモリを持たせて独立で演算、というアイデア自体は、既に市場にあるけど、そこへの言及は無い。IntelのNorthpole開発報道は、出版後だったかも。

ただし、計算不能性については、もっと説明が要ると思う。大前提っぽい導入のされ方だけど、その辺は、一般的な知識かな？

日本語版での追加は、監訳者解説とその参考文献4件。こちらの参考文献は後で確認。解説で追加されたRLHFの訓練手順の説明が大変分かりやすい。モノグラムなら、こういう感じかな。

悪い点は、Wolfram言語で提示されている例題の式が、そのまま過ぎて、説明が無い事｡氏の「世界は計算」という究極の思想から振り返ると思うと、枝葉にこだわる必要は無いので、この書き方でも良いと思うけど。

[ブクログ · ★★★★☆]

マセマティカを作ったことで有名なウルフラムさんのchat gpt解説本。彼のサービスのウルフラムアルファに繋げるとすごいぞという本なんだけど、導入の所の説明は見事。素晴らしい。オープンループなんだよってすごい強調するとか微笑ましい、私の興味は、人間の文の組み立て方の仕組みがわかった。それで作られてきたぶんによって社会はどのように作られてきたのか？なんだけど、ウルフラムさんはそこには興味はない。理系。

[ブクログ · ★★★★☆]

細かい議論を感得しようとも思わないで、どういう立ち位置の書籍かと思いながら試し読むにはページ数は軽い。
数式のようなものは少なく、概念的な明示は図形で処理されている（画像への注釈がないので対応関係が普段の読書経験からは違和感があるが）ので
AI的な、数学的な思考の一端を見るものとしては彼岸のことながらなるほどと思い、Wolframについても、本書の主題と逸れる部分もあり手前味噌とも感じられるが、こういう研究領野があることを体感できた。

[ブクログ · ★★★★☆]

NNのはなしから始まって、DL、Transformerのアテンション機構まで解説しながら、普段私たちの脳内で行われる「言語構築」との対応について考察されている。抽象的な表現・図が多くて辛い部分もあるので「最高の解説書」かはわからないが、正しくない軽視や過信は修正できそう。

あと、「正解を導くようなもの（たとえば計算問題）は苦手なので、俺の作ったWolfram｜alphaを使え！いつかChatGPTと融合して最強になるぞ！」という宣伝があるので、「この書籍にはプロモーションを含みます」という感じだった。

そして、計算言語、という概念は非常に興味深い。言語を数学・物理的に捉えられる可能性が出てきたのも、私たちの脳でしか作り得ないと思われていたものが大規模なネットワークで再現できたからであり、近年のAIの進化はそういう示唆を逆説的に与えてくれる魅力があると思った。

[ブクログ · ★★★☆☆]

正直、言っていることを正確に理解できているのかが、そもそも分からなかった。
もともと馴染みのないフィールドなので、名称や説明内容を、頭の中でイメージ出来ないのが問題だ。

ただこのようなことだろう。

・ChatGPTの思考システムは、人の頭の中のニューロンのようなもの。
・基本的な概念は、ウェブや書籍などから、人が作った文章の膨大なサンプルを集めるところから始まる。次に、「それと似た」文章を生成するようにニューラルネットを訓練する。具体的には、「プロンプト(指令・命令)」から始めて、「訓練に使われたのと同じような」文章を続けられるようにする。
・ChatGPTの内部にはウェブページや書籍などの文章がそのまま蓄積されているわけではなく、精度10桁未満の無数の数字であり、その数字が文章全てから集約した構造をある種の分散型でエンコードしたもの。
・人間が構築したと明確にいえるのは、実質的に大枠の基礎構文だけで、それ以外はすべて訓練データから学習する。その中身はブラックボックスだ。
・ChatGPTの動作は基本的に次の3段階で進む。
①今までにできている文章に対応するトークン列を取得し、それを表す埋め込み(=数字の配列)を見つける。
②この埋め込みを対象として、「標準的なニューラルネットと同じように」、連続したネットワーク層の中を値が「波紋のように伝わって」いって、新しい埋め込み(新しい数字の配列)が生成される。
③この配列の最後の部分を取得し、そこから次に来そうなトークンの確率が得られる約5万個の値の配列を生成する。

もちろんChatGPTの生成品は、完全ではないし、また特に数学問題では間違っているリスクがあるらしい。
それはそれで、人間的にも感じる。

このニューラルネットと言う概念は1940年代に考案されたらしい。
そんな古くから始まっていたのかと言う驚きと、ここ数年での飛躍的な進歩から、次の10年ではどんな世界になっているのかと言う期待半分、恐さ半分の複雑な心境にさせてくれる書だった。