スティーヴンウルフラムの作品一覧

ChatGPT関連で目を通した中では、一番示唆に富む。
何よりシンプルな所がいい、薄いしね。

ヒトの情報処理機構と認知の大枠を考えるには、とても役に立つ。飛行機の発明、開発によって、鳥の飛行メカニズムの解明が、進んだように。

まだ、と考えるべきなのか、そういう点では知性に関しては及ばないが、知能に関しては、かなりの接近が見込める気がする。本書の中の「記憶素子」だったか、これが上手く活性化、遺伝的にか発現した人が、IQが高くなるのでないのかな。

頭の中をまとめるため、とりあえず、半分目を通しての感想。続きは、そのうち書こう。

長年NNを研究している筆者視点でChatGPTの何が優れ、何が課題なのかを明確に指摘する技術にも詳細に触れている導入書。ライトに読めるのでオススメ。

chatGPTの動作原理を解説。意外と単純な仕組み。でもそれを実行しようとすると大変。シリコン計算機は、計算素子と記憶素子が別々なので、計算が大変、とあったので、そういったシリコン計算機を作れば、より人間らしく、正確な応答のできるAIになるのかも。

ChatGPTに代表されるLLMのしくみとして、トランスフォーマーを用いて単語を意味空間に位置付ける「埋め込みベクトル」の最適化と、入力された単語間の意味空間上の距離を把握して、次に来る単語を予測するという動作原理がわかった。
現在の生成AIが、なぜこれほどうまく機能するのかを理論的には明らかにできておらず、「結果としてうまくいっている」だけの状態であること、しかし、結果としてうまくいっている以上、人間の言語と思考を表現する未発見の理論が存在しているはずであるとの著者の主張は印象的であった。

新書だから何とかなるかと思いましたが、自分にはやはり難しかったです。
ただ、ChatGPTがなぜ誤った内容を回答するのか、そして、その間違った答えをもっともらしい文章で返して来るのか、の原理的なことは理解できたように思います。