稲葉通将のレビュー一覧

ＣｈａｔＧＰＴの頭の中

ChatGPT関連で目を通した中では、一番示唆に富む。
何よりシンプルな所がいい、薄いしね。

ヒトの情報処理機構と認知の大枠を考えるには、とても役に立つ。飛行機の発明、開発によって、鳥の飛行メカニズムの解明が、進んだように。

まだ、と考えるべきなのか、そういう点では知性に関しては及ばないが、知能に関しては、かなりの接近が見込める気がする。本書の中の「記憶素子」だったか、これが上手く活性化、遺伝的にか発現した人が、IQが高くなるのでないのかな。

頭の中をまとめるため、とりあえず、半分目を通しての感想。続きは、そのうち書こう。

ＣｈａｔＧＰＴの頭の中

ウルフラム・アルファの作者がChatGPTの動作原理をわかりやすく解説。とはいえ、トランスフォーマーの動作原理は極めて難解で「どうして答えが正しいのか」誰も説明できない状況に変わりはない。最終文末でChatGPTとウルフラム・アルファの比較を行っているが、生成AIでプロンプトを生成して、エージェントとしてウルフラム・アルファを用いるといった、説明性を求められるところは記号手法を用いたエージェントで、汎化知識（統計手法）で対応できるところは生成AIでという棲み分けが示唆されている、

ＣｈａｔＧＰＴの頭の中

ブックカタリスト倉下さんお勧めとの話をPodcastで入手し、それではと軽い気持ちで読み始める。

あれ、これは初心者向けではなくある程度の前提知識のある中級者向けだなと勘づくが、本の薄さに励まされ読み進めてみる。

私なりに理解して点としては、
・ChatGPTがなぜそのような回答に行き着くかは、本書刊行時点ではブラックボックス(現在はどうなのだ？)

・論理的な計算処理で導ける質問に対しては苦手、ハレーション。そこに、著者開発のWoifram/Alphaとの協働で、ブースト可能だよという売り文句。(実際にコラボしてるのかな？)

・構造論(シンタックス)と意味論(セマンティック)の観点から、論を展開してるが理解できず。つまりは、人間による言語用法にチャッピーの働きは近似しているし、チャッピーの構造理解が深まると人間の言語能力に関する理解も深まるのでは、という期待がある。

素人な私にはむずい。が、なにができるかではなくなぜできるかという構造を解説しているという点で、重宝される書籍ではないだろうか。ぜひ皆様にもチャレンジしてほしい。

ＣｈａｔＧＰＴの頭の中

AIとは何なのか、ChatGPTはどのように機能するのか、を教えてくれる本。AIはもっともらしい文章を出してくるので、理解して思考しているように思ってしまうが、あくまでも文章を組み立てているだけ。で、その文章の組み立てがどうやって成されているのか？をかいつまんでざっくりと説明してくれる。かいつまんでざっくり、なのだが、それゆえか、あるいはそもそもが難解だからなのか、理解するのが割と難しい。読むにあたっては、ITパスポートくらいのリテラシーというか、ITやプログラミングの知識があったほうが良いかもしれない。

ＣｈａｔＧＰＴの頭の中

長年NNを研究している筆者視点でChatGPTの何が優れ、何が課題なのかを明確に指摘する技術にも詳細に触れている導入書。ライトに読めるのでオススメ。

ＣｈａｔＧＰＴの頭の中

chatGPTの動作原理を解説。意外と単純な仕組み。でもそれを実行しようとすると大変。シリコン計算機は、計算素子と記憶素子が別々なので、計算が大変、とあったので、そういったシリコン計算機を作れば、より人間らしく、正確な応答のできるAIになるのかも。

ＣｈａｔＧＰＴの頭の中

ChatGPTに代表されるLLMのしくみとして、トランスフォーマーを用いて単語を意味空間に位置付ける「埋め込みベクトル」の最適化と、入力された単語間の意味空間上の距離を把握して、次に来る単語を予測するという動作原理がわかった。
現在の生成AIが、なぜこれほどうまく機能するのかを理論的には明らかにできておらず、「結果としてうまくいっている」だけの状態であること、しかし、結果としてうまくいっている以上、人間の言語と思考を表現する未発見の理論が存在しているはずであるとの著者の主張は印象的であった。

ＣｈａｔＧＰＴの頭の中

新書だから何とかなるかと思いましたが、自分にはやはり難しかったです。
ただ、ChatGPTがなぜ誤った内容を回答するのか、そして、その間違った答えをもっともらしい文章で返して来るのか、の原理的なことは理解できたように思います。

ＣｈａｔＧＰＴの頭の中

原文ブログを読んで、理解及ばなかったと思って、そのまとめの日本語訳を手にした訳だけど、大体、読んだ通りだった。Wolfram氏の哲学（ChatGPTの「自然言語」とMathematica・Wolfram言語の「計算言語」の融合で、相補的な進展の先に進む）がよく分かる。計算言語の創始者とも言える氏が、自然言語を高く評価しているのは予想外だった。

NNの説明までは良い。ニューロンの中間層で絞られる事自体に意味があると。
人間の脳との働きが似ているという説には肯定的。だからこそ、説明不能というのも理解できる。
シナプスに当たる計算ユニットにメモリを持たせて独立で演算、というアイデア自体は、既に市場にあるけど、そこへの言及は無い。IntelのNorthpole開発報道は、出版後だったかも。

ただし、計算不能性については、もっと説明が要ると思う。大前提っぽい導入のされ方だけど、その辺は、一般的な知識かな？

日本語版での追加は、監訳者解説とその参考文献4件。こちらの参考文献は後で確認。解説で追加されたRLHFの訓練手順の説明が大変分かりやすい。モノグラムなら、こういう感じかな。

悪い点は、Wolfram言語で提示されている例題の式が、そのまま過ぎて、説明が無い事｡氏の「世界は計算」という究極の思想から振り返ると思うと、枝葉にこだわる必要は無いので、この書き方でも良いと思うけど。

ＣｈａｔＧＰＴの頭の中

マセマティカを作ったことで有名なウルフラムさんのchat gpt解説本。彼のサービスのウルフラムアルファに繋げるとすごいぞという本なんだけど、導入の所の説明は見事。素晴らしい。オープンループなんだよってすごい強調するとか微笑ましい、私の興味は、人間の文の組み立て方の仕組みがわかった。それで作られてきたぶんによって社会はどのように作られてきたのか？なんだけど、ウルフラムさんはそこには興味はない。理系。

ＣｈａｔＧＰＴの頭の中

細かい議論を感得しようとも思わないで、どういう立ち位置の書籍かと思いながら試し読むにはページ数は軽い。
数式のようなものは少なく、概念的な明示は図形で処理されている（画像への注釈がないので対応関係が普段の読書経験からは違和感があるが）ので
AI的な、数学的な思考の一端を見るものとしては彼岸のことながらなるほどと思い、Wolframについても、本書の主題と逸れる部分もあり手前味噌とも感じられるが、こういう研究領野があることを体感できた。

ＣｈａｔＧＰＴの頭の中

NNのはなしから始まって、DL、Transformerのアテンション機構まで解説しながら、普段私たちの脳内で行われる「言語構築」との対応について考察されている。抽象的な表現・図が多くて辛い部分もあるので「最高の解説書」かはわからないが、正しくない軽視や過信は修正できそう。

あと、「正解を導くようなもの（たとえば計算問題）は苦手なので、俺の作ったWolfram｜alphaを使え！いつかChatGPTと融合して最強になるぞ！」という宣伝があるので、「この書籍にはプロモーションを含みます」という感じだった。

そして、計算言語、という概念は非常に興味深い。言語を数学・物理的に捉えられる可能性が出てきたのも、私たちの脳でしか作り得ないと思われていたものが大規模なネットワークで再現できたからであり、近年のAIの進化はそういう示唆を逆説的に与えてくれる魅力があると思った。

ＣｈａｔＧＰＴの頭の中

ドがつくほどの文系なので内容の理解はかなり難しく、頑張って読み進めたものの第一部で断念。
ChatGPTの内部でどのような処理が行われているのか、なんとなくのイメージを持つことはできた。

ＣｈａｔＧＰＴの頭の中

理論物理学者が現在のチャッピーの元祖であるChatGPTの仕組みについて述べた本。著者は、この世の全てが何らかの規則やプログラムで説明できるという説を打ち出し、それに基づいた「ウルフラム・アルファ」システムモデルを開発・運用しているが、その視点から語ったものである。
第１部ではChatGPTの歴史や仕組みそのものを解説し、第２部で著者の「ウルフラム・アルファ」との比較や、両者を使ってうまく使うことを提案している。

ウルフラム・アルファは様々な理論や数式に基づき、正確に回答することに長けているのに対し、ChatGPTは内容の正確性よりも自然な文章になるように特化している。確かにChatGPTって何、と他のAIに聞くと、「人間にとって自然な会話になるような文章を作成します^^」という回答が返ってきて、いやgeminiもそうじゃんか…と思っていたのだが、この本によればChatGPTは、LLMに人間にとって好ましい回答をするように文章を学習させているものだということなので、その回答で合っていることになる。


色々説明はあるが、実は何故こんなに自然に人間が使うようにChatGPTが文章を作れるのかについては、全てが理屈で説明できるわけではない、というところに驚き。つまり、やってみたらうまくいったから、使ってしまえというもの。飛行機が何故飛ぶのか判明していないという話を聞いたことがあるが、それと同じかなと思った。そりゃ、シンギュラリティの議論があるわけだ。仕組みがわからないということは、人間の掌握していないところで何かが起こる可能性があるということなのだから。


ChatGPTの仕組みについては、この本で理論で解き明かそうという試みがありそれは勿論興味深く読んだのだが（とはいえ後半は難解な部分もあった）、個人的には著者の視点が面白いと思った。何故ChatGPTが人間が使うように自然な文章を作成できるのかという点について、著者の見解では、従来人間が思ってきた以上に言語はシンプルな構造をしているからだと言っている。キリスト教圏の人が聞いたら烈火のごとく怒り狂うのではないかと思われるこの説は、流石、世界をプログラムベースで説明できるという説を打ち出した著者らしい捉え方だなと思った。
勿論、言語の構造がシンプルだと仮説を立てたとはいえ、具体的にどのような規則に基づいているのかが明確になったわけではないが、元々言語を使わないはずのメカが（表面上は）ヒトと同じように言葉を使えるということは、言葉の使い方に何かしらの規則性があるという仮説に行き着くのは自然なことだと思う。文化人類学は案外この分野からも解を得るかもしれない？（或いはもう何か得ている？）

ＣｈａｔＧＰＴの頭の中

難しくてあまりよくわからなかった、

でも次の単語を予想して出してるっていうのは！そうなんだーって思った

ＣｈａｔＧＰＴの頭の中

ChatGPTのストラクチャーと作用機構は何となく理解できたが、細かい所になると何が何だか全くわからない。難しいと言うより説明が全く足りてない。
曰く、生成AIとはニューラルネットがヒトの脳細胞と同じように、過去に蓄積した膨大な記憶(LLM)に基づいてニューロンからニューロンへ逐次的に重み付けした情報を渡していき、『次の1語』を順次付け加えているだけ。基本的に『次の1語』は『距離の近さ(=ベクトルの短さ)』で選ばれ、自ら生成した文章が世の中の膨大な文章群に最も近くなるようにしているが、なぜAIがそれを選ぶのかを人間が明示的に理解することはできない。ごく簡単に言ってしまえばこんなところか。
でも読んで良かったと思うのは、生成AI は決して『思考』している訳ではなく、計算をさせると間違うことがあるし、時々嘘をつく事もあると知れたこと。同僚の中にはAIの言うことを鵜呑みにする奴が少なくないが、そもそも真偽不明のネット情報を要約しただけの回答を何故そんなに無邪気に信用できるのか理解できない。何故その情報を選んだのかもわからないのに。
生成AIを信じられるようになるには、もう少し本質的な理解が必要だ。

ＣｈａｔＧＰＴの頭の中

chatgpt入門書。もうちょい簡単な本の次に読むといい。wolfram言語の考案者のwolframが、chatgptにwolfram言語を入れることの重要性をめちゃくちゃ説いてくる、ちょっとしつこくて笑えた

ＣｈａｔＧＰＴの頭の中

内容が難解であまり理解できなかったけど、面白かった。

・chatGPTはディープラーニング（人間の脳細胞を参考にしたニューラルネットによる学習方法）でネット上の膨大な情報を学習し作られた生成AI。
・生成されるテキスト文は、シンプルに、インプット（プロンプト）テキストの次に来る確率が最上位のテキストを段階的に割り出して、それを次々と並べているだけ。
・ただし、常に確率が最上位のテキストを並べるのではなく、時折確率が やや高め に留まるテキストを織り交ぜることにより、全体的に単調ではなく創造的なアウトプットになる。（これについては、なぜそうなるのかは解明されておらず、経験的にそうなることがわかっているとのこと。）

ＣｈａｔＧＰＴの頭の中

正直、言っていることを正確に理解できているのかが、そもそも分からなかった。
もともと馴染みのないフィールドなので、名称や説明内容を、頭の中でイメージ出来ないのが問題だ。

ただこのようなことだろう。

・ChatGPTの思考システムは、人の頭の中のニューロンのようなもの。
・基本的な概念は、ウェブや書籍などから、人が作った文章の膨大なサンプルを集めるところから始まる。次に、「それと似た」文章を生成するようにニューラルネットを訓練する。具体的には、「プロンプト(指令・命令)」から始めて、「訓練に使われたのと同じような」文章を続けられるようにする。
・ChatGPTの内部にはウェブページや書籍などの文章がそのまま蓄積されているわけではなく、精度10桁未満の無数の数字であり、その数字が文章全てから集約した構造をある種の分散型でエンコードしたもの。
・人間が構築したと明確にいえるのは、実質的に大枠の基礎構文だけで、それ以外はすべて訓練データから学習する。その中身はブラックボックスだ。
・ChatGPTの動作は基本的に次の3段階で進む。
①今までにできている文章に対応するトークン列を取得し、それを表す埋め込み(=数字の配列)を見つける。
②この埋め込みを対象として、「標準的なニューラルネットと同じように」、連続したネットワーク層の中を値が「波紋のように伝わって」いって、新しい埋め込み(新しい数字の配列)が生成される。
③この配列の最後の部分を取得し、そこから次に来そうなトークンの確率が得られる約5万個の値の配列を生成する。

もちろんChatGPTの生成品は、完全ではないし、また特に数学問題では間違っているリスクがあるらしい。
それはそれで、人間的にも感じる。

このニューラルネットと言う概念は1940年代に考案されたらしい。
そんな古くから始まっていたのかと言う驚きと、ここ数年での飛躍的な進歩から、次の10年ではどんな世界になっているのかと言う期待半分、恐さ半分の複雑な心境にさせてくれる書だった。