高橋聡のレビュー一覧
-
Posted by ブクログ
理論物理学者が現在のチャッピーの元祖であるChatGPTの仕組みについて述べた本。著者は、この世の全てが何らかの規則やプログラムで説明できるという説を打ち出し、それに基づいた「ウルフラム・アルファ」システムモデルを開発・運用しているが、その視点から語ったものである。
第１部ではChatGPTの歴史や仕組みそのものを解説し、第２部で著者の「ウルフラム・アルファ」との比較や、両者を使ってうまく使うことを提案している。
ウルフラム・アルファは様々な理論や数式に基づき、正確に回答することに長けているのに対し、ChatGPTは内容の正確性よりも自然な文章になるように特化している。確かにChatGPTって何、と他のAIに聞くと、「人間にとって自然な会話になるような文章を作成します^^」という回答が返ってきて、いやgeminiもそうじゃんか…と思っていたのだが、この本によればChatGPTは、LLMに人間にとって好ましい回答をするように文章を学習させているものだということなので、その回答で合っていることになる。
色々説明はあるが、実は何故こんなに自然に人間が使うようにChatGPTが文章を作れるのかについては、全てが理屈で説明できるわけではない、というところに驚き。つまり、やってみたらうまくいったから、使ってしまえというもの。飛行機が何故飛ぶのか判明していないという話を聞いたことがあるが、それと同じかなと思った。そりゃ、シンギュラリティの議論があるわけだ。仕組みがわからないということは、人間の掌握していないところで何かが起こる可能性があるということなのだから。
ChatGPTの仕組みについては、この本で理論で解き明かそうという試みがありそれは勿論興味深く読んだのだが（とはいえ後半は難解な部分もあった）、個人的には著者の視点が面白いと思った。何故ChatGPTが人間が使うように自然な文章を作成できるのかという点について、著者の見解では、従来人間が思ってきた以上に言語はシンプルな構造をしているからだと言っている。キリスト教圏の人が聞いたら烈火のごとく怒り狂うのではないかと思われるこの説は、流石、世界をプログラムベースで説明できるという説を打ち出した著者らしい捉え方だなと思った。
勿論、言語の構造がシンプルだと仮説を立てたとはいえ、具体的にどのような規則に基づいているのかが明確になったわけではないが、元々言語を使わないはずのメカが（表面上は）ヒトと同じように言葉を使えるということは、言葉の使い方に何かしらの規則性があるという仮説に行き着くのは自然なことだと思う。文化人類学は案外この分野からも解を得るかもしれない？（或いはもう何か得ている？） -
-
Posted by ブクログ
ChatGPTのストラクチャーと作用機構は何となく理解できたが、細かい所になると何が何だか全くわからない。難しいと言うより説明が全く足りてない。
曰く、生成AIとはニューラルネットがヒトの脳細胞と同じように、過去に蓄積した膨大な記憶(LLM)に基づいてニューロンからニューロンへ逐次的に重み付けした情報を渡していき、『次の1語』を順次付け加えているだけ。基本的に『次の1語』は『距離の近さ(=ベクトルの短さ)』で選ばれ、自ら生成した文章が世の中の膨大な文章群に最も近くなるようにしているが、なぜAIがそれを選ぶのかを人間が明示的に理解することはできない。ごく簡単に言ってしまえばこんなところか。
でも読んで良かったと思うのは、生成AI は決して『思考』している訳ではなく、計算をさせると間違うことがあるし、時々嘘をつく事もあると知れたこと。同僚の中にはAIの言うことを鵜呑みにする奴が少なくないが、そもそも真偽不明のネット情報を要約しただけの回答を何故そんなに無邪気に信用できるのか理解できない。何故その情報を選んだのかもわからないのに。
生成AIを信じられるようになるには、もう少し本質的な理解が必要だ。 -
-
Posted by ブクログ
内容が難解であまり理解できなかったけど、面白かった。
・chatGPTはディープラーニング（人間の脳細胞を参考にしたニューラルネットによる学習方法）でネット上の膨大な情報を学習し作られた生成AI。
・生成されるテキスト文は、シンプルに、インプット（プロンプト）テキストの次に来る確率が最上位のテキストを段階的に割り出して、それを次々と並べているだけ。
・ただし、常に確率が最上位のテキストを並べるのではなく、時折確率が やや高め に留まるテキストを織り交ぜることにより、全体的に単調ではなく創造的なアウトプットになる。（これについては、なぜそうなるのかは解明されておらず、経験的にそうなることがわかっているとのこと。） -
Posted by ブクログ
正直、言っていることを正確に理解できているのかが、そもそも分からなかった。
もともと馴染みのないフィールドなので、名称や説明内容を、頭の中でイメージ出来ないのが問題だ。
ただこのようなことだろう。
・ChatGPTの思考システムは、人の頭の中のニューロンのようなもの。
・基本的な概念は、ウェブや書籍などから、人が作った文章の膨大なサンプルを集めるところから始まる。次に、「それと似た」文章を生成するようにニューラルネットを訓練する。具体的には、「プロンプト(指令・命令)」から始めて、「訓練に使われたのと同じような」文章を続けられるようにする。
・ChatGPTの内部にはウェブページや書籍などの文章がそのまま蓄積されているわけではなく、精度10桁未満の無数の数字であり、その数字が文章全てから集約した構造をある種の分散型でエンコードしたもの。
・人間が構築したと明確にいえるのは、実質的に大枠の基礎構文だけで、それ以外はすべて訓練データから学習する。その中身はブラックボックスだ。
・ChatGPTの動作は基本的に次の3段階で進む。
①今までにできている文章に対応するトークン列を取得し、それを表す埋め込み(=数字の配列)を見つける。
②この埋め込みを対象として、「標準的なニューラルネットと同じように」、連続したネットワーク層の中を値が「波紋のように伝わって」いって、新しい埋め込み(新しい数字の配列)が生成される。
③この配列の最後の部分を取得し、そこから次に来そうなトークンの確率が得られる約5万個の値の配列を生成する。
もちろんChatGPTの生成品は、完全ではないし、また特に数学問題では間違っているリスクがあるらしい。
それはそれで、人間的にも感じる。
このニューラルネットと言う概念は1940年代に考案されたらしい。
そんな古くから始まっていたのかと言う驚きと、ここ数年での飛躍的な進歩から、次の10年ではどんな世界になっているのかと言う期待半分、恐さ半分の複雑な心境にさせてくれる書だった。
-
-
-
-
-
-
