岡野原大輔のレビュー一覧

生成ＡＩのしくみ 〈流れ〉が画像・音声・動画をつくる

少し原理が理解できたことでまだうまく使いこなせていない生成AIの使い方のアプローチを変えてみようと思った。

大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界

Chat GPTが登場した時は、本当に驚いた。一方で、「なんでこんな間違いをするんだ！？」と不思議に思うこともあった。ということで、『大規模言語モデル』を理解すべく読んでみた。

「一般向け」としているものの、文系には厳しい部分はあり、特に、本書の要とも言える6章の「大規模言語モデルはどのような動いているのか」はかなり難しい。

とは言え、
①大規模言語モデルがやっていることは、次の単語を予測すること
②訓練されたデータ以外の見たことのない未知のデータではうまく予測できない（これができるように研究は進んでいる）
因みに、私が、2023年4月に開成中学の入試問題（2021年の小問）を解かせたところ、まったくダメ。
③存在しない情報を作り出してしまうという致命的問題がある、そしてそれが何故かが完全には解明されていない
といったポイントは理解でき、『大規模言語モデル』との付き合い方を考える上で有用であった。

生成ＡＩのしくみ 〈流れ〉が画像・音声・動画をつくる

2022年末にリリースされたChatGPTがその圧倒的性能を知らしめた｢生成AI｣というものが、どういった仕組みで動いていて、これまで存在したAIとはどう違うのか、更には現在のような性能に至るまでにどういったモデル(仕組み)があったのかを基礎から説明してくれる良書
ある程度の前提知識が求められているため、本書一冊でゼロから理解することは難しいかもしれないが、入念に読み込んだり他の科学系一般書や科学雑誌などを見ることで、より腑に落ちる形で理解できると思う
そもそもデータとはどういう形で存在しているのか、といった基礎的かつ重要な事柄から、去年(2024年)のノーベル賞の話まで幅広く扱われており多くのトピックで興味がそそられた
付録として、AI学習に欠かせない｢機械学習｣や｢ニューラルネットワーク｣についての解説も付いているためそこも読むとより分かりやすくなるだろう

生成ＡＩのしくみ 〈流れ〉が画像・音声・動画をつくる

「数式なし」という言葉に釣られて油断して読むと結構難しいと思う。著者が「理系大学生くらい向け」と言っていたが、まさにその位のリテラシーは求められる印象。また本当に「仕組み」にフォーカスがあるので、生成AIの事例等を期待している人は買わないように注意。
以上に留意すれば、この分野にしてはかなり分かりやすい一冊だと思う。

生成ＡＩのしくみ 〈流れ〉が画像・音声・動画をつくる

生成AIについて、そして「流れ」を使ってデータを生成する技術について記述。数式は出てこないが、なかなか理解が追い付かない。

大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界

やや難解だが、長期記憶やメタ学習が実現されていることを説明した部分は読みごたえがあった。

chatGPTが学習した情報の量は1兆文字、書籍で1000万冊相当分。

1948年、シャノンは情報量（情報エントロピー）と呼ばれる概念を導入した。ある情報がどれだけ予想していない驚くべき情報かを表し、起こりにくい事象が起きた場合は情報量が大きくなる。この情報理論によって、情報を数学的な枠組みの中で扱えるようになった。

2020年、学習する際に使う訓練データの量、利用するモデルのパラメーター数（モデルサイズ）、投入計算量の3つの要因と、言語モデルの検証データの予測誤差との間には、べき乗測が成り立つことが発見された。さらに、検証データの単語の予測性能と、言語理解などの後続タスクのとの間にも、正の相関が見られる。これは言語モデルが自己教師あり学習によって、言語理解に必要な能力を獲得していることを支持する。

ニューラルネットワークでは、誤差逆伝搬法を使って学習に必要な修正量を効率的かつ正確に求められる。

注意機構は、過去の単語列で重要な部分を思い出す短期記憶と考えることができる。トランスフォーマーは、自己注意機構と、三層の全結合層を使ったニューラルネットワーク（MLPブロック）を交互に重ねてデータを処理するモデル。 MLPブロックは、今処理している情報と関連する情報を読み出して処理する長期記憶とみなすことができる。

注意機構はデータを集約する役割があるが、重みパラメーターを一時的に変えているとみなすことができる。大規模言語モデルに使われている自己注意機構は、パラメーターを変えて学習した場合と同様に、指示や今生成しているデータに合わせてモデルを適用させていくことがわかった。言語モデルと自己注意機構の組み合わせによって、複数のタスクを学習することで学習方法自体を学習するメタ学習が意図せずに実現された。

大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界

大規模言語モデル、いわゆる生成AIの仕組みと今後の課題等が素人にもわかりやすく解説されている。
開発者自身も大規模言語モデルがこれだけ上手く行っているのか、まだ分かっていない部分があるとの記述に驚いた。
人間の言語習得の仕組みとの違いがあるのか無いのか、はたまた知能そのものの獲得は可能なのか、今後学習するデータが更に増えていった時に何が起こるのか興味は尽きない。
ただ、悪用されたり暴走したりしないように、しっかりウォッチしていく事が必要だろう。

大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界

ChatGPTを実現した大規模言語モデルの解説書だが、難しい！ 概念だけでも理解しようと本書を繙いたが、初めて出会う用語が大量に出てくる．汎化、幻覚、目標駆動学習、自己注意機構、本文中学習などなど．次の単語を予測するというタスクを解くために、自己注意機構というモデルは設計者も想定していなかった働きを獲得していた という記述があったが(p117)、画期的なことだと感じた．大規模言語モデルを新しい道具としてとらえ、人とは違う新たな知能を持ったシステムと考える著者のコメントに共感を覚える．難しかった．

ディープラーニングを支える技術——「正解」を導くメカニズム［技術基礎］

この時期、オープンAIの1日の稼働にかかる費用が70万ドル（1億円）とニュースで賑わっていた。

本書を、読むとそれだけコストがかかるのか理解できました。（全ての作業を、1からを高速で汲み上げている）

大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界

一般ユーザーの触れる諸サービスに限らず日進月歩の研究が人工知能界隈で尚進められているものと思うが
その動きを大仰にビジネス書チックに扱うのではなく、質実に比較的紙幅の限られる中で辿ったという感じ。

取り上げられるトピックに目新しさは少ないが、本書を専門知識の入り口とするには端的にまとまっている。

オンライン機械学習

本書の内容自体は．オンライン学習でもバッチ学習でも適用できるような機械学習の原理が大半である。他の本に比べると最適化手法の紹介数が多いか。

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

ある一つの軸・目標があるからこそこのように活躍してきたんだなと思った。
今後のロボット産業に注目しようと思う。

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

Learn or DieはPFNがTech企業のリード的立場であるという前提があるからこその姿勢という見方もできるかもしれないが、学ばないものは廃れていくというのはあらゆる企業に通じる真理かもしれない。
レベル感は違えどもエッセンスは自身のマインドに取り入れていきたいと感じた。

AI技術の最前線 これからのAIを読み解く先端技術73

人工知能に興味があって、この人の本は、ディープラーニングを支える技術1、2と読んできたが面白かった。
とは言え、難しいので全部理解できた訳ではなく、興味のあるところをピックアップして読んだのだが。
他のどの本にも載っていない最新の最先端のAI技術について解説してくれているのでありがたい。

ディープラーニングを支える技術〈2〉——ニューラルネットワーク最大の謎

一通り読んだが、かなり難しい。
ただ、とてもよい本なので、ディープラーニングに関心のある人は、ある程度基礎を身につけた後(第1巻がある程度理解できるようになった後)で、読んでおくべき本だと思う。
ディープラーニングで、今、何が課題になっているのかを俯瞰的に理解できるはず。

ディープラーニングを支える技術——「正解」を導くメカニズム［技術基礎］

以前ディープラーニングについて学んだことがあって、資格も持っているのですが、それでも結構難しかった。
最初にいきなり読むのではなく、一通りディープラーニングについて勉強してから読んだ方が理解できると思う。
ディープラーニングに関する基本的な技術が網羅的に説明されているので、教科書になり得る本だと思う。

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

PFNがプロセッサ（アクセラレータ）の独自チップ開発をしていることを知ったときは、「早い！」と思っていたが、なるほど、西川氏がハードよりの方ですぐにその必要性を理解されていたからなのだろうと悟った。

本書においては、PFNの沿革がストーリー仕立てで分かりやすく記されており、特に会社としての行動規範や哲学、考え方にふれることができる。

個人的には７章以降に金言が多かったと思う。勢いがとてもよく伝わってくる。
読んでよかったと思える１冊。

ディープラーニングを支える技術——「正解」を導くメカニズム［技術基礎］

支える技術とのことでインフラ寄りの話かと思いきや理論の解説でした
『深層学習』青本を読む前に理論に慣れる用の本って
感じでしょうか

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

成功率10%以下の課題に挑み続ける。
PFNバリュー
　Motivation-Driven　熱意を元に
　Learn or Die　死ぬ気で学べ
　Proud, but Humble　誇りを持って、しかし謙虚に
　Boldly do what no one has done before　誰もしたことがないことを大胆に為せ

IoT × AI
　深層学習＋ロボティクス、クリエイティブ、スポーツアナリティクス
　深層学習専用プロセッサー　MN-Core

ファナック
　ロボットがロボットを作っている
　機械学習が機能する領域はロボット、物理世界での問題をAIとロボットで解く

自動運転
　シミュレーター×強化学習　　報酬の計算
ゲーム
　強化学習で自分と同じくらい強い相手をつくり、学習する

生成モデル
　深層学習の派生技術　教師なし学習　似た事例を生成

深層学習
　汎化能力　「確率的勾配降下法」　適当なノイズを入れて追試する

インターネット時代の研究開発
　自分以外が優れたアイデアを出す可能性はすごく高い。
　外部のアイデアを見ながら自分たちができるところを探る。　
　フレームワークでは機能差がなくなり、競争の源泉が移り変わった。

技術を作るために
　一人では絶対できないことをやるために会社を立ち上げた。
　エキスパート同士が分担し、繋がり、理解する。
　一匹狼では会社は知識を吸収できない。
　
500年後のテクノロジー
　今と全く異なったものになる、今から500年前を振り返っても何もなかった。

製造業
　モノを作っているからできることがある。
　今のハードウェアは人が設計しやすいようにできている。
　将来は深層学習が設計まで踏み込める。人ができない並列で考えることができる。

ロボット
　手と足がついたコンピュータになる　自動車もロボット
　パーソナルナルロボット分野に取り組む
　　目は人間にほぼ近いものができている
　　手＝アクチュエーターはこれから
　プログラミングのハードルを下げる＝ビデオ予約と同じくらいの感覚に
　人間ができている情報処理能力を与えるためには ソフトとハードを密に融合
　今のロボットもロケットも モデルベースの制御技術、AIではない

　ルールベースから、「学習ベース」になると複雑な制御も可能になる
　エッジでもクラウドでもない最適化＝ネットワークの革新
　コンピュータネットワークにも人間の細胞同様、免疫システムを

順当にやることはGAFAのような大手がやる。
できるわけないと思っているところに解を探す。

Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

Learn or Die とは、プリファードネットワーク社の社是であり、創業者の思いが語られた本。
若くて勢いのある話は、読んでいてワクワクします。
深層学習とロボットが結びついた社会を見てみたいです。