河原塚健人のレビュー一覧

基盤モデルとロボットの融合 マルチモーダルＡＩでロボットはどう変わるのか

研究分野が体系的に記されていて大変参考になりました。これからPhysical AIについて話す時、少し解像度を上げた議論ができそうです。

基盤モデルとロボットの融合 マルチモーダルＡＩでロボットはどう変わるのか

技術動向調査をするならお手本のような本。
サーベイを一般向けに書くとこうなるのかな。
世界モデルに関心があり、基盤モデル側でも、世界モデル側でもお互いのことに触れないのはなぜだろうと疑問はある。
本書でも「世界モデル」「Dreamer」には一切触れていない。両者は統合していくものと考えていますが。
いずれにしろ現時点での基盤モデルとロボット、エージェントなどの整理として和書で唯一ですし良書。

Data-centric AI入門

Data-centric AIだと現状唯一の和書なのかな
広範な内容をコンパクトにまとまって入門には良いと思う

基盤モデルとロボットの融合 マルチモーダルＡＩでロボットはどう変わるのか

LMを代表とする基盤モデル(Foundation Model)がどのようにロボットと合体し、何が可能になって、今どこは課題なのかが複数の論文を概観しながら読者に理解させる形式の Survey論文っぽい本。読む人を選ぶと思う。survey論文退屈な人には刺さらないと思う(良いSurvey論文を読むことはその道を大まかに知ることの一番の近道であるはずだが)。
ロボットにはロボットのデータが必要でそれらがうまい具合にデータセットになっている論文がないことがわかった。一応、大規模かつ多様なものはあるけど、ロボットの身体性とかを考慮したりしたものは存在しない。
知能発達、予測符号化とかとLLMとロボットが合体することで何か面白いことが起きるのでは、、、、？と思った。
人間のデータは人間の行動や感情を認識したり推測したりすることには活用できるが、ロボットに活用するのはかなりの工夫がいるという点にはハッとさせられた。人間という身体性、思想性に根付いたデータだと、ロボットという身体性が拡張/縮小　した状態で思考し体を動かすことにおいていいknowledgeには必ずしもならないというのは面白い。

基盤モデルとロボットの融合 マルチモーダルＡＩでロボットはどう変わるのか

松尾研のphysical AI講座ですすめられていたので読んでみた本。
ニューラルネットワーク系の各種学習方法についても絵なども交えてわかりやすく記載されており良き本かと

メモ
•モダリティは情報の種類の違い
•PID制御　propotional integral derrvative 比例、積分、微分を組み合わせたフィードバック制御手法
•曖昧な指示の理解
•自分でコードを書いて動く
•未知の環境への対応
•vision language modelカメラ画像と言葉から行動に繋げるモデル
•現実世界を予測する世界モデル

基盤モデルとロボットの融合 マルチモーダルＡＩでロボットはどう変わるのか

ロボットは「人間のように学び、理解して動く存在」へと変わり始めている。その構造を説明している本。

これまでのロボットは、料理でいうと「この順番で切って、焼いて、盛り付ける」と手順をすべて決め打ちするやり方だった。一方で基盤モデルは、食材の性質や味の組み合わせという“料理の原理”を学んだ料理人のようなもの。状況を見て、何を作るかを判断し、工程をその場で組み立てる思考が可能。

この「原理を学んだ脳（基盤モデル）」をロボットに使うことで、ロボットも変わり始めている。決められた動きをする機械ではなく、状況を解釈し、自ら行動を選び、失敗から学ぶ存在へ。

本質は、「分解して設計する世界」から「統合して学ぶ世界」への転換。AIは身体を通じて現実の環世界を獲得し、理解と行動を往復しながら学び続ける——それがフィジカルAIの姿だ。

そして現実世界はロボットに容赦なく適応を求めてくる。予測不能な状況に対して、その場で判断し続けなければならない。

これはハイフェッツのいう適応課題と同じ構造だ。ロボットが直面しているのは、単なる技術課題ではなく、「現実にどう適応するか」という問いそのものなのかもしれない。

基盤モデルとロボットの融合 マルチモーダルＡＩでロボットはどう変わるのか

「途中」
学術的すぎるのと、まとめようとしてまとめられてない感じ。昔の自分の大学レポートを思い出す、、、
ただまぁ頭と終わりは文系初心者に比較的優しい感じだったかな。