【感想・ネタバレ】大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界のレビュー

岡野原大輔

対話型サービスＣｈａｔＧＰＴは驚きをもって迎えられ，ＩＴ企業間で類似サービスをめぐる激しい開発競争が起こりつつある．それらを支える大規模言語モデルとはどのような仕組みなのか．何が可能となり，どんな影響が考えられるのか．人の言語獲得の謎も解き明かすのか．新たな知能の正負両面をみつめ，今後の付き合い方を考える．

[ブクログ · ★★★★☆]

著者の前作（AI技術の最前線）は全く理解不能な内容だったが今回は一般読者向けを意識したのか、最新の技術が平易に解説されている

・LLMは、人間のように家族がいることなどによる価値観を有しておらず、身体性をもつことから生じる世界の理解もない。おそらくこのシステムが人間の知能と同じになることはない

・価値観や偏見をめぐる判断は人間のフィードバックによる強化学習で行っている

・LLMが次の単語を選ぶメカニズムとしては、英語の穴埋め問題を思い浮かべるとよい、というのはなんとなく腑に落ちる。確かに、あれは周辺情報から次の単語を高い確率で選ぶ例になっている。

・モデルとしては、小さいもののほうが効率よく学習できていると思われていたが、大きいものほど効率的であることがわかった。今後もよりパラメータの多い、大規模モデルの開発が予想される。