稲原宗能の作品一覧
「稲原宗能」の「LLMとハルシネーション ―基礎と対策―」ほか、ユーザーレビューをお届けします！
- 作者をフォローする
- フォローすると、この作者の新刊が配信された際に、お知らせします。
作品一覧
-
3.0※この商品はタブレットなど大きいディスプレイを備えた端末で読むことに適しています。また、文字だけを拡大することや、文字列のハイライト、検索、辞書の参照、引用などの機能が使用できません。 ※この電子書籍は紙版書籍のページデザインで制作した固定レイアウトです。 はたしてなぜ生成AIは嘘をつくのか？ ハルシネーションの原理とその対策を一からわかりやすく解説 生成AIを利用する際に最も厄介な問題となるのがハルシネーション（hallucination）です．ハルシネーションは幻覚とも呼ばれる現象で，一見もっともらしいのに，まったく正しくない文章が生成されることをいいます．これによって，実際にはありもしない発言や事実が大量につくり出され，SNSなどで拡散されて私たちの社会や認識を大きくゆがめてしまっています．これからの情報系エンジニアにとって，ハルシネーションの対策に必要な知見やスキルは非常に重要です． 本書では，ハルシネーションに挑むための土台となるべき自然言語処理や機械学習の基礎的な知識や，「言語の正しさ」に関する基本的な知見から解説しています．そして，これまで研究されてきたハルシネーションの検出方法や，LLMの学習方法および構造の改善，RAGや外部モデルの利用によるハルシネーション対策について解説しています． AI関連の技術は日進月歩で進歩していますが，エンジニアにとって重要なことは流行に乗り遅れないことより，少しずつ自分の引き出しを増やしていくことであると考えられます．この観点から，本書では「スタンダードな手法への手っとり早い入門」という以上の価値を提供できるように心がけています． Chapter 1 自然言語処理の基礎 1.1 自然言語処理とは 1.2 トークン化と分散表現 1.3 言語モデル 1.4 自然言語処理の評価指標 1.5 言語の研究の歴史 Chapter 2 統計学と機械学習の基礎 2.1 帰 納 2.2 統計的推測 2.3 強化学習 2.4 さまざまな生成AI Chapter 3 TransformerとLLM 3.1 Transformer登場の背景 3.2 Transformerの内部構造 3.3 学 習 3.4 TransformerによるLLM 3.5 ChatGPT 3.6 さまざまな大規模言語モデル Chapter 4 ハルシネーションの基礎 4.1 ハルシネーションとは 4.2 事実性／忠実性 4.3 内在型／外在型 4.4 文や知識の正しさとは 4.5 ハルシネーションの発生源 4.6 ハルシネーションの検出と評価 4.7 ハルシネーションに関する評価ベンチマーク Chapter 5 ハルシネーションの抑制 5.1 学習データの改善 5.2 デコーディング方法の改善 5.3 モデル構造の改良 5.4 プロンプトエンジニアリング Chapter 6 外部知識活用にもとづく生成 6.1 検索を組み合わせた生成 6.2 疎ベクトル検索 6.3 密ベクトル検索 6.4 知識データベース 6.5 RAGの発展的な話題 6.6 ツール拡張生成
ユーザーレビュー
-
Posted by ブクログ
私自身はLLMの研究や開発をしていませんが、興味があり手に取りました。不真面目な読者です。
前半の道具立ての説明は、ふむふむと興味深く読みました。後半のハルネーションの基礎と抑制はざっと読みましたが、アカデミア？でも試行錯誤の段階で、まだまだ新しいものが今後出てきくるのではにないか、と感じました。良く言えば現在進行形の検討を紹介、悪く言えば未整理で細かすぎる記述になっていると思いました。専門家には良いのだと思います。
Transformer、位置符号化が紹介されていました。定義は分かるのですが、ニューラルネットワークの中でどのように使われるのか、もう少し知りたいと思いました。拡散モデルにつ
