真鍋知博の作品一覧

※この商品はタブレットなど大きいディスプレイを備えた端末で読むことに適しています。また、文字だけを拡大することや、文字列のハイライト、検索、辞書の参照、引用などの機能が使用できません。 ◆ベクト検索の基礎から実装までをこの1冊で学ぶ◆ 　本書はベクトル検索による検索エンジンの高速化を解説します。対象読者は検索サービスまたは検索機能を扱うエンジニア、手法の実装と評価が必要な研究者、およびそれらを志望する学生で、実用的なベクトル検索が実装できるようになることを目指します。 　前半でデータの準備から検索結果の評価までを一通り解説し、後半では各ステップの高度化・高速化について解説します。また、付録として画像のベクトル化と検索についても解説します。 ■目次 第1章 データの準備 ・1.1 ベクトル検索の流れ ・1.2 最重要のステップ：ランキング ・1.3 ランキングの機械学習 ・1.4 ランク学習データセットの現状 ・1.5 Shopping Queries Datasetの紹介 ・1.6 前処理 第2章 基本的なベクトル化 ・2.1 ベクトル化モデルの選択 ・2.2 ベクトル化モデルの例 ・2.3 Sentence TransformersのMiniLM-L6の実行 第3章 専用エンジンの紹介 ・3.1 ベクトルの最近傍探索 ・3.2 ANN検索の基本 ・3.3 ベクトル検索エンジンの選択 ・3.4 専用エンジンの例：Faiss ・3.5 キーワード検索エンジンの例：OpenSearch 第4章 検索結果の評価 ・4.1 ランキングの評価 ・4.2 nDCG ・4.3 nDCGの計算 ・4.4 ラベルがついていないドキュメントを含む場合 ・4.5 レイテンシその他の評価尺度 第5章 高度なベクトル化 ・5.1 ベクトル検索とLLMとの関係 ・5.2 BERT ・5.3 BERTの実装の例：LINEのDistilBERT ・5.4 事前学習済みモデルのベクトル検索への応用 ・5.5 ファインチューニング ・5.6 その他の有名な手法：SimCSE 第6章 高速なベクトル化 ・6.1 BERTをGPUで動かす ・6.2 LLMの量子化 ・6.3 半精度での推論 ・6.4 さらなる低精度での推論 第7章 ベクトルの圧縮と高速な計算 ・7.1 LLMの量子化とベクトルの圧縮の関係 ・7.2 ベクトルの圧縮と高速な計算の関係 ・7.3 スカラ量子化 ・7.4 スカラ量子化を考慮したファインチューニング 第8章 次元削減やハッシュによる高速化 ・8.1 次元削減 ・8.2 次元削減の例：ランダム回転 ・8.3 LSH ・8.4 FaissにおけるLSHの実装 ・8.5 OpenSearchによるLSHの実装例 ・8.6 Learning to Hash 第9章 クラスタによる高速化 251 ・9.1 IVF ・9.2 クラスタリング ・9.3 FaissにおけるIVFの実装 ・9.4 OpenSearchによるIVFの実装例 ・9.5 直積量子化 第10章 グラフによる高速化 ・10.1 グラフとANN検索との関係 ・10.2 FaissにおけるHNSWの実装 ・10.3 OpenSearchにおけるHNSWの実装 第11章 既存のモデルへのベクトル検索の統合 ・11.1 特徴量の抽出 ・11.2 既存のモデルの例：GBDT ・11.3 RRF ・11.4 ベクトル間の類似度や距離を特徴量とする 第12章 ベクトル検索への既存の特徴量の統合 ・12.1 任意の特徴量をテキストにして入力する ・12.2 実装例 ・12.3 TabTransformerの事例 付録A 画像のベクトル検索 ・A.1 Fashion-MNIST：データセットの紹介 ・A.2 CLIP：ベクトル化モデルの紹介 ・A.3 実装と評価 ・A.4 ファインチューニング ■著者プロフィール 真鍋知博LINEヤフー株式会社。京都大学大学院情報学研究科社会情報学専攻情報図書館学分野に配属。情報抽出と情報検索を自身のテーマとする。博士（情報学）。検索エンジンの高速化・高機能化のための研究・開発に一貫して従事している。著書『機械学習による検索ランキング改善ガイド―技術解説とハンズオンで学ぶ機械学習ランキングモデルの導入と改善』（共著, オライリ－・ジャパン, 2023）。