新納浩幸の作品一覧
「新納浩幸」の「LLMのファインチューニングとRAG ―チャットボット開発による実践―」「Chainerによる実践深層学習」ほか、ユーザーレビューをお届けします！
- 作者をフォローする
- フォローすると、この作者の新刊が配信された際に、お知らせします。
値引き作品
一覧 >>作品一覧
-
3.01巻2,640円 (税込)※この商品はタブレットなど大きいディスプレイを備えた端末で読むことに適しています。また、文字だけを拡大することや、文字列のハイライト、検索、辞書の参照、引用などの機能が使用できません。 ※この電子書籍は紙版書籍のページデザインで制作した固定レイアウトです。 ローカルLLMでファインチューニングとRAGを学ぼう！ 本書は、公開されている大規模言語モデル（LLM: Large Language Model）を使ってローカル環境に独自のチャットボットを構築することを目標に、LLM のファインチューニングと RAG (Retrieval Augmented Generation) の基礎と、そのプログラミングについて学ぶものです。 ChatGPTの台頭により、高性能なチャットボットへの期待が急速に高まっています。しかし、そのチャットボットの核となるLLMは基本的に言語モデルであるために、幻覚（誤った情報）を生成してしまいます。とくに、LLMはローカルな情報や最新の情報は持っていないため、それらに関する質問に対しては正しい回答が期待できません。また、ChatGPTのようにLLMが外部のサーバにある場合、自社データや顧客データを入力することには抵抗があると思います。 本書では、そういった課題を解決するために、公開LLMをファインチューニングしたり、公開LLMを使ったRAGを構築したりすることで、よりニーズに沿ったチャットボットを構築します。こういった調整を行って構築したチャットボットは、特定の分野について深く正確に回答してくれるようになります。 <本書のポイント> ・LLMについての基本事項を学べます。 ・LLMのファインチューニングの方法とRAGの構築方法を学べます。 ・解説したプログラムをウェブサイトで配布します。 はじめに／目次 第1章 大規模言語モデル 1.1 言語モデルとは 1.2 言語モデルとチャットボット 1.3 日本語特化のLLM 1.4 LLMの利用 1.5 この章で使用した主なプログラム 第2章 ファインチューニング：言語モデルの追加学習 2.1 基本的な学習の処理 2.2 Trainerの利用 2.3 訓練データをDatasetへ 2.4 collator 2.5 保存されたモデルからの文生成 2.6 Early Stoppingの導入 2.7 この章で使用した主なプログラム 第3章 Instruction Tuning：指示に基づくファインチューニング 3.1 Instruction Tuningとは 3.2 Instruction Tuningの学習データ 3.3 Instruction Tuningの学習データの作成 3.4 Instruction Tuningの実行 3.5 Instruction Tuningモデルによる文生成 3.6 この章で使用した主なプログラム 第4章 大規模言語モデルのファインチューニング 4.1 LoRA：低ランク行列によるファインチューニング 4.2 PEFT：効率的にファインチューニングするためのライブラリ 4.3 LoRAモデルによる文生成 4.4 QLoRA：LoRAに量子化を利用する ① 量子化とは ② bitsandbytesの利用 4.5 Prompt Tuning：プロンプトの効率的なチューニング法 4.6 この章で使用した主なプログラム 第5章 RAG：検索を併用した文生成 5.1 RAGとは 5.2 FAISSによるデータベースの構築 ① パッセージの作成 ② パッセージのベクトル化 ③ ベクトルデータベースの構築 5.3 RetrievalQAとOpenAIのLLMによるRAGの構築 5.4 RetrievalQAと公開LLMによるRAGの構築 ① プロンプトの作成 ② HuggingFacePipelineを利用したLLMの設定 ③ プロンプトの変更 5.5 RAGの各種パーツの変更 ① WikipediaRetrieverクラスの利用 ② Wikipediaからの自前データベースの作成 ③ Document LoaderとDocument transformersによるデータベースの作成 ④ キーワードデータベースの検索 ⑤ 量子化モデルの利用 5.6 HyDE：仮想的文書作成による検索法 5.7 RAGの性能向上のために検討するべき要素 5.8 この章で使用した主なプログラム 第6章 ChainlitによるGUIのチャットボット 6.1 インストール 6.2 Chainlitの基本プログラム 6.3 OpenAIのLLMを使ったチャットボットのGUI 6.4 公開LLMを使ったチャットボットのGUI 6.5 RAGを利用したチャットボットのGUI 6.6 Chainlitのサーバでの稼働 6.7 この章で使用した主なプログラム あとがき／索引／奥付 -
4.0Chainerは2015年にPreferred InfrastructureがPythonのライブラリとして開発・公開したフレームワークです。 本書は、Pythonの拡張モジュールであるNumPyの使い方やニューラルネットの基本をおさらいした後に、Chainerの基本的な使い方を示します。次にAutoEncoderを題材にして、それを確認し、最後に、自然言語処理でよく使われるword2vecとRNN（Recurrent Neural Network）を解説し、それらシステムをChainerで実装します。既存にない複雑なネットワークのプログラムを作る際の参考となるものです。 -
4.0※この商品はタブレットなど大きいディスプレイを備えた端末で読むことに適しています。また、文字だけを拡大することや、文字列のハイライト、検索、辞書の参照、引用などの機能が使用できません。 ※この電子書籍は紙版書籍のページデザインで制作した固定レイアウトです。 Chainerのバージョン2でディープラーニングのプログラムを作る 本書はChainer を使ってディープラーニングのプログラムの作り方を示すものです。ディープラーニングは複雑なネットワークで表現された関数の回帰の問題と見なせます。そしてこのような問題は勾配法で解きます。この観点から Chainer によるプログラムの作成法を示しました。Chainerが2にバージョンアップしたため、2に対応し発行するものです。畳み込みニューラルネットワークについても解説しています。 主要目次 はじめに 第0章 Chainer とは 第1章 NumPy で最低限知っておくこと 第2章 ニューラルネットのおさらい 第3章 Chainer の使い方 第4章 Chainer の利用例 第5章 Trainer 第6章 Denoising AutoEncoder 第7章 Convolution Neural Network 第8章 word2vec 第9 章Recurrent Neural Network 第10章 翻訳モデル 第11章 Caffe のモデルの利用 第12章 GPU の利用 参考文献 ソースプログラム -
値引きあり3.01巻1,540円 (税込)※この商品はタブレットなど大きいディスプレイを備えた端末で読むことに適しています。また、文字だけを拡大することや、文字列のハイライト、検索、辞書の参照、引用などの機能が使用できません。 日本語テキスト解析処理を快速プログラミング！ 単語／文書の分類、機械翻訳などを実装。 自然言語処理は、検索エンジン、自動要約、機械翻訳、音声認識などで利用される技術です。 PyTorchでは、特にTransformersというBERT系モデルを提供することで、 より簡単にBERTを利用できるようになっています。 本書では、自然言語処理で特に重要なディープラーニング技術である word2vec、LSTM、seq2seq、そしてBERTを取り上げます。 まず第1章でPyTorchの基本を説明します。そのあと各技術の考え方を説明し、 PyTorchを使ったそれぞれのプログラミング手法を解説します。 それらのプログラミングでは、以下のことなどを目的にしています。 ・単語や文書の類似度を測る ・文章内の単語の品詞を分類する ・日英の機械翻訳を実行する ・文書を分類する ・質問／回答タスクを実行する 【本書の構成】 第1章 PyTorchの基礎 第2章 word2vecによる分散表現 ～単語をベクトルで表現～ 第3章 LSTMによる時系列データ解析 ～文を単語の系列として解析～ 第4章 seq2seqモデルによる機械翻訳 ～ある系列を別の系列に変換～ 第5章 事前学習済みモデルBERTの活用 ～タスクに応じてモデルを調整～ 付録A プログラミング環境の構築（Windows） 付録B 本書で解説した主要プログラム集 ※本書の内容はPython／PyTorch／機械学習の基本事項を 理解されていることを前提としています。 -
4.01巻3,300円 (税込)※この商品はタブレットなど大きいディスプレイを備えた端末で読むことに適しています。また、文字だけを拡大することや、文字列のハイライト、検索、辞書の参照、引用などの機能が使用できません。 ※この電子書籍は紙版書籍のページデザインで制作した固定レイアウトです。 PyTorchで物体検出アルゴリズムを実装しよう！ 本書は、PyTorchを利用して、物体検出のアルゴリズムと実装方法を解説する書籍です。 ・ PyTorch（パイトーチ）とは？ 2018年にFacebook が発表した、ディープラーニングのフレームワークです。世界的にユーザーが多く、GitHubで公開されるディープラーニングのプログラムもPyTorchで作られたものが多数存在します。 ・ 物体検出とは？ 画像認識の一分野で、画像から特定の物体の位置と、その物体のカテゴリ（クラスタ）を検出する技術です。 ディープラーニングは当初、物体の識別において従来手法を大きく上回る精度を出したことから注目されました（例：2012年の画像認識コンテストILSVRC）。ただし物体識別自体はどちらかといえば要素技術であるため、そのまま現実のシステムに応用することは多くありません。実際に必要とされるものは、多くの場合、物体識別を発展させた物体検出です。自動運転・外観検査・医療分野の画像診断など、どれも物体識別ではなく物体検出の技術が使われています。 本書は、PyTorchの使いかたを習得することと、物体検出の各種アルゴリズムを理解して自力でプログラムを作れるようになることを目的とします。前半はPyTorchについて解説し、後半は物体検出の代表的なアルゴリズムを解説しながら、PyTorchでの実装例を示します。 ＜本書の特徴＞ ・PyTorchを使って物体検出アルゴリズムを実装できるようになります。 ・Pythonによるサンプルコードを例示＆配布し、自分で手を動かしながら理解を深められます。 第1章 PyTorch によるプログラミング 第2章 物体検出アルゴリズムSSDの実装 第3章 SSDに関連した話題
ユーザーレビュー
-
4.0 (3)
-
4.0 (3)
-
4.0 (3)
-
Posted by ブクログ
DNNの入門者で、７章のCNNのところまで読み終えての感想。
１９ページからの２章のタイトルが、いきなり「ニューラルネットのおさらい」となっており、ある程度、NNの概念的な勉強が済んで、触ったことがある位の人を対象にしていると思われる。
ウェブ上でこの手のフレームワークを勉強しようとすると、定型的なおまじないを書かされることが多くて、うんざりするが、本書では、原理的な段階を追って、それをChainerでどう実現するかを解説している。
しかしながら、サンプルコードを読んだときに、アルゴリズムは分かったが、データ構造を理解するのがたいへんだった。
型が明示されないのは、動的言語の宿命なので、 -
