BERTによる自然言語処理入門 ―Transformersを使った実践プログラミング―

ストックマーク / 近江崇宏 / 金田健太郎 / 森長誠 / 江間見亜利

※この商品はタブレットなど大きいディスプレイを備えた端末で読むことに適しています。また、文字だけを拡大することや、文字列のハイライト、検索、辞書の参照、引用などの機能が使用できません。

※この電子書籍は紙版書籍のページデザインで制作した固定レイアウトです。

自然言語処理の標準モデル、BERTを使いこなせるようになる！
BERTはGoogleが2018年末に発表した自然言語処理モデルです。「文脈」を考慮した処理が特徴的であり、言語理解を評価する11個のタスクについて最高精度を達成し、今や標準的なモデルとしての地位を確立しています。

本書は、自然言語処理の近年における発展に大きな役割を果たし、かつ応用上も有用であるBERTの入門書です。前半で自然言語処理や機械学習について概説したのち、BERTによって実際にさまざまなタスクを解いていきます。具体的には、文章分類・固有表現抽出・文章校正・類似文章検索・データの可視化を扱います。データセットの処理から、ファインチューニング（BERTを特定の言語タスクに特化させるための学習）、性能の評価までの一連の流れを体験することで、BERTを自分で使えるようになることを目標とします。

なお、BERTで処理を行うためのライブラリとして、深層学習の言語モデルを扱ううえでよく使用されるTransformersを、学習や性能評価を効率的に行うためのライブラリとしてPyTorch Lightningを用います。本書ではTransformersやPyTorch Lightningを用いたことがない読者を想定して、その使い方を一から体系的かつ丁寧に解説します。

▼本書の環境
言語：Python
深層学習フレームワーク：PyTorch
ライブラリ：Transformers, PyTorch Lightning
計算環境：Google Colaboratory

▼本書の特徴
・BERTで実際にさまざまなタスクを解くことができます。
・使用するデータセットを日本語で統一しています。
・ライブラリの使い方を一から体系的に説明します。

第1章 はじめに
第2章 ニューラルネットワークを用いた自然言語処理
第3章 BERT
第4章 Huggingface Transformers
第5章 文章の穴埋め
第6章 文章分類
第7章 マルチラベル文章分類
第8章 固有表現抽出
第9章 文章校正
第10章 文章ベクトルを用いたデータの可視化と類似文章検索
付録A ニューラルネットワークの学習の基礎
付録B Colaboratoryの使い方

• カテゴリ: ビジネス・実用
• ジャンル: IT・コンピュータ / 言語・プログラミング
• 出版社: オーム社
• ページ数: 200ページ
• 電子版発売日: 2021年07月02日
• コンテンツ形式: EPUB
• サイズ(目安): 97MB

[ブクログ · ★★★★★]

とても面白かったと同時に、限界についても理解が進みました。コードも現実的な時間で回せる形になっていて良かったです。

[ブクログ · ★★★★☆]

よし試してみよう
類書もあるけどBERTは常に進化しているから最新ので試さないとってところが辛いけど
丁寧な本が後から出てきて助かる

[ブクログ · ★★★★☆]

　自分で考えてコーディングするのはできませんが、この本の場合はコードがgithub上に公開されており、それをダウンロードしてGoogle Colaboratoryで実行すればとりあえず動作は確認できるので、「やった感、達成感」が得られるので完読することができました。

　どちらかというと本やコード内のコメントを読んでどんなことをやっているのかざっくりと理解できることが重要なように思います。なんとなくBERTやtransformersといった流行りの用語を理解できた気がします。

　本書では自然言語認識に特化しており、以下のようなところをカバーしています。
第1章～第3章：BERTや自然言語認識で用いられる基礎的な技術についての解説
第5章：文章の穴埋め
第6章：文章分類
第7章：マルチラベル文章分類
第8章：固有表現抽出
第9章：文章校正
第10章：文章ベクトルを用いたデータの可視化と類似文章検索