Ｋａｇｇｌｅに挑む深層学習プログラミングの極意

小嵜耕平 / 秋葉拓哉 / 林孝紀 / 石原祥太郎

★最強最短の近道は、これだ！★

・画像・自然言語処理の機械学習コンテストに取り組みながら、深層学習の具体的な知識をいち早く身につけよう！
・レジェンドたちの豊富な経験に基づくスキルアップのノウハウも満載！

【主な内容】
第1章 機械学習コンテストの基礎知識
1.1 機械学習コンテストのおおまかな流れ
1.2 機械学習コンテストの歴史
1.3 機械学習コンテストの例
1.4 計算資源

第2章 探索的データ分析とモデルの作成・検証・性能向上
2.1 探索的データ分析
2.2 モデルの作成
2.3 モデルの検証
2.4 性能の向上

第3章 画像分類入門
3.1 畳み込みニューラルネットワークの基礎
3.2 コンテスト「Dogs vs. Cats Redux」の紹介
3.3 最初の学習：CNNアーキテクチャ
3.4 最初の学習：データセットの準備と学習ループ
3.5 最適化アルゴリズムと学習率スケジューリング
3.6 データ拡張
3.7 アンサンブル
3.8 さらにスコアを伸ばすために

第4章 画像検索入門
4.1 画像検索タスク
4.2 学習済みモデルを使ったベースライン手法
4.3 ベースラインを実装する
4.4 距離学習を学ぶ
4.5 画像マッチングによる検証
4.6 クエリ拡張を学ぶ
4.7 Kaggleコンテストでの実践

第5章 テキスト分類入門
5.1 Quora Question Pairs
5.2 特徴量ベースのモデル
5.3 ニューラルネットワークベースのモデル

• カテゴリ: ビジネス・実用
• ジャンル: IT・コンピュータ / 言語・プログラミング
• 出版社: 講談社
• 掲載誌・レーベル: ＫＳ情報科学専門書
• ページ数: 224ページ
• 電子版発売日: 2023年04月07日
• コンテンツ形式: EPUB
• サイズ(目安): 37MB

[ブクログ · ★★★★☆]

Kaggleの画像コンペにチャレンジするため、Kaggleスタートブックの次に読んだ本。タスクごとにチュートリアル的にすべきことを書いてくれており、ベースラインの作り方や改善ポイントについて語ってくれている。本番のコンペにチャレンジする前に読んでおくには非常に有用な本であった。
ただし、本番のコンペで良い成績を狙うのであれば、もちろん本書を基本とした上で、タスクの種類や課題に特化した情報収集は必須なので、そこは自分で頑張りましょう。

[ブクログ · ★★★★★]

ViEW2022(ビジョン技術の実利用ワークショップ)のチュートリアルセッションで聞いた小嵜耕平氏の講演が非常に面白かったので購入。

Kaggleには参加した事が無いですが、社内向けに深層学習を活用した各種業務改善ソフトを開発しており、第1章～第3章に記載されていた内容の多くは既に知っている内容ではありました。ただ、何となく私が身体で覚えたノウハウ的な内容を、冗長すぎず端的で分かりやすい言葉で説明されており、より理解が深まった気がします。

いろいろと考え方はあると思いますが、いつまでもデータサイエンティストが現場の支援をするという形は健全では無く、実際に現場の担当者が手を動かして試行錯誤する(プログラミングはMustではない)のがBestだと私は思っています。そういった観点で言うと、既に自らはある程度深層学習を使った画像分類タスクの事を理解している人が、PoCの次のステージとして、その技術を実際に現場移管させたいと思っている人がこの本を読めば、いろいろなアイディアが浮かんでくると思いました☆
　※各種コードを使いやすいモジュール形式でGitHubに公開して下さっているので、TIMM利用者であれば既存アーキテクチャへの組み込みも比較的容易だと思います

なお、私の専門が画像認識という事もあり、4章の画像検索入門までは何とかついていけましたが、5章のテキスト分類入門は正直かなり難解で、今の段階では何となく分かりました程度の理解度です。ただ、BERTが登場する前の2017年に開催されたコンテストを題材に、「LightGBMを使ったアプローチ」「RNNを使ったアプローチ」「BERTを使ったアプローチ」の3種類が紹介されており、改めてBERTの偉大さを感じる事が出来ました。今後もし、業務で自然言語処理に取り組む際は、この本と共に、過去に開催されたKaggleのDiscussionなども参考にしていきたいと思います。