飯塚秀明の作品一覧
「飯塚秀明」の「数理最適化がわかる ——機械学習の連続最適化編」「連続最適化アルゴリズム」ほか、ユーザーレビューをお届けします！
- 作者をフォローする
- フォローすると、この作者の新刊が配信された際に、お知らせします。
配信予定・最新刊
作品一覧
-
5.01巻3,630円 (税込)※この商品はタブレットなど大きいディスプレイを備えた端末で読むことに適しています。また、文字だけを拡大することや、文字列のハイライト、検索、辞書の参照、引用などの機能が使用できません。 ※この電子書籍は紙版書籍のページデザインで制作した固定レイアウトです。 連続最適化アルゴリズムの数理を、詳しく丁寧に解説！ 連続最適化アルゴリズムとは、連続変数の関数についての数理最適化の問題で、適切な近似解を得るための計算手法のことです。古典的な数理計画の問題に限らず、近年ますます応用の広がりを見せている機械学習でも、その各種アルゴリズムにおいて数理最適化のさまざまな計算手法が駆使されています。 本書では、特に、二つの連続最適化に焦点を当て、詳しく丁寧に解説しました。一つ目は、微分不可能な凸関数の最適化、つまり、非平滑凸最適化です。ネットワーク資源割当や信号処理に現れる連続最適化は、非平滑凸最適化として表現ができます。二つ目は、微分可能ではあるが凸ではない関数の最適化、つまり、平滑非凸最適化です。深層学習に現れる連続最適化は、平滑非凸最適化として表現ができます。 また、この二つの最適化のための連続最適化アルゴリズムの性能を決定するステップサイズと呼ばれるパラメータの設定に着目し、その設定に関する理論と応用も詳解します。連続最適化問題の最適解へ進む方向（探索方向）が決まっているとき、その方向へ進む度合いを表すのがステップサイズです。 予備知識として、大学教養レベルの線形代数と微分積分のひととおりの知識を想定していますが、第2章で本書の通読に必要な知識をまとめ、読者の利便性を高めています。また、各種アルゴリズムの数学的背景となる定理は、本文中もしくは演習問題としてすべて載せています。さらに、アルゴリズムの実装に資するよう、Pythonのサンプルコードを用意し、ダウンロードできるようにしました。 第1章 はじめに 1.1 連続最適化問題 1.2 連続最適化アルゴリズム 1.3 資源割当や機械学習に基づいたステップサイズ 第2章 数学的準備 2.1 ユークリッド空間の諸性質 1 ユークリッド空間 2 行列全体からなる集合 3 点列の収束性 2.2 微分可能性と平滑性 2.3 凸性 2.4 射影 2.5 非拡大写像 演習問題 第3章 連続最適化と関連する問題 3.1 連続最適化問題と最適解 3.2 制約なし平滑最適化問題 3.3 制約なし非平滑最適化問題 3.4 制約付き非平滑最適化問題 3.5 制約付き平滑最適化問題と変分不等式 3.6 不動点問題 演習問題 第4章 反復法 4.1 反復法の基本的概念 4.2 勾配法と降下方向 4.3 ステップサイズ 1 定数ステップサイズ 2 減少ステップサイズ 3 直線探索ステップサイズ 4 その他のステップサイズ 4.4 劣勾配法 4.5 近接点法 4.6 収束性と収束率 演習問題 第5章 平滑非凸最適化のための反復法 5.1 最急降下法（Lipschitz連続勾配） 5.2 最急降下法（非Lipschitz連続勾配） 5.3 Newton法 5.4 準Newton法 5.5 共役勾配法 5.6 数値例 演習問題 第6章 非平滑凸最適化のための反復法 6.1 射影劣勾配法 6.2 射影近接点法 6.3 近接勾配法 6.4 FISTA（高速近接勾配法） 6.5 資源割当問題 演習問題 第7章 不動点近似法 7.1 Krasnosel'skii-Mann不動点近似法 7.2 Halpern不動点近似法 7.3 POCS 7.4 不動点近似法の適用例 1 制約付き平滑凸最適化問題 2 凸実行可能問題 3 一般化凸実行可能集合 7.5 資源割当問題 演習問題 第8章 平滑非凸最適化のための深層学習最適化法 8.1 損失最小化問題 8.2 確率的勾配降下法（Lipschitz連続勾配） 8.3 確率的勾配降下法（非Lipschitz連続勾配） 8.4 モーメンタム法 8.5 適応手法（非Lipschitz連続勾配） 8.6 ミニバッチサイズの設定 8.7 ミニバッチサイズの推定 演習問題 付録A 定理の証明と補足 付録B 演習問題解答例 参考文献 索引 -
NEW-※この商品はタブレットなど大きいディスプレイを備えた端末で読むことに適しています。また、文字だけを拡大することや、文字列のハイライト、検索、辞書の参照、引用などの機能が使用できません。 ◆なぜ、そのオプティマイザがあなたの機械学習に適しているのか？◆ ディープラーニングの普及により、誰もが高度なAIモデルを扱える時代になりました。しかし、その背後にある「数理最適化」は、依然として多くの初学者にとって高い壁となっています。その数理最適化について「独学でも絶対に挫折しない」ことを目指して書き下ろした入門書です。 「オプティマイザ」の正体を掴む： 確率的勾配降下法、モーメンタム、Adam。なぜこれらが機械学習に有効なのか、その理論的背景を「手計算」できるレベルまで丁寧に解説します。ゴールは「画像識別の理論」： 単なる数学の羅列ではありません。最終的に画像識別がどのような仕組みで動いているのかを、最適化の視点から完全に理解することを目指します。「脳内数学」から「泥臭い数学」へ： 理屈だけでなく、実際に手を動かして計算する習慣を身につけることで、ツールに使われるのではなく、自信を持ってツールを使いこなす力を養います。 データサイエンティスト、AIエンジニアを目指す学生、そして「中身」を理解して一段上のステップへ進みたい社会人エンジニアに捧げる、新たなスタンダードとなる一冊です。 ■こんな方におすすめ ・数理最適化について学びたい人、機械学習に興味のある人 ■目次 第1章 数学の復習 ・1-1 論理と集合 ・1-2 ユークリッド空間 ・1-3 線形代数 ・1-4 微分積分 ・1-5 確率・統計 第2章 機械学習モデルを訓練する ・2-1 機械学習 ・2-2 機械学習モデルを訓練するには? ・2-3 機械学習モデルの訓練は経験損失の最適化 第3章 機械学習モデルの最適化 ・3-1 経験損失の最小解 ・3-2 経験損失は微分可能 ・3-3 経験損失は局所的凸関数 第4章 識別の正解率を上げる ・4-1 経験損失を下げる ・4-2 経験損失は平滑関数 第5章 ステップサイズを理解する ・5-1 オプティマイザ(反復法) ・5-2 経験損失の平滑性を利用するステップサイズ ・5-3 経験損失を下げるステップサイズ 第6章 勾配降下法 ・6-1 オプティマイザの収束性 ・6-2 勾配降下法の収束性 ・6-3 非凸平滑経験損失の最適化 ・6-4 凸平滑経験損失の最適化 第7章 訓練データの標本調査 ・7-1 勾配降下法の問題点 ・7-2 標本調査による推定量 ・7-3 ミニバッチ損失とミニバッチ勾配の不偏性 ・7-4 ミニバッチ勾配の分散 第8章 確率的勾配降下法1 ・8-1 確率的勾配降下法の構成 ・8-2 確率的勾配降下法の探索方向 ・8-3 勾配降下法に対する更新の比較 第9章 確率的勾配降下法2 定数バッチサイズ ・9-1 定数バッチサイズによる収束性 ・9-2 非凸平滑経験損失の最適化 ・9-3 凸平滑経験損失の最適化 第10章 確率的勾配降下法3 勾配降下法に近づける ・10-1 確率的勾配降下法の利点 ・10-2 バッチサイズを大きくする 第11章 確率的勾配降下法4 増加バッチサイズ ・11-1 増加バッチサイズによる収束性 ・11-2 非凸平滑経験損失の最適化 (定数・減少ステップサイズと増加バッチサイズ) ・11-3 非凸平滑経験損失の最適化 (増加ステップサイズと増加バッチサイズ) ・11-4 凸平滑経験損失の最適化 第12章 バッチサイズを理解する ・12-1 確率的勾配降下法の計算量 ・12-2 確率的勾配降下法の計算量とバッチサイズ ・12-3 確率的勾配計算量の最小化に基づいた確率的勾配降下法 第13章 確率的勾配降下法を加速する ・13-1 モーメンタム付き確率的勾配降下法 ・13-2 適応手法 ・13-3 特異値分解を利用するオプティマイザ 第14章 汎化性能を高める ・14-1 経験損失に正則化項を加える ・14-2 平坦な最小解を見つける ■著者プロフィール 飯塚秀明（いいづかひであき）：1978 年生まれ。東京工業大学大学院情報理工学研究科博士後期課程修了後、日本学術振興会特別研究員（PD）、九州工業大学ネットワークデザイン研究センター（東京サテライトオフィス）専任准教授を経て、現在、明治大学理工学部情報科学科 専任教授。博士（理学）。専門分野は最適化理論。著書『連続最適化アルゴリズム』（オーム社）、『機械学習のための数学』（コロナ社）
ユーザーレビュー
