寒野善博のレビュー一覧

最適化手法入門

線形計画（ＬＰ）を数式とグラフを用いて丁寧に説明した本。

Ｐ１８　基底追跡
Ｐ２３　双対問題・・・ラグランジュ乗数
Ｐ３３　2次計画問題と正則化・・・リッジ正則化やＬＡＳＳＯ
Ｐ４１　サポートベクターマシン
Ｐ５６　勾配法と加速法
P57　アルミホ直線探索(バックトラック法による直線探索)・・・ステップ幅「α」の最適化
P59　最急降下法
P61　ネステロフの加速法と、再スタート法・・・凸関数なら最強
P63　ニュートン法・・・テイラー展開のヘッセ行列が最小となるｄを探索する手法。
　※ただし、ヘッセ行列が正定値以外は降下方向とならないので収束するとは限らない。
P64　準ニュートン法・・・ニュートン法の探索方向を下降方向へ修正した方法。
P70　KKT条件・・・制約付き最適化において最適値が満たすべき条件。

Ｐ５０　勾配とヘッセ行列
最適性条件としてヘッセ行列を用いる。
ヘッセ行列が半正定値であれば、停留点のｘが最適解であることをテイラー展開を用いて説明してる。

最適化手法入門

最近類書が増えてきたけれどこの当時はこれが比較的分かり易目だったと思う
Pythonコード例が少なすぎるのがちょっと難点
星3つだけどこの当時は類書が少なかったので星を1つ追加
今となっては3つでいいかな