今泉允聡のレビュー一覧

深層学習の原理に迫る 数学の挑戦

今泉允聡

ディープラーニングについて漠然と思っていた、パラメータや学習の層が多いほうが(多いから)学習効率が高い、ということに関して、数学的な裏付けはなく仮説もいろいろと棄却されていることについて驚いた。

よく言われる、深層学習が出す答えはブラックボックスとは、単純に過程がわからないだけではなく、理論も成立していないということを鑑みると、今後研究が進んで数学的にも最適な深層学習の方式が確立されれば、大きなブレークスルーがあるのかもしれないと感じた。

深層学習の原理に迫る 数学の挑戦

今泉允聡

ある程度機械学習や深層学習、物理のバックグラウンドが前提知識になりそうだが、それを差し引いてもとても参考になった。なぜ多層なのか、なぜパラメータが多いほど精度が良いのか、なぜ過適合にならないのかを学べた。非常に薄くてすぐに読み終えられるのもよかった。一方で縦書きの一般書の限界かもしれないが、個人的にはドロップアウト等の正則化手法の説明もあるともっとよかった。

深層学習の原理に迫る 数学の挑戦

今泉允聡

　この本は機械学習、深層学習がなぜ良い結果をもたらすのか説明できないことに対してもやもやしている方にはお勧めの本です。説明可能なAIという分野が発達してきているものの、基礎的な予測を導出する過程においてさえ、まだ数学的にそれが正しいかどうか説明できる段階にはないというのが現状のようです。

3章：深層学習においてニューラルネットワークの多層がなぜ必要か。
→これは滑らかな関数以外の素人的にいうとめちゃくちゃな関数を表すために必要といってよいです。例えば層が少ない場合には不連続なジャンプを含むグラフを表すことができません。

4章：膨大なパラメータの数の謎
→パラメータは多いほうがいいでのでしょうか。これも実は数学的には結論が出ておらず、パラメータが増えるほどに損失が増えるポイントがあるのですが、その後下がるという研究結果があるそうです。

また、パラメータの数が訓練データよりひとつでも多いと過適合が発生してしまう、ということもわかっています。しかしさらにパラメータの数が訓練データが無限にあるとき、損失を減らしていくことができることもわかっていますが、無限は検証が困難であるためまだ発展途上となっているそうです。

5章：なぜパラメータを学習できるのか

→パラメータを自動で学習できるのかどうかもひとつの謎となっている。確率的勾配降下法を用いることによって損失をゼロにするパラメータに到達するのには大量のパラメータがあればよいことがわかってきている。しかしそれがどの程度の数なのか、そもそも損失をゼロにするパラメータが最適なのかどうか、こういったところについてもまた研究がなされている状況であるということです。

6章：原理を知ることに価値はあるか

→今、自分たちが扱っているものについての説明ができなければ問題があったときに対応ができない。安心して使えない。そのため原理を知ることは重要。

深層学習の原理に迫る 数学の挑戦

今泉允聡

深層学習にまつわる数学的な謎を，数式を使わずに概念的に説明したものである．気軽に読んで概略を理解するのに適した本である．

深層学習の原理に迫る 数学の挑戦

今泉允聡

手軽な読み物でありながらも，深層学習の理論と課題について収集することができる。今後ますます新しい発見が続くだろうが，それを説明できるだけの数学理論の整備も求められる。

深層学習の原理に迫る 数学の挑戦

今泉允聡

なぜ深層学習が上手くいくのかを一般人にも分かるように解説した良書です。深層学習の研究は、結果がSOTAであれば何でもOKみたいな風潮があります。その一方で、なぜSOTAを実現できるのかを高度な数学を駆使して研究する分野があるのですね。

深層学習の原理に迫る 数学の挑戦

今泉允聡

相転移現象の記述に深層学習を適用可能とか、暗黙的正則化による過適合抑制というのは初めて知った。PACベイズ、二重効果理論、ランジュバン動力学(焼きなまし法の解析に便利)等々、興味深かったが、いずれも深層学習の理解には未完成のツールとのことなので、日進月歩のこの分野でいまそれぞれの手法での理解がどこまで進んでいるか知りたい。また、30-40年前に既に発見されていた手法が忘れ去られ、車輪の再発明に研究者たちの貴重な人生の時間が奪われているのがもどかしいと感じた。知識・技術の体系化と継承は、それが積み上がるほど難しくなっていくが、これを諦めると人間の進歩は止まってしまうのかもしれない。

深層学習の原理に迫る 数学の挑戦

今泉允聡

深層学習 の議論について 手際よくまとめた本。最新の理論動向を勉強するには良い一冊。
AIを研究している修士なら一通りの読んでおいて損はしない。

深層学習の原理に迫る 数学の挑戦

今泉允聡

[satoumc]

気軽な読み物

技術書ではあるけれど縦読みの本です。ディープラーニングがなぜうまく行くのかを解き明かすために数学的な側面を検討する話ですが、数式は最小限にとどめられているので気軽に読むことが出来ます。とはいえ、これを読む前に他のディープラーニングの入門書で勾配降下法の考え方くらいは把握しておいた方が、より理解が進むと思われます。

＃タメになる ＃カッコいい

深層学習の原理に迫る 数学の挑戦

今泉允聡

先端の研究のさわりにもならないだろうけど
黒魔術と言われる深層学習にもその原理に迫る研究があると知った

深層学習の原理に迫る 数学の挑戦

今泉允聡

タイトル通り、なぜ深層学習は人間の予測を超える結果を出すのか？を難しくない数学で解説してくれている本。時間があれば再読したい。

深層学習の原理に迫る 数学の挑戦

今泉允聡

深層学習の性質を数学的に理解しようとしている研究者による、2019年頃の動向の説明。内容は面白い、自分の好みのものだったけれど、まだあれもこれも未解決という印象で、それでどうなるんだろうという問に答えが与えられるわけではないことが、コンセプト的に仕方ないけれど残念。
221228

深層学習の原理に迫る 数学の挑戦

今泉允聡

もうちょっと踏み込んで数式での説明が見たかった。お気持ち本になってしまう。

パラメーター数が異常にあるのに、なぜ過学習しないのか？ってのはたしかに疑問なところで、宝くじ仮説は興味深かった。
人間が認知できるレベルを越えているのだとしたら、もはやどんなモデルが内部で使われるのかもモデルに任せた方が良いってことなのかもしれない（安直）。

深層学習の原理に迫る 数学の挑戦

今泉允聡

流行りのAIでなにかできないかなとどこかブレイクスルーを探している状態で書店で見かけ、手に取った一冊。読みやすく、さらっと読み終えた。著者は"原理に迫る"ことにこだわりを持っていて、もしかしたらこれまでの人生でその点を否定されたこともあるのかな（実用性を重視した研究をしろ的な）と勝手に想像して、勝手に想いを汲み取りながら読んだ。この分野には疎いし、数学も苦手なので3章以降大事なところは理解が追い付いていないけれど、また一歩前には進めたと思うたぶん。
自分自身先に実装、あとから理解が追い付いてくるタイプなので深層学習については一回なにか作って、動かすことを次の目標に、また本を読んだり、調べものをしていきたい。

深層学習の原理に迫る 数学の挑戦

今泉允聡

数学で導かれた定理と実際は矛盾していることがある。それをなぜかと探求しているが、なかなか難しい（汗）。普遍近似定理から「層が二つのニューラルネットワークは一層あたりのパラメータの数が十分多ければ、どんな連続な関数でも表現できる。」しかし現実には多段層のネットワークが高性能であることを示している。またパラメータについては、膨大なパラメータはネットワークの自由度を上げるが、それはネットワークの過適合を起こすという法則が知られている。過適合は予測の精度を低下させる。しかし、実際のニューラルネットワークでは、膨大なパラメータでも過適合を起こさない。このように数学の法則に合わない実際があるのは何故だろうか？自分の理解が浅いので☆は三つにしました。