あらすじ
第三次人工知能（AI）ブームの中核的役割を果たす深層学習（ディープ・ラーニング）は，その高い信頼性と汎用性ゆえに様々な領域に応用されていく一方で，「なぜうまくいくのか」すなわち「なぜ優れた性能を発揮するのか」ということは分かっていない．深層学習の原理を数学的に解明するという難題に，気鋭の研究者が挑む．
...続きを読む感情タグBEST3
Posted by ブクログ
ある程度機械学習や深層学習、物理のバックグラウンドが前提知識になりそうだが、それを差し引いてもとても参考になった。なぜ多層なのか、なぜパラメータが多いほど精度が良いのか、なぜ過適合にならないのかを学べた。非常に薄くてすぐに読み終えられるのもよかった。一方で縦書きの一般書の限界かもしれないが、個人的にはドロップアウト等の正則化手法の説明もあるともっとよかった。
Posted by ブクログ
手軽な読み物でありながらも，深層学習の理論と課題について収集することができる。今後ますます新しい発見が続くだろうが，それを説明できるだけの数学理論の整備も求められる。
Posted by ブクログ
ディープラーニングについて漠然と思っていた、パラメータや学習の層が多いほうが(多いから)学習効率が高い、ということに関して、数学的な裏付けはなく仮説もいろいろと棄却されていることについて驚いた。
よく言われる、深層学習が出す答えはブラックボックスとは、単純に過程がわからないだけではなく、理論も成立していないということを鑑みると、今後研究が進んで数学的にも最適な深層学習の方式が確立されれば、大きなブレークスルーがあるのかもしれないと感じた。
Posted by ブクログ
この本は機械学習、深層学習がなぜ良い結果をもたらすのか説明できないことに対してもやもやしている方にはお勧めの本です。説明可能なAIという分野が発達してきているものの、基礎的な予測を導出する過程においてさえ、まだ数学的にそれが正しいかどうか説明できる段階にはないというのが現状のようです。
3章：深層学習においてニューラルネットワークの多層がなぜ必要か。
→これは滑らかな関数以外の素人的にいうとめちゃくちゃな関数を表すために必要といってよいです。例えば層が少ない場合には不連続なジャンプを含むグラフを表すことができません。
4章：膨大なパラメータの数の謎
→パラメータは多いほうがいいでのでしょうか。これも実は数学的には結論が出ておらず、パラメータが増えるほどに損失が増えるポイントがあるのですが、その後下がるという研究結果があるそうです。
また、パラメータの数が訓練データよりひとつでも多いと過適合が発生してしまう、ということもわかっています。しかしさらにパラメータの数が訓練データが無限にあるとき、損失を減らしていくことができることもわかっていますが、無限は検証が困難であるためまだ発展途上となっているそうです。
5章：なぜパラメータを学習できるのか
→パラメータを自動で学習できるのかどうかもひとつの謎となっている。確率的勾配降下法を用いることによって損失をゼロにするパラメータに到達するのには大量のパラメータがあればよいことがわかってきている。しかしそれがどの程度の数なのか、そもそも損失をゼロにするパラメータが最適なのかどうか、こういったところについてもまた研究がなされている状況であるということです。
6章：原理を知ることに価値はあるか
→今、自分たちが扱っているものについての説明ができなければ問題があったときに対応ができない。安心して使えない。そのため原理を知ることは重要。
