Deep Learning精度向上テクニック：様々な最適化手法 #1

Deep Learning精度向上テクニック：様々な最適化手法 #1
この動画では、Deep Learningを学習する際のパラメータの更新に用いるソルバ、ミニバッチ勾配降下法、Stochastic Gradient Descentと、その改良手法としてMomentum SGD、Nesterov Accelerated Gradient、RMSprop、Adamについて解説します。
ニューラルネットワーク学習の仕組み
• Deep Learning入門：ニューラルネ...
前回の動画：様々なCNN #4
• Deep Learning精度向上テクニック...
再生リスト「Deep Learning 精度向上テクニック」
• Deep Learning精度向上テクニック
再生リスト「Deep Learning入門」
• Deep Learning入門
Neural Network Console
dl.sony.com/ja/
Neural Network Libraries
nnabla.org/ja/
BGM
Prokofiev - Prelude from 12 Pieces
Prokofiev - Scherzo from 12 Pieces
Nesterov Accelerated Gradient (NAG)
A method for unconstrained convex minimization problem with the rate of convergence :math:`o(1/k2)
Yurii Nesterov
RMSprop
Lecture 6a : Overview of mini-batch gradient descent
www.cs.toronto.edu/~tijmen/csc...
Adam: A Method for Stochastic Optimization
Diederik P. Kingma, Jimmy Ba
arxiv.org/abs/1412.6980
On Empirical Comparisons of Optimizers for Deep Learning
Dami Choi, Christopher J. Shallue, Zachary Nado, Jaehoon Lee, Chris J. Maddison, George E. Dahl
arxiv.org/abs/1910.05446

[@mtmotoki2]

RMSPropの式の意味がよくわかってなかったんですが、この動画の説明でりかいできました。ありがとうございます

[@iamtherefore278]

ド素人だけど今回の動画でかなり理解が進んだ

[@takumih7276]

分かりやすい！！

[@bigbangnuc]

わかりやすっ。感謝です。

[@mumumu_you]

手法ごとの違いが目に見えてとてもわかりやすい

[@MorningChoco]

小林さん説明うますぎ！！

[@user-hu2de2rc4z]

MomentumとNAGの更新式において正負の符号が逆だと思います。慣性項が加算でなく減算されてしまうので。
また、勾配をデルタで表記してますが、微分演算子のナブラが適切ではないでしょうか。
以上、気になる点を挙げましたが、E資格の勉強に役立つ動画です。ありがとうございます。

[@user-ij7kc7tn3w]

RMSはRouteMeanSquareのことなのか、納得！

[@user-hm3ep9rz6f]

Adamすごっww

[@poe0611]

BGMなしバージョンが欲しいです。

[@cheejpn]

私もBGMなしバージョンがあるといいな、と思いました