Deep Learning入門：Attention（注意）

Deep LearningにおいてConvolutional Neural Networksに並んで大変ポピュラーに用いられつつあるニューラルネットワークの基本的な構造、Attention（注意）について解説します。
前回の動画：「量子化によるニューラルネットワークのコンパクト化」
• 量子化によるニューラルネットワークのコンパクト化
Deep Learning入門：ニューラルネットワーク設計の基礎
• Deep Learning入門：ニューラルネ...
Deep Learning入門：Recurrent Neural Networksとは
• Deep Learning入門：Recurr...
Deep Learning入門：数式なしで理解するLSTM（Long short-term memory）
• Deep Learning入門：数式なしで理...
再生リスト「Deep Learning入門」
• Deep Learning入門
再生リスト「実践Deep Learning」
• 実践Deep Learning
再生リスト「Deep Learning 精度向上テクニック」
• Deep Learning精度向上テクニック
Neural Network Console
dl.sony.com/ja/
Neural Network Libraries
nnabla.org/ja/
Squeeze-and-Excitation Networks
Jie Hu, Li Shen, Samuel Albanie, Gang Sun, Enhua Wu
arxiv.org/abs/1709.01507
Attention Is All You Need
Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin
arxiv.org/abs/1706.03762
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova
arxiv.org/abs/1810.04805

[@nunomenobuhiro8749]

分かりやすい動画をありがとうございます！

[@daisukeasaki4971]

最高な解説動画ありがとうございます。

[@colortash7259]

Attentionをここまでわかりやすく言語化できる方がいらっしゃるとは！！神！

[@fudousanphp]

むつかしい内容をすごいコンパクトにまとめましたね。単純にすごい

[@mazeofpiandnapier1983]

わかりやす杉！

[@user-xy1dy3tv8i]

すっごいわかりやすい

[@naganaga1453]

わかりやすい解説で助かります

[@MultiYUUHI]

なんて素晴らしい動画

[@dol4689]

試してみようかな。

[@yamafu]

素晴らしい！ニューラル機械翻訳で、特にイメージがつかみにくいが、非常に重要そうな"attention"というもの。それを人間が翻訳する場合になぞらえて解説されています。それに続けて、少し具体的な計算に入っていきます。はじめて見ました、こんなすばらしいattentionの機械翻訳への適用！

[@user-wt2wn2rv8c]

声がめっちゃ好き

[@arigato39000]

ありがとう

[@IM-vu4gj]

こりゃすげえや

[@tyciannagreen9360]

「あなたの動画はとても良いですし、メッセージがた

[@riis08]

@Neural Network Console, can you have these videos in English??

[@scramberry_io]

とてもわかりやすいです！
7:27 猫の鳴き声みたいな音が入ってるw

[@MrSasanaga]

2:10
画像のattentionの解説について質問があります。
注目する領域を推定するネットワーク部分は、どのように学習していますか？一見すると注目する部分を推定するように直接lossが用意されているようにみえません。
途中で分岐して元の特徴マップと掛け算して、最後のクラス分類のロスだけで、注目する部分を推定するように学習できるものですか？
もし良かったら教えていただければ幸いです。

[@user-jd4jg2ot3h]

この画像の処理を、注意機構として説明するのは、誤りだと思います

[@jball3545]

「内容を明確にする必要があります」、

[@user-cw7ro6gs8t]

早口で疲れる

[@betelgeuseromanee-conti162]

速度変えればいいじゃん笑

[@user-jd4jg2ot3h]

画像の注意機構は、関係ないと思う！！説明間違いだと思う！こんな説明してる例、他にありますか？これを真似したもの以外で。みなさん。

[@user-ws1el8fg5h]

私も、Query-Key-Valueのあたりの説明以外は、Attentionの話では無いと考えています。

[@johnhuey7713]

SEnetも広義のattentionに入るでしょ
注目されてるtransformerならqkvだけど

[@user-jd4jg2ot3h]

昨日コメント書きましたが、説明、間違えてる思います😡