Transformer

Поділитися
Вставка
  • Опубліковано 14 січ 2025

КОМЕНТАРІ • 146

  • @amoshuangyc
    @amoshuangyc 5 років тому +63

    講得太好了!網上的文章怎麼看都看不懂,現在終於讓我搞懂 self attention 在做什麼了

  • @fissyercJ
    @fissyercJ 5 років тому +32

    老師的課程很棒,很幽默也一直有在更新新的model,非常喜歡老師的課程。

  • @yufan2148
    @yufan2148 5 років тому +58

    7:58 Self-attention
    27:57 Positional Encoding
    37:25 Transformer

    • @hudsonvan4322
      @hudsonvan4322 4 роки тому +10

      5:32 這邊應該是指CNN 但口誤講成RNN

    • @ipodyy6744
      @ipodyy6744 3 роки тому +1

      李老师讲的seq2seq model的链接能给一个吗?

  • @abc123634
    @abc123634 5 років тому +21

    等老師介紹 Transformer 的影片等幾個月了,實在實在是太棒了🌟

    • @abc123634
      @abc123634 5 років тому +16

      如果你看完教授的影片覺得手癢想要動手實作,可以參考這篇文章:leemeng.tw/neural-machine-translation-with-transformer-and-tensorflow2.html

    • @JohnSun-rt6qb
      @JohnSun-rt6qb 5 років тому +2

      @@abc123634 感謝分享,也覺得您的文章非常精實,獲益良多~

    • @timehsw7277
      @timehsw7277 5 років тому +1

      @@abc123634 写得很棒,获益颇多,谢谢!

  • @chengliu3033
    @chengliu3033 9 місяців тому

    老师讲的非常好,收获很大,感谢李教授

  • @blchen1
    @blchen1 2 роки тому +2

    谢谢李老师的精彩讲解!提纲挈领、深入浅出,令人受益匪浅!

  • @Lookman-z9l
    @Lookman-z9l 3 роки тому +2

    天涯若毗邻,这个比喻真的好形象啊,而且直接回应了LSTM的缺陷

  • @jasonchen8486
    @jasonchen8486 2 роки тому +2

    Bert 是芝麻街裡的一個人物/玩偶!! 🙂早期台灣電視有芝麻街, 現在台灣人大概都不知道了, 但在美國大概沒有人不知道Bert這個人物. 在NLP領域近年很有名的 BERT and ELMo 都跟芝麻街的兩個知名玩偶同名

  • @JoeL-fb2gw
    @JoeL-fb2gw 5 років тому +6

    专门注册一个账号来感谢老师
    讲的很好,非常感谢!

  • @li-pingho1441
    @li-pingho1441 2 роки тому +3

    真的講超好......沒有李教授的線上課 一堆研究生真的完蛋

  • @jxm8944
    @jxm8944 5 років тому +2

    李先生好!Transformer 模型/原理的解析:用于机器翻译任务,表现极好且可并行化,大大减少训练时间。 点赞! 🌹

  • @Geeker_LStar
    @Geeker_LStar 7 місяців тому +1

    Aaaaa 全网最最最最最好的视频!!!! 谢谢老师!!!!!

  • @peace3524
    @peace3524 3 роки тому +2

    老師的課程真的是福音😆

  • @muhammadsaadmansoor7777
    @muhammadsaadmansoor7777 3 роки тому +1

    I not only understood transformers but I also learned Chinese from this video

  • @chanvincent9812
    @chanvincent9812 4 роки тому

    前后看了好几遍,终于是看懂了,心情都舒畅了很多,感谢李老师

  • @taiwanest
    @taiwanest 5 років тому +1

    如此清晰透側的教學,令人驚嘆!

  • @gphonebeta
    @gphonebeta 4 роки тому +33

    这个是全网讲transformer最好的视频,还是中文的,爱死李宏毅老师了。

  • @htai7163
    @htai7163 3 роки тому +1

    深入简出,讲的太好了。

  • @honlin-z2g
    @honlin-z2g 6 місяців тому +1

    I realized that the factor "d^(1/2)" doesn't have anything to do with final weights, since it's constant ( or say fair to any dot product) , that means it may change the distribution, but without order

  • @leojan4668
    @leojan4668 2 місяці тому +1

    太厉害了老师!!!我这种初学者都能听懂

  • @jason81112
    @jason81112 5 років тому +4

    感謝老師解答 不然原論文內h=8那邊我一直一頭霧水
    我原本還在猜想是不是有維度考量拆成8份來降為之類的
    畢竟O^2*d 的確挺大的
    另外我覺得後面self attention gan那邊
    其實non-local network那個例子比較好XD
    SAGAN相對non-local來說寫得比較隨意
    non-local那邊有一些思想上的闡述~

  • @jamgplus334
    @jamgplus334 3 роки тому

    天涯若比邻,这句绝了

  • @alexanderyau6347
    @alexanderyau6347 4 роки тому

    太棒了,讲的非常好!非常清晰透彻!感谢李教授!

  • @talkshuo7866
    @talkshuo7866 5 років тому +3

    泪目!感谢老师!!

  • @doPringlesCanDreamofPotatoe
    @doPringlesCanDreamofPotatoe 8 місяців тому

    感谢老师!终于懂了为什么positional embedding可以直接加上来

  • @guang-yanzhang6122
    @guang-yanzhang6122 5 років тому

    李老师的思维非常的清晰,富有条理性

  • @youzhongwang3647
    @youzhongwang3647 4 роки тому +3

    谢谢李老师!请问一下在decoder的时候,因为只能用output左边的部分做attention,那么在train decoder的时候还是in parallel的吗?如果是,请问有没有详细一点的介绍是怎么实现的?谢谢!

  • @胡浩-h8r
    @胡浩-h8r 5 років тому +3

    感谢李老师的付出,可以看出做这些PPT需要许多的精力!这比看原论文舒服多了

  • @wolfmib
    @wolfmib 5 років тому +4

    for 13:20:
    we could consider two Vector with D dimension :
    1. When doing the inner product of the vector pairs , we can think :
    ___ the same vector with different dimension shall meet equal relationship as we expected:___
    such as A(1,1,1), with B(1,1,1) D=3
    a(1,1,1,1) with b (1,1,1,1) , D = 4
    This two pair of vector (A,B ) , (a,b) shall has the same attention value:
    So take the inner product for both of two paris:
    A * B = 3
    a * b = 4
    and we found 3 != 4, so we divide by the square of the dimension:
    A*B / sqrt(3) = 3 / 1.7320 ~ 1.7320
    a* b / sqrt(4) = 4 / 2 ~ 2
    by this approximate : indeed, A*B is closer to a*b (even it's not exactly equal) , but it definitely is a better solution instead of taking the inner product without divide anything.

    • @zechenliu5760
      @zechenliu5760 Рік тому

      按这种解释的话,直接除以D不就好了?为什么要除以根号D?

  • @user-saint
    @user-saint 7 місяців тому

    受益良多,感謝老師

  • @midijean2291
    @midijean2291 5 років тому +5

    老师讲的真是太好了!看完了再去看paper就好读太多了!

  • @tianyuwang5827
    @tianyuwang5827 4 роки тому

    44:07, 关于"it"对于其他词的attention我有点不懂。比如计算“it”到“animal”的attention,按照之前的计算方式,结果应该只和“it”的 query vector 以及"animal"的 key vector 有关,为什么不相关的“wide”会影响到这两个词之间的attention呢?

  • @chenzunfan
    @chenzunfan Рік тому

    不爱学习的人也看下来了,好像脱口秀,感谢李老师的幽默!

  • @stoneshou
    @stoneshou 4 роки тому +1

    非常感谢! 有个小建议,右下角的水印有时会挡到内容,不知道有没有可能把水印或者挡住的部分分开

  • @lixunxie6195
    @lixunxie6195 4 роки тому +1

    讲的很好,谢谢李老师的讲解

  • @grownupgaming
    @grownupgaming 2 роки тому

    26:40 Is the head-split happening at ai? or at qi/ki/vi?

  • @孤城-o3c
    @孤城-o3c 2 роки тому

    老师讲的真好

  • @shencunzailaozhang
    @shencunzailaozhang 5 років тому +1

    老师很准时,谢谢您辛苦的付出。

  • @JirongYi
    @JirongYi 3 роки тому

    At 40:03, is b=[b^1; b^2;...;b^4] or b is one of b^1, b^2, b^3, and b^4?

  • @jackdawson2870
    @jackdawson2870 Рік тому +1

    牛逼,还有informer

  • @zdx4571
    @zdx4571 Рік тому

    谢谢老师让我了解新知识~

  • @vincentyang8393
    @vincentyang8393 Рік тому

    Great talk! thanks

  • @xchrisliu
    @xchrisliu Рік тому +1

    之前读Transformer的文章,都会提到李老师的这个视频,今天看了一下真的是名不虚传,很多我之前有疑问的地方都被解答了

  • @noahxu4647
    @noahxu4647 4 роки тому

    谢谢李老师的分享,讲的非常的详细

  • @mengyuge3369
    @mengyuge3369 4 роки тому

    Thank you very much. Great video

  • @LiangyueLi
    @LiangyueLi 5 років тому +5

    讲得最清晰的影像了

  • @zmario8605
    @zmario8605 5 років тому +3

    I have never seen such a great course video! Thank you very much

  • @cgqqqq
    @cgqqqq 3 роки тому +2

    厉害,太多的视频要么是烂大街的high level,和你泛泛而谈attention有什么特点,要么是low level,xx软件工程师一上来就是矩阵运算各种工程code,只会写代码也不知道为什么要这么弄,李教授的视频能把high level和low level都串联到了,让人知其然知其所以然,这个是真的厉害,感谢!

  • @sollunaliu7133
    @sollunaliu7133 4 роки тому

    史上最强transfermer视频讲解,支持老师~

  • @mao1mao
    @mao1mao Рік тому

    那几个q\k\v的原理我不太明白,每个字都有自己的q,跟其他字的k的相似度代表了attention,然后再乘上对方的v。这整套的逻辑是啥呢?
    以及生成q\k\v的几个矩阵为啥是不同字符间通用的呢?

  • @allenlai9954
    @allenlai9954 5 років тому

    謝謝老師 講解的非常清楚

  • @osmanjant
    @osmanjant 5 років тому

    You are aswesome teacher. Don't stop uploading new videos. Thanks.

  • @justinzhang1323
    @justinzhang1323 3 роки тому

    老师讲得太好了!

  • @kunhongyu5702
    @kunhongyu5702 4 роки тому +1

    牛逼,最清晰

  • @JohnNeo
    @JohnNeo Рік тому

    讲得很清楚👍

  • @8124K-u4x
    @8124K-u4x 2 місяці тому +1

    i wish i know chinese

  • @旅行者-z5o
    @旅行者-z5o 6 місяців тому

    其实可以考虑放在bilibili上,没有广告。。

  • @StevenLiuX
    @StevenLiuX 4 роки тому

    感谢老师! 终于看懂了 恨不能多点几个赞!

  • @ethaneaston6443
    @ethaneaston6443 2 роки тому

    老师可以讲一下Unet吗?现在的diffusion代码实现中的Unet结构,其中的Unet用了attention和position embedding两个模块。没理解attention和position embedding两个模块怎么处理图像的

  • @haoyundeng1498
    @haoyundeng1498 2 роки тому +1

    我有两个问题 1. 整个模型中的所有参数,包括W_Q, W_K, W_V,以及dense layer参数,softmax参数等等都是在最后翻译完成之后用cross entropy loss来一起train的吗,还是把W矩阵提前train好再拿来计算train其他参数?2. multi head的情况,怎么样获得不同的W_Q, W_K, W_V呢?既然我有一个“最好”的W矩阵来反应输入各个单词之间的关系,怎么还要不同的呢?有怎么保证它们不同?

  • @lucywang8643
    @lucywang8643 3 роки тому +1

    did such a great job in explaining! Thank you!

  • @haoteli2122
    @haoteli2122 4 роки тому +1

    老师讲得太好了,我都tm庆幸母语是中文

  • @heqiaoruan5166
    @heqiaoruan5166 3 роки тому

    这个老师讲的太赞了 👍

  • @yanfeizhang3580
    @yanfeizhang3580 Рік тому

    老师,请问masked multi-head attention能做一个解释吗?不太理解这个机制

  • @jackdawson2870
    @jackdawson2870 Рік тому +1

    seq to seq已经被transformer洗过一轮了,真实

  • @fionafan8267
    @fionafan8267 4 роки тому +1

    想請問老師, 那麼 W_Q, W_K, W_V 是怎麼確定的呢?

  • @gladstoneclairet1499
    @gladstoneclairet1499 4 роки тому +1

    学习怎么能这么开心~!!!

  • @xiangliu2767
    @xiangliu2767 10 місяців тому

    这个encode 和decode动画哪里可以看到,地址是什么

  • @Natural_Motion
    @Natural_Motion Рік тому

    请教下W矩阵怎么理解的呢?

  • @walynlee2653
    @walynlee2653 3 роки тому

    Great! Would you mind sharing the powerpoint with everyone?

  • @zhiminli4225
    @zhiminli4225 3 роки тому

    讲的太棒了!

  • @weihuang743
    @weihuang743 4 роки тому

    很详细,很清晰,很赞

  • @bobchen2817
    @bobchen2817 4 роки тому +1

    😭,讲得太好了,找了好多材料~~

  • @张喜-i4x
    @张喜-i4x 4 роки тому

    非常好,感谢

  • @xiangsong8942
    @xiangsong8942 4 роки тому +1

    全网最佳

  • @inaqingww
    @inaqingww 3 роки тому

    怎么会有这么棒的老师,我真是幸运啊!!

  • @player-eric
    @player-eric 4 роки тому

    请问一下,W^q的权值是共享的吗?

  • @卢伟-h1u
    @卢伟-h1u 6 місяців тому

    英语不太好,老师说的 搭啪搭 是dot product 么?没有恶意呦

  • @aaronsarinana1654
    @aaronsarinana1654 3 роки тому

    It would be nice to have sub-titles!

  • @jllee5374
    @jllee5374 4 роки тому

    講的太好了,沒有比李老師講的更好的了。李宏毅老師了不起呀。

  • @xiuxiu0801
    @xiuxiu0801 3 роки тому +1

    我竟然看懂了。。。。要哭了

  • @haomayor6306
    @haomayor6306 3 роки тому

    跪谢李宏毅老师

  • @gourmetdata971
    @gourmetdata971 4 роки тому

    有一个问题:positional encoding 应该是直接加上去而不是concatenate吧。原文是:The positional encodings have the same dimension d_model as the embeddings, so that the two can be summed

    • @gourmetdata971
      @gourmetdata971 4 роки тому +1

      现在明白了, W_I是word embedding matrix, 而W_P是positional embedding matrix。所以ppt里是正确的。

    • @HungyiLeeNTU
      @HungyiLeeNTU  4 роки тому

      @@gourmetdata971 沒錯 :)

    • @youngandy6161
      @youngandy6161 Рік тому

      @@gourmetdata971 开始我也没理解这块,看到你的评论我也明白了,李老师将矩阵下移是换了另一种说法,和原文中是一个效果。感谢

  • @syh-yb6yh
    @syh-yb6yh 21 день тому

    老师说话说着说着还急了呢

  • @haonanchen193
    @haonanchen193 4 роки тому

    弘毅老师讲的太好了,感谢资源

  • @王毓华-h2i
    @王毓华-h2i 3 роки тому

    41.40的时候,老师说:这个decoder的input是前一个()所产生的output,括号里说的那个英文单词是什么?tai side怪怪的,没听懂。求助一下。

  • @yanliuwang3079
    @yanliuwang3079 5 років тому

    谢谢宏毅老师~

  • @商智洲
    @商智洲 3 роки тому

    给力

  • @mogazheng
    @mogazheng 10 місяців тому

    每一个Wq,Wk,Wv,是不是都是一样的呢,还是说有Wq1,Wq2,Wq3....Wqi呢

  • @charliechang2897
    @charliechang2897 3 роки тому +1

    32:28 Block Matrix Multiplication可參考 ua-cam.com/video/5MFWywYY9bE/v-deo.html

  • @beandog5445
    @beandog5445 5 років тому +1

    you save my ass

  • @jasonwu8166
    @jasonwu8166 4 роки тому

    谢谢老师的讲解! 有个问题, 为什么RNN不能够像self attention一样做到平行计算?

    • @浩克的精神時光屋
      @浩克的精神時光屋 4 роки тому

      因為RNN的算法,它會依序計算一句話的每個字,每個字又要有前一個字的hidden變量才能計算。

  • @beizhou2488
    @beizhou2488 5 років тому +1

    李老师,您好。self-attention现在已经有慢慢取代LSTM的趋势了么?

    • @AIPlayerrrr
      @AIPlayerrrr 4 роки тому

      现在已经完全取代啦。

  • @achillesarmstrong9639
    @achillesarmstrong9639 Рік тому

    5:39 这里是口误吧, RNN的好处不是平行化,应该这里说的是CNN吧。好像没有人指出口误?

  • @weikaichen546
    @weikaichen546 4 місяці тому

    有一个问题不是很懂,35:55 处谷歌的动画显示,decoding的时候当前的输出是依赖于之前的输出的,那为什么李老师说b1到b4是并行同时生成的?有谁能解释一下?谢谢!@Hung-yi Lee

    • @weikaichen546
      @weikaichen546 4 місяці тому

      我大概想通了,应该是self attention理论上就是可以并行地生成所有的输出,但是test time的时候还是需要sequential地生成,因为没有前文不可能有后语。因此,训练的时候需要用masked multi-head attention把后面的信息遮挡掉

  • @anynamecanbeuse
    @anynamecanbeuse 5 років тому

    请问老师,self-attention能否取代cnn的backbone去做图像分类问题呢

    • @HungyiLeeNTU
      @HungyiLeeNTU  5 років тому +5

      Self-attention 確實已經被用在影像相關的應用上,不過我認為短時間內 CNN 仍會被繼續使用。當 Self-attention 只 attend 在一個範圍(你可以想成就像是CNN 的receptive field)內時,它的作用會類似CNN filter,但與其讓 self-attention自己學到要 attend 在某一個範圍內,還不如直接透過 CNN 的 filter 告訴 network

    • @anynamecanbeuse
      @anynamecanbeuse 5 років тому

      @@HungyiLeeNTU 感谢老师的解答,在听您这堂课的过程中,我感觉假设输入是整张图的像素,一个self-attention的output的感受野就可以达到整张图的范围,比cnn逐步增大感受野的计算量要小,而且语义信息更强,不知道理解的对不对。感谢您将课程分享到youtube,也期待您分享一些self-attention在影像上的应用。

    • @xuzhang2431
      @xuzhang2431 5 років тому

      @@HungyiLeeNTU 谢谢李老师的精彩课程。 现在有很多图像分类的问题都加上了注意力机制,有各种的attention,这些都叫attention models,不只是self-attention。比如CNN之后,flatten,然后加一组attention layer, 再加几层dense layers,最后做classification。 各种的attentions, 我有些混乱,李老师可不可以澄清一下?感谢!

  • @weiranhuang3939
    @weiranhuang3939 4 роки тому +2

    就因为叫Transformer就把这个影片分类为“汽车”吗

  • @东方神剑-z4r
    @东方神剑-z4r 5 років тому +2

    课程很棒,请问老师后面会有 BERT 的讲解吗

  • @chenalna
    @chenalna 21 день тому

    老師説現在Transformer可以統一神經網路了
    所以想過來學習一下

  • @旅行者-z5o
    @旅行者-z5o 6 місяців тому

    最后讲的怎么有点像RAG