24」5分钟掌握所有AI团队在用的最新算法--动量参数更新 |GPT4o|GPT-4o|梯度计算|ChatGPT|大模型LLM|人工智能AI|深度学习|神经网络

Поділитися
Вставка
  • Опубліковано 20 сер 2024

КОМЕНТАРІ • 4

  • @xiaofanlin9185
    @xiaofanlin9185 Місяць тому

    这次解释比上次清楚多了,但是感觉第二个例子的第二组绿色和粉色画在谷底的右边比较好,因为斜率的方向总是指着最低点的方向,第二个例子的第二组点它们的斜率应该要指向右边而不是左边【绿色点应该是在粉色点的左边,因为梯度下滑会向右移动】,另外动量的让新的梯度变大变小可以通过画拐点来解释,比如说在第二个例子的第一组绿色和粉色点是在拐点前面,在拐点前,坡度逐渐变陡,这时候动量会让新的梯度变小防止越过最低点,这个例子和第一个例子的黑色蓝色点的区别在于,第一个例子的蓝色黑色点都在拐点之后,也就是坡度会逐渐变缓,我好像在哪里读到拐点和动量有些许联系,希望我的评论能帮到你,谢谢你的反馈

    • @WildAIProductDog
      @WildAIProductDog  Місяць тому

      “斜率指向最低点方向”,这个结论就是错的。 斜率代表x变化后,y会变化多少,和“指向最低点”没关系。
      没理解说的“拐点”是什么? 感觉上似乎你把原函数和它的导数的一些概念混到一起
      “陡峭”和“平坦”指的是函数自变量x变化后,y值变化大小,二维就是值斜率。斜率最大的时候(最陡峭),是在斜率切线和x轴夹角接近90度的时候。也就是图像上,几乎和y轴平行的直线,代表x变化一点,y轴变化特别大。
      不是谷底,不是谷底,不是谷底。 谷底和峰顶都是斜率为0

  • @hankdonald7812
    @hankdonald7812 Місяць тому +1

    从陡峭点到平坦点,动量梯度的绝对值比原梯度的绝对值大,这样子会使参数的更新幅度变大。从平坦点到陡峭点,动量梯度的绝对值比原梯度的绝对值小,这样子会使参数的更新幅度变小。视频中,两组红绿点与X轴的夹角都是钝角,应该都画在tan图像中虚线的右侧吧?