LoRA (Low-rank Adaption of AI Large Language Models) for fine-tuning LLM models

Поділитися
Вставка
  • Опубліковано 7 лис 2024

КОМЕНТАРІ • 22

  • @dileepvijayakumar2998
    @dileepvijayakumar2998 4 місяці тому +3

    this is better explained than what the inventor of Lora itself explained in his video.

    • @AIBites
      @AIBites  2 місяці тому

      oh! thank you so much. such words really keep me going :-)

  • @gelly127
    @gelly127 6 місяців тому +5

    Underrated channel, keep making videos and itll eventually blow up

    • @AIBites
      @AIBites  6 місяців тому +1

      Sure. Thanks for the encouraging words 👍

  • @talmaimon4534
    @talmaimon4534 8 місяців тому +1

    Thanks for the video!
    I loved that you added some libraries we can use for this.

    • @AIBites
      @AIBites  8 місяців тому

      do you want me to do more videos on hands-on? Or should I continue on the theory and papers? your inputs will be quite valuable :)

    • @jacobyoung2045
      @jacobyoung2045 8 місяців тому

      ​@@AIBites Hands on videos will be great too

  • @benkim2498
    @benkim2498 4 місяці тому +1

    Super in depth and specific, thank you!!!

    • @AIBites
      @AIBites  2 місяці тому

      my pleasure! :)

  • @mr.daniish
    @mr.daniish 6 місяців тому +4

    Amazing video

    • @AIBites
      @AIBites  6 місяців тому

      Glad you think so! 😊

  • @unclecode
    @unclecode 10 місяців тому +3

    Good job on the clear explanation of the method and simplification. At 3:40, when you showed the matrix decomposition, the result on the left side does not match the result on the right side. Is this a mistake in the video editing, or is there a point to this? [1 2 3] x [2 20 30[ should be [[2. 4 6], [20 40 60], [30 60 90]]

    • @AIBites
      @AIBites  10 місяців тому +2

      ah yeah! super spot! I got that wrong while editing. Sorry... 🙂

    • @ananthvankipuram4012
      @ananthvankipuram4012 8 місяців тому +2

      @@AIBites Yup the Matrix should be [1/2/3] * [ 2 20 1]

    • @AIBites
      @AIBites  7 місяців тому

      Thanks again :)

  • @pshivaramakrishna
    @pshivaramakrishna 7 місяців тому +1

    Very Well Explained! If ΔW's dimensions is 10 x 10 , A and B dimensions are 10x2 and 2x10 respectively. So, instead of training 100 params we only train 40 params (10x2 + 2x10). Am I correct ?

    • @AIBites
      @AIBites  7 місяців тому +1

      yup you got it right. And based on the compute available, we can adjust the rank ranging from say from as low as 2.

    • @pshivaramakrishna
      @pshivaramakrishna 7 місяців тому

      @@AIBites Thanks for the confirmation.

  • @ccidral
    @ccidral 3 місяці тому +1

    I wish I was good at math to understand this stuff.

    • @AIBites
      @AIBites  2 місяці тому +1

      we all can get good at it by putting in the effort. Its just another language spoken by scientists :)

  • @abdelmananabdelrahman4099
    @abdelmananabdelrahman4099 10 місяців тому +2

    wow u r great 😄

    • @AIBites
      @AIBites  10 місяців тому

      Thank you! I am chuffed :)