Direct Preference Optimization (DPO) explained: Bradley-Terry model, log probabilities, math

Поділитися
Вставка
  • Опубліковано 2 лют 2025

КОМЕНТАРІ • 70

Наступне
Автоматичне відтворення
Reinforcement Learning from Human Feedback explained with math derivations and the PyTorch code.2:15:13Reinforcement Learning from Human Feedback explained with math derivations and the PyTorch code.
Reinforcement Learning from Human Feedback explained with math derivations and the PyTorch code.Umar Jamil
Переглядів 32 тис.
LLaMA explained: KV-Cache, Rotary Positional Embedding, RMS Norm, Grouped Query Attention, SwiGLU1:10:55LLaMA explained: KV-Cache, Rotary Positional Embedding, RMS Norm, Grouped Query Attention, SwiGLU
LLaMA explained: KV-Cache, Rotary Positional Embedding, RMS Norm, Grouped Query Attention, SwiGLUUmar Jamil
Переглядів 80 тис.
Direct Preference Optimization (DPO) - How to fine-tune LLMs directly without reinforcement learning21:15Direct Preference Optimization (DPO) - How to fine-tune LLMs directly without reinforcement learning
Direct Preference Optimization (DPO) - How to fine-tune LLMs directly without reinforcement learningSerrano.Academy
Переглядів 10 тис.
МІША ЛЕБІГА і АНДРІЙ ЛУЗАН в СРАЧІ #321:09:35МІША ЛЕБІГА і АНДРІЙ ЛУЗАН в СРАЧІ #32
МІША ЛЕБІГА і АНДРІЙ ЛУЗАН в СРАЧІ #32ЛЕВИ НА ДЖИПІ
Переглядів 1 млн
СОЛДАТ КНДР: ВТЕЧА/ВІЙНА В УКРАЇНІ/10 РОКІВ ШПИГУВАВ У ПІВНІЧНІЙ КОРЕЇ/ТОРГУЮТЬ НАРКОТИКАМИ І ЗБРОЄЮ39:11СОЛДАТ КНДР: ВТЕЧА/ВІЙНА В УКРАЇНІ/10 РОКІВ ШПИГУВАВ У ПІВНІЧНІЙ КОРЕЇ/ТОРГУЮТЬ НАРКОТИКАМИ І ЗБРОЄЮ
СОЛДАТ КНДР: ВТЕЧА/ВІЙНА В УКРАЇНІ/10 РОКІВ ШПИГУВАВ У ПІВНІЧНІЙ КОРЕЇ/ТОРГУЮТЬ НАРКОТИКАМИ І ЗБРОЄЮPRESSING
Переглядів 431 тис.
ШАЛОСТЬ (смешное видео, приколы, юмор, поржать)00:59ШАЛОСТЬ (смешное видео, приколы, юмор, поржать)
ШАЛОСТЬ (смешное видео, приколы, юмор, поржать)Натурал Альбертович
Переглядів 1,9 млн
“Don’t stop the chances.”00:44“Don’t stop the chances.”
“Don’t stop the chances.”ISSEI / いっせい
Переглядів 61 млн
Variational Autoencoder - Model, ELBO, loss function and maths explained easily!27:12Variational Autoencoder - Model, ELBO, loss function and maths explained easily!
Variational Autoencoder - Model, ELBO, loss function and maths explained easily!Umar Jamil
Переглядів 39 тис.
How language model post-training is done today53:51How language model post-training is done today
How language model post-training is done todayInterconnects AI
Переглядів 5 тис.
DPO Debate: Is RL needed for RLHF?26:55DPO Debate: Is RL needed for RLHF?
DPO Debate: Is RL needed for RLHF?Nathan Lambert
Переглядів 9 тис.
BERT explained: Training, Inference, BERT vs GPT/LLamA, Fine tuning, [CLS] token54:52BERT explained: Training, Inference, BERT vs GPT/LLamA, Fine tuning, [CLS] token
BERT explained: Training, Inference, BERT vs GPT/LLamA, Fine tuning, [CLS] tokenUmar Jamil
Переглядів 51 тис.
Mistral / Mixtral Explained: Sliding Window Attention, Sparse Mixture of Experts, Rolling Buffer1:26:21Mistral / Mixtral Explained: Sliding Window Attention, Sparse Mixture of Experts, Rolling Buffer
Mistral / Mixtral Explained: Sliding Window Attention, Sparse Mixture of Experts, Rolling BufferUmar Jamil
Переглядів 30 тис.
RLHF & DPO Explained (In Simple Terms!)19:39RLHF & DPO Explained (In Simple Terms!)
RLHF & DPO Explained (In Simple Terms!)Entry Point AI
Переглядів 5 тис.
LoRA: Low-Rank Adaptation of Large Language Models - Explained visually + PyTorch code from scratch26:55LoRA: Low-Rank Adaptation of Large Language Models - Explained visually + PyTorch code from scratch
LoRA: Low-Rank Adaptation of Large Language Models - Explained visually + PyTorch code from scratchUmar Jamil
Переглядів 31 тис.
ML Interpretability: feature visualization, adversarial example, interp. for language models1:00:15ML Interpretability: feature visualization, adversarial example, interp. for language models
ML Interpretability: feature visualization, adversarial example, interp. for language modelsUmar Jamil
Переглядів 9 тис.
NLP Lecture 1: Regular Expressions50:36NLP Lecture 1: Regular Expressions
NLP Lecture 1: Regular ExpressionsSingleStar Software
Переглядів 51
НА ЦЕ можна дивитись ВІЧНО! Такої ПАЛКОЇ зустрічі НІХТО НЕ ЧЕКАВ00:14НА ЦЕ можна дивитись ВІЧНО! Такої ПАЛКОЇ зустрічі НІХТО НЕ ЧЕКАВ
НА ЦЕ можна дивитись ВІЧНО! Такої ПАЛКОЇ зустрічі НІХТО НЕ ЧЕКАВМи - Україна
Переглядів 1,3 млн
Перший наступ КНДРівців01:20Перший наступ КНДРівців
Перший наступ КНДРівців5 канал
Переглядів 729 тис.
ДИЗЕЛЬ ШОУ 2024 🇺🇦 ❄️ ЗИМОВА ПРЕМ'ЄРА ❄️ 🇺🇦 ВИПУСК 154 на підтримку ЗСУ ⭐ Гумор ICTV від 13.12.20241:19:41ДИЗЕЛЬ ШОУ 2024 🇺🇦 ❄️ ЗИМОВА ПРЕМ'ЄРА ❄️ 🇺🇦 ВИПУСК 154 на підтримку ЗСУ ⭐ Гумор ICTV від 13.12.2024
ДИЗЕЛЬ ШОУ 2024 🇺🇦 ❄️ ЗИМОВА ПРЕМ'ЄРА ❄️ 🇺🇦 ВИПУСК 154 на підтримку ЗСУ ⭐ Гумор ICTV від 13.12.2024ЮМОР ICTV - Официальный канал
Переглядів 303 тис.
Мама загинула у блокадному Чернігові, а тато у полоні РФ #війна #люди #україна #shorts #смерть00:58Мама загинула у блокадному Чернігові, а тато у полоні РФ #війна #люди #україна #shorts #смерть
Мама загинула у блокадному Чернігові, а тато у полоні РФ #війна #люди #україна #shorts #смертьСуспільне Чернігів
Переглядів 214 тис.
СКАНДАЛЬНЫЙ бой Али, когда в ринге ему противостояли сразу ДВОЕ #shorts01:12СКАНДАЛЬНЫЙ бой Али, когда в ринге ему противостояли сразу ДВОЕ #shorts
СКАНДАЛЬНЫЙ бой Али, когда в ринге ему противостояли сразу ДВОЕ #shortsBalcevMMA_BOXING
Переглядів 990 тис.
ФИЛЬМ! НЕВИНОВНЫЙ ГОТОВИТ ДЕРЗКИЙ ПОБЕГ С НЕПРИСТУПНОГО ОСТРОВА-ТЮРЬМЫ! Мотылёк! Русский фильм2:24:43ФИЛЬМ! НЕВИНОВНЫЙ ГОТОВИТ ДЕРЗКИЙ ПОБЕГ С НЕПРИСТУПНОГО ОСТРОВА-ТЮРЬМЫ! Мотылёк! Русский фильм
ФИЛЬМ! НЕВИНОВНЫЙ ГОТОВИТ ДЕРЗКИЙ ПОБЕГ С НЕПРИСТУПНОГО ОСТРОВА-ТЮРЬМЫ! Мотылёк! Русский фильмFilmsHD
Переглядів 1,2 млн
🔥"СВОшник" РОЗНОСИТЬ шоу путіністів! Ведучий ШОКОВАНИЙ від цих СЛІВ #shorts01:12🔥"СВОшник" РОЗНОСИТЬ шоу путіністів! Ведучий ШОКОВАНИЙ від цих СЛІВ  #shorts
🔥"СВОшник" РОЗНОСИТЬ шоу путіністів! Ведучий ШОКОВАНИЙ від цих СЛІВ #shortsZAXID.NET
Переглядів 656 тис.
«Я жити не хочу»: винесли «з нуля» пораненого побратима #shorts00:32«Я жити не хочу»: винесли «з нуля» пораненого побратима #shorts
«Я жити не хочу»: винесли «з нуля» пораненого побратима #shortsСуспільне Запоріжжя
Переглядів 565 тис.