Quantization vs Pruning vs Distillation: Optimizing NNs for Inference

Поділитися
Вставка
  • Опубліковано 21 січ 2025

КОМЕНТАРІ • 36

Наступне
Автоматичне відтворення
Fine-tuning Whisper to learn my Chinese dialect (Teochew)28:10Fine-tuning Whisper to learn my Chinese dialect (Teochew)
Fine-tuning Whisper to learn my Chinese dialect (Teochew)Efficient NLP
Переглядів 9 тис.
Speculative Decoding: When Two LLMs are Faster than One12:46Speculative Decoding: When Two LLMs are Faster than One
Speculative Decoding: When Two LLMs are Faster than OneEfficient NLP
Переглядів 16 тис.
The KV Cache: Memory Usage in Transformers8:33The KV Cache: Memory Usage in Transformers
The KV Cache: Memory Usage in TransformersEfficient NLP
Переглядів 48 тис.
Что будет если украсть в магазине шоколадку 🍫00:39Что будет если украсть в магазине шоколадку 🍫
Что будет если украсть в магазине шоколадку 🍫Miracle
Переглядів 3,2 млн
Сестра обхитрила!00:17Сестра обхитрила!
Сестра обхитрила!Victoria Portfolio
Переглядів 913 тис.
У ДЕТЕНЫША СТЕПЫ ИСЧЕЗ ГЛАЗИК08:46У ДЕТЕНЫША СТЕПЫ ИСЧЕЗ ГЛАЗИК
У ДЕТЕНЫША СТЕПЫ ИСЧЕЗ ГЛАЗИКSlivkiShow
Переглядів 1,3 млн
СКОЛЬКО ИХ...?! #Shorts #Глент00:18СКОЛЬКО ИХ...?! #Shorts #Глент
СКОЛЬКО ИХ...?! #Shorts #ГлентГЛЕНТ
Переглядів 1,1 млн
How ChatGPT Cheaps Out Over Time9:28How ChatGPT Cheaps Out Over Time
How ChatGPT Cheaps Out Over Timebycloud
Переглядів 43 тис.
Павел Плюснин - Квантование нейронных сетей28:39Павел Плюснин - Квантование нейронных сетей
Павел Плюснин - Квантование нейронных сетейODS AI Ru
Переглядів 2 тис.
LLM inference optimization: Architecture, KV cache and Flash attention44:06LLM inference optimization: Architecture, KV cache and Flash attention
LLM inference optimization: Architecture, KV cache and Flash attentionYanAITalk
Переглядів 5 тис.
Pruning and Distillation Best Practices: The Minitron Approach Explained13:29Pruning and Distillation Best Practices: The Minitron Approach Explained
Pruning and Distillation Best Practices: The Minitron Approach ExplainedWhat's AI by Louis-François Bouchard
Переглядів 582
Model Distillation: Same LLM Power but 3240x Smaller25:21Model Distillation: Same LLM Power but 3240x Smaller
Model Distillation: Same LLM Power but 3240x SmallerAdam Lucek
Переглядів 9 тис.
Residual Vector Quantization for Audio and Speech Embeddings13:53Residual Vector Quantization for Audio and Speech Embeddings
Residual Vector Quantization for Audio and Speech EmbeddingsEfficient NLP
Переглядів 4,2 тис.
Why Does Diffusion Work Better than Auto-Regression?20:18Why Does Diffusion Work Better than Auto-Regression?
Why Does Diffusion Work Better than Auto-Regression?Algorithmic Simplicity
Переглядів 434 тис.
Pruning Deep Learning Models for Success in Production24:35Pruning Deep Learning Models for Success in Production
Pruning Deep Learning Models for Success in ProductionNeural Magic
Переглядів 14 тис.
tinyML Talks: A Practical Guide to Neural Network Quantization1:01:20tinyML Talks: A Practical Guide to Neural Network Quantization
tinyML Talks: A Practical Guide to Neural Network QuantizationEDGE AI FOUNDATION
Переглядів 26 тис.
Прочистка шлюзов00:23Прочистка шлюзов
Прочистка шлюзовНовостной Гусь
Переглядів 2,4 млн
НА ЦЕ можна дивитись ВІЧНО! Такої ПАЛКОЇ зустрічі НІХТО НЕ ЧЕКАВ00:14НА ЦЕ можна дивитись ВІЧНО! Такої ПАЛКОЇ зустрічі НІХТО НЕ ЧЕКАВ
НА ЦЕ можна дивитись ВІЧНО! Такої ПАЛКОЇ зустрічі НІХТО НЕ ЧЕКАВМи - Україна
Переглядів 1,3 млн
The evil clown plays a prank on the angel00:39The evil clown plays a prank on the angel
The evil clown plays a prank on the angel超人夫妇
Переглядів 52 млн
Психіатр Глузман УПЕРШЕ сканує Зеленського, Путіна й Трампа1:32:34Психіатр Глузман УПЕРШЕ сканує Зеленського, Путіна й Трампа
Психіатр Глузман УПЕРШЕ сканує Зеленського, Путіна й ТрампаТСН
Переглядів 728 тис.
Lp. Сердце Вселенной #60 РОЖДЕНИЕ ЛОЛОЛОШКИ [Финал] • Майнкрафт1:17:34Lp. Сердце Вселенной #60 РОЖДЕНИЕ ЛОЛОЛОШКИ [Финал] • Майнкрафт
Lp. Сердце Вселенной #60 РОЖДЕНИЕ ЛОЛОЛОШКИ [Финал] • МайнкрафтMrLololoshka (Роман Фильченков)
Переглядів 1,8 млн
МІША ЛЕБІГА і АНДРІЙ ЛУЗАН в СРАЧІ #321:09:35МІША ЛЕБІГА і АНДРІЙ ЛУЗАН в СРАЧІ #32
МІША ЛЕБІГА і АНДРІЙ ЛУЗАН в СРАЧІ #32ЛЕВИ НА ДЖИПІ
Переглядів 1 млн
How Strong Is Tape?00:24How Strong Is Tape?
How Strong Is Tape?Stokes Twins
Переглядів 87 млн
Мама загинула у блокадному Чернігові, а тато у полоні РФ #війна #люди #україна #shorts #смерть00:58Мама загинула у блокадному Чернігові, а тато у полоні РФ #війна #люди #україна #shorts #смерть
Мама загинула у блокадному Чернігові, а тато у полоні РФ #війна #люди #україна #shorts #смертьСуспільне Чернігів
Переглядів 214 тис.