How we optimized AI cost using vLLM and k8s (Clip)

Поділитися
Вставка
  • Опубліковано 25 лис 2024

КОМЕНТАРІ • 1

  • @OpenSauced
    @OpenSauced  3 місяці тому

    Full video ua-cam.com/video/UaGpeiE3-uM/v-deo.html

Наступне
Автоматичне відтворення
How OpenSauced Builds Huge Scale AI Systems20:43How OpenSauced Builds Huge Scale AI Systems
How OpenSauced Builds Huge Scale AI SystemsThe Secret Sauce
Переглядів 135
The Evolution of Multi-GPU Inference in vLLM | Ray Summit 202430:52The Evolution of Multi-GPU Inference in vLLM | Ray Summit 2024
The Evolution of Multi-GPU Inference in vLLM | Ray Summit 2024Anyscale
Переглядів 515
Product Market Fit With Short Links | dub.co | Steven Tey34:03Product Market Fit With Short Links | dub.co | Steven Tey
Product Market Fit With Short Links | dub.co | Steven TeyThe Secret Sauce
Переглядів 612
Jake Paul vs. Mike Tyson FIGHT HIGHLIGHTS 🥊 | ESPN Ringside02:35Jake Paul vs. Mike Tyson FIGHT HIGHLIGHTS 🥊 | ESPN Ringside
Jake Paul vs. Mike Tyson FIGHT HIGHLIGHTS 🥊 | ESPN RingsideESPN
Переглядів 34 млн
Cool Items!🥰 New Gadgets, Smart Appliances, Kitchen Tools Utensils, Home Cleaning, Beauty #shorts00:22Cool Items!🥰 New Gadgets, Smart Appliances, Kitchen Tools Utensils, Home Cleaning, Beauty #shorts
Cool Items!🥰 New Gadgets, Smart Appliances, Kitchen Tools Utensils, Home Cleaning, Beauty #shortsCool Items Official
Переглядів 34 млн
Внезапно! Что на самом деле подорвал «Орешник»14:24Внезапно! Что на самом деле подорвал «Орешник»
Внезапно! Что на самом деле подорвал «Орешник»Время-вперёд!
Переглядів 3,6 млн
😱 БЕЗУМЦЫ! РФ впервые АТАКОВАЛА Украину МЕЖКОНТИНЕНТАЛЬНОЙ баллистической ракетой #shorts00:28😱 БЕЗУМЦЫ! РФ впервые АТАКОВАЛА Украину МЕЖКОНТИНЕНТАЛЬНОЙ баллистической ракетой #shorts
😱 БЕЗУМЦЫ! РФ впервые АТАКОВАЛА Украину МЕЖКОНТИНЕНТАЛЬНОЙ баллистической ракетой #shortsFREEДOM. LIVE
Переглядів 3,1 млн
vLLM on Kubernetes in Production27:31vLLM on Kubernetes in Production
vLLM on Kubernetes in ProductionKubesimplify
Переглядів 3,8 тис.
Sam Altman's Shocking Prediction: 'We'll Solve ALL of Physics2:47Sam Altman's Shocking Prediction: 'We'll Solve ALL of Physics
Sam Altman's Shocking Prediction: 'We'll Solve ALL of PhysicsAI IXX
Переглядів 4,2 тис.
Qwen Just Casually Started the Local AI Revolution16:05Qwen Just Casually Started the Local AI Revolution
Qwen Just Casually Started the Local AI RevolutionCole Medin
Переглядів 89 тис.
First 100 GitHub Stars23:40First 100 GitHub Stars
First 100 GitHub StarsThe Secret Sauce
Переглядів 211
Exo: Run your own AI cluster at home by Mohamed Baioumy25:56Exo: Run your own AI cluster at home by Mohamed Baioumy
Exo: Run your own AI cluster at home by Mohamed BaioumyDevoxx
Переглядів 3,6 тис.
The State of vLLM | Ray Summit 202435:23The State of vLLM | Ray Summit 2024
The State of vLLM | Ray Summit 2024Anyscale
Переглядів 817
It’s time to move on from Agile Software Development (It's not working)11:07It’s time to move on from Agile Software Development (It's not working)
It’s time to move on from Agile Software Development (It's not working)Coding with Dee
Переглядів 333 тис.
GraphRAG: The Marriage of Knowledge Graphs and RAG: Emil Eifrem19:15GraphRAG: The Marriage of Knowledge Graphs and RAG: Emil Eifrem
GraphRAG: The Marriage of Knowledge Graphs and RAG: Emil EifremAI Engineer
Переглядів 65 тис.
Go Production: ⚡️ Super FAST LLM (API) Serving with vLLM !!!11:53Go Production: ⚡️ Super FAST LLM (API) Serving with vLLM !!!
Go Production: ⚡️ Super FAST LLM (API) Serving with vLLM !!!1littlecoder
Переглядів 35 тис.
Мама у нас строгая00:20Мама у нас строгая
Мама у нас строгаяVAVAN
Переглядів 11 млн
I am the angry pumpkin 🎃 #plantsvszombies #pvz #animation #laurashigihara #pvz2 #videogames #cartoon00:49I am the angry pumpkin 🎃 #plantsvszombies #pvz #animation #laurashigihara #pvz2 #videogames #cartoon
I am the angry pumpkin 🎃 #plantsvszombies #pvz #animation #laurashigihara #pvz2 #videogames #cartoonsupershigi
Переглядів 9 млн
⚡️ МАЙК ТАЙСОН ОФІЦІЙНО ПОВЕРНУВСЯ! Огляд бою Джейк Пол - Майк Тайсон04:19⚡️ МАЙК ТАЙСОН ОФІЦІЙНО ПОВЕРНУВСЯ! Огляд бою Джейк Пол - Майк Тайсон
⚡️ МАЙК ТАЙСОН ОФІЦІЙНО ПОВЕРНУВСЯ! Огляд бою Джейк Пол - Майк ТайсонТАЙК МАЙСОН
Переглядів 386 тис.
А я думаю что за звук такой знакомый? 😂😂😂00:15А я думаю что за звук такой знакомый? 😂😂😂
А я думаю что за звук такой знакомый? 😂😂😂Денис Кукояка
Переглядів 4,3 млн
Симбу закрыли дома?! 🔒 #симба #симбочка #арти00:41Симбу закрыли дома?! 🔒 #симба #симбочка #арти
Симбу закрыли дома?! 🔒 #симба #симбочка #артиСимбочка Пимпочка
Переглядів 4,8 млн
Холостяк 13 - Випуск 1 від 01.11.2024 | ПРЕМ’ЄРА5:19:38Холостяк 13 – Випуск 1 від 01.11.2024 | ПРЕМ’ЄРА
Холостяк 13 - Випуск 1 від 01.11.2024 | ПРЕМ’ЄРАХолостяк / Холостячка
Переглядів 1,9 млн
Молодой боец приземлил легенду!01:02Молодой боец приземлил легенду!
Молодой боец приземлил легенду!МИНУС БАЛЛ
Переглядів 2 млн
Час РАСПЛАТЫ от МАЙКА ТАЙСОНА01:00Час РАСПЛАТЫ от МАЙКА ТАЙСОНА
Час РАСПЛАТЫ от МАЙКА ТАЙСОНАБЕЗУМНЫЙ СПОРТ
Переглядів 4 млн