Це відео не доступне.
Перепрошуємо.
Deploy Open LLMs with LLAMA-CPP Server
- Додати в
- Мій плейлист
- Переглянути пізніше
- Поділитися
Поділитися
Вставка
Розмір відео:
- Опубліковано 19 сер 2024
КОМЕНТАРІ • 12
Наступне
Автоматичне відтворення
Don't Use Polly in .NET Directly. Use this instead!Nick Chapsas
Переглядів 57 тис.
host ALL your AI locallyNetworkChuck
Переглядів 985 тис.
Deploy AI Models to Production with NVIDIA NIMPrompt Engineering
Переглядів 9 тис.
Валерий Ширяев о событиях в Курской области и их последствиях / Редакция. ИнтервьюРедакция
Переглядів 3,2 млн
На РФ паніка. Путін б'є ІСКАНДЕРАМИ по Курщині #shorts24 Канал онлайн
Переглядів 517 тис.
Яшин - интервью после тюрьмы / вДудьвДудь
Переглядів 8 млн
Running With Bigger And Bigger FeastablesMrBeast
Переглядів 107 млн
Do NOT Learn Kubernetes Without Knowing These Concepts...Travis Media
Переглядів 269 тис.
All You Need To Know About Running LLMs Locallybycloud
Переглядів 139 тис.
Local LLM with Ollama, LLAMA3 and LM Studio // Private AI ServerVirtualizationHowto
Переглядів 9 тис.
Installing Llama cpp on WindowsCognibuild - Understanding AI
Переглядів 1,6 тис.
GGUF quantization of LLMs with llama cppAI Bites
Переглядів 2,4 тис.
Don’t run Proxmox without these settings!Christian Lempa
Переглядів 178 тис.
Getting Started with Ollama and Web UIDan Vega
Переглядів 11 тис.
How to scrape the web for LLM in 2024: Jina AI (Reader API), Mendable (firecrawl) and Scrapegraph-aiLLMs for Devs
Переглядів 163 тис.
The Future of Knowledge Assistants: Jerry LiuAI Engineer
Переглядів 74 тис.
«Синку, ти не переживай. Сюди вона не впаде, вони всі повз летять»: військовий про перші дні війниСуспільне Запоріжжя
Переглядів 766 тис.
Gli occhiali da sole non mi hanno coperto! 😎Senza Limiti
Переглядів 15 млн
бедный дед на ламборгини проверяет силу прохожих и платит за подъем гириABRACADABRA TV
Переглядів 8 млн
КУРСЬК, СПИШ? | Упс, а що трапилось #75Aleksey Durnev
Переглядів 781 тис.
Киселев. Генералы и Лукашенко предали Путина, за Россию воевать некому, Путину конецДмитрий Гордон
Переглядів 1,3 млн
⚡❗Массовая сдача в плен российских солдат в Курской областиВОТ ТАК
Переглядів 3,3 млн
⚡"УДАЧІ, БАТЯ!": воїни ЗСУ і місцевий мешканець у м. Суджа Курської областіYanina Sokolova
Переглядів 966 тис.
If you want to build robust RAG applications based on your own datasets, this is for you: prompt-s-site.thinkific.com/courses/rag
👏 I'm glad to see you're focusing on DevOps options for AI apps. In my opinion, LlamaCpp will remain the best way to launch a production LLM server. One notable feature is its support for hardware-level concurrency. Using the `-np 4` (or `--parallel 4`) flag allows running 4 slots in parallel, where 4 can be any number of concurrent requests you want.
One thing to remember the context window will be divided accordingly. For example, if you pass `-c 4096`, each slot will have a context size of 1024. Adding the `--n-gpu-layers` (`-ngl 99`) flag will offload the model layers to your GPU, providing the best performance. So, a command like `-c 4096 -np 4 -ngl 99` will offer excellent concurrency on a machine with a 4090 GPU.
Mozilla's Llamafile format is very flexible for deploying LLM(s) across operating systems. NIM has the advantage of bundling other types of models like audio or video.
amazing thanks !
can we finetune it using lora? i need it to be about ai so i have doqnloded data about ai and i want to add it to this model
bro, I wanna ask, do I need to use GPU to run this ?
No, llama-cpp specifically enables llms on cpus. its just going to be a bit slow, mate.
@@sadsagftrwre oke thanks for the answer. I just want to tried it but afraid it won't worked without GPU.
@@andreawijayakusuma6008 I tried on CPU and it worked.
Which server specs did you use?
Its running on A6000 with 48GB vRAM. Hope that helps.