Rode IAs na sua PRÓPRIA MÁQUINA
Вставка
- Опубліковано 9 лип 2024
- Conheça a Trilha Aplicações IA, da Asimov Academy:
asimov.academy/trilha-aplicac...
Neste vídeo explico como instalar o Ollama e Open WebUI para ter acesso a uma interface 100% local e offline para executar LLMs abertas e ter controle total sobre elas.
00:00 Rodando uma IA na sua própria máquina?
01:36 Quais são as configurações mínimas?
02:14 Instalando o Ollama
11:56 Explorando o Open WebUI - Наука та технологія
estudo da microsoft e linkedin divulgado no inicio do mês, com 30 mil profissionais, de 30 países, aponta que 78% dos usuários de IA (que são 75% dos consultados) aderem ao que chamam BYOAI (traga sua própria IA).
isso gera assistentes mais adaptados e, somado ao MoE (mistura de experts) é poderoso!
Agora sim! Nada como não depender da OpenIA! E o melhor de tudo: Agora podemos criar agentes com CrewAI. Agora podemos treinar nossos próprios modelos. As oportunidades são ilimitadas!
Tem que ter máquina, senão vai passar raiva
I7 atual, 64G RAM e +12G de vídeo
Agora poderei criar minha própria SKYNET e deixar ela dominar o mundo. Hua hua hua. 😈😈😈😈😈😈😈😈🤭🤭🤭🤣🤣🤣🤣🤣😌
@@chvcnossa é mais pesada que um
COD da vida?
@@andreaparecidorodrigues7982 tem que ter processamento, cara. São muitos dados sendo processados para gerar a resposta.
Qual a diferença do antes pro LLM local em si?
Sensacional. Sou desenvolvedor há 10 anos e isso é muito impressionante :D
Estou acompanhando essa série, bom demais o conteúdo!
Muito bom, Romulo. Agradecemos, conte conosco!
ansioso pelo próximo vídeo.
Pode Rodar Tráfego pago, Tranquilo nesse Vídeo isso é o que a maioria das pessoas Querem desde de o Início do Chat GPT. Parabéns por seu trabalho.
A didática é o mais importante a simplificação, aumentam a possibilidade e mais pessoas terem sua Ais Domésticas.
No Control
Sensacional. Segui a risca e já tenho os modelos rodando, localmente, no meu PC (que não é de última geração). Usando o modelo llama3:8b, consegui 78.9 tokens/s. Obrigado pelo conteúdo.
Continue contando conosco!
Pesado demais pra rodar
muito legal... obrigado de verdade... no Book3 360 ficou um pouco devagar mas só por ter isso offline vale super a pena.
Muito bom !! Já da pra começar a brincar com muitas coisas, claro se tiver uma maquina boa pra isso.
Brother muito bom mesmo seu conteúdo... vou usar aqui em Portugal em meu PC.
Top D+!! Ansioso pelo próximo vídeo já.
Muito bom! Fica ligado ;)
Vídeo sensacional. Na expectativa do próximo episódio
Agradecemos, João. Fica de olho ;)
Excelente vídeo. Eu estava querendo uma opção para não ter que depender da OpenAI e esse vídeo salvou.
Ótimo vídeo, muito bem explicado com dicas claras de como realizar cada passo. Só tenho que agradecer.
É importante não depender da open AI
Brabo. Muito bom. Add o CrewAI nessa empreitada. Parabéns pelo conteúdo sempre de alto nível.
Vídeo muito bom mais uma vez. Estou querendo montar um assistente para ser especialista em normas e procedimentos da minha empresa. Como eu poderia treinar o modelo para que ele ‘leia’ uma série de documentos? Da forma que você mostrou no Ollama, eu só consigo no prompt.
Acho que o que vc deseja seria o desenvolvimento de um sistema de RAG associado a um modelo local para que o Modelo possa responder perguntas com base no contexto recuperado por esse sistema.
Eu uso o LM Studio, dá pra testar vários modelos também, e ele já tem uma interface gráfica própria, e você também poder rodar um servidor próprio local e até criar uma interface com html mais css, para consumir a api local via código, mas pra isso tem que ser desenvolvedor web que é o meu caso, mas sinceramente achei que ficou top com ollama, pra quem não quer perder tempo programando e tal o seu exemplo achei que ficou bem melhor do que com LM Studio.
Nossa ele é desenvolvedor de web kkkk
Excelente material! Parabens!
Agradecemos, Cleyton. Conte conosco!
Seus vídeos são muito bons! 🚀
Agradecemos, Renato. Conte conosco!
Top demais. To animado, vou fazer o projeto junto daqui
Vamos com tudo!!
Agora fiquei bastante curioso kk
Me parece que assim seria possível criar um agente baseado nas próprias opiniões e modo de pensar, daria para usar isso para aprimorar as próprias ideias sobre vários assuntos 😮
É isso que vou buscar fazer neste projeto! Abraços
video TOP!
te amo, thanks
Que incrível parabéns
Agradecemos! Conte conosco.
Muito interessante
Incrivel
Cara, que conteúdo maravilhoso! Sensacional! Muito obrigado por compartilhar!
Nós que agradecemos, Alex. Continue contando conosco!
Show demais, Parabéns pelo video! Irmão qual programa de gravação de tela você utilizou pra deixar desse jeito no video?
Muito bom o conteudo , aprendendo demais , duas perguntas:
Consigo organizar os modelos do Ollama Juntos com os modelos que ja estou baixando pelo LMStudio? Para nao ter que baixar modelos nos dois separadamente...
Consigo acessar o Open Web UI pelo celular estando na mesma rede Wifi ou cabo que o servidor docker , ollama (não sei qual o lugar do servidor tb kkk) ?
Valeu , parabenms mais uma vez !
Muito bacana! Então esse video é o primeiro da série. Vou continuar acompanhando. Se possível, eu gostaria de ver se é possível criar uma agente Ai que controle determinados softwares para automações e rotinas diárias com simples comandos ou comandos de voz.
Estes serão os próximos vídeos!
Ele é bastante pesado mesmo
Muito interessante todas essas possibilidades. Entendo as vantagens de rodar o modelo localmente mas em relação a precisão e coerência, utilizar esses modelos localmente não seria muito menos preciso e com menor qualidade se comparado ao ChatGPT ou Copilot por exemplo? Principalmente agora com ChatGPT 4o? Qual a sua visão em relação à isso ?
Obrigado por sempre agregar tanto conteúdo de qualidade 👊🏻
Se não tem acesso nenhum à internet então como vc se comunica com a API do chatGPT? Não tem como rodar a IA sem acesso externo, a menos que vc use sua própria base de dados. Neste caso só conseguirá responder o que vc tem de informação na sua máquina.
Muito legal. Dúvida: existe limitaçao em relação ao tamanho do SSD ou apenas memoria RAM e placa de video?
muito top ,alguem conseguiu respostas rapidas ? quero saber qual computador montar ou comprar
😎👍
.
VALEU! Agora Sim! Conteúdos Prêmium!
.
Achei que eu teria que rodar toda a internet decifrando do inglês para o português durante meses, para aprender a criar "CHAT GPT LOCAL" para diversos fins, inclusive usar AGENTES para VARRER a INTERNET para pesquisar para mim, com precisão um certo assunto!
.
Depois de termina esta série, poderia nos ensinar como podemos criar esses MODELOS, para contribuírmos para a comunidade?
.
Valeu Mesmo Professor! Me tornei seu fã!
Ficamos felizes por isso! Continue contando conosco. Breve soltamos mais conteúdos.
Qual app vc usa para gravar sua cam e video da tela?
Muito bom, agora manda um vídeo usando essa llm pra conversar com os dados igual o outro video, tipo python+langchain+ollama, ai vou ser obrigado a virar aluno 😅
Está na lista!
Ai man da pra usar modelos da huggingface, com esse ollama da meta?
testei o de 8b tradicional na maquina ficou perfeito e muito rapido, acho que vou testar um modelo maior kk
O meu ficou muito pesado. Meu é 16 gb 3060 i7 12. A maquina é boa mais ficou muito pesado.
Há alguns meses atrás tentei fazer, mas era muito difícil! Obrigado por disponibilizar o conteúdo!
Seja bem vindo!
Alguem sabe me dizer se tem como subir no github esse projeto para utilizar em outros PCS?
Alguém sabe como faz a ativação dos CUDAs da GPU no Llama? Seria muito grato!
será que roda em mac pro 2018 i5 quad-core 8gb ram?
então, eu testei alguns pelo cmd tbm, tenho 16RAM e I5...achei muito lento, não testei com interface gráfica
Top!!! Com voz ficaria 1000. To pensando ja em montar uma maquina pra IA, pra rodar modelos mais avançados com uma placa nvidia. Rodar de 70bi e os que vierem
Também to pensando, mas nvidia ta superfaturado, vou das novas gerações da AMD com suporte otimizado pra IA (RCm3)
@@coachvalente Realmente ta caro mesmo uma 3090, 4090 seria ideal...Eu tenho AMD aqui, umas 5700xt 8GB e umas 580 que usava pra minerar ethereum, eu vi um blog, o cara rodando Meta de 70bi com placa de 4GB. Vou montar um setup com algumas placas e testar, quero rodar o 70bi
@@AnFr33 placa de 4gb man? não é meme nao? talvez o cara tenha 128 de ram e um puta de um processador pra empurrar então
@@AnFr33 Acabei de descobrir as placas Intel A770, com specs absurdas e preços maravilhosos. Antes não tinham suportes via software, mas atualizaram e agora já da pra rodar LLM basicamente da mesma forma que com AMd e NVIDIA.
@@coachvalente não sei kkkk achei demais só 4GB rodar isso também...se achar posto o link aqui na resposta
Otimo video!! Uma pergunta: Como eu desisntalo tudo e começo do zero? Eu segui o tutorial e ficou 10, ai depois eu baixei o de 70B para testar e ficou tudo travando..... Eu deletei o conteúdo da pasta blobs e baixei tudo de novo, mas ta estranho agora, os modelos parecem alucinar muito e perdeu desempenho.
Vídeo fantástico, fiquei bobo de ver na prática. Rodei em um Ryzen 5600G com 32gb de memória. O tempo de processamento até começar a responder leva em torno de 1min e quando inicia, a escrita evolui bem, um pouco mais lento que o ChatGPT faz atualmente.
Continue contando conosco!
Da pra fazer uma transcrição de vídeo nesse sistema? 😮
Vídeo maravilhoso, mas no meu MacBook M3 PRO de 8Gb ficou muito lento. Mesmo usando outras compactações.
estou usando um MacBook Pro m1 com 8gb de ram, da para rodar ?
Incrível! Consegui criar aqui porpem ficou leeeeento q só a peeest kkkkk.
puts! Mas que modelo você tentou baixar?
Instruct 8b 4,7gb se n me engano 😔.
Baixei tbm a dolphin mas travou kkkk
Meu note é um i7 16gb ssd m2 500gb da Samsung. Um Samsung book 2 pro 360
Como funcionaria criar os proprios agentes dentro desse ecossistema? No caso, se eu quero especializar a I.A para algo. Seria pelo OpenWebUI diretamente? Ou tenho que treina-lo localmente e exportar?
Qual o hardware mínimo necessário para fazer rodar lhama 3?
teria como alimenta o modelo com um tipo especifico de assunto ,e eu indo aprendendo com ele, tipo assim coloca varios pdfs de livro de economia de um autor , e ai ele roda ,e responder minhas duvidas ,como se fosse o auto, ou entao me ajuda em programaçao ,mas queria alimenta ele com acesso a intenet ,pra ele me ensina a cria algoritmo genetico deep larning, e computaçao visual, ou ate mesmo aprende novas linguas ,tipo hebraico grego , assim ,teria como?, se sim ,poderia me explica?
Tentei configurar um Chat específico que ja tenho no chat gpt, mas em cima do chat GPT uncensored e clama 8b.
Não consigo respostas. Usando M1 Pro e demorando muuuito, mesmo com 16gb de rum. estranho. Notei que o o Char uncensored tem 44b de tokens, por isso deu pau
kkkk
Hello man, I'm really interested in take your courses, but I have a doubt, are your courses subtitled in Spanish?
Eu sempre pensei nisso...
Tem como colocar a documentação da linguagem, do framework e livros digitais nele e personalizar a busca em um material específico?
Oi, William! Tem sim (através do upload dos arquivos na aba de Workspace)... Mas se você procurar em nosso canal, ensino a alimentar modelos de linguagem utilizando RAG também. Abraços!
Olá, estou gostando a série de vídeos. Você comentou que está rodando em um M1 Pro Max de 32GB. Qual seria o equivalente PC? Quero fazer upgrade da minha máquina (desktop) para trabalhar com esses modelos. Mais um vez parabéns pelos vídeos.
Oi, amigo! Muito obrigado.
Infelizmente vou ficar te devendo essa informação com precisão... não sei te precisar qual configuração exata bateria com meu Macbook... mas se você pesquisar na internet sobre "IA Servers", vai perceber que o principal componente são placas de vídeo, especificamente na NVIDIA (acredito que com 8GB de RAM já teria uma performance excelente).
Abraços!
Man será que e possível rodar ela direto de um HD externo? 🤔
Olá bom dia. Seria possível criar tipo API para interagir com python e php.
É sim. O Ollama possui um comando chamado "serve" que nos entrega alguns endpoints para trabalharmos com ele como uma API. Acredito que na documentação você encontre mais informações.
@@AsimovAcademy Muito obrigado pela resposta.
Rodrigo o mixtral ficou muito pesado, como faz para remover?]
Oi, Marcio!
Você pode abrir seu terminal e digital "ollama list" para verificar os modelos instalados. Para remover, basta digitar "ollama rm nome-do-modelo". Abraços!
@@AsimovAcademy obrigado
qual é e como fazer pra gerar imagens? Tentei no codegemma, mas nao consegui.
Temos um vídeo no canal que ensina o passo a passo, chama-se "Adeus Midjourney". Abraços!
Esses modelos analisam PDF's? É possível essa função?
Oi, Bruno! Analisam sim. Seria aquela funcionalidade que mostrei no workspace. Abraços
Rapaz ... eu consigo rodar um modelo em um NUC i7 ?
Sim
Tenho uma 3060 de 12RAM e gera quase 35 tokens/s
Tudo di grátis?
Ao rodar na sua máquina não cobra token, né?
Não, ollama só vai carregar em memória o modelo open source que vc baixa na sua máquina e daí fazer a inferência (a reposta) por isso não cobra igual usar o gpt.
@@guusacchi eu consegui baixar mas ta muito lento, como faz pra acelerar? Tenho Radeon Vega 5
Não vai rodar bem com placas de vídeo AMD, pois uso usa cuda cores que são predominantes em placas de vídeo Nvidia, o jeito é usar assim ou pegar uma placa de vídeo Nvidia
não funciona
Agora é só comprar um M3 PRO MAX e ser feliz !
esses AIs são muito pesadas, o gasto com a energia paga a mensalidade do chatGPT. as IAs offline são só quebra galho.
fico imaginando o fiasco dessas AIs offline com o snapdragon x elite.
Mãs….mâs…mãs…
Para que eu vou querer ficar rodando IAs? Deixa os bichinhos quietos tadinho. judiação.
MAC com windows!!!! Que blasfêmia!!!!!! (Mesmo sendo máquina virtual) 😩😩😩😡😱😱😱😱😱😱😱
🤣
SO mais usado ué, se fizer somente pra MAC é conteúdo pra minoria kkkk
Fiz o teste em meu m3 pro 18GB, e acredite, pesou e travou. Não seu o que aconteceu, mais de ollama.server deu 25GB. Ai voltei pra usa o LLM studio. E fluiu, Esse ai não roda em memoria baixa igual a minha ?