Galera, para quem nunca tinha trabalhado com o Docker ainda, provavelmente vocês terão que ativar a virtualização de máquina na BIOS. Tem vários vídeos no UA-cam sobre como realizar o procedimento. Segui o tutorial do vídeo, exatamente como mostrado, mas esbarrei na hora de inserir o comando para instalar o OpenWeb UI, meu computador apresentava erro e não concluia a operação. Ativei a VM na BIOS e funcionou. Conteúdo padrão Asimov, sensacional, acompanho o canal há pouco tempo e estou curtindo demais...
Agora sim! Nada como não depender da OpenIA! E o melhor de tudo: Agora podemos criar agentes com CrewAI. Agora podemos treinar nossos próprios modelos. As oportunidades são ilimitadas!
@coachvalente A diferença é que antes você estava executando nos servidores das empresas e agora você executa em sua maquina local, sem necessidade se quer de internet. Suponha que um dia haja uma limitação de acesso via internet para os modelos tradicionais, tendo o seu localmente você está garantido.
estudo da microsoft e linkedin divulgado no inicio do mês, com 30 mil profissionais, de 30 países, aponta que 78% dos usuários de IA (que são 75% dos consultados) aderem ao que chamam BYOAI (traga sua própria IA). isso gera assistentes mais adaptados e, somado ao MoE (mistura de experts) é poderoso!
Excelente vídeo. Eu estava querendo uma opção para não ter que depender da OpenAI e esse vídeo salvou. Ótimo vídeo, muito bem explicado com dicas claras de como realizar cada passo. Só tenho que agradecer.
Show! Muito obrigado! Era o que eu estava procurando. E olha que vi alguns vídeos aqui no UA-cam e sugeriram um app pesado para rodar localmente, mas pelo que eu vejo desta maneira é pelo navegador. Interessante!
Muito agradecido pela dica !!! Eu implementei o app no Linux, só que não usei o Docker. Instalei diretamente como ensina o tutorial da página. Muito bom !!!
Agora fiquei bastante curioso kk Me parece que assim seria possível criar um agente baseado nas próprias opiniões e modo de pensar, daria para usar isso para aprimorar as próprias ideias sobre vários assuntos 😮
Muito bacana! Então esse video é o primeiro da série. Vou continuar acompanhando. Se possível, eu gostaria de ver se é possível criar uma agente Ai que controle determinados softwares para automações e rotinas diárias com simples comandos ou comandos de voz.
Sensacional. Segui a risca e já tenho os modelos rodando, localmente, no meu PC (que não é de última geração). Usando o modelo llama3:8b, consegui 78.9 tokens/s. Obrigado pelo conteúdo.
Sensacional... testei e funcionou corretamente, só fiquei com uma dúvida, como posso fazer para IA receber Áudios e analisar, vi alguns modelos de professores porém utilizando o Open WebUi não consigo enviar um áudio.
😎👍 . VALEU! Agora Sim! Conteúdos Prêmium! . Achei que eu teria que rodar toda a internet decifrando do inglês para o português durante meses, para aprender a criar "CHAT GPT LOCAL" para diversos fins, inclusive usar AGENTES para VARRER a INTERNET para pesquisar para mim, com precisão um certo assunto! . Depois de termina esta série, poderia nos ensinar como podemos criar esses MODELOS, para contribuírmos para a comunidade? . Valeu Mesmo Professor! Me tornei seu fã!
Muito bom, agora manda um vídeo usando essa llm pra conversar com os dados igual o outro video, tipo python+langchain+ollama, ai vou ser obrigado a virar aluno 😅
curti muito sua aula, só seu microfone aumentando e diminuindo tava um pouco ruim, rodei num ubuntu server e nem precisei de docker apenas rodei em ambiente virtual do Python
Eu uso o LM Studio, dá pra testar vários modelos também, e ele já tem uma interface gráfica própria, e você também poder rodar um servidor próprio local e até criar uma interface com html mais css, para consumir a api local via código, mas pra isso tem que ser desenvolvedor web que é o meu caso, mas sinceramente achei que ficou top com ollama, pra quem não quer perder tempo programando e tal o seu exemplo achei que ficou bem melhor do que com LM Studio.
Vídeo muito bom mais uma vez. Estou querendo montar um assistente para ser especialista em normas e procedimentos da minha empresa. Como eu poderia treinar o modelo para que ele ‘leia’ uma série de documentos? Da forma que você mostrou no Ollama, eu só consigo no prompt.
Acho que o que vc deseja seria o desenvolvimento de um sistema de RAG associado a um modelo local para que o Modelo possa responder perguntas com base no contexto recuperado por esse sistema.
Pode Rodar Tráfego pago, Tranquilo nesse Vídeo isso é o que a maioria das pessoas Querem desde de o Início do Chat GPT. Parabéns por seu trabalho. A didática é o mais importante a simplificação, aumentam a possibilidade e mais pessoas terem sua Ais Domésticas. No Control
Vídeo fantástico, fiquei bobo de ver na prática. Rodei em um Ryzen 5600G com 32gb de memória. O tempo de processamento até começar a responder leva em torno de 1min e quando inicia, a escrita evolui bem, um pouco mais lento que o ChatGPT faz atualmente.
Muito bom o conteudo , aprendendo demais , duas perguntas: Consigo organizar os modelos do Ollama Juntos com os modelos que ja estou baixando pelo LMStudio? Para nao ter que baixar modelos nos dois separadamente... Consigo acessar o Open Web UI pelo celular estando na mesma rede Wifi ou cabo que o servidor docker , ollama (não sei qual o lugar do servidor tb kkk) ? Valeu , parabenms mais uma vez !
Muito interessante todas essas possibilidades. Entendo as vantagens de rodar o modelo localmente mas em relação a precisão e coerência, utilizar esses modelos localmente não seria muito menos preciso e com menor qualidade se comparado ao ChatGPT ou Copilot por exemplo? Principalmente agora com ChatGPT 4o? Qual a sua visão em relação à isso ? Obrigado por sempre agregar tanto conteúdo de qualidade 👊🏻
Olá, estou gostando a série de vídeos. Você comentou que está rodando em um M1 Pro Max de 32GB. Qual seria o equivalente PC? Quero fazer upgrade da minha máquina (desktop) para trabalhar com esses modelos. Mais um vez parabéns pelos vídeos.
Oi, amigo! Muito obrigado. Infelizmente vou ficar te devendo essa informação com precisão... não sei te precisar qual configuração exata bateria com meu Macbook... mas se você pesquisar na internet sobre "IA Servers", vai perceber que o principal componente são placas de vídeo, especificamente na NVIDIA (acredito que com 8GB de RAM já teria uma performance excelente). Abraços!
qual vc indica mais para rodar LLMs Locais? Pesquisando no Google, vi que o Jan gera tokens de LLM muito mais rápido que outras em comparação (como por exemplo o GPT4ALL), mas e com relação ao Ollama?
Se não tem acesso nenhum à internet então como vc se comunica com a API do chatGPT? Não tem como rodar a IA sem acesso externo, a menos que vc use sua própria base de dados. Neste caso só conseguirá responder o que vc tem de informação na sua máquina.
teria como alimenta o modelo com um tipo especifico de assunto ,e eu indo aprendendo com ele, tipo assim coloca varios pdfs de livro de economia de um autor , e ai ele roda ,e responder minhas duvidas ,como se fosse o auto, ou entao me ajuda em programaçao ,mas queria alimenta ele com acesso a intenet ,pra ele me ensina a cria algoritmo genetico deep larning, e computaçao visual, ou ate mesmo aprende novas linguas ,tipo hebraico grego , assim ,teria como?, se sim ,poderia me explica?
É sim. O Ollama possui um comando chamado "serve" que nos entrega alguns endpoints para trabalharmos com ele como uma API. Acredito que na documentação você encontre mais informações.
Top!!! Com voz ficaria 1000. To pensando ja em montar uma maquina pra IA, pra rodar modelos mais avançados com uma placa nvidia. Rodar de 70bi e os que vierem
@coachvalente Realmente ta caro mesmo uma 3090, 4090 seria ideal...Eu tenho AMD aqui, umas 5700xt 8GB e umas 580 que usava pra minerar ethereum, eu vi um blog, o cara rodando Meta de 70bi com placa de 4GB. Vou montar um setup com algumas placas e testar, quero rodar o 70bi
Otimo video!! Uma pergunta: Como eu desisntalo tudo e começo do zero? Eu segui o tutorial e ficou 10, ai depois eu baixei o de 70B para testar e ficou tudo travando..... Eu deletei o conteúdo da pasta blobs e baixei tudo de novo, mas ta estranho agora, os modelos parecem alucinar muito e perdeu desempenho.
Bom dia. Seria possível, através do seu modelo de programação das IA's, fazer com que uma inteligência artificial como o chat gpt por exemplo, tivesse acesso autônomo a a seção de terminal em um servidor Linux e executar de forma autônoma a instalação e configuração de serviços? Exemplificando, eu entrego pra AI um servidor ubuntu recém instalado, informo todos os dispositivos de armazenamento e parametros desejados e peço para ele configurar ip's fixos dos dispositivos de rede, instalar servidores como apache, nextclound e suas dependências. Seria possível esse nível de interação?
Sim, é possível. Basicamente você precisa criar um agent com uma tool de execução de comandos no terminal. Construir este tipo de sistema faz parte do que ensinamos na trilha Aplicações IA com Python! Abraços
Tá legal o vídeo. Achei que começou parecendo vídeo de coach ou de quem vende curso kkkkk e não precisava explicar o Docker, pq quem não sabe o que é devia aprender invés de tá rodando uma LLM local
Oi, Marcio! Você pode abrir seu terminal e digital "ollama list" para verificar os modelos instalados. Para remover, basta digitar "ollama rm nome-do-modelo". Abraços!
Tentei configurar um Chat específico que ja tenho no chat gpt, mas em cima do chat GPT uncensored e clama 8b. Não consigo respostas. Usando M1 Pro e demorando muuuito, mesmo com 16gb de rum. estranho. Notei que o o Char uncensored tem 44b de tokens, por isso deu pau kkkk
Parece que fui o único azarado.. Instalei o Ollama, testei, tudo funcionando. Mas quando entro na interface do Openweb UI ele não localiza os modelos instalados no Ollama.. Não entendi essa...
Não, ollama só vai carregar em memória o modelo open source que vc baixa na sua máquina e daí fazer a inferência (a reposta) por isso não cobra igual usar o gpt.
Não vai rodar bem com placas de vídeo AMD, pois uso usa cuda cores que são predominantes em placas de vídeo Nvidia, o jeito é usar assim ou pegar uma placa de vídeo Nvidia
Fiz o teste em meu m3 pro 18GB, e acredite, pesou e travou. Não seu o que aconteceu, mais de ollama.server deu 25GB. Ai voltei pra usa o LLM studio. E fluiu, Esse ai não roda em memoria baixa igual a minha ?
TA MENTINDO NÃO RODA LEGAL SÓ DA REPOSTA POBRE , CARA TEM QUE TEM RAM E MUITO E PROCESSADOR POBRE NÃO RODA NÃO FICA INCENTIVANDO ESSA POR SÓ PARA DA DOR DE CABEÇA IGUAL EU
Galera, para quem nunca tinha trabalhado com o Docker ainda, provavelmente vocês terão que ativar a virtualização de máquina na BIOS. Tem vários vídeos no UA-cam sobre como realizar o procedimento.
Segui o tutorial do vídeo, exatamente como mostrado, mas esbarrei na hora de inserir o comando para instalar o OpenWeb UI, meu computador apresentava erro e não concluia a operação.
Ativei a VM na BIOS e funcionou.
Conteúdo padrão Asimov, sensacional, acompanho o canal há pouco tempo e estou curtindo demais...
Agora sim! Nada como não depender da OpenIA! E o melhor de tudo: Agora podemos criar agentes com CrewAI. Agora podemos treinar nossos próprios modelos. As oportunidades são ilimitadas!
Tem que ter máquina, senão vai passar raiva
I7 atual, 64G RAM e +12G de vídeo
Agora poderei criar minha própria SKYNET e deixar ela dominar o mundo. Hua hua hua. 😈😈😈😈😈😈😈😈🤭🤭🤭🤣🤣🤣🤣🤣😌
@@chvcnossa é mais pesada que um
COD da vida?
@@andreaparecidorodrigues7982 tem que ter processamento, cara. São muitos dados sendo processados para gerar a resposta.
@coachvalente A diferença é que antes você estava executando nos servidores das empresas e agora você executa em sua maquina local, sem necessidade se quer de internet. Suponha que um dia haja uma limitação de acesso via internet para os modelos tradicionais, tendo o seu localmente você está garantido.
Sensacional. Sou desenvolvedor há 10 anos e isso é muito impressionante :D
Estou acompanhando essa série, bom demais o conteúdo!
Muito bom, Romulo. Agradecemos, conte conosco!
estudo da microsoft e linkedin divulgado no inicio do mês, com 30 mil profissionais, de 30 países, aponta que 78% dos usuários de IA (que são 75% dos consultados) aderem ao que chamam BYOAI (traga sua própria IA).
isso gera assistentes mais adaptados e, somado ao MoE (mistura de experts) é poderoso!
Excelente vídeo. Eu estava querendo uma opção para não ter que depender da OpenAI e esse vídeo salvou.
Ótimo vídeo, muito bem explicado com dicas claras de como realizar cada passo. Só tenho que agradecer.
Caramba, muito massa. Valeu o conteúdo deve ser muito útil vou testar pra ver se me ajuda com meu trabalho.
@@joaomigueloliveira7342 Ficamos felizes que tenha gostado.
Show! Muito obrigado! Era o que eu estava procurando. E olha que vi alguns vídeos aqui no UA-cam e sugeriram um app pesado para rodar localmente, mas pelo que eu vejo desta maneira é pelo navegador. Interessante!
Muito agradecido pela dica !!! Eu implementei o app no Linux, só que não usei o Docker. Instalei diretamente como ensina o tutorial da página. Muito bom !!!
Brabo. Muito bom. Add o CrewAI nessa empreitada. Parabéns pelo conteúdo sempre de alto nível.
Cara parabéns seus conteúdos são extremamente preciosos.
Ficamos felizes e gratos por isso. Conte conosco!
Agora fiquei bastante curioso kk
Me parece que assim seria possível criar um agente baseado nas próprias opiniões e modo de pensar, daria para usar isso para aprimorar as próprias ideias sobre vários assuntos 😮
É isso que vou buscar fazer neste projeto! Abraços
Muito bacana! Então esse video é o primeiro da série. Vou continuar acompanhando. Se possível, eu gostaria de ver se é possível criar uma agente Ai que controle determinados softwares para automações e rotinas diárias com simples comandos ou comandos de voz.
Estes serão os próximos vídeos!
Sensacional. Segui a risca e já tenho os modelos rodando, localmente, no meu PC (que não é de última geração). Usando o modelo llama3:8b, consegui 78.9 tokens/s. Obrigado pelo conteúdo.
Continue contando conosco!
Sensacional... testei e funcionou corretamente, só fiquei com uma dúvida, como posso fazer para IA receber Áudios e analisar, vi alguns modelos de professores porém utilizando o Open WebUi não consigo enviar um áudio.
Cara, que conteúdo maravilhoso! Sensacional! Muito obrigado por compartilhar!
Nós que agradecemos, Alex. Continue contando conosco!
😎👍
.
VALEU! Agora Sim! Conteúdos Prêmium!
.
Achei que eu teria que rodar toda a internet decifrando do inglês para o português durante meses, para aprender a criar "CHAT GPT LOCAL" para diversos fins, inclusive usar AGENTES para VARRER a INTERNET para pesquisar para mim, com precisão um certo assunto!
.
Depois de termina esta série, poderia nos ensinar como podemos criar esses MODELOS, para contribuírmos para a comunidade?
.
Valeu Mesmo Professor! Me tornei seu fã!
Ficamos felizes por isso! Continue contando conosco. Breve soltamos mais conteúdos.
Muito bom !! Já da pra começar a brincar com muitas coisas, claro se tiver uma maquina boa pra isso.
obrigada pela dica, Deus te dê em dobro
Há alguns meses atrás tentei fazer, mas era muito difícil! Obrigado por disponibilizar o conteúdo!
Seja bem vindo!
Top demais. To animado, vou fazer o projeto junto daqui
Vamos com tudo!!
Muito bom, agora manda um vídeo usando essa llm pra conversar com os dados igual o outro video, tipo python+langchain+ollama, ai vou ser obrigado a virar aluno 😅
Está na lista!
ansioso pelo próximo vídeo.
Brother muito bom mesmo seu conteúdo... vou usar aqui em Portugal em meu PC.
Vídeo sensacional. Na expectativa do próximo episódio
Agradecemos, João. Fica de olho ;)
curti muito sua aula, só seu microfone aumentando e diminuindo tava um pouco ruim, rodei num ubuntu server e nem precisei de docker apenas rodei em ambiente virtual do Python
Eu uso o LM Studio, dá pra testar vários modelos também, e ele já tem uma interface gráfica própria, e você também poder rodar um servidor próprio local e até criar uma interface com html mais css, para consumir a api local via código, mas pra isso tem que ser desenvolvedor web que é o meu caso, mas sinceramente achei que ficou top com ollama, pra quem não quer perder tempo programando e tal o seu exemplo achei que ficou bem melhor do que com LM Studio.
Nossa ele é desenvolvedor de web kkkk
Tem que ser desenvolvedor web nada, coisa simples dessa aí a própria IA faz kkk
@@elan2199 kkkk
muito legal... obrigado de verdade... no Book3 360 ficou um pouco devagar mas só por ter isso offline vale super a pena.
Vídeo muito bom mais uma vez. Estou querendo montar um assistente para ser especialista em normas e procedimentos da minha empresa. Como eu poderia treinar o modelo para que ele ‘leia’ uma série de documentos? Da forma que você mostrou no Ollama, eu só consigo no prompt.
Acho que o que vc deseja seria o desenvolvimento de um sistema de RAG associado a um modelo local para que o Modelo possa responder perguntas com base no contexto recuperado por esse sistema.
Pode Rodar Tráfego pago, Tranquilo nesse Vídeo isso é o que a maioria das pessoas Querem desde de o Início do Chat GPT. Parabéns por seu trabalho.
A didática é o mais importante a simplificação, aumentam a possibilidade e mais pessoas terem sua Ais Domésticas.
No Control
Top D+!! Ansioso pelo próximo vídeo já.
Muito bom! Fica ligado ;)
Seus vídeos são muito bons! 🚀
Agradecemos, Renato. Conte conosco!
testei o de 8b tradicional na maquina ficou perfeito e muito rapido, acho que vou testar um modelo maior kk
O meu ficou muito pesado. Meu é 16 gb 3060 i7 12. A maquina é boa mais ficou muito pesado.
Vídeo fantástico, fiquei bobo de ver na prática. Rodei em um Ryzen 5600G com 32gb de memória. O tempo de processamento até começar a responder leva em torno de 1min e quando inicia, a escrita evolui bem, um pouco mais lento que o ChatGPT faz atualmente.
Continue contando conosco!
Pesado demais pra rodar
Show demais, Parabéns pelo video! Irmão qual programa de gravação de tela você utilizou pra deixar desse jeito no video?
Muito bom o conteudo , aprendendo demais , duas perguntas:
Consigo organizar os modelos do Ollama Juntos com os modelos que ja estou baixando pelo LMStudio? Para nao ter que baixar modelos nos dois separadamente...
Consigo acessar o Open Web UI pelo celular estando na mesma rede Wifi ou cabo que o servidor docker , ollama (não sei qual o lugar do servidor tb kkk) ?
Valeu , parabenms mais uma vez !
Opa obrigado. Consigo chamar os modelos por api ?
Excelente material! Parabens!
Agradecemos, Cleyton. Conte conosco!
Muito interessante todas essas possibilidades. Entendo as vantagens de rodar o modelo localmente mas em relação a precisão e coerência, utilizar esses modelos localmente não seria muito menos preciso e com menor qualidade se comparado ao ChatGPT ou Copilot por exemplo? Principalmente agora com ChatGPT 4o? Qual a sua visão em relação à isso ?
Obrigado por sempre agregar tanto conteúdo de qualidade 👊🏻
Incrível! Consegui criar aqui porpem ficou leeeeento q só a peeest kkkkk.
puts! Mas que modelo você tentou baixar?
Instruct 8b 4,7gb se n me engano 😔.
Baixei tbm a dolphin mas travou kkkk
Meu note é um i7 16gb ssd m2 500gb da Samsung. Um Samsung book 2 pro 360
Muito Show. Ela também escreve códigos? Cria artigos grandes? Gera tabelas?
Depende do modelo que você escolher. O OpenWebUI seria apenas a interface para acessa-las.
muito top ,alguem conseguiu respostas rapidas ? quero saber qual computador montar ou comprar
Eu posso criar um e dentro dele criar um API?
Ou se essa ferramenta contem API?
Ai man da pra usar modelos da huggingface, com esse ollama da meta?
Olá, estou gostando a série de vídeos. Você comentou que está rodando em um M1 Pro Max de 32GB. Qual seria o equivalente PC? Quero fazer upgrade da minha máquina (desktop) para trabalhar com esses modelos. Mais um vez parabéns pelos vídeos.
Oi, amigo! Muito obrigado.
Infelizmente vou ficar te devendo essa informação com precisão... não sei te precisar qual configuração exata bateria com meu Macbook... mas se você pesquisar na internet sobre "IA Servers", vai perceber que o principal componente são placas de vídeo, especificamente na NVIDIA (acredito que com 8GB de RAM já teria uma performance excelente).
Abraços!
qual vc indica mais para rodar LLMs Locais? Pesquisando no Google, vi que o Jan gera tokens de LLM muito mais rápido que outras em comparação (como por exemplo o GPT4ALL), mas e com relação ao Ollama?
Se não tem acesso nenhum à internet então como vc se comunica com a API do chatGPT? Não tem como rodar a IA sem acesso externo, a menos que vc use sua própria base de dados. Neste caso só conseguirá responder o que vc tem de informação na sua máquina.
Muito legal. Dúvida: existe limitaçao em relação ao tamanho do SSD ou apenas memoria RAM e placa de video?
Que incrível parabéns
Agradecemos! Conte conosco.
teria como alimenta o modelo com um tipo especifico de assunto ,e eu indo aprendendo com ele, tipo assim coloca varios pdfs de livro de economia de um autor , e ai ele roda ,e responder minhas duvidas ,como se fosse o auto, ou entao me ajuda em programaçao ,mas queria alimenta ele com acesso a intenet ,pra ele me ensina a cria algoritmo genetico deep larning, e computaçao visual, ou ate mesmo aprende novas linguas ,tipo hebraico grego , assim ,teria como?, se sim ,poderia me explica?
Da pra fazer uma transcrição de vídeo nesse sistema? 😮
qual é e como fazer pra gerar imagens? Tentei no codegemma, mas nao consegui.
Temos um vídeo no canal que ensina o passo a passo, chama-se "Adeus Midjourney". Abraços!
Olá bom dia. Seria possível criar tipo API para interagir com python e php.
É sim. O Ollama possui um comando chamado "serve" que nos entrega alguns endpoints para trabalharmos com ele como uma API. Acredito que na documentação você encontre mais informações.
@@AsimovAcademy Muito obrigado pela resposta.
Top!!! Com voz ficaria 1000. To pensando ja em montar uma maquina pra IA, pra rodar modelos mais avançados com uma placa nvidia. Rodar de 70bi e os que vierem
@coachvalente Realmente ta caro mesmo uma 3090, 4090 seria ideal...Eu tenho AMD aqui, umas 5700xt 8GB e umas 580 que usava pra minerar ethereum, eu vi um blog, o cara rodando Meta de 70bi com placa de 4GB. Vou montar um setup com algumas placas e testar, quero rodar o 70bi
@coachvalente não sei kkkk achei demais só 4GB rodar isso também...se achar posto o link aqui na resposta
@coachvalente Top vou dar uma olhada ness A770. Boa!
aguardando kkk
Otimo video!! Uma pergunta: Como eu desisntalo tudo e começo do zero? Eu segui o tutorial e ficou 10, ai depois eu baixei o de 70B para testar e ficou tudo travando..... Eu deletei o conteúdo da pasta blobs e baixei tudo de novo, mas ta estranho agora, os modelos parecem alucinar muito e perdeu desempenho.
Qual app vc usa para gravar sua cam e video da tela?
te amo, thanks
então, eu testei alguns pelo cmd tbm, tenho 16RAM e I5...achei muito lento, não testei com interface gráfica
Seu i5 é qual geração?
Esses modelos analisam PDF's? É possível essa função?
Oi, Bruno! Analisam sim. Seria aquela funcionalidade que mostrei no workspace. Abraços
Qual o hardware mínimo necessário para fazer rodar lhama 3?
Bom dia. Seria possível, através do seu modelo de programação das IA's, fazer com que uma inteligência artificial como o chat gpt por exemplo, tivesse acesso autônomo a a seção de terminal em um servidor Linux e executar de forma autônoma a instalação e configuração de serviços? Exemplificando, eu entrego pra AI um servidor ubuntu recém instalado, informo todos os dispositivos de armazenamento e parametros desejados e peço para ele configurar ip's fixos dos dispositivos de rede, instalar servidores como apache, nextclound e suas dependências.
Seria possível esse nível de interação?
Sim, é possível. Basicamente você precisa criar um agent com uma tool de execução de comandos no terminal. Construir este tipo de sistema faz parte do que ensinamos na trilha Aplicações IA com Python! Abraços
@@AsimovAcademy Você teria o link do curso para eu dar uma olhada?
será que roda em mac pro 2018 i5 quad-core 8gb ram?
Man será que e possível rodar ela direto de um HD externo? 🤔
Alguem sabe me dizer se tem como subir no github esse projeto para utilizar em outros PCS?
Rapaz ... eu consigo rodar um modelo em um NUC i7 ?
Sim
Alguém sabe como faz a ativação dos CUDAs da GPU no Llama? Seria muito grato!
Muito interessante
Tá legal o vídeo. Achei que começou parecendo vídeo de coach ou de quem vende curso kkkkk e não precisava explicar o Docker, pq quem não sabe o que é devia aprender invés de tá rodando uma LLM local
estou usando um MacBook Pro m1 com 8gb de ram, da para rodar ?
Rodrigo o mixtral ficou muito pesado, como faz para remover?]
Oi, Marcio!
Você pode abrir seu terminal e digital "ollama list" para verificar os modelos instalados. Para remover, basta digitar "ollama rm nome-do-modelo". Abraços!
@@AsimovAcademy obrigado
Até deu certo. Só não aparece nenhum modelo instalado
Tentei configurar um Chat específico que ja tenho no chat gpt, mas em cima do chat GPT uncensored e clama 8b.
Não consigo respostas. Usando M1 Pro e demorando muuuito, mesmo com 16gb de rum. estranho. Notei que o o Char uncensored tem 44b de tokens, por isso deu pau
kkkk
Vídeo maravilhoso, mas no meu MacBook M3 PRO de 8Gb ficou muito lento. Mesmo usando outras compactações.
Hello man, I'm really interested in take your courses, but I have a doubt, are your courses subtitled in Spanish?
video TOP!
Meu i3 décima geração 20 de ram nao rodou
Parece que fui o único azarado.. Instalei o Ollama, testei, tudo funcionando. Mas quando entro na interface do Openweb UI ele não localiza os modelos instalados no Ollama.. Não entendi essa...
o melhor é o Mhasss! kkk
0:38 ele perguntou como fazer metanfetamina, uma droga.
Ninguém tinha notado. Obrigado por avisar 😂
@@AsimovAcademy que nada, tmj kkkkkk
Ao rodar na sua máquina não cobra token, né?
Não, ollama só vai carregar em memória o modelo open source que vc baixa na sua máquina e daí fazer a inferência (a reposta) por isso não cobra igual usar o gpt.
@@guusacchi eu consegui baixar mas ta muito lento, como faz pra acelerar? Tenho Radeon Vega 5
Não vai rodar bem com placas de vídeo AMD, pois uso usa cuda cores que são predominantes em placas de vídeo Nvidia, o jeito é usar assim ou pegar uma placa de vídeo Nvidia
Ele é bastante pesado mesmo
Incrivel
e como q eu apago ua linguagemdo ollama
SE VOCE ASSIM NÃO PRECISAVA DO GRANDE BANCO DE DADOS NÃO ENGANA O PESSOAL
@@daylarosa9985 calma, calabreso
Tenho uma 3060 de 12RAM e gera quase 35 tokens/s
Tudo di grátis?
não funciona
Agora é só comprar um M3 PRO MAX e ser feliz !
esses AIs são muito pesadas, o gasto com a energia paga a mensalidade do chatGPT. as IAs offline são só quebra galho.
fico imaginando o fiasco dessas AIs offline com o snapdragon x elite.
Para que eu vou querer ficar rodando IAs? Deixa os bichinhos quietos tadinho. judiação.
Mãs….mâs…mãs…
MAC com windows!!!! Que blasfêmia!!!!!! (Mesmo sendo máquina virtual) 😩😩😩😡😱😱😱😱😱😱😱
🤣
SO mais usado ué, se fizer somente pra MAC é conteúdo pra minoria kkkk
Fiz o teste em meu m3 pro 18GB, e acredite, pesou e travou. Não seu o que aconteceu, mais de ollama.server deu 25GB. Ai voltei pra usa o LLM studio. E fluiu, Esse ai não roda em memoria baixa igual a minha ?
Deploy na nuvem. Com llma por favooooor
TA MENTINDO NÃO RODA LEGAL SÓ DA REPOSTA POBRE , CARA TEM QUE TEM RAM E MUITO E PROCESSADOR POBRE NÃO RODA NÃO FICA INCENTIVANDO ESSA POR SÓ PARA DA DOR DE CABEÇA IGUAL EU