- 20
- 52 106
Prof. Marlon Ferrari
Brazil
Приєднався 19 вер 2020
Engenheiro de Dados e Analytics 👨💻
Professor de Ensino Superior 👨🏫
Bora aprender? 🚀
Insta: @prof.marlonferrari
Professor de Ensino Superior 👨🏫
Bora aprender? 🚀
Insta: @prof.marlonferrari
Desenvolvendo Multiagentes
Fala turm@! Dessa vez iremos iniciar os estudos em programação Multiagentes com SPADE, Python e XMPP para compreender como ele pode auxiliar uma central de atendimento a solucionar problemas dos clientes. Bora pra aula e já deixa o like! 🚀🚀🍿
Link do Repo: github.com/ferrarimarlon/multiAgentesDemo
Link do Repo: github.com/ferrarimarlon/multiAgentesDemo
Переглядів: 216
Відео
Vetores, Matrizes e Gradiente: Redes Neurais como Aproximadoras Universais de Funções
Переглядів 7364 місяці тому
Fala turma!! Iremos projetar uma Rede Neural do zero pra entender como ela aprende utilizando suas camadas, gradientes e multiplicação de matrizes e vetores. Esta é uma abordagem de base e um passo anterior ao da construção de um modelo de Machine Learning tradicional (com treino e teste, ajustes de bias e variância e métricas de performance). As Redes Neurais são conhecidas como aproximadoras ...
Vetorização em CPU e GPU: primeiros passos
Переглядів 1 тис.7 місяців тому
Fala pessoal! Neste vídeo iremos abordar um dos fundamentos para algoritmos mais eficientes: a vetorização. Mais do que apenas utilizar recursos de hardware, esta técnica está atrelada a uma capacidade de modelar um problema para extrair a melhor performance das operações computacionais. Se está procurando uma introdução completa, esse vídeo é pra você!
Não aprenda NLP sem isto! O fundamento principal
Переглядів 1,4 тис.8 місяців тому
Fala pessoal! Neste vídeo iremos abordar um conceito importante sobre os modelos de linguagem. Muitos deles utilizam conceitos já há muito trabalhados e que é de grande valia para quem está começando na área. Vamos fazer um tour do zero pra quem quer entender!! Link do repo: github.com/ferrarimarlon/NGrams-e-LLMs/blob/main/StatLM_NGRAM.ipynb
Teste de Einstein com IA Tradicional e GPT
Переглядів 70311 місяців тому
Faala pessoal! De volta das férias com um vídeo diferenciado, onde usamos duas gerações diferentes de IA para resolver o teste de Einstein (originalmente conhecido como o teste da zebra). Link Github: github.com/ferrarimarlon/einsteinGPT-IA-Tradicional Créditos da versão tradicional: artificialcognition.github.io/who-owns-the-zebra
Q&A com BERT
Переглядів 1,7 тис.Рік тому
Nesse vídeo iremos abordar como usar um modelo Open Source otimizado para extração de respostas em documentos. Esse projeto complementa o nosso anterior de RAG ao evitarmos o uso da GPT: ua-cam.com/video/0xqh9Wfi4hw/v-deo.html Recomendo fortemente o vídeo introdutório do BERT: ua-cam.com/video/LphBQB1amrw/v-deo.html Bons estudos!
Um Tour Pela Data Science
Переглядів 365Рік тому
Aula com objetivo de aliar um caso prático à aplicação de ciência de dados.
Introdução ao RAG - Retrieval Augmented Generation
Переглядів 10 тис.Рік тому
E bora de mais um vídeo pessoal! Dessa vez é pra integrar nossas teorias dos vídeos anteriores. Seguem os vídeos pra ficar fera nesse assunto: 1- Como funciona o KNN? ua-cam.com/video/Vkh2ay8hbbo/v-deo.htmlsi=lfFxfSkZli2M88Hb 2- O que é LLM e Embedding? ua-cam.com/video/LphBQB1amrw/v-deo.htmlsi=X56tELEm4l-2JlKO 3- O que é VectorDB? ua-cam.com/video/-GHKhVgtwsA/v-deo.htmlsi=dyUaSxWRHNL81gSx 4- U...
GPT em Documentos PDF
Переглядів 3,6 тис.Рік тому
Integrando seus documentos com GPT! Nota: o custo de utilização da API durante as fases de criação e testes do projeto foram de $ 0,39. Baseado no projeto: www.kaggle.com/code/pritishmishra/bookgpt-search-engine-for-books
Tecnologias em IA Generativa: impacta a Engenharia de Dados?
Переглядів 464Рік тому
Nesse papo abordamos as tendências desbloqueadas pelo Embedding, onde podemos perceber uma presença maior da Engenharia de Dados centrada em IA, promovida por Bases de Dados orientadas a Vetores e mais recentemente pela VectorOps.
Criando um LLM do Zero
Переглядів 25 тис.Рік тому
Introdução de como criar um modelo de linguagem utilizando Transformers. Link do Repo: github.com/mfmarlonferrari/NietzscheLLM
ChatGPT - Entendendo o básico
Переглядів 1,1 тис.Рік тому
É sempre difícil explicar conceitos de deep learning sem ser chato ou cansativo. Nesse vídeo busquei abordar o núcleo de como funciona a base da ChatGPT e me aprofundei no mecanismo de entendimento de contextos que ela possui, o self-attention. Infelizmente não abordo os mecanismos de recompensa e de reconstrução dos vetores por serem muitos longos, mas penso em gravar um próximo. Valeu! #chatg...
5 Dicas para Iniciantes na Área de Dados
Переглядів 3122 роки тому
É muito comum ficar perdido e "estacionar" quando se começa na área de dados. Seja pela complexidade dos conceitos, seja pela dificuldade de se encontrar um projeto fim-a-fim. Aí vão algumas dicas pra te ajudar a ter um melhor engajamento!
Playlist Automática no Spotify - HandsOn
Переглядів 1662 роки тому
Playlist Automática no Spotify - HandsOn
Stone Data Challenge 2021 - Engenharia de Dados
Переглядів 1472 роки тому
Stone Data Challenge 2021 - Engenharia de Dados
Sistema de Recomendação de Filmes - HandsOn parte 2
Переглядів 3674 роки тому
Sistema de Recomendação de Filmes - HandsOn parte 2
Sistema de Recomendação de Filmes - HandsOn parte 1
Переглядів 1,9 тис.4 роки тому
Sistema de Recomendação de Filmes - HandsOn parte 1
aulas, muito bom o conteudo e explicações
Obrigado 🚀🚀
Suas explicações são suaves, de fácil entendimento e muito ricas, obrigada pelo conteúdo.
Muito obrigado 🚀🚀
Parabéns pela clareza e didática em passar o conteúdo
Muito obrigado 🚀🚀
Vídeo muito bom parabéns cara!! nem sou de comentar em vídeos mas você conduz muito bem 😊
Por comentários assim que me motivo a continuar!!! Muito obrigado!
Parabéns professor
Muito obrigado amigo!!
Cara, muito boa a sua explicação e o material utilizado. Gostarai de ter acesso a esse colab para realizar simulação no meu ambiente.
@profmarlonferrari pode compartilhar esse colab?
fiz um projeto assim, antes de conhecer sobre "rag" achei sensacional o fim do projeto, todos os dados rápido e facil no whatsapp, muito bom ver na teoria mais sobre
Muito obrigado 🚀🚀
Fantástica aula! Parabéns! Lembrei dos meus tempos de Cálculo 1. Estou acompanhando todos os seus vídeos!
Muito obrigado amigo 🚀
Excelente didática, Professor. Entrei em contato por mensagem no instagram. Abraço
Para um PDF que não vai mudar o conteúdo. Você iria de RAG ou Fine Tuning?
Já descobri. Obrigado, parabéns pelo vídeo.
RAG mesmo amigo! Fine tuning apenas para LLMs especialistas. Muito obrigado pelo feedback 🚀🚀
Parabéns!!! muito boa a aula e a didática! aprendi muito nesse vídeo obg.
Muito obrigado!!!
Esse conhecimento que o Sr. está despejando em nós causará uma tremenda revolução sócial tecnológica... E esse é apenas o primeiro vídeo que vejo aqui no seu canal.. Sem palavras para você meu amigo, parabéns
Honrado com o seu comentário amigo! Esse é o propósito maior 🚀
Cara obg, vou envolver esse assunto segunda na Daily, vlw mesmo.
Feliz em poder contribuir amigo!!
Qual é a parte dois? Pra mim assistir
Olá!! Segue Q&A com BERT ua-cam.com/video/S14zEs-cX_o/v-deo.html
Parabéns. Didática perfeita.
Muito obrigado amigo!!
MUITO BOM
Muito obrigado!!
Professor, voce pode disponibilizar os links mencionados no video aqui nos comentários, não consegui pegar todos
Mano, que delicinha!, isso que é ensinar e saber sobre o conteúdo de verdade ✊🏽🚀
Muito obrigado 🚀🚀
Você tem LinkedIn ? Estou tentando criar um modelo LLM, mas o que tenho é muito rudimentar, não sei como Refinar
que aula excelente. meus parabens.
Muito obrigado 🚀🚀
Parabéns pelo conteúdo e didática. Gostaria de uma orientação se possível é claro. Tenho em mente usar a IA para treina-la a responder perguntas sobre produtos e suas características ou seja, tenho uma base de dados com códigos, descrições, tamanhos, cores, composição etc. Quero submeter esses dados ao modelo e treina-lo para responder perguntas sobre os mesmos. Por onde posso começar? Grato!
Muito obrigado!!! Já cola no meu vídeo sobre Q&A disponível!
Daora demais, tem alguma dica de artigos ou trabalhos acadêmicos que posso estar lendo? Adorei o assunto por conta desse vídeo e gostaria de me aprofundar melhor nos conceitos de transformers, mecanismo de atenção e no gpt
Muito obrigado!!! Já cola no meu vídeo sobre LLM do zero disponível! 🚀
Conteúdo excelente professor! Super didático e com ótimos exemplos. Obrigado!
Muito obrigado 🚀🚀
Muito bom!
Obrigado!!
Excelente explicação. Fiquei impressionado. Gratidão. Continue disponibilizando esses conteúdos. De continuidade sobre RAG, Banco de Dados Vetoriais Engenharia de prompts sendo aplicada com esses temas. Parabéns!
Muito obrigado pelo feedback! Honrado
Ótimo trabalho professor, estou implementando Rag (usando Langchain) em uma empresa grande!
Sucesso!!
Vídeo incrível professor!
Muito obrigado!!
Massa!!!! Ótima didática
Valeu!!
Parabéns pelo seu trabalho.
Muito obrigado!!
Professor e colegas, estou pesquisando, mas ainda não consegui encontrar uma configuração intermediária para não ficar muito caro. Estou em busca de um notebook onde eu venha conseguir trabalhar com ciência de dados e Inteligência Artificial, a minha única exigência é que venha ser 13 a 14 polegada. Aceito sugestões.
Para responder a essa pergunta, é importante levar em consideração o mercado brasileiro, onde os preços e a disponibilidade de modelos podem variar bastante. Uma boa sugestão seria indicar notebooks intermediários que tenham as configurações necessárias para ciência de dados e inteligência artificial. Abaixo segue uma resposta adaptada para o contexto brasileiro: --- Olá, Rafael! Entendo sua necessidade de uma configuração intermediária e com tela entre 13 e 14 polegadas. Para trabalhar com ciência de dados e inteligência artificial, é essencial que o notebook tenha um bom desempenho. Sugiro buscar modelos com as seguintes especificações mínimas: Processador: Intel Core i5 ou superior (de preferência da 10ª geração em diante) ou AMD Ryzen 5 ou superior. Memória RAM: 16 GB (8 GB também pode funcionar, mas poderá ser limitado em alguns casos). Armazenamento: SSD de pelo menos 512 GB para agilidade na leitura e escrita de dados. Placa gráfica: Não é essencial para ciência de dados (na maioria dos casos), mas se for trabalhar com deep learning, uma GPU dedicada como NVIDIA GTX 1650 ou superior será útil. Tela: Entre 13 e 14 polegadas, conforme sua preferência, com resolução Full HD (1920x1080). Modelos que podem atender a essa necessidade no Brasil e são relativamente acessíveis: 1. Acer Aspire 5 (A514-54-54LT) Tela de 14 polegadas, Core i5, 8 GB de RAM (expansível), SSD de 512 GB. Ótima relação custo-benefício. 2. Lenovo Ideapad 3i Tela de 14 polegadas, Intel Core i5, 8 GB de RAM, SSD de 512 GB. Design compacto e desempenho bom para tarefas intermediárias. 3. Dell Inspiron 14 5000 Tela de 14 polegadas, processador Intel ou AMD, 16 GB de RAM e SSD. Um pouco mais caro, mas confiável e durável. 4. Asus ZenBook 14 Tela de 14 polegadas, com Core i5 ou Ryzen 5, 8 GB de RAM e SSD. Compacto e leve, ideal para transporte. --- Dica extra: Utilize sites como Zoom, Buscapé ou Promobit para comparar preços e verificar promoções. Além disso, considere parcelar ou buscar descontos à vista em sites confiáveis. Boa sorte na escolha!
já saiu o video do fine-tuning? seria muito interessante
To devendo!!
Man, teria como colocar um arquivo txt com informações de boas práticas de clean code e fazer com que ele refatore um determinado código escolhido para os padrões do clean code? tudo isso de graça e utilizando llm grátis e sem necessidade de colocar a chave de api ou algo assim
Olá! Sim. Essa é a ideia de multi agents LLM. Os guardrails seriam estas instruções que são garantias para atingir certa qualidade de resultado.
@@profmarlonferrari opa, muito obrigado por responder humilde
Imagina! Tamo aí. Segue uma referência: medium.com/@anuragmishra_27746/future-of-coding-multi-agent-llm-framework-using-langgraph-092da9493663
@@profmarlonferrari valeu manin, muito obrigado 😘😘
Conteúdo excelente.
Obrigado pelo feedback!!
Estudo isso a quase um ano, fui ver seu vídeo pra reforçar alguns conceitos, e seu vídeo é muito bom, parabéns pelo trabalho!
Muito obrigado pelo relato amigo!
Daria pra fazer um para corrigir redação?
Olá Elliton!! No vídeo tratamos a criação de um encoder fundacional de LLM. A tarefa de correção seria uma otimização de um modelo. Porém , a depender do que espera de retorno desta correção, precisaremos de uma arquitetura do tipo decoder, diferente do BERT.
@@profmarlonferrari No meu caso é que ele consiga devolver a nota das 5 competências, já tenho todos os dados, porém, estou em busca de um modelo que seja relevante para usá-lo dentro de um app localmente, sem que precise de internet, mas até o determinado momento não achei.
tenho algumas duvidas, tipo vc fez arquivos de gigas de tamanho para tentar fazer um alto complete, mas o livro deve ter no maximo algumas centenas de kbites. Me pareceu meio atirar com um canhão pra acertar uma formiga, e errar ainda. E a gpu usada custa 30k reais, eu comecei o video achando q faria uma llm usavel e fiquei meio triste rs. Mas mt boa a didatica, sai entendendo mais as possibilidades e limitações das LLMs.
Eu também fiquei decepcionado com o como as frazes viram tolkens pois eu imaginava que era mais inteligente, levando em conta uma parte do contexto. Ex: na fraze: você é bonito tokenizando seria um numero para cada palavra. Porém quebrando a fraze de uma forma diferente daria para relacionar "você é" em apenas um token que significaria que a palavra seguinte ja seria um adjetivo, e que esta atribuindo um estado que sera dito a "você"... Enfim quantas vezes esse mesmo caso n se repetiria no texto, será teria menos tolkens? será que o transformens vai treinar e prever melhor com essa logica?
Opa Jonathas, ponto interessante! O que falou sobre o extremo custo de viabilidade de um LLM é justamente o maior problema atual. Os custos para um modelo funcional são altos e necessita de uma gigantesca quantidade de dados. O Gemini Ultra por exemplo, possui um custo estimado de 191 milhões de dólares e muitas horas envolvidas. O objetivo foi mostrar do zero o funcionamento de treino de um LLM, mas de fato para ser funcional, temos uma boa jornada por aí! Obrigado
@@profmarlonferrari E eu acho muito interessante que depois de feito a matriz de funções pronto o programa fica "leve" a ponto do GPT Gemini serem de graça. Então se gasta milhões de dólares em GPU, energia e tempo, e gera algo "simples" comparado com os gastos. Como em uma mina que se gasta muito com tempo e equipamento pra conseguir pedrinhas, que somadas n dão nem 5kg mas valem mais do q todo o processo.
Muito bom!! Sugiram algumas dúvidas sobre o processo, pelo que eu entendi o BERT seria mais para completar um texto certo? ou ele serve como uma IA generativa como o GPT também? Para um cenário onde eu precise de um modelo para conversação/gerar conteúdos com base no treinamento, teria algum modelo que você recomenda?
Muito obrigado!! Sobre a questão, já seria caso para uma arquitetura decoder como o GPT! O bert é adequado para analisar contextos, sentimentos, Q&A. Para o conversacional seria necessário um RAG, tenho um vídeo demonstrando também.
Alguém sabe se o colab do código foi compartilhado?
To devendo meu amigo!!
Professor, voce já aplicou esse conhecimento em algum projeto comercial? Poderia falar de como foi a experiencia?
Olá, pessoalmente, já apliquei sim, os resultados são surpreendentes, ainda mais se você tiver uma infra cloud de apoio como Oracle Cloud
Opa amigo! Para projetos reais, temos a necessidade de muitos agentes envolvidos em garantir a segurança das respostas e do prompt. São chamados de guardrails, que precisam ser à prova de balas para evitar que o objetivo do RAG não seja desvirtuado. E em projetos reais, o uso de dados internos corporativos para modelos externos é um gargalo. Vejo organizações hospedando modelos internamente para contornar este cenário.
Prof Marlon excelente conteudo. Duvidas: Quando voce usa o input desse documento, gerando os embedding, fica dentro do banco blz, porem usando um openai pelo langflow + 1 banco, os dados ficam somente no banco ou ficam publico na openai ? Falo isso por talvez serem dados sensíveis e não poder ficar publico
Olá Jeferson! Em relação a esse ponto, os dados são trafegados sim para os servidores open ai e por uma questão de governança de dados, é ideal evitar. A solução para utilização de dados estratégicos para esta finalidade é a utilização de modelos internos, como o llama, hospedados de forma assistida pela empresa. Espero ter ajudado!
Gostei da matéria, conteúdo 10... Vou aplicar no meu projeto de IA.
Honra em poder ajudar!
te achei aqui por acaso! vc é muito bom professor! parabens
Muito obrigado!!
Parabéns pelo vídeo incrível! Fiz minha implementação de um robozinho que sabe responder números de telefone de uma lista de contatos usando a llm roberta do pierreguilou do vídeo anterior 😊 Obrigado, professor!!
Parabéns pela exploração do tema!
Conteúdo excelente! Consegui fazer minha implementação graças ao vídeo. Ao final, eu retornei pro usuário: tokenizer.convert_tokens_to_string.
caramba que aula! não apenas o conhecimento mais também a didática, muito obrigado!
Muito obrigado!!!
Um conteúdo desses de graça? Obrigado professor
Muito bom
Parabéns professor, essa e uma abordagem eu como Dev. não estava ciente deste ganho com vetorização isso e uma mão na roda para varias situações ...
Muito obrigado!!! Esse foi o intuito
boa tarde prof, poderia explicar pra que serve o .sort q vc usou em 44:31
Opa Felipe! É para ordenar os mais relevantes em relação ao vizinho mais próximo.