É o FIM do ANALISTA de DADOS?
Вставка
- Опубліковано 13 вер 2024
- Conheça a nova Trilha Aplicações de IA com Python: link.asimov.ac...
Repositório do projeto: github.com/asi...
Neste vídeo eu ensino como construir um sistema utilizando Python e um LLM (large language model) moderno que é capaz de analisar dados de maneira profissional baseado em simples perguntas.
Sistemas como este, no futuro, deverão estar presentes nos principais softwares de análise de dados e podem remover a barreira técnica existente entre gestores e os insights contidos nos dados.
Mas será que isto pode representar uma ameaça à profissão?
Deixe sua opinião!
Para quem vende o medo: a profissão de analista de dados vai acabar.
Para quem vende esperança: a profissão de analista de dados vai ter um salto de produtividade, vão focar mais em amadurecer seu pensamento para fazer perguntas melhores, vão poder sofisticar as análises em pouco tempo, correlacionando com mais dados, vão se tornar "gestores JR", o gestor vira um gestor de gestores que trará mais e mais ideias e maturidade às perguntas.
Mas vão reduzir muito as vagas, então sim, vai "acabar" porque 1 pessoa vai fazer o trabalho de 5
@@pedroalvim9275 Todo tipo de automação pode, sim, ter esse primeiro efeito de contratar menos ou demitir mais em um primeiro momento.
Mas o trabalho sempre expande.
Se você quiser ocupar suas 24h diárias com seu trabalho atual, nunca vai faltar o que fazer.
E da mesma forma, pensando no mercado, nas empresas, nas demandas, sempre vai surgindo coisas novas.
Então na prática, vão precisar de mais analistas que fazem o trabalho de +5.
Gestor Jr. é um nome chique para um cargo operacional que sinceramente acho que nem vai existir. Para quem ja é da area de dados o melhor é se aprofundar em IA, ML, processamento de linguagem natural, matemática para ml, tudo isso ainda vai durar um bom tempo.
Infelizmente as empresas já estão substituindo quem eles podem por IA, é só olhar os casos de demissão em massa de todas as empresas de tecnologia no mundo todo.
@@dan2go todas essas demissões em massa foram antes do hype com IA.
IA diga-se de passagem existe há décadas. Agora é que todo mundo fala nisso.
As demissões em massa são reflexo de uma política expansionista por parte das empresas, em época de juros baixos, valuation alto, dinheiro sendo injetado na economia e disponível para captação, reforçando essa política expansionista.
Até que chega um momento em que o dinheiro injetado na economia global durante o COVID começa a gerar inflação de consumo, escassez de mao de obra qualificada gerando inflacao de salários com as pessoas de tech mudando de empresas em intervalos curtos pra pleitear salários cada vez mais altos, inflação demandando juro alto para ser contida, isso afeta valuation, captação de recursos, a política expansionista termina, a empresa começa a cortar projetos, começa a analisar produtividade de funcionários que ganham muito e produzem pouco, e aí começam as demissões em massa.
O copilot do 365 faz isso também, tipo a partir de uma planilha do excel você pode pedir pra ele gerar um BI com o power BI, realmente é surpreendente.
meu pai tem 70 anos, ele sabe python,sql,power bi, excel basico e aws, a idade e um problema para ele começar em dados? ele sabe ingles tambem
@@RIVALDOPEREIRA-lk1hrseu pai já sabe o principal que é usar as ferramentas. Agora é testar gráficos com esses dados e ver o que faz sentido em termos de negócios. Tem canais que ensinam isso e livros também, tipo o curso do hashtag e o livro storytelling com dados
A grande sacada é que o analista terá que virar um cientista. Para operar com excelência um sistema como esse é necessário um Cientista de Dados. De preferência um que entenda as limitações e nuances do sistema.
meu pai tem 70 anos, ele sabe python,sql,power bi, excel basico e aws, a idade e um problema para ele começar em dados? ele sabe ingles tambem
Também é uma dúvida minha idade é algo relevante na área?
No meu ponto de vista, o mais difícil da área não são as ferramentas, isso de fato você aprende em 6 meses, mas a visão analítica, saber fazer perguntas e comprovar/não comprovar com os dados, saber os parâmetros relevantes e afins, não são possíveis obter com 6 meses. Talvez a idade seja um fator positivo no quesito "maldade". A grande questão é, o mercado pensa assim ?
Me parece que hoje o que valorizam é o conhecimento de ferramentas e não dá ciência em si
Obrigado por esse conteúdo de alta qualidade, e pela continuidade e constância do canal. Parabéns! Existe uma forma de fazer com alguma LLM gratuita?
Cara, muito insano esse código. Já imaginei aqui a implementação visual também, além da I.A responder com aúdio, ilustrar em gráfico também. Muito insano!
Se as perguntas corretas são o fator primordial e não podem ser terceirizadas para a IA, isto significa que a identificação e formulação correta e precisa dos problemas a serem resolvidos continuarão a ser prerrogativas humanas.
Acredito que não vai acabar, ao contrário, qualquer um poderá ser um analista de dados, assim como qualquer pessoa poderá se tornar desenvolver. O Core das soluções, das IAs, ainda será necessário dominar programação, mas a casca, a solução pronta para criar resoluções de problemas ou tomadas de decisão, qualquer pessoa, com um mínimo de interesse e conhecimento em tecnologia, vai poder fazer.
Cara, que vídeo bom . Seguinte, tem como fazer algo assim com o llama3 ou qualquer llm open source?
Virei seu fã mano!!!!
Agradecemos!! Seja bem vindo e conte conosco.
Video muito interessante. Esse está dentro do curso de vocês também? Fiquei muito interessado em aprender o projeto completo... Quero conversar com meus dados usando voz também hahahha
Gostei demais do assistente com linguagem natural. No Power BI já existe o Copilot só que é pago, ele gera relatórios automaticamente com base nas perguntas feitas no prompt
.
E a proteção de dados ? LGPD não pode liberar dados pra qualquer plataforma
meu pai tem 70 anos, ele sabe python,sql,power bi, excel basico e aws, a idade e um problema para ele começar em dados? ele sabe ingles tambem
Lgpd=dados sensíveis apenas
@@RIVALDOPEREIRA-lk1hrta em todas hein bixo, caraca!
Jamais! Ele pode e deve começar em dados sem dúvidas. Na minha turma há idosos na mesma área e são super bem dotados
@@xXmisamoXx Ainda bem
Parabéns pelo video e pelo canal em geral, sempre consumo seus conteúdos pela qualidade e pela didática. Uma crítica construtiva, seu microfone tem uma captura excelente quando está perto, mas de longe sua voz fica bem fraca e menos nítida, como vc se mexe bastante durante o vídeo, afastando e aproximando do microfone, tem gerado uma variação brusca de volume. Minha opinião é que quanto mais perto e direcionado melhor, a qualidade do som fica muito diferente. Enfim, não deixaria de consumir só por esse detalhe, obviamente, mas fica a observação. Abraço!
Muito obrigado pelo comentário! Estou tentando corrigir o áudio (que historicamente é um problema de nosso canal). No último vídeo mudamos a posição aqui (afastamos um pouco) e equalizamos na pós-edição... vamos ver se melhora haha abraços!!
@@AsimovAcademy Achei justo voltar aqui para comentar a melhora significativa no audio dos videos! Os ultimos 3 videos do canal ficaram com uma qualidade de audio fantastica, fora o conteudo em sí. Abraço!
Excelente, com interface de voz então é um primor. Neste modelo, seria possível carregar mais conjuntos de dados, como tabelas dinâmicas de um DRE e dados analíticos de um ERP?
Oi, Roberto! Seria sim. Para isto, uma abordagem válida seria utilizar uma biblioteca chamada CrewAI, que permite a combinação de múltiplos agentes inteligentes que trabalhariam em conjunto para encontrar a melhor resposta (no exemplo em questão, construí apenas um agente). Abraços.
@@AsimovAcademy ou langflow, né?
Neste exemplo, seu conjunto de dados ficam sob dominio da openAI, públicos na internet ou permanecem privados?
Oi, Julio! Neste caso específico passei para a OpenAI apenas o cabeçalho e parte dos dados, para que ela consiga entender que operações em Python deve me devolver para que seja capaz de responder à pergunta feita. Mas, se segurança dos dados for um problema para você e não confiar na OpenAI, é possível rodar o mesmo sistema com modelos locais (usando Ollama, por exemplo).
@@AsimovAcademy legal, vou pesquisar a respeito. Obrigado pela resposta e conteúdo dos vídeos!
Os dados sensíveis tbm podem ser anomizados (acho que e essa palavra) kkk
É possível ler dados relacionados, exemplo simples tabela clientes x vendas de um banco de dados postgres ou mysql?
Mas, como se usa o ChatGPT, não é recomendável para usar com base de dados com informações sensíveis de uma empresa, certo?
Esse é o desafio que estamos tendo. Uma abordagem que estou testando é apenas descrever para ele a estrutura dos dados como seus metadados e pedir uma análise utilizando pandas e executar local.
Olá! Sugerimos rodar com modelos locais que não enviam dados pela internet.
Sou leigo. Como se faz isso? Valeria um vídeo? @@AsimovAcademy
Já tem o código disponível na plataforma ou no github?
Comentário.py pra engajar o algo...ritmo
Excelente
Olá, me chamo Bruno! Gostaria de saber: como funciona o pagamento do gpt-3.5-turbo-0613?? Dei uma pesquisada, mas não compreendi muito bem...
Olá! O pagamento é feito por utilização, medido por tokens enviados. As informações oficiais estão aqui: openai.com/pricing
Discordo que possa "acabar" com a profissão de analista de dados pois querendo ou não o analista tbm precisa ter conhecimento do negócio e principalmente o contexto para coletar os dados ou dizer se o dataset lido pela IA tem os requisitos de qualidade.
Fora que tem que ser bem louco pra colocar dados da empresa pro ChatGPT ler né kkkk
vc e analista de dados? se sim qual seu insta
meu pai tem 70 anos, ele sabe python,sql,power bi, excel basico e aws, a idade e um problema para ele começar em dados? ele sabe ingles tambem
Brabo
Existe alguma trilha dentro da Asimov Academy que ensina sobre langchain?
Sim. Se chama: Aplicações IA com Python. Deixamos o link na descrição. Abraços!
@@AsimovAcademy Fiz a trilha mas não encontrei especificamente sobre langchain, poderia indicar qual o curso?
@@danielmoura2301 Vai ser publicado nas próximas semanas!
Ótimo conteúdo, porém não funcionou aqui no meu, ficou faltando a explicação sobre o pulo do gato, que é o agent_type=AgentType.OPENAI_FUNCTIONS,
Na execução dá
agent_type=AgentType.OPENAI_FUNCTIONS,
^
SyntaxError: invalid syntax
Sem esclarecer essa função não funciona, como sóu iniciante, não funfou kkkkkkk
coloca o link do repositório no github
Esse é o problema, as pessoas não sabem perguntar
meu Vscode não reconhece o comando Source...como eu resolvo isso?
pode somente retirar o source... pelo que entendi é um comendo do MAC... aqui funcionou tirando
Sei não hein, a IA não enxerga as respostas para as perguntas corretas( que o usuário não fez ) nas análises..
isso é muito incrível, mas é o fim de muitas profissões.
Acredito que o intuito final da tecnologia é acabar com o trabalho dos animais racionais, ou seja, humanos, acredito que o futuro se baseie exatamente nisso, todo mundo odeia ter que trabalhar e ser forçado a fazer algo por apenas "existir"
Descobri agora q vc abandou o curso de IA da Udemy, uma pena.
Oi, Bruno. Aquele curso foi feito há quase 10 anos. Todos nossos esforços agora estao na Asimov Academy. Caso queira conhecer, deixo o convite: asimov.academy. Abraços
@@AsimovAcademy perguntas idiotas respostas cretinas dica: só assisti e aprende irmão para de caça piolho em galinha ❤
Tudo que um computador consiga fazer sozinho deixará de ser considerado uma "profissão". Sua atividade no mundo será apenas respirar... 😜
Isso só vai acontecer se não dominar a AI, alguém precisa aperto o botão kkkkkkk
Pena que o isac ta com sotaque paulista 😂