Engenharia de Dados Academy
Engenharia de Dados Academy
  • 102
  • 78 064
Instale o Airflow no Kubernetes sem Complicações | Cortes da Academy
Aprenda a instalar o Airflow no Kubernetes na parática!
📌 Live completa: ua-cam.com/users/live_teX-jw55Y0
🔴WORKSHOP
Desenvolvendo Pipelines de Dados Modernos com Apache Airflow
Aprenda como usar as técnicas e recursos avançados
que o Apache Airflow oferece para criar pipelines de dados modernos mais eficientes e altamente escaláveis.
💻 ONLINE | GRATUITO
🎓 Com CERTIFICADO de participação
➡ links.engenhariadedadosacademy.com/ws14-airflow
Переглядів: 22

Відео

Maximize Economia e Eficiência no Airflow com K8s | Cortes da Academy
Переглядів 1812 годин тому
Maximizar a economia e eficiência no Apache Airflow com Kubernetes (K8s) envolve a combinação de ajustes na infraestrutura e no gerenciamento de recursos. No vídeo, ensinamos algumas estratégias chave para isso! 📌 Live completa: ua-cam.com/users/live_teX-jw55Y0 🔴WORKSHOP Desenvolvendo Pipelines de Dados Modernos com Apache Airflow Aprenda como usar as técnicas e recursos avançados que o Apache ...
Otimize seus Workers do Airflow no K8s
Переглядів 2112 годин тому
Para otimizar os Workers do Apache Airflow no Kubernetes (K8s), é importante ajustar recursos, configurações e utilizar boas práticas. Veja o vídeo para aprender algumas maneiras de melhorar o desempenho dos Workers no Airflow com K8s. 📌 Live completa: ua-cam.com/users/live_teX-jw55Y0 🔴WORKSHOP Desenvolvendo Pipelines de Dados Modernos com Apache Airflow Aprenda como usar as técnicas e recursos...
Como Instalar o Airflow no Kubernetes | Cortes da Academy
Переглядів 1514 годин тому
No vídeo, te ensinamos de forma simples, como instalar o Apache Airflow no Kubernetes. 📢 Veja a Live completa: ua-cam.com/users/live_teX-jw55Y0 #Airflow #Apacheairflow #Kubernetes #orquestraçãodedados
O que é o Apache Airflow | Cortes da Academy
Переглядів 1914 годин тому
O Apache Airflow é uma plataforma de orquestração de workflows*open-source, amplamente utilizada para automatizar, agendar e monitorar pipelines de dados complexos. Ele permite criar e gerenciar fluxos de trabalho definidos como DAGs (Directed Acyclic Graphs), facilitando o agendamento e a execução de tarefas dependentes de forma eficiente e escalável. Com integrações poderosas, o Airflow é ide...
WORKSHOP Apache Airflow | Engenharia de Dados Academy
Переглядів 9814 днів тому
WORKSHOP Desenvolvendo Pipelines de Dados Modernos com Apache Airflow Aprenda como usar as técnicas e recursos avançados que o Apache Airflow oferece para criar pipelines de dados modernos mais eficientes e altamente escaláveis. 💻 ONLINE | GRATUITO 🎓 Com CERTIFICADO de participação ➡ links.engenhariadedadosacademy.com/workshop-airflow-yte
O que é Streamhouse? | Cortes da Academy
Переглядів 37Місяць тому
Entenda, de forma simples e dinâmica, o que é o Streamhouse! 🔔 Inscreva-se no canal e ative o sino de notificações para receber nossos conteúdos! 📚 Conheça nossa plataforma de estudos: engenhariadedadosacademy.curseduca.pro/m/courses 🌟Siga nossas redes sociais: Instagram: engenhariadedados Linkedin: www.linkedin.com/company/engenharia-de-dados/ #engenhariadedados #ciênciadedados ...
Quando é a Hora Certa de Migrar do Spark para o Flink? | Cortes da Academy
Переглядів 63Місяць тому
Apache Flink e Apache Spark são duas poderosas plataformas para processamento de dados, mas cada uma tem suas especialidades. Apache Flink é ideal para processamento de dados em tempo real (streaming) com baixa latência. Ele oferece processamento de eventos em tempo real e análise contínua, sendo altamente eficaz para casos de uso que exigem respostas instantâneas. Apache Spark, por outro lado,...
Pythin ou Java? | Cortes da Academy
Переглядів 40Місяць тому
📢 Veja a Live completa: ua-cam.com/users/liveQcHPGxy2zUM?feature=share A escolha entre Python e Java para usar com Apache Flink depende de vários fatores, incluindo a familiaridade com a linguagem, o suporte da comunidade e os requisitos específicos do projeto. ✔Java: Vantagens: Java é a linguagem nativa de Flink e oferece suporte completo a todas as funcionalidades. A documentação e a comunida...
Flink ou Spark? | Cortes da Academy
Переглядів 73Місяць тому
Apache Flink e Apache Spark são duas poderosas plataformas para processamento de dados, mas cada uma tem suas especialidades. Apache Flink é ideal para processamento de dados em tempo real (streaming) com baixa latência. Ele oferece processamento de eventos em tempo real e análise contínua, sendo altamente eficaz para casos de uso que exigem respostas instantâneas. Apache Spark, por outro lado,...
Como é Trabalhar com Apache Spark na Visão de uma Engenharia de Dados Iniciante
Переглядів 4442 місяці тому
Como é Trabalhar com Apache Spark na Visão de uma Engenharia de Dados Iniciante
MASTERING Advanced Spark Programming [Expert]
Переглядів 993 місяці тому
MASTERING Advanced Spark Programming [Expert]
TREINAMENTO: PERFORMANCE TUNING NA PRÁTICA em uma Aplicação Spark utilizando PySpark e SQL
Переглядів 1173 місяці тому
TREINAMENTO: PERFORMANCE TUNING NA PRÁTICA em uma Aplicação Spark utilizando PySpark e SQL
TREINAMENTO: Performance Tuning na Prática em uma Aplicação Spark utilizando PySpark e SQL
Переглядів 2944 місяці тому
TREINAMENTO: Performance Tuning na Prática em uma Aplicação Spark utilizando PySpark e SQL
WORKSHOP: Databricks SQL como Query Engine de Data Lakehouse para Entrega de um Data Vault e OBTs
Переглядів 1054 місяці тому
WORKSHOP: Databricks SQL como Query Engine de Data Lakehouse para Entrega de um Data Vault e OBTs
WORKSHOP Data Vault & Databricks
Переглядів 1875 місяців тому
WORKSHOP Data Vault & Databricks
Desafios na Construção de uma Plataforma de Dados no Kubernetes com o Time do Orion
Переглядів 2466 місяців тому
Desafios na Construção de uma Plataforma de Dados no Kubernetes com o Time do Orion
Combo Big Data 2024 | Engenharia de Dados Academy
Переглядів 1556 місяців тому
Combo Big Data 2024 | Engenharia de Dados Academy
Gestão & Produtos de Dados com o Time de Dados da Clicksign
Переглядів 1327 місяців тому
Gestão & Produtos de Dados com o Time de Dados da Clicksign
WORKSHOP: Criando sua Stack de Dados Moderna com Kubernetes na Prática
Переглядів 1687 місяців тому
WORKSHOP: Criando sua Stack de Dados Moderna com Kubernetes na Prática
A Day in a Life of Data Engineer at Netflix with Xinran Waibel
Переглядів 8768 місяців тому
A Day in a Life of Data Engineer at Netflix with Xinran Waibel
WORKSHOP: Construindo um Data Vault no Data Lakehouse com Databricks e Delta Lake na Prática
Переглядів 1419 місяців тому
WORKSHOP: Construindo um Data Vault no Data Lakehouse com Databricks e Delta Lake na Prática
SQLMesh | Streamlining Python & SQL Transformations with Tobias Mao, Co-Founder & CTO at Tobiko Data
Переглядів 8309 місяців тому
SQLMesh | Streamlining Python & SQL Transformations with Tobias Mao, Co-Founder & CTO at Tobiko Data
Use Case Data Mesh Fim a Fim
Переглядів 24711 місяців тому
Use Case Data Mesh Fim a Fim
DataOps com Lenses para Data Pipelines em Tempo Real
Переглядів 12911 місяців тому
DataOps com Lenses para Data Pipelines em Tempo Real
Orquestrando Domínios de Data Mesh com Apache Nifi
Переглядів 14911 місяців тому
Orquestrando Domínios de Data Mesh com Apache Nifi
Confluent Cloud como Sistema Nervoso Central para Data Mesh
Переглядів 9411 місяців тому
Confluent Cloud como Sistema Nervoso Central para Data Mesh
Modelos de Arquitetura para Projetos de Data Mesh no Microsoft Azure
Переглядів 27511 місяців тому
Modelos de Arquitetura para Projetos de Data Mesh no Microsoft Azure
Apache Pinot como OLAP em Tempo Real para Projetos de Data Mesh
Переглядів 22811 місяців тому
Apache Pinot como OLAP em Tempo Real para Projetos de Data Mesh
Data Mesh para Dummies
Переглядів 52311 місяців тому
Data Mesh para Dummies

КОМЕНТАРІ

  • @engenhariadedadosacademy
    @engenhariadedadosacademy 3 дні тому

    🟢 WORKSHOP GRATUITO Desenvolvendo Pipelines de Dados Modernos com Apache Airflow ➡ links.engenhariadedadosacademy.com/workshop-airflow-yte

  • @fabiocaprara
    @fabiocaprara 6 днів тому

    Caraca, que aula boa!!!

  • @gabrielbenjamin3266
    @gabrielbenjamin3266 9 днів тому

    conteúdo sensacional

  • @engenhariadedadosacademy
    @engenhariadedadosacademy 14 днів тому

    WORKSHOP Desenvolvendo Pipelines de Dados Modernos com Apache Airflow ➡ links.engenhariadedadosacademy.com/workshop-airflow-yte

  • @tecint
    @tecint 15 днів тому

    Ola, consigo comprar um treinamento rápido de flink contigo?

    • @engenhariadedadosacademy
      @engenhariadedadosacademy 10 днів тому

      Bom dia! Converse com nosso time aqui no Whatsapp: api.whatsapp.com/send?phone=5491125902805&text=Oi!%20Quero%20tirar%20d%C3%BAvidas%20sobre%20a%20Engenharia%20de%20Dados%20Academy%0A

  • @viniciuscastro
    @viniciuscastro 22 дні тому

    Muito bom! Parabéns!

  • @motiva-se1
    @motiva-se1 27 днів тому

    Parabéns pelo ótimo conteúdo. 👏🏽👏🏽

  • @thiagoangelus7197
    @thiagoangelus7197 Місяць тому

    Incrível.

  • @NarcisoOliveiraJunior
    @NarcisoOliveiraJunior Місяць тому

    Olá! é possível compartilhar link para a apresentação?

  • @fabiokfouri9514
    @fabiokfouri9514 Місяць тому

    Poderia compartilhar o link do excalidraw?

  • @francisluisramiresdemelo9776
    @francisluisramiresdemelo9776 Місяць тому

    Excelente conteúdo

  • @moverecursus1337
    @moverecursus1337 Місяць тому

    No Processing desejo ver mais sobre o OVER windows

  • @DOUGLASSANTANADOSSANTOS-i8e
    @DOUGLASSANTANADOSSANTOS-i8e Місяць тому

    Tem algum curso de ensina como implementar de ponta a ponta usando apenas o databricks? armazenamento, processamento ?

  • @denismendespires6180
    @denismendespires6180 2 місяці тому

    muito bom a live Mateus, espero que tenhamos mais conteúdos BR sobre flink o/

  • @wandersonp.medeiros8362
    @wandersonp.medeiros8362 2 місяці тому

    Eu nao gostei a forma de implementar o Kafka é muito complexo para o seu objetivo. Vamos ver o que é o apache Flink, pois nao quero processar todos os dados e sim partes. O oracle já falou seria bom viu. Mas queria ver mesmo como faz para poder mandar os SQL, como podemos separar o ambiente e a parte de monitoramento, se teve problema de acesso ao dado e em caso de falha, como faz sua continuidade de onde parou saca? Uma outra coisa que pensei aqui agora, se tem alguma ferramenta para conectar no Flink para trabalhar os SQLs.

  • @MrViutorres
    @MrViutorres 2 місяці тому

    animo esse workshop ai de Flink.

  • @LucasCarvalho-im5tc
    @LucasCarvalho-im5tc 2 місяці тому

    Muito bom, onde encontro mais conteudo

  • @michelcesar85
    @michelcesar85 2 місяці тому

    Excelente Live! Só o microfone do rapaz de baixo da Ananda que estava bem ruim as vezes, no mais, excelente principalmente pra quem tá começando!

  • @matheuspassos8650
    @matheuspassos8650 3 місяці тому

    Muito bom!

  • @giulianors
    @giulianors 4 місяці тому

    Obrigado Matheus.

  • @alefrodrigopereira9708
    @alefrodrigopereira9708 4 місяці тому

    Boa!

  • @FernandoGomes-km2lf
    @FernandoGomes-km2lf 4 місяці тому

    Muito bom! Parabéns!

  • @FernandoGomes-km2lf
    @FernandoGomes-km2lf 4 місяці тому

    Muito bom, parabéns pela apresentação!

  • @silaynesilva
    @silaynesilva 5 місяців тому

    Excelente, amei! É possível disponibilizar o documento?

  • @igordias8728
    @igordias8728 5 місяців тому

    Onde está o link para o GitHub?

  • @henriquevalentim4923
    @henriquevalentim4923 5 місяців тому

    Muito bom, top demais

  • @marciaback3234
    @marciaback3234 5 місяців тому

    Parabéns pelo conteúdo, top!!

  • @WilliamCesarBindewald
    @WilliamCesarBindewald 5 місяців тому

    Muito bom Rodrigo!!! Caramba, já abriu minha cabeça para essa questão!! Valeu demais!! Ah, deixa o link do github pra gente dar uma estudada... valeu!

  • @selmorodrigues1405
    @selmorodrigues1405 5 місяців тому

    Rodrigo Marques é um dos caras mais sensacionais que conheci. É uma fera nos dados e mostra pra qualquer um que ama o que faz! Inspiração para qualquer um👏👏👏👏👏👏

  • @rafaelg8238
    @rafaelg8238 5 місяців тому

    muito bom o conteudo. seria legal uma nova live mostrando o pipeline completo. algo proximo a vida real, de ler dados de algum lugar, salvar em um database, etc. abs

  • @patolinoD4
    @patolinoD4 5 місяців тому

    Bom trabalho amigo, parabéns. Eu tenho um script que utiliza transformers, torch etc.. Bem simples porém estou com problema nos includes com o CUDA, pode me ajudar?

  • @wellikiandre
    @wellikiandre 5 місяців тому

    Excelente

  • @alladiobonesso
    @alladiobonesso 5 місяців тому

    Onde vocês recomendariam usar o AirFlow ou usar o Nifi? Ou as duas conseguem concorrer bem? Achei o NiFi bem mais tranquilo de usar, vou até criar um docker aqui e brincar, hehehe

  • @rafaelg8238
    @rafaelg8238 5 місяців тому

    muito legal e promissora essa ferramenta. seria bem interessante ver mais cases voltados para o dia a dia. parabens pelo video.

  • @cinthiaqueiroz4451
    @cinthiaqueiroz4451 6 місяців тому

    Parabéns! Conteúdo excelente

  • @stephengreaves7935
    @stephengreaves7935 6 місяців тому

    Been working in data for 35 years, this is the best thing I have seen since DecisionStream (if you know, you know) going to play hard with this ...

  • @camilaneris6186
    @camilaneris6186 6 місяців тому

    Maravilhosas 👏👏👏

  • @marcussantos6713
    @marcussantos6713 6 місяців тому

    Top, gostaria de saber mais sobre o Kestra!

  • @ocamposfaria5106
    @ocamposfaria5106 6 місяців тому

    Muito orgulho de ver esse tipo de conteúdo de brasileiros

  • @rodrigoc.frazani9836
    @rodrigoc.frazani9836 6 місяців тому

    Excelente conteúdo. eu queria o github com esses códigos é possível?

  • @rjmen1234
    @rjmen1234 6 місяців тому

    Muito bom ! espetacular ! parabens

  • @engenhariadedadosacademy
    @engenhariadedadosacademy 6 місяців тому

    ➡ WORKSHOP: Criando sua Stack de Dados Moderna com Kubernetes na Prática Da criação de um cluster de Kubernetes até a ingestão e transformação dos dados para a análise. O passo a passo para você dominar a engine de orquestração de serviços mais utilizada do mundo. Veja mais informações no site: ➡ bit.ly/YTA-WS11-Saiba-Mais

  • @aferreira-analytics
    @aferreira-analytics 7 місяців тому

    pode ser conectado direto no Oracle?

  • @engenhariadedadosacademy
    @engenhariadedadosacademy 7 місяців тому

    Combo Big Data 2024 🌐 Acesse o site para mais informações: ➡ swiy.co/yta-Combo-BIG-DATA-2024

  • @wallydata
    @wallydata 7 місяців тому

    Brutal ❤❤❤

  • @LuisAlbertoo
    @LuisAlbertoo 7 місяців тому

    de graça tem muito valor irmão se tá doido

  • @engenhariadedadosacademy
    @engenhariadedadosacademy 7 місяців тому

    Veja mais informações no site: ➡ bit.ly/YTA-WS11-Saiba-Mais

  • @LuisFernandoGaido
    @LuisFernandoGaido 7 місяців тому

    Cara, EU TE AMO. O conteúdo que você passou vale ouro. Tanto o teórico quanto o prático.

  • @heavyrick
    @heavyrick 8 місяців тому

    Eu não encontrei no cloud, um jeito de conectar o sql server... tem como ?