André Ricardo
André Ricardo
  • 21
  • 30 930
Tutorial Xcom Apache Airflow
Neste tutorial, vamos ver como funciona passo a passo o xcom no Apache Airflow. vamos ver como fazer o push e o pull entre as tasks da mesma DAG e entre DAGs diferentes.
00:00 Introdução
00:38 O que é XCOM
01:32 código da Xcom
07:40 Xcom no Airflow
17:35 pull e push entre DAGs
Apoio: InspiraTee
www.inspiratee.com.br/
inspira_tee_
Documentação: airflow.apache.org/docs/apache-airflow/stable/core-concepts/xcoms.html
Dúvidas e sugestões: contato@andrericardo.com.br
Site: www.andrericardo.com.br
LinkedIn: www.linkedin.com/in/andre-ricardo-sp/
#airflow
#apache
#python
#xcom
Переглядів: 583

Відео

Setup Teardown: Transformando Fluxos no Apache Airflow
Переглядів 3445 місяців тому
Neste vídeo veremos como fazer um fluxo do Airflow executar até o final, mesmo que alguma tarefa tenha apresentado erro. Esta é a mágica do recurso setup teardown. 00:00 Introdução 00:37 O código setup teardown 04:17 DAG teardown no Airflow 06:10 Verificando os logs 08:25 Documentação Apoio: InspiraTee www.inspiratee.com.br/ inspira_tee_ Documentação: airflow.apache.org/docs/apach...
Tutorial Airflow: Como gerenciar ambientes virtuais? (requirements.txt)
Переглядів 3956 місяців тому
Neste vídeo vamos ver como criar e gerenciar ambientes virtuais no python, criar e usar o requirements.txt e usar este no Airflow com os operadores PythonVirtualenvOperator e ExternalPythonOperator. 00:00 Introdução 00:40 Criando ambiente Virtual no Python 10:06 requirements.txt 15:50 Airflow com constraint 17:33 PythonVirtualenvOperator 32:00 ExternalPythonOperator Apoio: InspiraTee www.inspir...
Como fazer um projeto completo de dados
Переглядів 4,5 тис.6 місяців тому
Neste vídeo veremos como fazer um projeto completo de dados utilizando Docker, Kafka, Python e ChatGPT 00:00 Introdução 00:23 Contexto 02:33 Inspiração 03:33 Preparando o ambiente com Docker 04:27 Clone do projeto no GIT 06:02 Subindo o projeto no Docker 08:15 Jupyter Lab Notebooks Python 12:06 Kafka Producer 15:30 Postgres 20:22 Grafana 25:00 Kafka Consumer 27:32 Visualizando o Dashboard 30:03...
Como configurar o Docker antes que ele trave o seu computador
Переглядів 2679 місяців тому
Hoje vamos ver como configurar o Docker antes que ele trave o seu computador. 00:00 Introdução 00:17 O consumo do Docker atual 01:34 Configurando o Docker 03:54 Validando a configuração Dúvidas e sugestões: contato@andrericardo.com.br Site: www.andrericardo.com.br Linked In: www.linkedin.com/in/andre-ricardo-sp/ #docker #memória #performance #wsl
Aonde Salvar as DAGs do Apache Airflow
Переглядів 55011 місяців тому
Neste vídeo vamos ver aonde salvar as DAGs do Apache Airflow. 00:00 Introdução 01:25 Configurando na instalação Standalone 06:03 Configurando na instalação com Docker Como instalar o Airflow com Docker: ua-cam.com/video/E0D9IRHITVI/v-deo.html Como instalar o Airflow sem o Docker: ua-cam.com/video/LwX9FFK9ojc/v-deo.html Domine o LatestOnlyOperator do Airflow e Transforme seu Workflow!: ua-cam.co...
Como Remover as Dags Default do Airflow
Переглядів 50711 місяців тому
Neste vídeo vamos ver o passo a passo de como fazer para desativar as DAGs default do Apache Airflow. Como instalar o Airflow com Docker: ua-cam.com/video/E0D9IRHITVI/v-deo.html Como instalar o Airflow sem o Docker: ua-cam.com/video/LwX9FFK9ojc/v-deo.html Documentação: airflow.apache.org/docs/apache-airflow/stable/configurations-ref.html#load-examples 00:00 Introdução 00:57 Direto ao ponto 01:5...
Ep 5: Quem vai ganhar a copa do mundo de futebol feminino 2023?
Переглядів 181Рік тому
Este é o primeiro vídeo de uma série em que vamos tentar prever o resultado da copa do mundo de futebol feminino de 2023. Para prever estes resultados vamos utilizar modelos de Machine Learning utilizando python. Arquivo: github.com/andrericsouza/COPA_MUNDO_FEMININA_2023 Episódios: 1 - ua-cam.com/video/sY6RTaKa8LM/v-deo.html 2 - ua-cam.com/video/OQWx1Mw3sOg/v-deo.html 3 - ua-cam.com/video/oy3NR...
Ep 1: Quem vai ganhar a copa do mundo de futebol feminino 2023?
Переглядів 258Рік тому
Este é o primeiro vídeo de uma série em que vamos tentar prever o resultado da copa do mundo de futebol feminino de 2023. Para prever estes resultados vamos utilizar modelos de Machine Learning utilizando python. Arquivo: github.com/andrericsouza/COPA_MUNDO_FEMININA_2023 Episódios: 1 - ua-cam.com/video/sY6RTaKa8LM/v-deo.html 2 - ua-cam.com/video/OQWx1Mw3sOg/v-deo.html 3 - ua-cam.com/video/oy3NR...
Ep 3: Quem vai ganhar a copa do mundo de futebol feminino 2023?
Переглядів 77Рік тому
Este é o terceiro vídeo de uma série em que vamos tentar prever o resultado da copa do mundo de futebol feminino de 2023. Para prever estes resultados vamos utilizar modelos de Machine Learning utilizando python. Arquivo: github.com/andrericsouza/COPA_MUNDO_FEMININA_2023 Episódios: 1 - ua-cam.com/video/sY6RTaKa8LM/v-deo.html 2 - ua-cam.com/video/OQWx1Mw3sOg/v-deo.html 3 - ua-cam.com/video/oy3NR...
Ep 4: Quem vai ganhar a copa do mundo de futebol feminino 2023?
Переглядів 98Рік тому
Este é o quarto vídeo de uma série em que vamos tentar prever o resultado da copa do mundo de futebol feminino de 2023. Para prever estes resultados vamos utilizar modelos de Machine Learning utilizando python. Arquivo: github.com/andrericsouza/COPA_MUNDO_FEMININA_2023 Episódios: 1 - ua-cam.com/video/sY6RTaKa8LM/v-deo.html 2 - ua-cam.com/video/OQWx1Mw3sOg/v-deo.html 3 - ua-cam.com/video/oy3NRaC...
Ep 2: Quem vai ganhar a copa do mundo de futebol feminino 2023?
Переглядів 95Рік тому
Este é o segundo vídeo de uma série em que vamos tentar prever o resultado da copa do mundo de futebol feminino de 2023. Para prever estes resultados vamos utilizar modelos de Machine Learning utilizando python. Arquivo: github.com/andrericsouza/COPA_MUNDO_FEMININA_2023 Episódios: 1 - ua-cam.com/video/sY6RTaKa8LM/v-deo.html 2 - ua-cam.com/video/OQWx1Mw3sOg/v-deo.html 3 - ua-cam.com/video/oy3NRa...
Como criar um Operator no Apache Airflow
Переглядів 537Рік тому
Neste vídeo eu explico o passo a passo para criar o seu próprio Operator no Apache Airflow. Como instalar o Airflow com Docker: ua-cam.com/video/E0D9IRHITVI/v-deo.html Documentação do CustomOperator: airflow.apache.org/docs/apache-airflow/stable/howto/custom-operator.html 00:00 Introdução 00:15 Ambiente 00:40 Apresentação da Idéia 00:50 Criando o Operator 04:06 Criando a DAG 06:08 Executando o ...
Join com Python usando Pandas Passo a Passo: Guia Completo
Переглядів 237Рік тому
Neste vídeo veremos todas as opções de Join/Merge no Python utilizando o Pandas. Documentação do Merge no Pandas: pandas.pydata.org/docs/reference/api/pandas.merge.html Código utilizado no vídeo: github.com/andrericsouza/python/blob/main/PYTHON_JOIN.ipynb 00:00 Introdução 00:14 Apresentação 00:34 Instalação do Pandas 01:01 Import do Pandas 01:30 Tabela A 03:18 Tabela B 03:55 Inner Join 05:08 Le...
Domine o LatestOnlyOperator do Airflow e Transforme seu Workflow!
Переглядів 456Рік тому
Vamos conhecer o LatestOnlyOperator do Apache Airflow e descobrir como podemos fazer uma melhor gestão dos nossos fluxos de dados, tendo mais eficiência no consumo de recursos e garantindo a integridade de nossos processos. Documentação: airflow.apache.org/docs/apache-airflow/stable/_api/airflow/operators/latest_only/index.html#module-airflow.operators.latest_only PythonOperator: ua-cam.com/vid...
Como colocar dependências entre DAGs no Apache Airflow | ExternalTaskSensor
Переглядів 1,1 тис.Рік тому
Como colocar dependências entre DAGs no Apache Airflow | ExternalTaskSensor
Apache Airflow: Como usar o PythonOperator
Переглядів 1,5 тис.Рік тому
Apache Airflow: Como usar o PythonOperator
Como criar a Primeira DAG no Airflow
Переглядів 3,7 тис.Рік тому
Como criar a Primeira DAG no Airflow
Como Instalar o Airflow sem o Docker
Переглядів 2,5 тис.Рік тому
Como Instalar o Airflow sem o Docker
Como Instalar o Airflow com Docker
Переглядів 4,1 тис.Рік тому
Como Instalar o Airflow com Docker
O que é o Apache Airflow ?
Переглядів 9 тис.Рік тому
O que é o Apache Airflow ?

КОМЕНТАРІ

  • @MicheleWM5
    @MicheleWM5 9 днів тому

    Obrigada pela contribuição, muito útil

  • @RodrigoOliveira-pw2pk
    @RodrigoOliveira-pw2pk 16 днів тому

    Muito bom meu camarada, parabéns pelo conteúdo 😀

  • @barbaramelo7411
    @barbaramelo7411 22 дні тому

    SALVOU A MINHA VIDA!!! Muuuito obrigada ❤❤❤❤

  • @natalisoares1634
    @natalisoares1634 24 дні тому

    Parabens! Sua didatica é sensacional.

  • @youngdll7
    @youngdll7 Місяць тому

    quero aplicar o air flow em um projeto que to criando, estou arquitetando e criando um data lake onde extraio os dados da API do Spotify e aplicar os conceitos de ETL. quero trabalhar nesse projeto com py spark, sql, air flow, azure e power bi ...

    • @Eliezer_TechLab
      @Eliezer_TechLab Місяць тому

      passa linkedin ai, ou algum contato vamos fazer um networking.

  • @HistoriasdeGuerra-ck1sw
    @HistoriasdeGuerra-ck1sw Місяць тому

    Olá professor André, tudo bem? eu não estou conseguindo acessar o webserver do airflow. Estou tendo problema tanto com a instalação dele com o docker e sem o docker, e é sempre na consulta pelo webserver a porta 8080 não abre.

  • @IsabelaSiqueiraGeneroso
    @IsabelaSiqueiraGeneroso Місяць тому

    Vídeo muito explicativo!! parabéns

  • @gabrielflf
    @gabrielflf Місяць тому

    Bom dia, tudo bem ? Sabe me dizer se o ideal seria criar um usuário airflow para executar todas as ações realizadas no vídeo ?

  • @viniciusguirra3628
    @viniciusguirra3628 2 місяці тому

    excelente!

  • @laurocezzar8640
    @laurocezzar8640 2 місяці тому

    Ganhou um inscrito, pela simplicidade nas explicações, sem enrolação e pelo carisma!!! 👍

  • @heitorgabriel1996
    @heitorgabriel1996 2 місяці тому

    Obrigado pelo tutorial, muito bom!

  • @HistoriasdeGuerra-ck1sw
    @HistoriasdeGuerra-ck1sw 2 місяці тому

    Muito bom o vídeo professor, parabéns!! Consegui replicar, agora o desafio será brincar com outras ferramentas utilizando a base toda dessa joia que o senhor nos passou. Abraço!!

  • @otiliacnogueira8321
    @otiliacnogueira8321 2 місяці тому

    Boa noite. Adoro os seus vídeos, parabéns. Mas estou com um problema, eu não consigo colocar as dags para aparecer no airflow. Faço tudo certinho mas não atualizo. Você teria uma dica pra mim?

  • @obravo__
    @obravo__ 3 місяці тому

    Professor, tem alguma aula mostrando execução de arquivos .exe?

  • @Randy_gusta
    @Randy_gusta 3 місяці тому

    fiz tudo como o mostrado, porem na hora de entrar no endereço do link no airflow webserver o a pág dá erro, alguém sabe oque poderia estar acontecendo?

  • @Filosofiainteriour
    @Filosofiainteriour 3 місяці тому

    ótimo conteudo!

  • @arturadejarde6445
    @arturadejarde6445 3 місяці тому

    Obrigado pela ajuda

  • @arturadejarde6445
    @arturadejarde6445 3 місяці тому

    Excelente

  • @Tech2s3
    @Tech2s3 3 місяці тому

    More videos about this tools, please!

  • @leoibrain
    @leoibrain 3 місяці тому

    TOP

  • @mulenjumsunsppi
    @mulenjumsunsppi 4 місяці тому

    Me ajudo de mais, muito obrigado

    • @andre_ricardo
      @andre_ricardo 4 місяці тому

      Fico muito feliz por saber disto. abraço.

  • @raphaelbonillo2192
    @raphaelbonillo2192 4 місяці тому

    Ótimo, podia ter mais umas 50 playlists de Airflow

    • @andre_ricardo
      @andre_ricardo 4 місяці тому

      que bom que está gostando. logo teremos mais vídeos. tem algum assunto além do airflow que lhe interessa?

    • @raphaelbonillo2192
      @raphaelbonillo2192 4 місяці тому

      @@andre_ricardo Poxa, seria legal um pipeline de ETL completo que envolva outras tecnologias interagindo com o airflow

  • @arthurferreira6307
    @arthurferreira6307 4 місяці тому

    Parabéns, ótimo videos. Estou seguindo a playlist inteira de airflow aqui. Valeu pela ajuda

    • @andre_ricardo
      @andre_ricardo 4 місяці тому

      muito obrigado. fico feliz em saber que estou conseguindo ajudar.

  • @teute2003
    @teute2003 4 місяці тому

    Cara, não sou de comentar em vídeos mas você tem uma didática impecável!

  • @andrearaujo7541
    @andrearaujo7541 4 місяці тому

    Rapido facil e objetivo

    • @andre_ricardo
      @andre_ricardo 4 місяці тому

      Obrigado! Espero que tenha ajudado. Forte abraço!

  • @deiveflores3556
    @deiveflores3556 5 місяців тому

    André, muito didáticas suas aulas e claro conhecimento. Tenho pensando muito em usa o airflow aqui na empresa, mas tenho duvidas, principalmente qdo vc diz quando usar e não o airflow. Eu tenho algumas tarefas em python puro (sql) q fazem hoje a inserção de dados de um banco para outro, pensei em usar o airflow para orquestrar essas tarefas, vc acha prudente ou deveria pensar em outra ferramenta como spark ou algo assim ?

    • @andre_ricardo
      @andre_ricardo 5 місяців тому

      Olá, muito obrigado! Para este cenário o Airflow vai ser excelente! Pode inclusive agendar tarefas em spark.

  • @dfleandro1
    @dfleandro1 5 місяців тому

    Rapaz, mt bom o conteúdo! Já vi curso pago que não entrega 1/3 disso daqui

  • @kelsonfonteles
    @kelsonfonteles 5 місяців тому

    Meu amigo... Graças a Deus e a vc um vídeo sensato, direto... sem adivinhações dos mestres dos magos

    • @andre_ricardo
      @andre_ricardo 5 місяців тому

      Opa... Muito bom saber que estou conseguindo ajudar... Já sofri muito pra entender os mestres dos magos... por isto que divulgo conteúdos passo a passo. obrigado pelo comentário. Forte abraço.

  • @durvallins8599
    @durvallins8599 5 місяців тому

    Projeto lindo, parabéns! agora é estudar cada ferramenta pra entender melhor hehehe

    • @andre_ricardo
      @andre_ricardo 5 місяців тому

      Muito obrigado. Espero ter ajudado... Bons estudos!

    • @durvallins8599
      @durvallins8599 5 місяців тому

      @@andre_ricardo rapaz, serviu pra sabser que ainda tenho muita coisa pra aprender... vlw mais uma vez!

  • @NatanaelMagalhaes
    @NatanaelMagalhaes 5 місяців тому

    Parabéns!!!!!

  • @SeeYouxD
    @SeeYouxD 5 місяців тому

    André, estou com um problema de uma DAG com running simultaneos, mesmo usando o max active runs=1. Pode me ajudar ou fazer um video sobre, por favor?

    • @andre_ricardo
      @andre_ricardo 5 місяців тому

      Olá, obrigado pelo comentário. Vamos ver se consigo ajudar... Você tem uma DAG que precisa de várias execuções, mas as execuções não podem ser simultâneas, precisam ser 1 de cada vez. neste cenário, o parametro correto é este mesmo max_active_runs na cofiguração da DAG. Caso esteja querendo rodar as tasks em paralelo e controlar a quantidade de tarefas simultaneas, o parametro é o max_active_tasks. Outro detalhe, é que uma vez criado a DAG sem estes parametros, vai ser aplicado o default do ambiente e pode dar erro no serviço do scheduler se colocar depois. Para estes casos, recomendo mudar o nome da DAG. ex: DAG_v2. espero ter ajudado.

  • @CarlosDaniel-xs8ol
    @CarlosDaniel-xs8ol 5 місяців тому

    Sensacional !!!

  • @nathaliafilipini9500
    @nathaliafilipini9500 6 місяців тому

    Conteudo muito bom!!

  • @abraaovasconcelos2628
    @abraaovasconcelos2628 6 місяців тому

    Andre, compartilhe esses vídeos conosco, a ideia é muito legal!

  • @RafaelFerreiraAguiar
    @RafaelFerreiraAguiar 6 місяців тому

    Parabéns por compartilhar o conhecimento.

    • @andre_ricardo
      @andre_ricardo 6 місяців тому

      Eu quem agradeço… espero estar ajudando.

  • @265maycon
    @265maycon 6 місяців тому

    Obrigado amigo 👍👍👍

  • @matheus.srossi
    @matheus.srossi 7 місяців тому

    Muito bom mano, parabéns! Eu estava com algo parecido em mente, mas pegando os dados do game F1, ele fornece os dados via UDP

    • @andre_ricardo
      @andre_ricardo 6 місяців тому

      Que legal! Espero que consiga!

  • @jhonynorton7243
    @jhonynorton7243 7 місяців тому

    Excelente vídeo meu caro, parabéns! Uma dúvida, meu objetivo é extrair dados de uma base postgre e salvar um .csv localmente no docker. Inicialmente fiz o código python salvando o .csv em uma pasta local, porém ao rodar no airflow e salvar no docker, recebo o erro de não ter permissão para criar pasta e salvar arquivo no docker. Com qual código altero essa permissão para poder salvar no docker? Erro recebido no Airflow: PermissionError: [Errno 13] Permission denied: '/opt/airflow/dados/DesafioGitHub/output_data/csv

    • @andre_ricardo
      @andre_ricardo 7 місяців тому

      Olá! muito obrigado por assistir aos vídeos. Fico muito feliz em saber que estou ajudando. Quando vamos salvar alguns arquivos localmente no docker, o airflow precisa de permissão para fazer isto, e o Airflow, por diversos motivos(e um deles é a segurança) só conhece o diretório das DAGs. Para eu tentar te ajudar, me procura no LinkedIn e encaminha a sua DAG(se puder) Espero ter ajudado. Forte Abraço

    • @jhonynorton7243
      @jhonynorton7243 6 місяців тому

      @@andre_ricardo entao voce salva os arquivos na propria pasta dags?

  • @NathanCarlosSilva
    @NathanCarlosSilva 7 місяців тому

    Oi André, tudo bem? Cara, primeiramente parabéns pelo seu trabalho, seu conteúdo é muito bem feito, gostaria de saber se tu tens algum grupo do discord ou whatsapp para os inscritos poderem trocar uma ideia contigo, gostaria de conversar um pouco e ter algumas orientações, obrigado pelos vídeos.

    • @andre_ricardo
      @andre_ricardo 7 місяців тому

      Olá! Muito obrigado por assistir aos vídeos. Fico muito feliz em saber que estou ajudando. Hoje não tenho nenhum canal de comunicação em grupo como discord, slack, whatsapp, telegram... nada disto... mas podemos conversar sim... me procura no LinkedIn que podemos bater um papo. Forte Abraço

  • @lucasdemellovieira1484
    @lucasdemellovieira1484 7 місяців тому

    Otimo, video gostei muito! Durante o video me surgiu uma duvida: Quando voce diz "Tasks não movem dados de um lado para outro" voce quer dizer que elas não trocam dados entre si, ou não seria correto fazer tasks que movimentem dados? Como criar um script para enviar uma tabela de um banco para outro?

    • @andre_ricardo
      @andre_ricardo 7 місяців тому

      Olá! Muito obrigado por assistir aos vídeos. Fico muito feliz em saber que estou ajudando. Por definição as Tasks não deveriam mover dados de um lado para o outro, mas somente fazer a chamado do Operator que vai executar "alguma coisa". Este Operator é quem movimenta, faz update, insert, delete e outras funções que ele esteja programado. O Airflow teve uma atualização recente em que permite que os dados sejam enviados de uma task para outra, via XCOM. antes ela era pequena, mas na ultima atualização ela ficou grande e agora permite trafegar dados por ela. Só que eu não gosto muito disto, pois os dados ficam disponiveis no ambiente todo e não criptografado e sem compressão, o que pode travar ou deixar o ambiente lento, ou o repositorio um pouco "inchado". A solução ideal para mover dados de um ambiente para outro ou de uma banco para um arquivo, é via Operator próprio para isto. Entendo que as vezes não temos o Operator fazendo o que desejamos, para isto podemos criar o nosso próprio Operator que faz a coleta e salva aonde desejamos, podendo até mesmo fazer transformações e etc. Espero ter ajudado. Forte Abraço

  • @LeandroAparecidoRodriguesAlves
    @LeandroAparecidoRodriguesAlves 7 місяців тому

    Ricardo ..excelente material. Estou precisando de ajuda com uma dag. Estou usando 3 python operator e esses caras estao sendo chamados via outra pasta na raiz do meu airflow e nao dentro da pasta dags. A dag executa e nao da erro mas os processos nao fazem nada

    • @andre_ricardo
      @andre_ricardo 7 місяців тому

      Olá! Muito obrigado por assistir aos vídeos. Fico muito feliz em saber que estou ajudando. Para poder tentar te ajudar, eu teria de ver o código... me procura no LinkedIn e encaminhar o código(se possível). Forte Abraço

  • @yasminpereiradebritobarros8306
    @yasminpereiradebritobarros8306 7 місяців тому

    Ótimo conteúdo! Teria como disponibilizar o restante das pastas como o airflow-2.6.1, config e old para verificar o que você acrescentou? Pois de uma aula para outra eles apareceram e não foram explicados

    • @andre_ricardo
      @andre_ricardo 7 місяців тому

      Olá! muito obrigado por assistir aos vídeos. Fico muito feliz em saber que estou ajudando. não se preocupe com estas pastas que comentou, pois foram teste e outras instalações que fiz. Quando instalado o Airflow são criadas as pastas: - config (o próprio Airflow cria ela com os arquivos de configuração para ele rodar) - dags (diretorio aonde ficam salvas as DAGs) - logs (logs das execuções das DAGs e das Tasks e também de alguns serviços do Airflow) - plugins (diretório "especial" no Airflow para instação de plugins e bibliotecas reutilizaveis, que você mesmo pode criar) Espero ter ajudado. Forte Abraço

  • @DiegoGrimon
    @DiegoGrimon 7 місяців тому

    Olá ! Excelente conteúdo. Estou dando os primeiros passos no Airflow e estou com uma dúvida, quem sabe você possa me ajudar. Como eu faço para instalar o requirements.txt criando uma env para cada Dag ? Não estou conseguindo encontrar referências. Estou rodando o Airflow a partir do Composer do GCP e cada ETL fica em sua própria pasta dentro do bucket "Dags" com a sua 'dag.py' e seu 'requirements.txt'

    • @andre_ricardo
      @andre_ricardo 6 місяців тому

      Olá! Compartilhei um vídeo hoje explicando este ponto… espero que ajude!

  • @fernandomaia4684
    @fernandomaia4684 7 місяців тому

    Meu mano, parabéns pelo conteúdo, você realmente está ajudando muita gente. Gostaria de sugerir um vídeo onde vc mostra como associar um requirements.txt ao airflow para leitura de dependências, é algo que atualmente, ainda mais com a versão mais recente tá sendo um desafio para mim e meus amigos que te acompanham.

    • @andre_ricardo
      @andre_ricardo 7 місяців тому

      Ola! Muito obrigado por assistir aos vídeos! Fico muito feliz em saber que estou ajudando. Anotei a sua sugestão de vídeo, muito obrigado! Forte Abraço.

  • @fernandomaia4684
    @fernandomaia4684 7 місяців тому

    Olá professor, tudo bem? Acabei ficando em dúvida em relação a variável ds, a mesma tem o valor None setado antes da execução, contudo após rodar a dag o valor da variável muda, mas acabei não pegando a referência em qual momento a mudança ocorreu

    • @andre_ricardo
      @andre_ricardo 7 місяців тому

      Olá! Muito obrigado por assistir aos vídeos. Vamos ver se consigo explicar... Neste vídeo crio uma função que inicia a variável ds com o valor None, porém o Airflow sobrepõe esta variável (no momento em que faço a chamada da função com o kwargs) com o conteúdo da data. Espero ter conseguido explicar. Forte Abraço.

  • @OséiasHenrique-y2l
    @OséiasHenrique-y2l 8 місяців тому

    Muito obrigado pela aula !

    • @andre_ricardo
      @andre_ricardo 7 місяців тому

      Olá! Eu que agradeço por assistir aos vídeos. Forte Abraço.

  • @rosys.tecnologia
    @rosys.tecnologia 9 місяців тому

    parabéns garoto, moh tempão que não te vejo

  • @felipemartins5900
    @felipemartins5900 10 місяців тому

    Parabéns pelos vídeos, continue se possível, vai ajudar muitas pessoas com o conteúdo!

    • @andre_ricardo
      @andre_ricardo 7 місяців тому

      Olá! Muito obrigado por assistir aos vídeos. Forte Abraço.

  • @ronildosantos5282
    @ronildosantos5282 10 місяців тому

    Muito obrigado, este vídeo me ajudou muitoo

    • @andre_ricardo
      @andre_ricardo 7 місяців тому

      Ola! Estou muito feliz em saber que estou ajudando. Bons estudos e forte abraço.

  • @thiagoleite9099
    @thiagoleite9099 10 місяців тому

    André, me tira uma dúvida estou usando o comando co bash operator bash_command = 'mkdir -p "C:\\airflow-docker\\pasta"' esta retornando no log como se a task fosse executada com sucesso, porém não esta sendo criada a pasta. Alguma sugestão?

    • @andre_ricardo
      @andre_ricardo 7 місяців тому

      Olá, muito obrigado por assistir aos vídeos e por compartilhar a sua dúvida. Vamos ver se consigo ajudar... Ai iniciar o Airflow todos os processos só conhecem o diretorio em que o Airflow está instalado. Exemplo: Imagine que instalamos o Airflow no diretorio: C:/AndreRicardo/meu_airflow/ O Airflow só vai conhecer o que estiver dentro do meu_airflow pra baixo. Esta é uma questão de segurança e isolamento que os sistemas operacionais e os programas incluem para proteger os servidores de ataques, vírus e outros que possam danificar ou acessar arquivos que estejam fora da instalação. Isto garante o isolamento e a segurança da aplicação, ou seja, o Airflow só conhece o mundinho dele! Espero ter ajudado... em breve devo gravar um vídeo sobre este tema com mais detalhes. Forte Abraço.