Batch Use-Case com Apache Airflow no GCP - Cloud Storage, DataProc & BigQuery

Поділитися
Вставка
  • Опубліковано 9 лис 2024

КОМЕНТАРІ • 5

  • @media.k_web
    @media.k_web Рік тому

    Luan, grava um vídeo mostrando como você instalou o Airflow no GCP. Vi que não é pelo Cloud Composer.
    Tentei instalar com uma máquina small e medium, mas o Airflow Scheduler sempre para de rodar.

    •  Рік тому

      O airflow está instalado em um cluster kubernets na Azure.

  • @matheus7405
    @matheus7405 2 роки тому +2

    qual o local do code? no link q vc colocou ta privado

  • @RodrigoDiasS
    @RodrigoDiasS 2 роки тому

    Na verdade, como boa prática ao invés de usar o datetime (26:38) é preferível usar as variáveis intrinsecadas do airflow.
    como execution_date, prev_execution_date, next_execution_date, prev_execution_date_success, entre outros
    Assim das janelas de execução ficam contidas, e passiveis de serem re-rodadas sem alterações.

  • @RodrigoDiasS
    @RodrigoDiasS 2 роки тому

    Qual a definição do cluster do airflow vcs estão usando?