Modern Data Stack: Airbyte, DBT & Apache Airflow | Live #87
Вставка
- Опубліковано 18 вер 2024
- O conceito de Modern Data Stack vem ganhando muita força ultimamente, muitas tecnologias de Big Data e Analytics estão abraçando esse novo paradigma para entregar maior facilidade para o usuário que escreve e constrói pipeline de dados.
Nesta live iremos navegar em 3 ferramentas que podem entregar uma solução fim a fim utilizando as melhores práticas de mercado.
Airbyte: Utilizado para sincronização e integração de Dados
DBT: Aplicação de transformações e regras de negócio com SQL
Apache Airflow: Orquestração de pipelines inteligentes
Aprenda como utilizar essas 3 ferramentas para que seu time de dados possa criar pipeline de dados eficientes e escaláveis.
WORKSHOP: Construindo uma Stack de Dados Moderna com Airbyte, Airflow, DBT & Snowflake (Na Prática). Inscreva-se no link abaixo e comece agora mesmo:
➡ theplumbers.co...
Para mais canais de conteúdo e cursos, acesse o link abaixo:
➡ theplumbers.co...
Um adicional do meu dia-a-dia ao usar DBT + Databricks, o DBT não só ajuda a centralizar todo processo de modelagem e lineage (elementary) bem como torna muito mais simples e legível do ponto de vista de manutenção.
Até usuários sem viés de desenvolvimento conseguem criar seus próprios modelos, além de conseguir obter um processo de data quality centralizado e customizando conforme a necessidade do projecto ou source.
airbyte sendo umas das principais ferramentas da empresa que estou : )
No vídeo o Luan mencionou que o airbyte não é a melhor ferramenta para real time data transfer. Vocês utilizam quais ferramentas para essa finalidade?
Eu recomendo o google big query
Gostaria de saber sobre o workshop, estou aguardando aqui para me inscrever =D
Também aguardando. Não encontrei o link pra inscrição
WORKSHOP: Construindo uma Stack de Dados Moderna com Airbyte, Airflow, DBT & Snowflake (Na Prática). Inscreva-se no link abaixo e comece agora mesmo:
➡ theplumbers.com.br/workshop-02/