Евгений Ермаков - dbt - ядро современной платформы данных
Вставка
- Опубліковано 24 вер 2024
- Подробнее о конференции SmartData: jrg.su/aTWU2K
- -
dbt - один из самых быстро набирающих популярность инструментов в сфере построения платформ и хранилищ данных. Сочетание простоты и функциональности этого инструмента подкупила и команду Toloka.ai при создании новой платформы данных. Но серебряных пуль не бывает: как и в любом open source-продукте не обошлось без «доработок напильником». Евгений рассказывает про их опыт применения dbt и доработках, которые пришлось сделать.
Спикер также отвечает на следующие вопросы:
- Какие возможности dbt делают его must have-инструментом в любой платформе данных;
- Как интегрировать dbt и airflow;
- Какие части data mesh можно поддержать с помощью dbt;
- Что пришлось активно дорабатывать в пакете;
- Стоит ли вам бросать все и внедрять dbt прямо сейчас.
Скачать презентацию с сайта SmartData - cutt.ly/9wDdNg2l
#dbt #dataplatform
спасибо за доклад, а чем библиотека astronomer cosmos для связки Airflow + dbt не подошла?)
ты про то что они использовали BashOperator вместо DbtOperator из либы cosmos?