Подписываюсь под каждым словом, занимался продуктом, занимался финансовым проектом, отчеты в power bi строил, сейчас работаю над план\фактовым анализом. Есть команда аналитиков(обычно отдел) есть пара дата инженеров отвечающая обычно за свое направление которое интересует бизнес. Ит.д.
Добрый день. Вы говорите про мягкое, а я в видео говорю про тёплое. Core - это условное деление команд. Core-команда может использовать разные инструменты: Airflow, AirByte, etc. Это всего лишь инструменты. Выбор технологий зависит от Teach Lead, CDO, Principal Data Engineer. RAW слой - это слой сырых данных, его могут и обычно собирает команда ядра (core). Точно также core-команда может собирать ODS, DDS слои и в редких случая DM, о чём я сказал в видео. И повторюсь немного: выбор инструмента зависит от многих параметров. Поэтому в core-команде может быть всё, что вы перечислили.
@@DataLikeQWERTY я не знаю что у вас за команда, но у нас DE не делится. есть задача от заказчика и есть сотрудник, который ее выполняет. да хоть Peer DB или табличная функция postgresql будет использоваться для ETL/ELT процесса PG->CH. Принцип работы одинаковый без разницы какой слой собирается. Есть заказчик с тз и есть исполнитель.
Подписываюсь под каждым словом, занимался продуктом, занимался финансовым проектом, отчеты в power bi строил, сейчас работаю над план\фактовым анализом. Есть команда аналитиков(обычно отдел) есть пара дата инженеров отвечающая обычно за свое направление которое интересует бизнес. Ит.д.
💪🏻
Спасибо за видео! Как лучше всего начать свой путь в мир data engineering?
korsak0v.notion.site/Data-Engineer-185c62fdf79345eb9da9928356884ea0
Круто
что такое ядро? может быть row слой? почему его вдруг должна собирать какая то отдельная команда а не airflow airbyte kafka dagster и т. д.?
Добрый день. Вы говорите про мягкое, а я в видео говорю про тёплое.
Core - это условное деление команд. Core-команда может использовать разные инструменты: Airflow, AirByte, etc. Это всего лишь инструменты. Выбор технологий зависит от Teach Lead, CDO, Principal Data Engineer.
RAW слой - это слой сырых данных, его могут и обычно собирает команда ядра (core). Точно также core-команда может собирать ODS, DDS слои и в редких случая DM, о чём я сказал в видео.
И повторюсь немного: выбор инструмента зависит от многих параметров. Поэтому в core-команде может быть всё, что вы перечислили.
@@DataLikeQWERTY я не знаю что у вас за команда, но у нас DE не делится. есть задача от заказчика и есть сотрудник, который ее выполняет. да хоть Peer DB или табличная функция postgresql будет использоваться для ETL/ELT процесса PG->CH. Принцип работы одинаковый без разницы какой слой собирается. Есть заказчик с тз и есть исполнитель.
привет) будут ещё видосы?
Будут. Монтируется новый выпуск
Расскажи пж по подробнее про команды ядра