Comment design une architecture Data avec Snowflake/DBT ? (Data Engineer System design interview)
Вставка
- Опубліковано 11 бер 2024
- Dans cette nouvelle vidéo, je te prépare pour les entretiens de type System design, pour Data Engineer
✅ Abonne-toi en cliquant ici : www.youtube.com/@DataFromScra...
🎁 Cadeau gratuit - Résumé de toute cette vidéo et toutes les compétences pour travailler dans le monde de la data (Data Engineer, Data Scientist, Data Analyst) : shorturl.at/kHZ37
🚀 Prends RDV pour un coaching en Data Engineering : calendly.com/willis-nana
🔥 QUI SUIS-JE ? 🔥
Je m’appelle Willis, Sr Data Engineer et Coach en Data Engineering, habitant au Canada 🇨🇦 (Montréal).
Bienvenue sur ma chaine ! Je parle de Data Engineering, de carrière en Tech et de voyage ! 🖥️✈️
🧪 Travaillant dans le monde de la data depuis plus de 10 ans, je t'aide à booster ta carrière en Data en partageant mon expertise ! 🔥
Music from Uppbeat (free for Creators!):
uppbeat.io/t/avbe/night-in-kyoto
License code: AWYRBAO3W2C2GGO0 - Наука та технологія
Merci beaucoup Willis ❤😊
Infiniment Merci pour la Video
C'est un banger cette vidéo, MERCI !
T'es le meilleur. Thks !
Cette vidéo est géniale !
Bonne vidéo. De mon côté, j'aurais plutôt utilisé Scala et le framework Spark pour la partie transformation "technique" réalisée par des Data Engineers, et dbt pour les transformations impliquant une logique métier par les Analytics Engineers/Data Analysts. Cela rajoute une couche, mais permet de mieux répartir la charge et scinder les périmètres.
Et pour la partie liée à la qualité de données, tu peux effectivement utiliser Great Expectations et/ou la librarie dbt-expectations qui évite de rédiger des macros custom 😉 Il faudrait aussi que je creuse les outils OS de dashboarding (evidence, Rill...) car Tableau coûte une blinde 😂
Hello Willis je ne peux pas te répondre pour DBT de mon côté je gère la partie transformation avec Semarchy xdi et quant à ta question concernant sa capacités à gérer de fortes volumétrie cela dépend totalement de la capacités mémoires du runtime et de la performance du SGBD. Donc par exemple si tu es sur un linux on premises bases Postgres tu vas avoir de gros soucis par rapport à un runtime déployé sur GCP qui attaque une base bigquery, mais la contrepartie sera alors le coup de requetage sur bigquery.
Super vidéo Willis est ce que tu aurais des ressources pour les entretiens de System Design mais pour ML Engineer
niveau data transformation on peut utiliser databricks aussi pour les gros volumes de donnée c'est nickel
Merci beaucoup! J’adore vraiment le format. Juste curieux, pour la partir data Storage, pourquoi stores-tu les données en tant que flat files, au lieu de choisir une base de donnée e.g. sql server ?
Je me permets de donner mon avis. S3 est probablement meilleur pour les raisons suivantes: permet de garder les donnes brutes au contraire d une BDD(schema on write), on parle d injecter 80TB par jour donc SQL server n est pas adapte pour ce type de scenario ( c est d ailleurs pour ca il choisit Snowflake entre autre)
Toujours concis et précis dans tes explications, un grand big up à toi 😉😉.Une question pourrais-tu nous faire une prez sur les BD Vectorielles et les cas d'usages? merci d'avance
Merci pour le commentaire ! C'est noté !
Par contre je rajouterai trino en dessus de dbt pour interagir avec s3 ^^ à moins que dans ton airflow tu fais un COPY STAGE de s3 vers snowflake
Merci bcp Willis , je comprends mieux l'architecture data.
Quel est l'intérêt de faire une présentation à partir des données récupérées dans snowflake, vu que la transformation se fait avec dbt?
Merci.
Par présentation il veut dire visualisation.
Une fois les données nettoyé, il faut les présenter sous formes de graphiques afin d’aider à la prise de décision
Du coup les données dans S3 vont être importées dans snowflake et c’est la qu’on utilisera dbt non?
Oui, dbt servira à gérer la partie Transformation de l'ELT
Pourquoi pas spark au lieu de dbt?
Ça rajouterait un layer en plus.
Vaut mieux utiliser la puissance du data warehouse pour faire les transformations
Par contre je rajouterai trino en dessus de dbt pour interagir avec s3 ^^ à moins que dans ton airflow tu fais un COPY STAGE de s3 vers snowflake
J’ai exactement la même question. On peut même les utiliser ensemble mais ils semblent presque inévitables d’utiliser du « compute distributed »
@@ruddynzita1540 le data warehouse est déjà un “compute distributed”