- 80
- 434 256
Data From Scratch - Willis
Canada
Приєднався 26 бер 2021
Bienvenue sur ma chaine ! je m'appelle Willis, mais tu peux m'appeler Will.
Je parle de Data Engineering 🛠️, Data Science 🧪 et de carrière en Tech 🖥️✈️ !
🚀 Travaillant dans le monde de la data depuis plus de 10 ans, je t'aide à booster ta carrière en Data en partageant mon expertise ! 🔥
Je parle de Data Engineering 🛠️, Data Science 🧪 et de carrière en Tech 🖥️✈️ !
🚀 Travaillant dans le monde de la data depuis plus de 10 ans, je t'aide à booster ta carrière en Data en partageant mon expertise ! 🔥
14 Stratégies pour booster ta Data Platform
Dans cette nouvelle vidéo, je te parle des "14 Stratégies pour booster ta Data Platform"
🚀 Lien pour t'inscrire au bootcamp : tally.so/r/mBZAbe
✅ Abonne-toi en cliquant ici : www.youtube.com/@DataFromScratchWillis?sub_confirmation=1
🎁 Cadeau gratuit - Résumé de toute cette vidéo et toutes les compétences pour travailler dans le monde de la data (Data Engineer, Data Scientist, Data Analyst) : shorturl.at/kHZ37
🔥 QUI SUIS-JE ? 🔥
Je m’appelle Willis, Sr Data Engineer et Coach en Data Engineering, habitant au Canada 🇨🇦 (Montréal).
Bienvenue sur ma chaine ! Je parle de Data Engineering, de carrière en Tech et de voyage ! 🖥️✈️
🧪 Travaillant dans le monde de la data depuis plus de 10 ans, je t'aide à booster ta carrière en Data en partageant mon expertise ! 🔥
00:00 - Introduction
00:55 - Améliorer ta data ingestion
01:15 - Script Python pour tes call API
01:52 - Autoloader - Databricks et Snowflake
02:16 - Kafka / Kinesis / PubSub
02:46 - Data Transformation - Vitesse et efficacité
02:58 - Volume (partitionnement/choix d’outils)
03:25 - Vitesse (sélection/filtrage/agrégation)
03:49 - Join simple
04:06 - Join complexe (broadcast/shufflehash)
04:31 - Optimiser la Data Quality (Data déduplication)
04:55 - Optimiser les couts (FinOps) - En dev
05:50 - Optimiser les couts (FinOps) - En prod
06:19 - Réduction des coûts de stockage
06:35 - Optimisation des requêtes + surveillance continue
07:44 - Conclusion
Music from Uppbeat (free for Creators!):
uppbeat.io/t/bosnow/inside-feelings
License code: Y5XEWX7JPQJY1YPS
🚀 Lien pour t'inscrire au bootcamp : tally.so/r/mBZAbe
✅ Abonne-toi en cliquant ici : www.youtube.com/@DataFromScratchWillis?sub_confirmation=1
🎁 Cadeau gratuit - Résumé de toute cette vidéo et toutes les compétences pour travailler dans le monde de la data (Data Engineer, Data Scientist, Data Analyst) : shorturl.at/kHZ37
🔥 QUI SUIS-JE ? 🔥
Je m’appelle Willis, Sr Data Engineer et Coach en Data Engineering, habitant au Canada 🇨🇦 (Montréal).
Bienvenue sur ma chaine ! Je parle de Data Engineering, de carrière en Tech et de voyage ! 🖥️✈️
🧪 Travaillant dans le monde de la data depuis plus de 10 ans, je t'aide à booster ta carrière en Data en partageant mon expertise ! 🔥
00:00 - Introduction
00:55 - Améliorer ta data ingestion
01:15 - Script Python pour tes call API
01:52 - Autoloader - Databricks et Snowflake
02:16 - Kafka / Kinesis / PubSub
02:46 - Data Transformation - Vitesse et efficacité
02:58 - Volume (partitionnement/choix d’outils)
03:25 - Vitesse (sélection/filtrage/agrégation)
03:49 - Join simple
04:06 - Join complexe (broadcast/shufflehash)
04:31 - Optimiser la Data Quality (Data déduplication)
04:55 - Optimiser les couts (FinOps) - En dev
05:50 - Optimiser les couts (FinOps) - En prod
06:19 - Réduction des coûts de stockage
06:35 - Optimisation des requêtes + surveillance continue
07:44 - Conclusion
Music from Uppbeat (free for Creators!):
uppbeat.io/t/bosnow/inside-feelings
License code: Y5XEWX7JPQJY1YPS
Переглядів: 758
Відео
Comment créer une architecture Data avec Databricks ? (Data Engineer System design interview)
Переглядів 1,5 тис.21 день тому
Dans cette nouvelle vidéo, je te parle de "Créer une architecture Data avec Databricks ?" 🚀 Lien pour t'inscrire au bootcamp : www.datamentoring.io/waitinglist ✅ Abonne-toi en cliquant ici : www.youtube.com/@DataFromScratchWillis?sub_confirmation=1 🎁 Cadeau gratuit - Résumé de toute cette vidéo et toutes les compétences pour travailler dans le monde de la data (Data Engineer, Data Scientist, Da...
De Débutant à Senior Data Engineer : Les 10 secrets pour transformer ta carrière
Переглядів 1,1 тис.Місяць тому
Dans cette nouvelle vidéo, je te parle des "De Débutant à Senior Data Engineer : Les 10 secrets clés pour transformer ta carrière" 🚀 Lien pour t'inscrire au bootcamp : www.datamentoring.io/waitinglist ✅ Abonne-toi en cliquant ici : www.youtube.com/@DataFromScratchWillis?sub_confirmation=1 🎁 Cadeau gratuit - Résumé de toute cette vidéo et toutes les compétences pour travailler dans le monde de l...
7 Concepts Data Engineering pour passer au niveau Expert
Переглядів 1,2 тис.Місяць тому
Dans cette nouvelle vidéo, je te parle de "7 Concepts Data Engineering pour passer au niveau Expert" ✅ Abonne-toi en cliquant ici : www.youtube.com/@DataFromScratchWillis?sub_confirmation=1 🎁 Cadeau gratuit - Résumé de toute cette vidéo et toutes les compétences pour travailler dans le monde de la data (Data Engineer, Data Scientist, Data Analyst) : shorturl.at/kHZ37 00:00 Intro 01:15 - Normali...
Opportunités Tech au Canada en 2024 : On fait le point (Data, Backend, Frontend, FullStack, DevOps)
Переглядів 28 тис.Місяць тому
Dans cette nouvelle vidéo, je te parle des "Opportunités Tech au Canada" 🚀 Lien pour t'inscrire au bootcamp : www.datamentoring.io/waitinglist ✅ Abonne-toi en cliquant ici : www.youtube.com/@DataFromScratchWillis?sub_confirmation=1 🎁 Cadeau gratuit - Résumé de toute cette vidéo et toutes les compétences pour travailler dans le monde de la data (Data Engineer, Data Scientist, Data Analyst) : sho...
Data Engineer JUNIOR : Tout ce que tu devrais savoir
Переглядів 2,1 тис.2 місяці тому
Dans cette nouvelle vidéo, je te parle de "Data Engineer JUNIOR : Tout ce que les devraient savoir" ✅ Abonne-toi en cliquant ici : www.youtube.com/@DataFromScratchWillis?sub_confirmation=1 🚀 Inscris-toi à la waiting-list de mon Bootcamp Data Engineering pour être averti en premier : www.datamentoring.io/waitinglist 🎁 Cadeau gratuit - Résumé de toute cette vidéo et toutes les compétences pour tr...
Qu'est-ce que le Data Engineering ? Pourquoi est-ce la clé d'un projet Data ?
Переглядів 2 тис.2 місяці тому
Dans cette nouvelle vidéo, je te parle de "Qu'est-ce que le Data Engineering ?" ✅ Abonne-toi en cliquant ici : www.youtube.com/@DataFromScratchWillis?sub_confirmation=1 🚀 Inscris-toi à la waiting-list de mon Bootcamp Data Engineering pour être averti en premier : www.datamentoring.io/waitinglist 🎁 Cadeau gratuit - Résumé de toute cette vidéo et toutes les compétences pour travailler dans le mon...
Le lexique des Data Engineers : les termes à absolument connaître !
Переглядів 1,6 тис.3 місяці тому
Dans cette nouvelle vidéo, je te parle du lexique des Data Engineers ✅ Abonne-toi en cliquant ici : www.youtube.com/@DataFromScratchWillis?sub_confirmation=1 🚀 Inscris-toi à la waiting-list de mon Bootcamp Data Engineering pour être averti en premier : www.datamentoring.io/waitinglist 🎁 Cadeau gratuit - Résumé de toute cette vidéo et toutes les compétences pour travailler dans le monde de la da...
Comment booster ton code et tes données ? (en quelques étapes simples)
Переглядів 8213 місяці тому
Dans cette nouvelle vidéo, je te parle de "Comment améliorer ton code et des données" ✅ Abonne-toi en cliquant ici : www.youtube.com/@DataFromScratchWillis?sub_confirmation=1 🚀 Inscris-toi à la waiting-list de mon Bootcamp Data Engineering pour être averti en premier : www.datamentoring.io/waitinglist 🎁 Cadeau gratuit - Résumé de toute cette vidéo et toutes les compétences pour travailler dans ...
Docker pour Data Engineer : Tout ce que tu dois connaitre
Переглядів 1,4 тис.4 місяці тому
Dans cette nouvelle vidéo, je te parle de "Docker pour Data Engineer" ✅ Abonne-toi en cliquant ici : www.youtube.com/@DataFromScratchWillis?sub_confirmation=1 🚀 Inscris-toi à la waiting-list de mon Bootcamp Data Engineering pour être averti en premier : www.datamentoring.io/waitinglist 🎁 Cadeau gratuit - Résumé de toute cette vidéo et toutes les compétences pour travailler dans le monde de la d...
DuckDB : Pourquoi cet outil va changer ton quotidien ?
Переглядів 1,9 тис.4 місяці тому
Dans cette nouvelle vidéo, je te parle de "DuckDB" ✅ Abonne-toi en cliquant ici : www.youtube.com/@DataFromScratchWillis?sub_confirmation=1 🚀 Inscris-toi à la waiting-list de mon Bootcamp Data Engineering pour être averti en premier : www.datamentoring.io/waitinglist 🎁 Cadeau gratuit - Résumé de toute cette vidéo et toutes les compétences pour travailler dans le monde de la data (Data Engineer,...
Polars : Le MEILLEUR outil Python pour créer tes Data Pipelines ?
Переглядів 1,7 тис.4 місяці тому
Dans cette nouvelle vidéo, je te parle de la library Python Polars ✅ Abonne-toi en cliquant ici : www.youtube.com/@DataFromScratchWillis?sub_confirmation=1 🚀 Inscris-toi à la waiting-list de mon Bootcamp Data Engineering pour être averti en premier : www.datamentoring.io/waitinglist 🎁 Cadeau gratuit - Résumé de toute cette vidéo et toutes les compétences pour travailler dans le monde de la data...
Lakehouse vs Datawarehouse vs Datalake vs Base de données - Pourquoi est-ce important ?
Переглядів 2,5 тис.4 місяці тому
Dans cette nouvelle vidéo, je te parle de la différence entre "Lakehouse vs Datawarehouse vs Datalake vs Base de données" ✅ Abonne-toi en cliquant ici : www.youtube.com/@DataFromScratchWillis?sub_confirmation=1 🚀 Inscris-toi à la waiting-list de mon Bootcamp Data Engineering pour être averti en premier : www.datamentoring.io/waitinglist 🎁 Cadeau gratuit - Résumé de toute cette vidéo et toutes l...
Mon entretien chez Meta/Facebook (Data Engineer interview)
Переглядів 12 тис.5 місяців тому
Dans cette nouvelle vidéo, je te parle de mon entretien chez Facebook/Meta ✅ Abonne-toi en cliquant ici : www.youtube.com/@DataFromScratchWillis?sub_confirmation=1 🎁 Cadeau gratuit - Résumé de toute cette vidéo et toutes les compétences pour travailler dans le monde de la data (Data Engineer, Data Scientist, Data Analyst) : shorturl.at/kHZ37 🚀 Prends RDV pour un coaching en Data Engineering : c...
Comment bâtir une équipe Data efficace ? Data Engineering Principles (partie 1)
Переглядів 1,2 тис.5 місяців тому
Dans cette nouvelle vidéo, je te parle de "Comment bâtir une équipe de Data Engineering efficace" ✅ Abonne-toi en cliquant ici : www.youtube.com/@DataFromScratchWillis?sub_confirmation=1 🎁 Cadeau gratuit - Résumé de toute cette vidéo et toutes les compétences pour travailler dans le monde de la data (Data Engineer, Data Scientist, Data Analyst) : shorturl.at/kHZ37 🚀 Prends RDV pour un coaching ...
Travailler en data au Canada : meilleure ou pire décision de ma vie ?
Переглядів 3,2 тис.6 місяців тому
Travailler en data au Canada : meilleure ou pire décision de ma vie ?
Comment design une architecture Data avec Snowflake/DBT ? (Data Engineer System design interview)
Переглядів 2,9 тис.6 місяців тому
Comment design une architecture Data avec Snowflake/DBT ? (Data Engineer System design interview)
DataOps - Mais qu’est-ce que c'est ?
Переглядів 2,1 тис.7 місяців тому
DataOps - Mais qu’est-ce que c'est ?
Devenir Data Engineer en 2024 : Un bon choix de carrière ?
Переглядів 7 тис.8 місяців тому
Devenir Data Engineer en 2024 : Un bon choix de carrière ?
Passer de Data Scientist à Data Engineer - Ce que tu dois savoir !
Переглядів 1,8 тис.9 місяців тому
Passer de Data Scientist à Data Engineer - Ce que tu dois savoir !
La VÉRITÉ sur le salaire des DÉVELOPPEURS aux USA et au Canada 🇺🇸🇨🇦
Переглядів 26 тис.9 місяців тому
La VÉRITÉ sur le salaire des DÉVELOPPEURS aux USA et au Canada 🇺🇸🇨🇦
Comment Devenir Developpeur Freelance au Canada 🇨🇦 (dev à 700$/j)
Переглядів 12 тис.10 місяців тому
Comment Devenir Developpeur Freelance au Canada 🇨🇦 (dev à 700$/j)
Le futur du Data Engineering dévoilé en 5 tendances clés (AI, MLops, Real-Time, etc…) 🔮
Переглядів 1,8 тис.10 місяців тому
Le futur du Data Engineering dévoilé en 5 tendances clés (AI, MLops, Real-Time, etc…) 🔮
Les outils Python indispensables pour Data Engineer
Переглядів 2 тис.10 місяців тому
Les outils Python indispensables pour Data Engineer
J'analyse des offres d'emplois de Data Engineer 🇺🇸🇫🇷🇨🇦
Переглядів 3,3 тис.11 місяців тому
J'analyse des offres d'emplois de Data Engineer 🇺🇸🇫🇷🇨🇦
7 anti-patterns pour Data Engineer - les erreurs fatales que font les débutants
Переглядів 1,6 тис.11 місяців тому
7 anti-patterns pour Data Engineer - les erreurs fatales que font les débutants
Combien de temps faut-il pour devenir Data Scientist/Data Engineer/Data Analyst ?
Переглядів 12 тис.Рік тому
Combien de temps faut-il pour devenir Data Scientist/Data Engineer/Data Analyst ?
Réussir en Data sans être un expert en maths... Possible ?
Переглядів 6 тис.Рік тому
Réussir en Data sans être un expert en maths... Possible ?
Salut. Tu ne cesses de créer de la valeur. J'aime bien ta maîtrise de ce canal de communication.
Génial la présentation d'outils !
Géniale ta vidéo comme d’habitude
J un Master au Math je veux me lancer dans la data analyse en python, je ne sais combien de temp me faut
Très intéressant. Force 🇨🇲
Super Merci !! Vidéo enrichissante 😉
Stp, est ce qu'on peut comparer dbt avec sas guide
Cool Merci Willis👌
Avec plaisir ! 😊
Super intéressant, merci pour cet exercice
Merci à toi
Comment on l'installe sur un chromebook, j'ai déjà R installé, mais je n'arrive pas à installer Duckdb, merci pout votre aide
Moi data analyst
Les Data analysts ont du soucis a ce faire avec l'évolutions de l'IA au sein de la chaine data
Bonjour Will, merci pour ta video, elle est vraiment concise neanmois j'ai quelques questions. 1-- Puisque tu utilises S3 comme source de stockage, n'est-il pas adequat de construire un data lake avec pour stockage S3 ?? je pense à un combo AWS Lake Formation + S3 ou alors AWS EMR + (Spark + Flink + Trino) + iceberg. Qu'en penses-tu ?? 2-- Comment transmets tu les données de S3 vers Snowflake ? (à l'aide de kafka) ? 3-- N'est-il pas interessant de diposé d'une BD analytics et orienté colonne telle que Druid ?? 4-- Data quality -- as-tu eu à tester great expectations ?? 5 -- N'aurait-il pas de place pour du sematic layer dans cette architecture ?? Donnes moi ton avis sur ces diffents points stp
Super 👍
Merci pour le contenu technique Willis.
Franchement pépite cette vidéo❤
Merci :) !
I love it
Merci pour cette démo
franchement ce genre format de vidéo Willis c'est le top. J'espère qu'il y en aura encore de ce genre :)
Salut à toi ! Merci pour la force ! Je vais voir pour continuer ce format, peut-être avec Snowflake ou AWS
C’est pour les data analyst ou data engineer ?
Pour les 2 ! Il y a une partie data analytics et même data science
Un épisode extrêmement intéressant
Merci à toi !
Magnifique video. Merci encore pour cette masterclass. Je crois que je me specialiserai en data engineer databricks seulement.
Un grand merci !
Cool. Databricks a beaucoup évolué en l’espace d’un an 😮
Oui, et ça avance vite !
Merci pour ce contenue ! Mais petite question quand tu parles de dollars tu penses à des USD ou des CAD?
CAD
J'arrive à Ottawa dans une semaine et je dois trouver un poste de dev sur les technos JAVA. J'ai postulé je ne sais combien de fois mais je n'ai encore aucune piste
super intéressant mais comment avoir cette culture business ?
Encore une excellente vidéo. Willis je pense que dans le modeling tu devrais ajouter le DataVault car peu d’ingénieur de données savent de quoi il s’agit.
Salut willis tout d’abord merci pour tes videos que je suis depuis maintenant deux / trois ans presque. Je t’ecris pour avoir un peu un retour / un avis de la part de toi-meme voir de ta propre communauté. J’ai obtenu un diplome de master en ingénierie informatique spécialisé en data engineering il y a un an exactement. Cela m’a permis de pouvoir apprendre et comprendre pas mal de concepts / technos tels que : -le clustering avec hadoop / cloudera, -l’analyse de donnees avec ELK / logstash, tableau -la mise en place de pipeline des donnees avec KAFKA -le cloud avec l’utilisation principalement de Azure (un peu de AWS) -le SQL / noSQL J’ai acquis jusqu’à maintenant de l’expérience via mes stages / mon alternance durant mes années d’études supérieures. Notamment ma dernière alternance avec laquelle j’ai pas mal travaillé sur du cloud Azure pour un outil interne a mon entreprise, sur du java / angular. J’ai aussi pas mal travaillé avec la technologie docker. En parallèle de tout cela j’ai aussi acquis deux certifications azure (Az-900) ainsi que dp-900 pour les bases de la data dans l’environnement azure J’ai continué avec cette meme entreprise pour continuer ma mission en CDI. Je vous consulte donc pour savoir quels seraient vos conseils pour pouvoir évoluer afin d’orienter ma carrière plus vers un poste de data engineer car j’ai peur d’être au point mort… J’ai conscience actuellement que mon poste est plutot celui d’un développeur fullstack puisque je developpe principalement une plateforme de recup de donnees (destinee a fournir des analyses). J’ai des proches dans mon entourage que j’ai consulté et qui me conseillent de rester un voir deux ans max pour solidifier mes compétences avant de commencer réellement a m’aventurer dans le domaine du data engineering. Mais j’ai peur aujourd’hui de ne pas avoir ma place et d’etre accroché a cette image de simple développeur si je souhaite pretendre de devenir data engineer. Aussi si des personnes de la communauté ont deja eues ce genre de problèmatique via leur parcours. je serais ravis d’avoir un retour d’expérience la dessus. Merci par avance et désolé pour le gros pavé… j’ai essayé de grossierement citer mon parcours sans rentrer dans tous les details
Merci Willis, je sais que la vidéo date un petit peu maintenant, meme si je pense que le contenu est toujours excellent. J'avais une question, est ce que tu penses que la faciliter de demander à ChatGPT quand on bloque sur un problème est un frein dans l'apprentissage ? Devrais je quitter chatGPT pour mieux apprendre ?
Je suis ingénieur Devops, j’habite Nantes et je suis dans la plage de salaire qu’il a décrit. 🌚j’attends Google pour boucler la boucle
Tu sais ce qu'il te reste a faire ! Haha