Data From Scratch - Willis
Data From Scratch - Willis
  • 80
  • 434 256
14 Stratégies pour booster ta Data Platform
Dans cette nouvelle vidéo, je te parle des "14 Stratégies pour booster ta Data Platform"
🚀 Lien pour t'inscrire au bootcamp : tally.so/r/mBZAbe
✅ Abonne-toi en cliquant ici : www.youtube.com/@DataFromScratchWillis?sub_confirmation=1
🎁 Cadeau gratuit - Résumé de toute cette vidéo et toutes les compétences pour travailler dans le monde de la data (Data Engineer, Data Scientist, Data Analyst) : shorturl.at/kHZ37
🔥 QUI SUIS-JE ? 🔥
Je m’appelle Willis, Sr Data Engineer et Coach en Data Engineering, habitant au Canada 🇨🇦 (Montréal).
Bienvenue sur ma chaine ! Je parle de Data Engineering, de carrière en Tech et de voyage ! 🖥️✈️
🧪 Travaillant dans le monde de la data depuis plus de 10 ans, je t'aide à booster ta carrière en Data en partageant mon expertise ! 🔥
00:00 - Introduction
00:55 - Améliorer ta data ingestion
01:15 - Script Python pour tes call API
01:52 - Autoloader - Databricks et Snowflake
02:16 - Kafka / Kinesis / PubSub
02:46 - Data Transformation - Vitesse et efficacité
02:58 - Volume (partitionnement/choix d’outils)
03:25 - Vitesse (sélection/filtrage/agrégation)
03:49 - Join simple
04:06 - Join complexe (broadcast/shufflehash)
04:31 - Optimiser la Data Quality (Data déduplication)
04:55 - Optimiser les couts (FinOps) - En dev
05:50 - Optimiser les couts (FinOps) - En prod
06:19 - Réduction des coûts de stockage
06:35 - Optimisation des requêtes + surveillance continue
07:44 - Conclusion
Music from Uppbeat (free for Creators!):
uppbeat.io/t/bosnow/inside-feelings
License code: Y5XEWX7JPQJY1YPS
Переглядів: 758

Відео

Comment créer une architecture Data avec Databricks ? (Data Engineer System design interview)
Переглядів 1,5 тис.21 день тому
Dans cette nouvelle vidéo, je te parle de "Créer une architecture Data avec Databricks ?" 🚀 Lien pour t'inscrire au bootcamp : www.datamentoring.io/waitinglist ✅ Abonne-toi en cliquant ici : www.youtube.com/@DataFromScratchWillis?sub_confirmation=1 🎁 Cadeau gratuit - Résumé de toute cette vidéo et toutes les compétences pour travailler dans le monde de la data (Data Engineer, Data Scientist, Da...
De Débutant à Senior Data Engineer : Les 10 secrets pour transformer ta carrière
Переглядів 1,1 тис.Місяць тому
Dans cette nouvelle vidéo, je te parle des "De Débutant à Senior Data Engineer : Les 10 secrets clés pour transformer ta carrière" 🚀 Lien pour t'inscrire au bootcamp : www.datamentoring.io/waitinglist ✅ Abonne-toi en cliquant ici : www.youtube.com/@DataFromScratchWillis?sub_confirmation=1 🎁 Cadeau gratuit - Résumé de toute cette vidéo et toutes les compétences pour travailler dans le monde de l...
7 Concepts Data Engineering pour passer au niveau Expert
Переглядів 1,2 тис.Місяць тому
Dans cette nouvelle vidéo, je te parle de "7 Concepts Data Engineering pour passer au niveau Expert" ✅ Abonne-toi en cliquant ici : www.youtube.com/@DataFromScratchWillis?sub_confirmation=1 🎁 Cadeau gratuit - Résumé de toute cette vidéo et toutes les compétences pour travailler dans le monde de la data (Data Engineer, Data Scientist, Data Analyst) : shorturl.at/kHZ37 00:00 Intro 01:15 - Normali...
Opportunités Tech au Canada en 2024 : On fait le point (Data, Backend, Frontend, FullStack, DevOps)
Переглядів 28 тис.Місяць тому
Dans cette nouvelle vidéo, je te parle des "Opportunités Tech au Canada" 🚀 Lien pour t'inscrire au bootcamp : www.datamentoring.io/waitinglist ✅ Abonne-toi en cliquant ici : www.youtube.com/@DataFromScratchWillis?sub_confirmation=1 🎁 Cadeau gratuit - Résumé de toute cette vidéo et toutes les compétences pour travailler dans le monde de la data (Data Engineer, Data Scientist, Data Analyst) : sho...
Data Engineer JUNIOR : Tout ce que tu devrais savoir
Переглядів 2,1 тис.2 місяці тому
Dans cette nouvelle vidéo, je te parle de "Data Engineer JUNIOR : Tout ce que les devraient savoir" ✅ Abonne-toi en cliquant ici : www.youtube.com/@DataFromScratchWillis?sub_confirmation=1 🚀 Inscris-toi à la waiting-list de mon Bootcamp Data Engineering pour être averti en premier : www.datamentoring.io/waitinglist 🎁 Cadeau gratuit - Résumé de toute cette vidéo et toutes les compétences pour tr...
Qu'est-ce que le Data Engineering ? Pourquoi est-ce la clé d'un projet Data ?
Переглядів 2 тис.2 місяці тому
Dans cette nouvelle vidéo, je te parle de "Qu'est-ce que le Data Engineering ?" ✅ Abonne-toi en cliquant ici : www.youtube.com/@DataFromScratchWillis?sub_confirmation=1 🚀 Inscris-toi à la waiting-list de mon Bootcamp Data Engineering pour être averti en premier : www.datamentoring.io/waitinglist 🎁 Cadeau gratuit - Résumé de toute cette vidéo et toutes les compétences pour travailler dans le mon...
Le lexique des Data Engineers : les termes à absolument connaître !
Переглядів 1,6 тис.3 місяці тому
Dans cette nouvelle vidéo, je te parle du lexique des Data Engineers ✅ Abonne-toi en cliquant ici : www.youtube.com/@DataFromScratchWillis?sub_confirmation=1 🚀 Inscris-toi à la waiting-list de mon Bootcamp Data Engineering pour être averti en premier : www.datamentoring.io/waitinglist 🎁 Cadeau gratuit - Résumé de toute cette vidéo et toutes les compétences pour travailler dans le monde de la da...
Comment booster ton code et tes données ? (en quelques étapes simples)
Переглядів 8213 місяці тому
Dans cette nouvelle vidéo, je te parle de "Comment améliorer ton code et des données" ✅ Abonne-toi en cliquant ici : www.youtube.com/@DataFromScratchWillis?sub_confirmation=1 🚀 Inscris-toi à la waiting-list de mon Bootcamp Data Engineering pour être averti en premier : www.datamentoring.io/waitinglist 🎁 Cadeau gratuit - Résumé de toute cette vidéo et toutes les compétences pour travailler dans ...
Docker pour Data Engineer : Tout ce que tu dois connaitre
Переглядів 1,4 тис.4 місяці тому
Dans cette nouvelle vidéo, je te parle de "Docker pour Data Engineer" ✅ Abonne-toi en cliquant ici : www.youtube.com/@DataFromScratchWillis?sub_confirmation=1 🚀 Inscris-toi à la waiting-list de mon Bootcamp Data Engineering pour être averti en premier : www.datamentoring.io/waitinglist 🎁 Cadeau gratuit - Résumé de toute cette vidéo et toutes les compétences pour travailler dans le monde de la d...
DuckDB : Pourquoi cet outil va changer ton quotidien ?
Переглядів 1,9 тис.4 місяці тому
Dans cette nouvelle vidéo, je te parle de "DuckDB" ✅ Abonne-toi en cliquant ici : www.youtube.com/@DataFromScratchWillis?sub_confirmation=1 🚀 Inscris-toi à la waiting-list de mon Bootcamp Data Engineering pour être averti en premier : www.datamentoring.io/waitinglist 🎁 Cadeau gratuit - Résumé de toute cette vidéo et toutes les compétences pour travailler dans le monde de la data (Data Engineer,...
Polars : Le MEILLEUR outil Python pour créer tes Data Pipelines ?
Переглядів 1,7 тис.4 місяці тому
Dans cette nouvelle vidéo, je te parle de la library Python Polars ✅ Abonne-toi en cliquant ici : www.youtube.com/@DataFromScratchWillis?sub_confirmation=1 🚀 Inscris-toi à la waiting-list de mon Bootcamp Data Engineering pour être averti en premier : www.datamentoring.io/waitinglist 🎁 Cadeau gratuit - Résumé de toute cette vidéo et toutes les compétences pour travailler dans le monde de la data...
Lakehouse vs Datawarehouse vs Datalake vs Base de données - Pourquoi est-ce important ?
Переглядів 2,5 тис.4 місяці тому
Dans cette nouvelle vidéo, je te parle de la différence entre "Lakehouse vs Datawarehouse vs Datalake vs Base de données" ✅ Abonne-toi en cliquant ici : www.youtube.com/@DataFromScratchWillis?sub_confirmation=1 🚀 Inscris-toi à la waiting-list de mon Bootcamp Data Engineering pour être averti en premier : www.datamentoring.io/waitinglist 🎁 Cadeau gratuit - Résumé de toute cette vidéo et toutes l...
Mon entretien chez Meta/Facebook (Data Engineer interview)
Переглядів 12 тис.5 місяців тому
Dans cette nouvelle vidéo, je te parle de mon entretien chez Facebook/Meta ✅ Abonne-toi en cliquant ici : www.youtube.com/@DataFromScratchWillis?sub_confirmation=1 🎁 Cadeau gratuit - Résumé de toute cette vidéo et toutes les compétences pour travailler dans le monde de la data (Data Engineer, Data Scientist, Data Analyst) : shorturl.at/kHZ37 🚀 Prends RDV pour un coaching en Data Engineering : c...
Comment bâtir une équipe Data efficace ? Data Engineering Principles (partie 1)
Переглядів 1,2 тис.5 місяців тому
Dans cette nouvelle vidéo, je te parle de "Comment bâtir une équipe de Data Engineering efficace" ✅ Abonne-toi en cliquant ici : www.youtube.com/@DataFromScratchWillis?sub_confirmation=1 🎁 Cadeau gratuit - Résumé de toute cette vidéo et toutes les compétences pour travailler dans le monde de la data (Data Engineer, Data Scientist, Data Analyst) : shorturl.at/kHZ37 🚀 Prends RDV pour un coaching ...
Travailler en data au Canada : meilleure ou pire décision de ma vie ?
Переглядів 3,2 тис.6 місяців тому
Travailler en data au Canada : meilleure ou pire décision de ma vie ?
Comment design une architecture Data avec Snowflake/DBT ? (Data Engineer System design interview)
Переглядів 2,9 тис.6 місяців тому
Comment design une architecture Data avec Snowflake/DBT ? (Data Engineer System design interview)
Comment dépasser ta peur de Git ?
Переглядів 1,6 тис.7 місяців тому
Comment dépasser ta peur de Git ?
DataOps - Mais qu’est-ce que c'est ?
Переглядів 2,1 тис.7 місяців тому
DataOps - Mais qu’est-ce que c'est ?
La fin des Data Scientists ?
Переглядів 12 тис.8 місяців тому
La fin des Data Scientists ?
Devenir Data Engineer en 2024 : Un bon choix de carrière ?
Переглядів 7 тис.8 місяців тому
Devenir Data Engineer en 2024 : Un bon choix de carrière ?
Passer de Data Scientist à Data Engineer - Ce que tu dois savoir !
Переглядів 1,8 тис.9 місяців тому
Passer de Data Scientist à Data Engineer - Ce que tu dois savoir !
La VÉRITÉ sur le salaire des DÉVELOPPEURS aux USA et au Canada 🇺🇸🇨🇦
Переглядів 26 тис.9 місяців тому
La VÉRITÉ sur le salaire des DÉVELOPPEURS aux USA et au Canada 🇺🇸🇨🇦
Comment Devenir Developpeur Freelance au Canada 🇨🇦 (dev à 700$/j)
Переглядів 12 тис.10 місяців тому
Comment Devenir Developpeur Freelance au Canada 🇨🇦 (dev à 700$/j)
Le futur du Data Engineering dévoilé en 5 tendances clés (AI, MLops, Real-Time, etc…) 🔮
Переглядів 1,8 тис.10 місяців тому
Le futur du Data Engineering dévoilé en 5 tendances clés (AI, MLops, Real-Time, etc…) 🔮
Les outils Python indispensables pour Data Engineer
Переглядів 2 тис.10 місяців тому
Les outils Python indispensables pour Data Engineer
J'analyse des offres d'emplois de Data Engineer 🇺🇸🇫🇷🇨🇦
Переглядів 3,3 тис.11 місяців тому
J'analyse des offres d'emplois de Data Engineer 🇺🇸🇫🇷🇨🇦
7 anti-patterns pour Data Engineer - les erreurs fatales que font les débutants
Переглядів 1,6 тис.11 місяців тому
7 anti-patterns pour Data Engineer - les erreurs fatales que font les débutants
Combien de temps faut-il pour devenir Data Scientist/Data Engineer/Data Analyst ?
Переглядів 12 тис.Рік тому
Combien de temps faut-il pour devenir Data Scientist/Data Engineer/Data Analyst ?
Réussir en Data sans être un expert en maths... Possible ?
Переглядів 6 тис.Рік тому
Réussir en Data sans être un expert en maths... Possible ?

КОМЕНТАРІ

  • @serge_amon
    @serge_amon День тому

    Salut. Tu ne cesses de créer de la valeur. J'aime bien ta maîtrise de ce canal de communication.

  • @kidam901
    @kidam901 2 дні тому

    Génial la présentation d'outils !

  • @el_kokoko
    @el_kokoko 3 дні тому

    Géniale ta vidéo comme d’habitude

  • @nabilbenchabane613
    @nabilbenchabane613 6 днів тому

    J un Master au Math je veux me lancer dans la data analyse en python, je ne sais combien de temp me faut

  • @elievanazokom4809
    @elievanazokom4809 8 днів тому

    Très intéressant. Force 🇨🇲

  • @selairendri9997
    @selairendri9997 8 днів тому

    Super Merci !! Vidéo enrichissante 😉

  • @_Machiavel_
    @_Machiavel_ 10 днів тому

    Stp, est ce qu'on peut comparer dbt avec sas guide

  • @andrekonga8388
    @andrekonga8388 11 днів тому

    Cool Merci Willis👌

  • @kojotv3461
    @kojotv3461 12 днів тому

    Super intéressant, merci pour cet exercice

  • @TheOldarra
    @TheOldarra 16 днів тому

    Comment on l'installe sur un chromebook, j'ai déjà R installé, mais je n'arrive pas à installer Duckdb, merci pout votre aide

  • @saurelkacou6834
    @saurelkacou6834 17 днів тому

    Moi data analyst

  • @pierremara5788
    @pierremara5788 17 днів тому

    Les Data analysts ont du soucis a ce faire avec l'évolutions de l'IA au sein de la chaine data

  • @paultonyendjeba8817
    @paultonyendjeba8817 19 днів тому

    Bonjour Will, merci pour ta video, elle est vraiment concise neanmois j'ai quelques questions. 1-- Puisque tu utilises S3 comme source de stockage, n'est-il pas adequat de construire un data lake avec pour stockage S3 ?? je pense à un combo AWS Lake Formation + S3 ou alors AWS EMR + (Spark + Flink + Trino) + iceberg. Qu'en penses-tu ?? 2-- Comment transmets tu les données de S3 vers Snowflake ? (à l'aide de kafka) ? 3-- N'est-il pas interessant de diposé d'une BD analytics et orienté colonne telle que Druid ?? 4-- Data quality -- as-tu eu à tester great expectations ?? 5 -- N'aurait-il pas de place pour du sematic layer dans cette architecture ?? Donnes moi ton avis sur ces diffents points stp

  • @Girl_Game2012
    @Girl_Game2012 20 днів тому

    Super 👍

  • @luciengodjan3128
    @luciengodjan3128 22 дні тому

    Merci pour le contenu technique Willis.

  • @emmayouatchui9821
    @emmayouatchui9821 23 дні тому

    Franchement pépite cette vidéo❤

  • @marceltnmt
    @marceltnmt 23 дні тому

    I love it

  • @IAM_The0ne
    @IAM_The0ne 24 дні тому

    Merci pour cette démo

  • @delta_eps8916
    @delta_eps8916 24 дні тому

    franchement ce genre format de vidéo Willis c'est le top. J'espère qu'il y en aura encore de ce genre :)

    • @DataFromScratchWillis
      @DataFromScratchWillis 24 дні тому

      Salut à toi ! Merci pour la force ! Je vais voir pour continuer ce format, peut-être avec Snowflake ou AWS

  • @myers1270
    @myers1270 25 днів тому

    C’est pour les data analyst ou data engineer ?

  • @challenge_is_me321
    @challenge_is_me321 25 днів тому

    Un épisode extrêmement intéressant

  • @SevanKedeshIKISSAPENDY
    @SevanKedeshIKISSAPENDY 25 днів тому

    Magnifique video. Merci encore pour cette masterclass. Je crois que je me specialiserai en data engineer databricks seulement.

  • @andrekonga8388
    @andrekonga8388 25 днів тому

    Cool. Databricks a beaucoup évolué en l’espace d’un an 😮

  • @kevinvoyer6697
    @kevinvoyer6697 25 днів тому

    Merci pour ce contenue ! Mais petite question quand tu parles de dollars tu penses à des USD ou des CAD?

  • @serengetysson3159
    @serengetysson3159 26 днів тому

    J'arrive à Ottawa dans une semaine et je dois trouver un poste de dev sur les technos JAVA. J'ai postulé je ne sais combien de fois mais je n'ai encore aucune piste

  • @SM-vz1ek
    @SM-vz1ek 27 днів тому

    super intéressant mais comment avoir cette culture business ?

  • @benim1917
    @benim1917 29 днів тому

    Encore une excellente vidéo. Willis je pense que dans le modeling tu devrais ajouter le DataVault car peu d’ingénieur de données savent de quoi il s’agit.

  • @sefybelh5698
    @sefybelh5698 Місяць тому

    Salut willis tout d’abord merci pour tes videos que je suis depuis maintenant deux / trois ans presque. Je t’ecris pour avoir un peu un retour / un avis de la part de toi-meme voir de ta propre communauté. J’ai obtenu un diplome de master en ingénierie informatique spécialisé en data engineering il y a un an exactement. Cela m’a permis de pouvoir apprendre et comprendre pas mal de concepts / technos tels que : -le clustering avec hadoop / cloudera, -l’analyse de donnees avec ELK / logstash, tableau -la mise en place de pipeline des donnees avec KAFKA -le cloud avec l’utilisation principalement de Azure (un peu de AWS) -le SQL / noSQL J’ai acquis jusqu’à maintenant de l’expérience via mes stages / mon alternance durant mes années d’études supérieures. Notamment ma dernière alternance avec laquelle j’ai pas mal travaillé sur du cloud Azure pour un outil interne a mon entreprise, sur du java / angular. J’ai aussi pas mal travaillé avec la technologie docker. En parallèle de tout cela j’ai aussi acquis deux certifications azure (Az-900) ainsi que dp-900 pour les bases de la data dans l’environnement azure J’ai continué avec cette meme entreprise pour continuer ma mission en CDI. Je vous consulte donc pour savoir quels seraient vos conseils pour pouvoir évoluer afin d’orienter ma carrière plus vers un poste de data engineer car j’ai peur d’être au point mort… J’ai conscience actuellement que mon poste est plutot celui d’un développeur fullstack puisque je developpe principalement une plateforme de recup de donnees (destinee a fournir des analyses). J’ai des proches dans mon entourage que j’ai consulté et qui me conseillent de rester un voir deux ans max pour solidifier mes compétences avant de commencer réellement a m’aventurer dans le domaine du data engineering. Mais j’ai peur aujourd’hui de ne pas avoir ma place et d’etre accroché a cette image de simple développeur si je souhaite pretendre de devenir data engineer. Aussi si des personnes de la communauté ont deja eues ce genre de problèmatique via leur parcours. je serais ravis d’avoir un retour d’expérience la dessus. Merci par avance et désolé pour le gros pavé… j’ai essayé de grossierement citer mon parcours sans rentrer dans tous les details

  • @ovrnightsuccess
    @ovrnightsuccess Місяць тому

    Merci Willis, je sais que la vidéo date un petit peu maintenant, meme si je pense que le contenu est toujours excellent. J'avais une question, est ce que tu penses que la faciliter de demander à ChatGPT quand on bloque sur un problème est un frein dans l'apprentissage ? Devrais je quitter chatGPT pour mieux apprendre ?

  • @richmondekiedoukou432
    @richmondekiedoukou432 Місяць тому

    Je suis ingénieur Devops, j’habite Nantes et je suis dans la plage de salaire qu’il a décrit. 🌚j’attends Google pour boucler la boucle