Bonjour Guillaume, Je suis un super fan et super content qu'il puisse y avoir du contenu d'aussi bonne qualité en français. J'aimerai inviter tout le monde à prendre conscience de la chance qu'on a de pouvoir apprendre aussi clairement dans ce monde où tout le monde (beaucoup d’incompétents) cherche à monétiser des formations. Le savoir devrait être gratuit pour tout le monde. Je tiens donc à te remercier vraiment du fond du coeur pour ce travail phénoménal que tu produit et que tu transmets parfaitement. bonne soirée! :)
Merci pour ce message qui me va droit au cœur. C'est agréable quand on se rend compte de la valeur du travail que je fournis, car oui ca me prends du temps de bien vulgariser le sujet :) Merci beaucoup de me suivre et de m'aider au développement de la chaîne, c'est un immense plaisir de vous avoir avec moi !
Le plaisir est partagé! Continue de nous partager ta passion car il faut être passionné pour avoir ton soucis du détails et nous on va partager au max pour ta chaine! Elle va décoller assez rapidement je n'en doute même pas faut juste le temps que les gens se rendent compte de son existence mais au moins tu as une vrai communauté pour l'instant. Force courage et réussite pour la suite! Merci bien ;)
Merci ! je me cassais les dents sur comment définir mes pipeline en fonctions des colonnes. Maintenant je vais pouvoir m'amuser à tester plusieurs modèles sur mes 'train set' afin d'en sélectionner un. Ton contenu est très quali
franchement je n'avais pas pris le temps de bien suivre vos cours. mais là je suis au comble de la joie tellement vos cours sont simples, efficaces et m'aident enormement. Merci infiniment!!!!
Cette librairie est fantastique, faire des traitements complexes aussi simplement à travers une api aussi claire, alleluia ! Bravo pour ta pédagogie, c'est excellent
Oui, Sklearn est tres utile et puissant pour le Machine Learning. Mais seulement quand on sait aller plus loin que le simple model.fit(X, y). Continuez ainsi :)
@@MachineLearnia Franchement tu expliques schématiquement et efficacement l'essentiel. Et ça m'aide à comprendre des cours qui sont parfois franchement indigeste. Tu m'as fais économiser de précieuses heures de révision.Certains enseignants devraient prendre exemple sur tes vidéos. C'est d'ailleurs très généreux de ta part de proposer ce contenu gratuitement.
Merci Guillaume pour cette vidéo. La petite astuce de mise jour d'Anaconda est LA solution pour la mise à jour de la distribution diffusée sous Mac OS (en tous cas, je n'avais pas trouvé avant cette vidéo). Encore merci et bravo pour le savoir que vous diffusez et partagez avec nous :)-
Bonjour Guillaume, Merci pour ce tutoriel, qui est à la fois très bien expliqué, et vraiment très opérationnel. C'est effectivement beaucoup plus simple de travailler comme cela avec un column transformer, plutôt que de devoir se créer des fonctions qui sélectionnent les données suivant un dtype. Merci pour cette astuce et bonne continuation. Je suivrai ta chaine avec beaucoup d'attention étant donné la qualité du contenu!
Merci Guillaume, super content d'avoir un commentaire de ta part et de savoir que tu es toujours aussi intéressé apr la data science. J'espere que tes projets avancent bien ! :)
Bonjour à tous, c'est une répétition mais il faut encore le dire merci à guillaume pour les tutos. Moi j'aurai une question sur les pipelines: je veux surtout une clarification: un pipeline est-ce que c'est une sorte de tuyau dans lequel on fait de la préparation des données jusqu'à la création du modèle qu'il suffira simplement d'optimiser ensuite? Merci
Bonjour, merci beaucoup pour toutes ces vidéos, elles sont géniales et très exhaustives. J'ai juste une question, la pclass ne devrait pas elle aussi être traitée par un OneHot dans la mesure ou ce sont des catégories elles aussi, il me semble ?
Cette méthode est juste merveilleuse.. Je l'ai essayé sur mon data.. c'est un dataset complet. Lors de l'exécution, le dataset a été réduit et je sais pas c'est dû exactement à quoi?
Bonjour, Merci pour ce tutoriel, concernant le model final développé sa sera mieux de montrer comment on peut s'en servir, ou comment l'exporter par exemple sous forme d'un dataset.
Salut Guillaume, ta formation est top ! Je vois que en numerical_features tu prends que les features qui sont des chiffres et en categorical features tu prends celles qui sont des textes. Pourtant la classe c'est un chiffre mais c'est une categorical feature. Est ce que ca a un sens de faire de la standardisation sur une telle feature qui va surement ensuite etre transformée avec du one hot par exemple ? Du coup c'est quoi la regle ?
Salut ! tres bonne question : c'est parce que je veux passer les "textes" dans une pipeline d'encodage, donc pas la peine de passer des variables numériques (meme si elles représentent des catégories, genre 0, 1, 2). La regle, c'est juste de créer des groupes en fonctions de ce que tu cherches a faire dans la pipeline et les sous-pipelines.
Vous êtes le meilleur, pour appliquer ça il faut avoir des données bien nettoyés donc on doit faire de l'analyse exploratoire avant, ma question est ce que y' a un moyenne d'automatiser cette tache (ex détection de donnée aberrantes, test de khi 2 ...ect) ? merci encore une fois.
Merci :) L'exploration de données est une tache importante et il vaut mieux la faire soi-meme, car vous arriverez a découvrir des relations plus intéressantes que la machine. Pour la séléction de variable (khi2, etc) oui il est possible d'automatiser certaines choses. Je vais en parler dans une vidéo qui sortira la semaine prochaine.
Bonjour Super video ! Juste une question : quand tu appliques onehot a ton dataset train par exemple , mais que ce label n'existe pas dans le dataset test, comment indiquer dans le pipeline que la onehot_vectorisation s'applique suivant un encodeur initialement predefini sur l'ensemble du dataset ? Merci d'avance !
Merci beaucoup pour vos efforts . En faite, je n'arrive pas à comprendre la différence entre la fonction make_column_transformer du module compose et la fonction ColumnTransformer du même module. Est-ce que vous pouvez m'expliquer la différence?
Superbe vidéo, merci beaucoup, vraiment hâte de voir la suite, peu être que j'attends la suite plus que si j'attends la sortie d'un film, merci pour votre partage de connaissance, d’expérience, je suis impatient de voir les vidéos où o traite de vrai problèmes, Juste une question, avez vous une adresse Gmail et si c'est le cas pouvons nous poser des questions la bas. Merci beaucoup. Cordialement.
Merci beaucoup, vous pouvez me parler sur le serveur discord (lien dans la description) car par email c'est assez compliqué, j'en reçois beaucoup trop ! ahah
Bonjour, Dans l'utilisation de make-union je comprends pas pourquoi vous n'avez pas préciser le threshold avec le Binarizer.Si la machine utilise une valeur par défaut comment elle la choisit? Merci
Hello, merci beaucoup pour la vidéo, excellente et bien expliquée. Est-ce que tu sais s'il est possible d'appliquer des opérations sur X mais aussi d'autres opération sur y dans la même pipeline ?
Salut ! En général on ne transforme pas vraiment y, il y a juste 1-2 transformers que tu peux utiliser (je ne sais plus lesquels, preuve que je ne les utilise pas souvent)
Bonjour, un grand merci pour vos cours! je viens de refaire le cours sur pipeline avancée avec make_column_transformer (10'36). J'ai une erreur qui apparait : "ValueError: Cannot use most_frequent strategy with non-numeric data: could not convert string to float: 'male' ". Qui peut m'aider et me dire d'où pourrait venir l'erreur?
Bonjour et merci beaucoup de la vidéo. Juste une simple question: Lorsque vous avez divisé les données en données numériques et d'autres catégoriques, pourquoi vous avez crée la série de transformation sous forme de pipeline? Pourquoi c'est pas juste par exemple StandarScaler ou Onehotscaler?
Bonjour et merci. Les pipelines facilitent grandement le travail car on peut y passer les données de train, de test, et les données futures sans avoir de data leak ou bien de mauvaises transformations (transformations incohérentes) des données. Voila pourquoi.
Bonjour, c'est parce qu'en Analyse de données, nous ne traitons pas de la même manière les données quantitatives et les données qualitatives. Donc on crée des listes de variables pour les traiter chacune selon une pipeline précise.
Bonjour, le preprocessor est appliqué sur les variables X mais, dans le cas où le y est une variable catégorielle, comment on procède ? Merci de ta réponse
@@MachineLearnia Je reviens donc à ma première question .....Comme le preprocessor ne traite que les X et que dans mon cas, j'ai un "y" de type catégorie, comment peut on procéder pour encoder le y ? (pour moi, le y c'est le label, la target à trouver !)
Merci pour cette video, tres interessant. Une question: est-il possible de creer des pipeline avec des function qu'on a definie soit meme qui prend des parametres en entres?
Oui c'est tout a fait possible, il faut alors convertir vos fonctions en transformers, vous pouvez faire cela avec la fonction sklearn.preprocessing.FunctionTransformer
@@MachineLearnia Bonjour Guillaume, il me semble avoir vue une de tes vidéos où tu parles justement de FunctionTransformer mais je n'arrive plus à mettre la main dessus :-S
Bonjour Guillaume merci pour la vidéo. Elle m'a été très utile dans la mise en place de certains projets. Cependant, j'ai une question : comment peut-on avoir le nom de chaque variable après la transformation (data preprocessing avec le make_column_transformer). En effet, j'ai besoin savoir lors de la réalisation de modèle quelle variable est la plus importante ; mais aussi appliquer une feature selection avant de lancer le modèle. Car je veux avoir une meilleure compréhension du modèle réalisé et pouvoir l'expliquer aux personnes non-statisticiennes. Pour faire simple j'ai besoin que make_column_transformer me retourne un data frame avec le nom de chaque variable: Base_finale = pd.DataFrame(preprocessor.fit_transform(X_train), columns= Total_columns) Est ce possible ? J'ai essayé avec "get_feature_names" mais sans succès .
J'ai l'impression que c'est vous qui m'avez contacté sur Tipeee, je vous ai répondu par message, mais voici la réponse également ici : Vous pouvez utiliser la classe Pipeline() (pas make_pipeline) dans laquelle il faut donner un nom a vos étapes, par exemple Pipeline(('feature_selection', RFECV()) , ...) Puis ensuite vous pourrez utiliser : named_steps['feature_selection] pour acceder a votre transformer de la pipeline, comme ceci : pipeline.named_steps['rfe_feature_selection'].support_ "support" vous donne acces aux colonnes séléctionnées (comme nous l'avons vu dans la vidéo 23/30 Bon courage ! :)
Excellente vidéo ! mais je ne vois pas trop a quoi pourrais servir make_union () , j'ai l'impression que les autres font deja tout ? quelqu'un peut m'expliquer ?
Merci. Make_union() permet de traiter de plusieurs façons votre dataset et de regrouper les résultats dans un seul tableau. Ce n'est pas une chose possible avec une Pipeline classique
bonjour apres cette ligne de code 'model = make_pipeline(preprocessor, SGDClassifier()) model.fit(x, y)' j ai l erreur suivente " ValueError: A given column is not a column of the dataframe" merci de m aider. j ai importe un fichier csv avec pandas
Bonjour Guillaume et merci pour la qualité de tes vidéos ,au top ! Petite question je suis en train d'utiliser un make_column_transformer de cette manière : processor = make_column_transformer((OrdinalEncoder(),make_column_selector(dtype_include='object')), remainder=StandardScaler()) Mon souci est que je perds l'ordre des colonnes du dataset initial lors du .fit_transform, le traitement s'effectuant dans l'ordre des tuples initiés dans le make_column_transformer, une astuce ? trier le dataset dès le départ ? J'aimerai aussi accéder à la liste des tableaux des catégories créées via l'attribut categories_ à partir du make_column_transformer et je ne sais pas si c'est possible ? Bon voilà j'espère être assez clair :). Bonne continuation et pour info je viens de voir ta video sur les bases du Deep Learning : super travail, ça annonce la couleur pour la suite !
Ah trouvé : processor.named_transformers_["ordinalencoder"].categories_ Pas évident qd même d'arriver à se 'balader' dans les différents paramètres ... une petite video serait la bienvenue lol ;)
Bonjour professeur, on ne pourra plus en ce moment évaluer notre modèle avec le pipeline sans faire du pre_processing sur un dataset comportant des features de type catégoriel
Lorsque nous avions un dataset contenant des données manquantes sans imputer les données manquantes dans ce dataset, est-ce qu'on peut évaluer le modèle avec le pipeline (model.score...)
Merci beaucoup c'est tres gentil de vouloir me soutenir :D Il suffit de se rendre sur Tipeee (le lien est dans la description de la vidéo). Ensuite vous devez créer un compte (cela prend 2 minutes) et vous pourrez choisir le montant que vous souhaitez me verser. :) Merci beaucoup !
Bonjour, j'ai un problème sur le "make_union", il me retourne une erreur. A priori, j'aurais des valeurs "Nan". je suis allé voir dans Git le code mais je ne l'ai pas trouvé. Dans tous les cas, merci encore pour cette video qui va m'aider énormément. Bonne journée
je ne pense pas que le probleme vienne de make_union, mais des transformers que vous utilisez dans make_union. Essayez d'éliminer les NaN avec SimpleImputer, puis vous pourrez utiliser le make_union
@@MachineLearnia j'ai rajouté le SimpleImputer() mais j'ai toujours l'erreur suivante : ValueError: Input contains NaN, infinity or a value too large for dtype('float64').
Bonjour, j'ai eu le même probleme. apparemment notre fichier titanic contient 891 lignes, avec des nan sur 'age' notamment. Binarizer() n'aime pas les Nan vraisemblablement, donc On peut effectivement faire passer le SimpleImputer pour Binarizer(): """ pipeline_bin = make_pipeline(SimpleImputer(), Binarizer()) pipeline=make_union(StandardScaler(), pipeline_bin) """ Ce qui nous retourne ensuite : pipeline.fit_transform(numerical_features_).shape = (891,4). Esperant que la démarche soit juste @Machine Learnia
Comme le dit le message : il y a une erreur de syntaxe dans votre code, c'est a dire que vous avez surement fait une petite faute de frappe, mal refermé une parenthèse ou ce genre de chose. (le problème n'est pas grave il faut juste bien relire votre code, et il vous indique normalement la ligne ou l'erreur est située)
je vous invite a voir ma vidéo sur les erreurs pour comprendre comment corriger cette erreur, ainsi que toutes vos erreurs futures, vous verrez cela vous facilitera beaucoup la vie :)
@@MachineLearnia Merci Guillaume ! J'ai corrigé mon erreur, en fait j'ai mis X à la place de y et y à la place de X 🤦♂️😄 Parfois, il faut vraiment prendre une petite pause 🙂
c'est exactement ça que je cherchais... tu es le sauveur de toute la communauté francophone... merci infiniment Guillaume
votre chaine est un tresaure pour l'humanite monsieur !
Bonjour Guillaume,
Je suis un super fan et super content qu'il puisse y avoir du contenu d'aussi bonne qualité en français. J'aimerai inviter tout le monde à prendre conscience de la chance qu'on a de pouvoir apprendre aussi clairement dans ce monde où tout le monde (beaucoup d’incompétents) cherche à monétiser des formations. Le savoir devrait être gratuit pour tout le monde. Je tiens donc à te remercier vraiment du fond du coeur pour ce travail phénoménal que tu produit et que tu transmets parfaitement. bonne soirée! :)
Merci pour ce message qui me va droit au cœur. C'est agréable quand on se rend compte de la valeur du travail que je fournis, car oui ca me prends du temps de bien vulgariser le sujet :)
Merci beaucoup de me suivre et de m'aider au développement de la chaîne, c'est un immense plaisir de vous avoir avec moi !
Le plaisir est partagé! Continue de nous partager ta passion car il faut être passionné pour avoir ton soucis du détails et nous on va partager au max pour ta chaine! Elle va décoller assez rapidement je n'en doute même pas faut juste le temps que les gens se rendent compte de son existence mais au moins tu as une vrai communauté pour l'instant. Force courage et réussite pour la suite! Merci bien ;)
Heureusement tu es là. Grand merci 🙏 pour ton travail
Merci !
je me cassais les dents sur comment définir mes pipeline en fonctions des colonnes.
Maintenant je vais pouvoir m'amuser à tester plusieurs modèles sur mes 'train set' afin d'en sélectionner un.
Ton contenu est très quali
Have fun :)
franchement je n'avais pas pris le temps de bien suivre vos cours. mais là je suis au comble de la joie tellement vos cours sont simples, efficaces et m'aident enormement. Merci infiniment!!!!
C'est bien d'avoir regardé une seconde fois, cela vous aidera a mieux comprendre et a progresser, bravo ! :)
Cette librairie est fantastique, faire des traitements complexes aussi simplement à travers une api aussi claire, alleluia !
Bravo pour ta pédagogie, c'est excellent
Oui, Sklearn est tres utile et puissant pour le Machine Learning. Mais seulement quand on sait aller plus loin que le simple model.fit(X, y). Continuez ainsi :)
Encore de la bonne pédago sur un sujet très utile. Merci. J'en profite pour dire que les vidéos sur Tipeee sont énormes !
Merci beaucoup pour votre témoignage :)
Merci infiniment. C est tres tres utile. Bien expliqué. Vous etes un ange
De rien ! Merci a vous :)
Mais quel contenu formidable. Je suis en MS data Science et tu transformes mon appétences pour la Data Science en passion !
Merci beaucoup ! Wow je suis tres content de te faire aimer la Data Science encore plus
@@MachineLearnia Franchement tu expliques schématiquement et efficacement l'essentiel. Et ça m'aide à comprendre des cours qui sont parfois franchement indigeste. Tu m'as fais économiser de précieuses heures de révision.Certains enseignants devraient prendre exemple sur tes vidéos. C'est d'ailleurs très généreux de ta part de proposer ce contenu gratuitement.
Parfaitement expliqué, continuez comme ça !
Merci !
Merci Guillaume pour cette vidéo.
La petite astuce de mise jour d'Anaconda est LA solution pour la mise à jour de la distribution diffusée sous Mac OS (en tous cas, je n'avais pas trouvé avant cette vidéo). Encore merci et bravo pour le savoir que vous diffusez et partagez avec nous :)-
Je vous en prie, content de pouvoir aider ! :)
Bonjour Guillaume,
Merci pour ce tutoriel, qui est à la fois très bien expliqué, et vraiment très opérationnel. C'est effectivement beaucoup plus simple de travailler comme cela avec un column transformer, plutôt que de devoir se créer des fonctions qui sélectionnent les données suivant un dtype. Merci pour cette astuce et bonne continuation. Je suivrai ta chaine avec beaucoup d'attention étant donné la qualité du contenu!
Merci beaucoup Xavier ! Et bienvenue sur la chaine ! :)
Très utile cette vidéo bonus, merci beaucoup !
Ca fait plaisir, merci !
Master Pédagogue ! Merci pour la super vidéo BONUS !
Aaaah ! Je me disais aussi je n'avais pas de commentaire du fameux Ulrich Karl ! :D
Merci mon ami ;)
Machine Learnia oui 😁😁 j’ai pas consulter la vidéo à temps j’étais un tout petit peu occupé
Comme d'habitude, une superbe vidéo et une excellente pédagogie. Merci et bonne continuation.
Merci a vous :)
c'est fou la richesse de scikit. Merci Guillaume
Oui, sklearn est un package incroyable
c'est parfait merci fort bien cher Guillaume
Merci Aymen !
Trop bien ! Merci ! Votre chaîne est géniale !
Merci beaucoup.
comme d’habitude toujours avec des vidéo superbe.
Merci
Merci pour tes vos vidéos
De rien :)
Belle vidéo chère guillaume super boulot
Merci beaucoup
Merci encore une fois, hâte de les mettre en pratique
Partagez vos résultats avec nous :)
@@MachineLearnia sans faute
@@caumauethjacques-emile3124 Merci :D
Excellent comme toujours !
Merci Guillaume, super content d'avoir un commentaire de ta part et de savoir que tu es toujours aussi intéressé apr la data science. J'espere que tes projets avancent bien ! :)
Simple et efficace ! ✌
Merci
Merci beaucoup pour cette vidéo
De rien :)
Merci pour cette vidéo!
De rien :)
très intéressant Merci
Merci beaucoup pour vos efforts je cherche à apprendre le deep learning merci de me recomander quelques cours .
Le livre de Ian Goodfellow est un bon livre pour se lancer (je vais bientôt faire des vidéos aussi)
@@MachineLearnia Merci beaucoup
pouvez-vous donner le lien de livre
Très utile merci
De rien, je suis heureux que la vidéo vous soit utile :)
Bonjour à tous, c'est une répétition mais il faut encore le dire merci à guillaume pour les tutos. Moi j'aurai une question sur les pipelines: je veux surtout une clarification: un pipeline est-ce que c'est une sorte de tuyau dans lequel on fait de la préparation des données jusqu'à la création du modèle qu'il suffira simplement d'optimiser ensuite? Merci
Oui tout a fait ! Absolument ! :)
Et merci a vous :)
très pratique !! merci bien !!
Merci beaucoup
@@MachineLearnia j'aime bien tes vidéos !! merci pour tout ce que tu fais.
Pipelines + StackingClassifier 😆
L'output est juste ouf...
Merci beaucoup
Merci
Est-ce-que le union peut être utilisé pour faire un "gridsearch" sur les standardizeur ?
Bonjour, merci beaucoup pour toutes ces vidéos, elles sont géniales et très exhaustives. J'ai juste une question, la pclass ne devrait pas elle aussi être traitée par un OneHot dans la mesure ou ce sont des catégories elles aussi, il me semble ?
Cette méthode est juste merveilleuse..
Je l'ai essayé sur mon data.. c'est un dataset complet. Lors de l'exécution, le dataset a été réduit et je sais pas c'est dû exactement à quoi?
Une selection de variables ? Une imputation ? Un split de train/test? Voici les principales raisons possibles.
Bonjour,
Merci pour ce tutoriel, concernant le model final développé sa sera mieux de montrer comment on peut s'en servir, ou comment l'exporter par exemple sous forme d'un dataset.
Je le fais dans d'autres vidéos, vous avez raison !
Salut Guillaume, ta formation est top ! Je vois que en numerical_features tu prends que les features qui sont des chiffres et en categorical features tu prends celles qui sont des textes. Pourtant la classe c'est un chiffre mais c'est une categorical feature. Est ce que ca a un sens de faire de la standardisation sur une telle feature qui va surement ensuite etre transformée avec du one hot par exemple ? Du coup c'est quoi la regle ?
Salut ! tres bonne question : c'est parce que je veux passer les "textes" dans une pipeline d'encodage, donc pas la peine de passer des variables numériques (meme si elles représentent des catégories, genre 0, 1, 2).
La regle, c'est juste de créer des groupes en fonctions de ce que tu cherches a faire dans la pipeline et les sous-pipelines.
Merci !
De rien :)
Peut on créer une pipeline et le combiner avec GridSearchCV
Vous êtes le meilleur,
pour appliquer ça il faut avoir des données bien nettoyés donc on doit faire de l'analyse exploratoire avant, ma question est ce que y' a un moyenne d'automatiser cette tache (ex détection de donnée aberrantes, test de khi 2 ...ect) ? merci encore une fois.
Merci :)
L'exploration de données est une tache importante et il vaut mieux la faire soi-meme, car vous arriverez a découvrir des relations plus intéressantes que la machine. Pour la séléction de variable (khi2, etc) oui il est possible d'automatiser certaines choses. Je vais en parler dans une vidéo qui sortira la semaine prochaine.
@@MachineLearnia merci infiniment , je l'attends avec impatience
Bonjour Super video ! Juste une question : quand tu appliques onehot a ton dataset train par exemple , mais que ce label n'existe pas dans le dataset test, comment indiquer dans le pipeline que la onehot_vectorisation s'applique suivant un encodeur initialement predefini sur l'ensemble du dataset ? Merci d'avance !
En utilisant le paramètre handle_unknown : 'ignore' de ton OneHotEncoder :)
could we import seaborn and sklearn without importing matplotlib and numpy respectively ? thanks
Merci beaucoup pour vos efforts . En faite, je n'arrive pas à comprendre la différence entre la fonction make_column_transformer du module compose et la fonction ColumnTransformer du même module. Est-ce que vous pouvez m'expliquer la différence?
Il n'y a pas de différence vraiment. la fonction est juste plus rapide a utiliser (on ne peut pas donner de "nom" aux colonnes, c'est tout)
Superbe vidéo,
merci beaucoup, vraiment hâte de voir la suite, peu être que j'attends la suite plus que si j'attends la sortie d'un film, merci pour votre partage de connaissance, d’expérience, je suis impatient de voir les vidéos où o traite de vrai problèmes,
Juste une question, avez vous une adresse Gmail et si c'est le cas pouvons nous poser des questions la bas.
Merci beaucoup.
Cordialement.
Merci beaucoup, vous pouvez me parler sur le serveur discord (lien dans la description) car par email c'est assez compliqué, j'en reçois beaucoup trop ! ahah
Bonjour,
Dans l'utilisation de make-union je comprends pas pourquoi vous n'avez pas préciser le threshold avec le Binarizer.Si la machine utilise une valeur par défaut comment elle la choisit?
Merci
Oui c'est a vous de placer un threshold, je ne l'ai pas fait ici mais faut toujours le faire.
Hello, merci beaucoup pour la vidéo, excellente et bien expliquée. Est-ce que tu sais s'il est possible d'appliquer des opérations sur X mais aussi d'autres opération sur y dans la même pipeline ?
Salut ! En général on ne transforme pas vraiment y, il y a juste 1-2 transformers que tu peux utiliser (je ne sais plus lesquels, preuve que je ne les utilise pas souvent)
Bonjour , es ce nécessaire d'encoder les variables de type date ?
Bonjour, un grand merci pour vos cours! je viens de refaire le cours sur pipeline avancée avec make_column_transformer (10'36). J'ai une erreur qui apparait : "ValueError: Cannot use most_frequent strategy with non-numeric data: could not convert string to float: 'male' ". Qui peut m'aider et me dire d'où pourrait venir l'erreur?
Même question pour moi, as tu résolu l'erreur ?
Bonjour et merci beaucoup de la vidéo. Juste une simple question: Lorsque vous avez divisé les données en données numériques et d'autres catégoriques, pourquoi vous avez crée la série de transformation sous forme de pipeline? Pourquoi c'est pas juste par exemple StandarScaler ou Onehotscaler?
Bonjour et merci. Les pipelines facilitent grandement le travail car on peut y passer les données de train, de test, et les données futures sans avoir de data leak ou bien de mauvaises transformations (transformations incohérentes) des données. Voila pourquoi.
salut tlm, merci Guillaume pour votre formidable vidéo, svp comment peut on avoir les affiche text du cours qui sont sur la vidéo?
Bonjour et merci ! Je vais les compiler pour les mettre a disposition d'ici peu, vous serez notifiez par email si vous etes abonnés a la newsletter
Bonjour je n'ai pas compris la raison d'utilisation des listes numerical_features et
categorical_features
Bonjour, c'est parce qu'en Analyse de données, nous ne traitons pas de la même manière les données quantitatives et les données qualitatives. Donc on crée des listes de variables pour les traiter chacune selon une pipeline précise.
Bonjour, J'aimerais savoir quand utiliser make_pipelines et quand utiliser Pipeline merci
Les 2 sont identiques, c'est a votre convenance.
bonsoir j'aimerais savoir est ce que c'est obligatoire qu'un data scientist puisque maitriser le web scrapping
Vous n'avez pas besoin de savoir faire du webscrapping pour être data scientist, je vous rassure.
Bonjour, le preprocessor est appliqué sur les variables X mais, dans le cas où le y est une variable catégorielle, comment on procède ? Merci de ta réponse
Comme indiqué dans la vidéo, il faut filtrer les colonnes avec columnTransformer
@@MachineLearnia Si je me base sur la video à la 10', cela veut dire que le model.fit(X,y) va encoder les X et aussi le y ?
Les transformers de la pipeline ne travaillent que sur les données X.
@@MachineLearnia Je reviens donc à ma première question .....Comme le preprocessor ne traite que les X et que dans mon cas, j'ai un "y" de type catégorie, comment peut on procéder pour encoder le y ? (pour moi, le y c'est le label, la target à trouver !)
Merci pour cette video, tres interessant. Une question: est-il possible de creer des pipeline avec des function qu'on a definie soit meme qui prend des parametres en entres?
Oui c'est tout a fait possible, il faut alors convertir vos fonctions en transformers, vous pouvez faire cela avec la fonction sklearn.preprocessing.FunctionTransformer
@@MachineLearnia Bonjour Guillaume, il me semble avoir vue une de tes vidéos où tu parles justement de FunctionTransformer mais je n'arrive plus à mettre la main dessus :-S
@@walduch C'est dans la vidéo 22/30
@@MachineLearnia Yess exact, merci beaucoup :-) Je pense que je me suis aussi mélangé mes souvenirs avec ta vidéo qui traite de "make_scorer" ^^
Bonjour Guillaume merci pour la vidéo.
Elle m'a été très utile dans la mise en place de certains projets. Cependant, j'ai une question : comment peut-on avoir le nom de chaque variable après la transformation (data preprocessing avec le make_column_transformer). En effet, j'ai besoin savoir lors de la réalisation de modèle quelle variable est la plus importante ; mais aussi appliquer une feature selection avant de lancer le modèle. Car je veux avoir une meilleure compréhension du modèle réalisé et pouvoir l'expliquer aux personnes non-statisticiennes.
Pour faire simple j'ai besoin que make_column_transformer me retourne un data frame avec le nom de chaque variable:
Base_finale = pd.DataFrame(preprocessor.fit_transform(X_train), columns= Total_columns)
Est ce possible ? J'ai essayé avec "get_feature_names" mais sans succès .
J'ai l'impression que c'est vous qui m'avez contacté sur Tipeee, je vous ai répondu par message, mais voici la réponse également ici :
Vous pouvez utiliser la classe Pipeline() (pas make_pipeline) dans laquelle il faut donner un nom a vos étapes, par exemple
Pipeline(('feature_selection', RFECV()) , ...)
Puis ensuite vous pourrez utiliser : named_steps['feature_selection] pour acceder a votre transformer de la pipeline, comme ceci :
pipeline.named_steps['rfe_feature_selection'].support_
"support" vous donne acces aux colonnes séléctionnées (comme nous l'avons vu dans la vidéo 23/30
Bon courage ! :)
@@MachineLearnia Oui effectivement, Merci pour votre retour. J'ai réussi à l’implémenter. :)
Excellente vidéo ! mais je ne vois pas trop a quoi pourrais servir make_union () , j'ai l'impression que les autres font deja tout ? quelqu'un peut m'expliquer ?
Merci. Make_union() permet de traiter de plusieurs façons votre dataset et de regrouper les résultats dans un seul tableau. Ce n'est pas une chose possible avec une Pipeline classique
bonjour apres cette ligne de code 'model = make_pipeline(preprocessor, SGDClassifier())
model.fit(x, y)' j ai l erreur suivente "
ValueError: A given column is not a column of the dataframe" merci de m aider. j ai importe un fichier csv avec pandas
Bonjour, vous avez peut-être mal orthographié une colonne : attention aux majuscules/minuscules
@@MachineLearnia effectivement il y a un mélange de majuscules et de minuscules, je vais changer sa et merci beaucoup
Bonjour Guillaume et merci pour la qualité de tes vidéos ,au top !
Petite question je suis en train d'utiliser un make_column_transformer de cette manière :
processor = make_column_transformer((OrdinalEncoder(),make_column_selector(dtype_include='object')),
remainder=StandardScaler())
Mon souci est que je perds l'ordre des colonnes du dataset initial lors du .fit_transform, le traitement s'effectuant dans l'ordre des tuples initiés dans le make_column_transformer, une astuce ? trier le dataset dès le départ ?
J'aimerai aussi accéder à la liste des tableaux des catégories créées via l'attribut categories_ à partir du make_column_transformer et je ne sais pas si c'est possible ?
Bon voilà j'espère être assez clair :). Bonne continuation et pour info je viens de voir ta video sur les bases du Deep Learning : super travail, ça annonce la couleur pour la suite !
Ah trouvé : processor.named_transformers_["ordinalencoder"].categories_
Pas évident qd même d'arriver à se 'balader' dans les différents paramètres ... une petite video serait la bienvenue lol ;)
Félicitation a vous pour avoir trouvé la réponse de vous-meme ! Et merci de l'avoir partagé pour aider les autres :)
Bonjour professeur, on ne pourra plus en ce moment évaluer notre modèle avec le pipeline sans faire du pre_processing sur un dataset comportant des features de type catégoriel
Bonjour, je n'ai pas compris ce que vous voulez dire, désolé..
Lorsque nous avions un dataset contenant des données manquantes sans imputer les données manquantes dans ce dataset, est-ce qu'on peut évaluer le modèle avec le pipeline (model.score...)
@@programmationdotnet291 Non, car un modele ne peut pas traiter les données Manquantes, il faut nécessairement les remplacer ou les éliminer.
@@MachineLearnia comment les remplacer alors ?
@@MachineLearnia Est-ce qu'en les remplaçant nous pouvons obtenir un modèle optimal ?
merci j'aimerais te soutenir sur tipll.com mais je sais pas comment ça fonctionne
Merci beaucoup c'est tres gentil de vouloir me soutenir :D
Il suffit de se rendre sur Tipeee (le lien est dans la description de la vidéo). Ensuite vous devez créer un compte (cela prend 2 minutes) et vous pourrez choisir le montant que vous souhaitez me verser. :)
Merci beaucoup !
Bonjour,
j'ai un problème sur le "make_union", il me retourne une erreur. A priori, j'aurais des valeurs "Nan".
je suis allé voir dans Git le code mais je ne l'ai pas trouvé.
Dans tous les cas, merci encore pour cette video qui va m'aider énormément.
Bonne journée
je ne pense pas que le probleme vienne de make_union, mais des transformers que vous utilisez dans make_union. Essayez d'éliminer les NaN avec SimpleImputer, puis vous pourrez utiliser le make_union
@@MachineLearnia j'ai rajouté le SimpleImputer() mais j'ai toujours l'erreur suivante : ValueError: Input contains NaN, infinity or a value too large for dtype('float64').
Bonjour, j'ai eu le même probleme. apparemment notre fichier titanic contient 891 lignes, avec des nan sur 'age' notamment.
Binarizer() n'aime pas les Nan vraisemblablement, donc On peut effectivement faire passer le SimpleImputer pour Binarizer():
"""
pipeline_bin = make_pipeline(SimpleImputer(), Binarizer())
pipeline=make_union(StandardScaler(), pipeline_bin)
"""
Ce qui nous retourne ensuite : pipeline.fit_transform(numerical_features_).shape = (891,4).
Esperant que la démarche soit juste @Machine Learnia
@@Johann_Senn_artwork c'est ok, merci
@@Johann_Senn_artwork Merci bien pour l'astuce ;)
supères videos , lorsque je créer mon modèle
''categorial_features=['J','M']
categorial_pipeline=make_pipeline(OneHotEncoder())
preprocessor= make_column_transformer((categorial_pipeline,categorial_features)
model = make_pipeline(preprocessor, SGDClassifier()) ''
, il affiche cette erreur '' invalid syntax ''
Comme le dit le message : il y a une erreur de syntaxe dans votre code, c'est a dire que vous avez surement fait une petite faute de frappe, mal refermé une parenthèse ou ce genre de chose. (le problème n'est pas grave il faut juste bien relire votre code, et il vous indique normalement la ligne ou l'erreur est située)
Hello. il manque la fermeture de parenthese : make_column_transformer((categorial_pipeline, categorial_features))
IndexError: tuple index out of range
je vous invite a voir ma vidéo sur les erreurs pour comprendre comment corriger cette erreur, ainsi que toutes vos erreurs futures, vous verrez cela vous facilitera beaucoup la vie :)
@@MachineLearnia Merci Guillaume ! J'ai corrigé mon erreur, en fait j'ai mis X à la place de y et y à la place de X 🤦♂️😄 Parfois, il faut vraiment prendre une petite pause 🙂
Avec machine learnia votre #apprentissage est plus simple ....
Merci ca fait plaisir ! :)
blablabla python python python :)