Bonjour, super tuto ! Est ce qu'il existe une méthode pour fusionner les fichiers, c'est -à-dire les mettre les uns à côtés des autres plutot que les ajouter (les uns sur les autres) et ensuite avoir en préfixe de nom de colonne, le nom du fichier d'origine (en enlevant l'extension) ?
Hello, merci pour ton message ;) Alors le nom de fichier dans la mesure où on le récupère il n'y a pas de problématique particulière pour le placer. Il faudrait ajouter une ligne vide, y étirer le nom de fichier, trier pour que la ligne vide soit en haut et promouvoir la 1ère ligne en entête de colonne. Par contre j'ai du mal à comprendre ton second besoin, de mettre les données colonne à colonne les unes après les autres. En termes de BI et pour faire des graphiques sur la base de ces données, j'évite au maximum de démultiplier le nombre de colonnes. Tu as très probablement un besoin spécifique qui le nécessite. N'hésite pas à m'en dire plus par email : contact@cybermatik.fr Bonne soirée ;)
Bonjour Aurélie, merci pour ton message :) Oui, tu peux tout à fait importer des fichiers provenant de Sharepoint ou de Onedrive. J'ai fait un tuto sur le sujet :ua-cam.com/video/ccuv-JaKmKk/v-deo.htmlsi=8GXyGoczLBFMDpJE Redis-moi si tu as besoin de précisions. Good luck :)
@@Cybermatikmerci ! Je parviens à récupérer toutes les données mais lorsque je filtres la colonne Path pour avoir le dossier qui me concerne, la requête ne se termine jamais où ne retrouve pas les bons fichiers
Bonjour. Bravo pour la vidéo. J'aimerai un conseil : Quand on travaille avec plus de 1000 fichiers, comment faire pour que Powerquery ne recrute que les fichier modifiés depuis la dernière mise à jour pour ne pas tout rééplucher à chaque fois ?
Hello Benoit, Merci pour ton message ;) Cela dépend de ce que tu souhaites en termes de résultats. 1- Tu veux tous les fichiers et n'ajouter que les derniers 1000 ou 2- ton tableau de bord ne doit que comporter les 1000 derniers fichiers modifiés. Dans le cas 1: - Je laisserais mon rapport tourner tel que tu l'as construit, et j'utiliserai Power BI Online avec des mises à jour planifiées la nuit pour avoir mon résultat exploitables le matin. Tu peux planifier 8 maj par jour avec des espaces gratuit /pro et 48 avec des espaces premium. Tu n'auras donc qu'à utiliser ton rapport/application et à rafraîchir la vue pour visualiser les dernières données. Dans le cas 2: J'ajouterai un paramètre de date dans Power Query qui soustrairait à la date/heure du jour la fréquence de rafraîchissement que tu définis. De cette manière, tu peux filtrer par date de modification supérieure à ce paramètre, et éviter le chargement lourd et chronophage de l'ensemble des fichiers. Good luck ;)
Merci en fait les fichiers sont sur serveur interne, et je voudrai mettre a jour que les fichiers modifiés et les nouveaux sinon c'est plus d'1h de traitement
Benoit, Il est difficile pour moi d'apporter une réponse technique fiable sans connaitre la structure de ton serveur interne et les informations qu'il fourni lors de la connexion avec Power Query. Dans tous les cas la solution 1 est fonctionnelle, celà impliquera que tu installes un gateway power bi sur une machine toujours connectée à ton serveur (une VM dispo ?) pour faire les appels à ton serveur pour faire les maj. Si tu as besoin de plus de précisions, n'hésite pas à me contacter en direct: contact@cybermatik.fr Bonne journée.
Bonjour Celia, Merci pour ton message et content si ça a pu te servir. Cette vidéo, c'est celle que je consulte moi-même le plus étant donné la technicité de la manip. Je viens de tester avec du CSV et j'arrive à importer plusieurs fichiers et à la combiner comme montré en fin de vidéo. Depuis que j'ai publié ce tuto, j'ai découvert une méthode plus simple avec Excel, et qui permet également de mieux adapter la requête pour des fichiers d'autres types. À ma connaissance, il n'y a pas de limites de taille dans l'absolu sur la version Desktop de Power BI, par contre en ligne selon ta licence utilisateurs, tu pourrais être confronté à des limitations. On parle en GO de données donc on a généralement le temps de voir venir. Je posterai bientôt la vidéo à ce sujet ;) Bonne journée.
Hello elle est géniale votre video. Merci bien car, elle m'a permis d'optimiser plusieurs traitements. Je suis tomber sur un cas particulier et une petite question me tarode: - J'ai 10 fichiers, - dont la moitié contient 4 colonnes en moins que les autres, (toutes les autres colonnes étant identiques) - a partir de votre fonction, existe t'il une astuce qui peut me permettre de néamoins combiner les 10 fichiers et de juste rajouter les valeurs null dans les 5 fichiers où lesdites colonnes n'existent pas? Power query le fait de manière automatique mais j'y comprends rien à ses fonctions et ses paramètres.😅 Davance, merci de votre retour.
Hello Martial, Merci pour ton message ;) Dans ton cas je te recommande de faire deux combinaisons de fichiers différentes, l’une pour les fichiers à 10 colonnes et l’autre à pour ceux à 4. Ensuite tu ajoutes ces deux requêtes afin d’agréger toutes les colonnes qui peuvent l’être et récupérer les autres avec des valeurs nulles. L’idéal est de stocker ces fichiers dans des dossiers différents pour éviter les galères à l’import. Good luck ;)
Bonjour super vidéos, très clair. Je me sers de cette fonction pour importer des exports mensuels et les combiner. Le soucis et sur ces exports je n’ai pas la distinction « Année » jusque là, j’ajoutais les fichiers un par un dans query et ajoutais une colonne personnalisée qui m’évitait de modifier l’export. Existerai-t-il une solution alternative, il faudrait que peut être je crée des dossiers par années ?
Hello Lucas, merci beaucoup ;) La méthode que j'utiliserais est de me baser sur la date de création ou de modification de tes fichiers d'import. A 6,44' dans la vidéo, je montre les colonnes à supprimer, conserves les colonnes de dates. Grâce à celles-ci, et après développement de tous les fichiers, tu devrais également récupérer les dates de création/modification. Tu n'auras plus qu'à modifier le format de celle-ci pour en distinguer la période (l'année dans ton cas). Il te faudra peut-être décaler tes dates de quelques jours en arrière si tu fais tes exports du mois précédent la 1re semaine du mois en cours, mais je suis confiant sur la faisabilité ;) Redis-nous si ça a fonctionné pour toi !
@@Cybermatik effectivement cela marche bien ! Dans le cas où le fichier d’export n’est pas amené à être modifié par quelqu’un. J’ai une deuxième question, je ne sais pas si tu l’as abordé dans d’autres vidéos. J’ai une requête de plus de 5 millions de lignes que j’utilise sous forme de tcd pour analyse. Cette requête est complétée par des fichiers d’export mensuels. Le soucis est que dès que je veux générer ou modifier un tcd lié à cette requête, l’actualisation s’effectue à chaque fois et c’est long… Alors que réellement cela serait suffisant que je l’actualise manuellement 1 fois par mois. Merci pour tes retours et supers vidéos ça aide beaucoup !
Hello Lucas, As-tu envisagé l'utilisation de Power BI pour combler ton besoin ? Tu pourrais gérer le cas que tu nous exposes en créant un jeu de données pour les 5M lignes et un second pour les imports mensuel Excel. Tu pourras avec Power BI cloud planifier tes mises à jour de manière désynchronisée entre ces deux jeux de données, et tes visuels PBI seront réactifs tout de suite. Je ne pense pas que tu t'en sortira avec Excel pour ton dernier besoin.
@@Cybermatik Oui tu as raison, je pense que c’est la prochaine étape. Mais je voulais d’abord avoir des bases de données fiables avant d’y passer dessus. Mais si tu me dis que cela peut régler le soucis, je vais m’y attarder!
Première fois de ma vie qu'une vidéo réponds à toutes mes questions. Un grand merci chef
Un message qui fait très plaisir :) C'est la communauté qui me rappelle pourquoi j'adore tourner des tutos :) Merci beaucoup !
Franchement je te suis reconnaissant.
Genial merci
Avec plaisir ;)
Bonjour, super tuto ! Est ce qu'il existe une méthode pour fusionner les fichiers, c'est -à-dire les mettre les uns à côtés des autres plutot que les ajouter (les uns sur les autres) et ensuite avoir en préfixe de nom de colonne, le nom du fichier d'origine (en enlevant l'extension) ?
Hello, merci pour ton message ;)
Alors le nom de fichier dans la mesure où on le récupère il n'y a pas de problématique particulière pour le placer. Il faudrait ajouter une ligne vide, y étirer le nom de fichier, trier pour que la ligne vide soit en haut et promouvoir la 1ère ligne en entête de colonne.
Par contre j'ai du mal à comprendre ton second besoin, de mettre les données colonne à colonne les unes après les autres. En termes de BI et pour faire des graphiques sur la base de ces données, j'évite au maximum de démultiplier le nombre de colonnes.
Tu as très probablement un besoin spécifique qui le nécessite. N'hésite pas à m'en dire plus par email : contact@cybermatik.fr
Bonne soirée ;)
Au top c'est super clair merci beaucoup !! Est-ce qu'il est possible d'importer des fichiers d'un dossier SharePoint Online?
Bonjour Aurélie, merci pour ton message :)
Oui, tu peux tout à fait importer des fichiers provenant de Sharepoint ou de Onedrive.
J'ai fait un tuto sur le sujet :ua-cam.com/video/ccuv-JaKmKk/v-deo.htmlsi=8GXyGoczLBFMDpJE
Redis-moi si tu as besoin de précisions.
Good luck :)
@@Cybermatikmerci ! Je parviens à récupérer toutes les données mais lorsque je filtres la colonne Path pour avoir le dossier qui me concerne, la requête ne se termine jamais où ne retrouve pas les bons fichiers
Bonjour. Bravo pour la vidéo. J'aimerai un conseil : Quand on travaille avec plus de 1000 fichiers, comment faire pour que Powerquery ne recrute que les fichier modifiés depuis la dernière mise à jour pour ne pas tout rééplucher à chaque fois ?
Hello Benoit,
Merci pour ton message ;)
Cela dépend de ce que tu souhaites en termes de résultats.
1- Tu veux tous les fichiers et n'ajouter que les derniers 1000 ou 2- ton tableau de bord ne doit que comporter les 1000 derniers fichiers modifiés.
Dans le cas 1:
- Je laisserais mon rapport tourner tel que tu l'as construit, et j'utiliserai Power BI Online avec des mises à jour planifiées la nuit pour avoir mon résultat exploitables le matin. Tu peux planifier 8 maj par jour avec des espaces gratuit /pro et 48 avec des espaces premium. Tu n'auras donc qu'à utiliser ton rapport/application et à rafraîchir la vue pour visualiser les dernières données.
Dans le cas 2:
J'ajouterai un paramètre de date dans Power Query qui soustrairait à la date/heure du jour la fréquence de rafraîchissement que tu définis. De cette manière, tu peux filtrer par date de modification supérieure à ce paramètre, et éviter le chargement lourd et chronophage de l'ensemble des fichiers.
Good luck ;)
Merci en fait les fichiers sont sur serveur interne, et je voudrai mettre a jour que les fichiers modifiés et les nouveaux sinon c'est plus d'1h de traitement
Benoit,
Il est difficile pour moi d'apporter une réponse technique fiable sans connaitre la structure de ton serveur interne et les informations qu'il fourni lors de la connexion avec Power Query.
Dans tous les cas la solution 1 est fonctionnelle, celà impliquera que tu installes un gateway power bi sur une machine toujours connectée à ton serveur (une VM dispo ?) pour faire les appels à ton serveur pour faire les maj.
Si tu as besoin de plus de précisions, n'hésite pas à me contacter en direct: contact@cybermatik.fr
Bonne journée.
Bonjour, super vidéo ! Est-ce possible d'importer d'autres informations (poids des fichiers) ? Si oui, comment ? Merci
Bonjour Celia,
Merci pour ton message et content si ça a pu te servir. Cette vidéo, c'est celle que je consulte moi-même le plus étant donné la technicité de la manip.
Je viens de tester avec du CSV et j'arrive à importer plusieurs fichiers et à la combiner comme montré en fin de vidéo.
Depuis que j'ai publié ce tuto, j'ai découvert une méthode plus simple avec Excel, et qui permet également de mieux adapter la requête pour des fichiers d'autres types.
À ma connaissance, il n'y a pas de limites de taille dans l'absolu sur la version Desktop de Power BI, par contre en ligne selon ta licence utilisateurs, tu pourrais être confronté à des limitations.
On parle en GO de données donc on a généralement le temps de voir venir.
Je posterai bientôt la vidéo à ce sujet ;)
Bonne journée.
Hello elle est géniale votre video.
Merci bien car, elle m'a permis d'optimiser plusieurs traitements.
Je suis tomber sur un cas particulier et une petite question me tarode:
- J'ai 10 fichiers,
- dont la moitié contient 4 colonnes en moins que les autres, (toutes les autres colonnes étant identiques)
- a partir de votre fonction, existe t'il une astuce qui peut me permettre de néamoins combiner les 10 fichiers et de juste rajouter les valeurs null dans les 5 fichiers où lesdites colonnes n'existent pas?
Power query le fait de manière automatique mais j'y comprends rien à ses fonctions et ses paramètres.😅
Davance, merci de votre retour.
Hello Martial,
Merci pour ton message ;)
Dans ton cas je te recommande de faire deux combinaisons de fichiers différentes, l’une pour les fichiers à 10 colonnes et l’autre à pour ceux à 4.
Ensuite tu ajoutes ces deux requêtes afin d’agréger toutes les colonnes qui peuvent l’être et récupérer les autres avec des valeurs nulles.
L’idéal est de stocker ces fichiers dans des dossiers différents pour éviter les galères à l’import.
Good luck ;)
Bonjour super vidéos, très clair.
Je me sers de cette fonction pour importer des exports mensuels et les combiner.
Le soucis et sur ces exports je n’ai pas la distinction « Année »
jusque là, j’ajoutais les fichiers un par un dans query et ajoutais une colonne personnalisée qui m’évitait de modifier l’export.
Existerai-t-il une solution alternative, il faudrait que peut être je crée des dossiers par années ?
Hello Lucas, merci beaucoup ;)
La méthode que j'utiliserais est de me baser sur la date de création ou de modification de tes fichiers d'import. A 6,44' dans la vidéo, je montre les colonnes à supprimer, conserves les colonnes de dates.
Grâce à celles-ci, et après développement de tous les fichiers, tu devrais également récupérer les dates de création/modification. Tu n'auras plus qu'à modifier le format de celle-ci pour en distinguer la période (l'année dans ton cas). Il te faudra peut-être décaler tes dates de quelques jours en arrière si tu fais tes exports du mois précédent la 1re semaine du mois en cours, mais je suis confiant sur la faisabilité ;)
Redis-nous si ça a fonctionné pour toi !
@@Cybermatik effectivement cela marche bien ! Dans le cas où le fichier d’export n’est pas amené à être modifié par quelqu’un.
J’ai une deuxième question, je ne sais pas si tu l’as abordé dans d’autres vidéos.
J’ai une requête de plus de 5 millions de lignes que j’utilise sous forme de tcd pour analyse. Cette requête est complétée par des fichiers d’export mensuels. Le soucis est que dès que je veux générer ou modifier un tcd lié à cette requête, l’actualisation s’effectue à chaque fois et c’est long… Alors que réellement cela serait suffisant que je l’actualise manuellement 1 fois par mois.
Merci pour tes retours et supers vidéos ça aide beaucoup !
Hello Lucas,
As-tu envisagé l'utilisation de Power BI pour combler ton besoin ?
Tu pourrais gérer le cas que tu nous exposes en créant un jeu de données pour les 5M lignes et un second pour les imports mensuel Excel.
Tu pourras avec Power BI cloud planifier tes mises à jour de manière désynchronisée entre ces deux jeux de données, et tes visuels PBI seront réactifs tout de suite.
Je ne pense pas que tu t'en sortira avec Excel pour ton dernier besoin.
@@Cybermatik Oui tu as raison, je pense que c’est la prochaine étape. Mais je voulais d’abord avoir des bases de données fiables avant d’y passer dessus. Mais si tu me dis que cela peut régler le soucis, je vais m’y attarder!
Pareil que moi