Merci pour cette super vidéo ! Est-ce qu’il est possible d’utiliser Web Scraper pour un site sur lequel il y a un partial scroll ? Par exemple un site sur lequel est embed une streetmap (mapbox). Merci !
3 місяці тому
Sur Web Scraper, je ne pense pas. Sur Octoparse, oui.
Salut, merci pour la vidéo. J’ai un soucis, alors je suis en train d’essayer de scraper un tableau sur un site sauf que pour voir les résultats j’ai besoin de scroller que sur le tableau et pas sur le site en entier. Comment faire s’il te plaît 🙏 ?
Рік тому
Salut, Je vois le truc. Je ne suis pas certain que tu puisses faire ça avec Web Scraper. Par contre, sur Octoparse, c'est possible.
Salut François ! Dis moi, je ne comprends pas, j'essaie de scrap tout un annuaire et impossible pour moi d'indiquer a webscraper de changer de page après avoir collecter les infos en page 1. J'ai déjà suivi ton tuto sur Francefleur, ou tu récupérais les infos de chaque page en faisant un point and click sur "suivant", cela n'a pas fonctionné. Ensuite, j'ai vu ce tuto donc j'ai récupéré le code : a[aria-label="Aller à la page suivante, page 2"]. Sauf que comme tu le vois, le site indique la page à laquelle se rendre... ce n'est pas simplement "allez à la page suivante". J'aurai donc voulu savoir comment on pouvait faire et si je pouvais simplement retirer le "page 2" de la ligne de code. Ou si tu pouvais m'expliquer comment changer de page en cliquant sur 1,2,3,4 etc. comme tu n'aimes pas le faire ahah Merci à toi pour ces tutos !
Рік тому+1
Salut Alex, Il faut parfois regarder dans les "parents" ou les autres attributs. Si tu penses que l'indication n'est pas la bonne, rien ne t'empêche d'en prendre une autre, plus précise. Enfin, tu peux commencer en faisant un Point & Click. Cela peut parfois suffire.
@ merci de ta réponse ! Ça ne fonctionnait pas justement et j'ai finalement réussi en virant la précision de la page et en laissant juste "Allez a la page suivante". Je n'ai pas eu les 14000 résultats escomptés, seulement 650 mais bon dans un premier temps c'est déjà pas mal
Рік тому
@@AlexBrissk Ah mais ça, c'est "normal" parce que: - Il y a souvent des exceptions. Et du coup, tu peux vérifier ce qui cloches sur la page X. Et modifier ton sitemap en conséquence. - Tu n'auras (presque) jamais 14 000 résultats, même si c'est écrit. Les sites mettent souvent une limite à 1 000 ou 100 pages.
@ Ah d'accord, j'ai pas vu comment on pouvait naviguer et aller a tel page ou tel page en simulant sans forcément scrap les datas D'ailleurs, rien a voir mais est-ce possible d'indiquer des mots contenant certains caractères sans avoir un prendre tout le bloc texte ? Par exemple si je ne veux que certains mot de la méta description ou sur un blog lorsque ces caractères sont noyés dans un paragraphe Merci pour toutes tes réponses t'es un chef ;)
Рік тому
@@AlexBrissk Je pense que tu peux le faire en mettant des Regex (avant ou après ton scrap, au choix).
Salut ! J'ai un petit soucis concernant le changement de page. Le changement s'effectue uniquement sur la première page. Je pensais d'abord que le problème venait du bouton " suivant ", donc j'ai suivi les commentaires de @AlexBrissk sans résultat, mais en voulant abandonner et scraper page par page, je me suis rendu compte que je devais changer à chaque fois l'URL de ma base... donc le problème viens certainement d'ici ! Sait tu comment je pourrai y remédier ? Quand je visualise la database, ca me met 20 données ( 2 pages ); et quand je scrape puis export, je reste à 10 données... J'y comprend plus rien, a chaque fois je pense avancer, mais je recule aussitôt Lol Sinon merci pour tes vidéo :)
Рік тому
Salut Lucas, Un problème de précision peut-être. Il est sans doute nécessaire d'écrire soi-même le sélecteur CSS.
Pour obtenir vos 100 premiers leads B2B offerts:
scrap.id/s/1xY
Pour une demande en Web Scraping:
fdufaurboidin@gmail.com
Merci pour cette super vidéo ! Est-ce qu’il est possible d’utiliser Web Scraper pour un site sur lequel il y a un partial scroll ? Par exemple un site sur lequel est embed une streetmap (mapbox). Merci !
Sur Web Scraper, je ne pense pas.
Sur Octoparse, oui.
Merci
Salut, merci pour la vidéo.
J’ai un soucis, alors je suis en train d’essayer de scraper un tableau sur un site sauf que pour voir les résultats j’ai besoin de scroller que sur le tableau et pas sur le site en entier.
Comment faire s’il te plaît 🙏 ?
Salut, Je vois le truc. Je ne suis pas certain que tu puisses faire ça avec Web Scraper. Par contre, sur Octoparse, c'est possible.
Salut François ! Dis moi, je ne comprends pas, j'essaie de scrap tout un annuaire et impossible pour moi d'indiquer a webscraper de changer de page après avoir collecter les infos en page 1.
J'ai déjà suivi ton tuto sur Francefleur, ou tu récupérais les infos de chaque page en faisant un point and click sur "suivant", cela n'a pas fonctionné.
Ensuite, j'ai vu ce tuto donc j'ai récupéré le code : a[aria-label="Aller à la page suivante, page 2"]. Sauf que comme tu le vois, le site indique la page à laquelle se rendre... ce n'est pas simplement "allez à la page suivante". J'aurai donc voulu savoir comment on pouvait faire et si je pouvais simplement retirer le "page 2" de la ligne de code. Ou si tu pouvais m'expliquer comment changer de page en cliquant sur 1,2,3,4 etc. comme tu n'aimes pas le faire ahah
Merci à toi pour ces tutos !
Salut Alex,
Il faut parfois regarder dans les "parents" ou les autres attributs. Si tu penses que l'indication n'est pas la bonne, rien ne t'empêche d'en prendre une autre, plus précise.
Enfin, tu peux commencer en faisant un Point & Click. Cela peut parfois suffire.
@ merci de ta réponse ! Ça ne fonctionnait pas justement et j'ai finalement réussi en virant la précision de la page et en laissant juste "Allez a la page suivante". Je n'ai pas eu les 14000 résultats escomptés, seulement 650 mais bon dans un premier temps c'est déjà pas mal
@@AlexBrissk Ah mais ça, c'est "normal" parce que:
- Il y a souvent des exceptions. Et du coup, tu peux vérifier ce qui cloches sur la page X. Et modifier ton sitemap en conséquence.
- Tu n'auras (presque) jamais 14 000 résultats, même si c'est écrit. Les sites mettent souvent une limite à 1 000 ou 100 pages.
@ Ah d'accord, j'ai pas vu comment on pouvait naviguer et aller a tel page ou tel page en simulant sans forcément scrap les datas
D'ailleurs, rien a voir mais est-ce possible d'indiquer des mots contenant certains caractères sans avoir un prendre tout le bloc texte ? Par exemple si je ne veux que certains mot de la méta description ou sur un blog lorsque ces caractères sont noyés dans un paragraphe
Merci pour toutes tes réponses t'es un chef ;)
@@AlexBrissk Je pense que tu peux le faire en mettant des Regex (avant ou après ton scrap, au choix).
Salut !
J'ai un petit soucis concernant le changement de page. Le changement s'effectue uniquement sur la première page. Je pensais d'abord que le problème venait du bouton " suivant ", donc j'ai suivi les commentaires de @AlexBrissk sans résultat, mais en voulant abandonner et scraper page par page, je me suis rendu compte que je devais changer à chaque fois l'URL de ma base... donc le problème viens certainement d'ici ! Sait tu comment je pourrai y remédier ?
Quand je visualise la database, ca me met 20 données ( 2 pages ); et quand je scrape puis export, je reste à 10 données... J'y comprend plus rien, a chaque fois je pense avancer, mais je recule aussitôt Lol
Sinon merci pour tes vidéo :)
Salut Lucas, Un problème de précision peut-être. Il est sans doute nécessaire d'écrire soi-même le sélecteur CSS.
@ Oui j'ai aussi essayer de l'écrire moi même comme tu l'a indiqué dans tes vidéos, mais sans résultat non plus
@@lucasvauquelin460 Sans l'exemple, je ne saurai quoi te dire. Essaye de voir s'il y a une différence entre le premier et le deuxième bouton suivant.