Cara seu vídeo é excelente, o que eu acho engraçado é que eu tinha pensado nesse "mix" de ferramentas antes de cair no seu vídeo. No meu caso a página inteira era renderizada primeiro em JS e eu tive que usar o Selenium de qualquer jeito e ainda por cima também me bati um pouco por causa das mudanças do selenium 4. Parabéns, continue trazendo mais conteúdos de web scraping.
Consegui fazer o projeto. Agradeço muito, meu primeiro scraping de um site dinâmico. Acho que facilitaria mais se vc coloca-se mais prints durante a escrita do código para ver o que está retornando.
Muito boa essa dica do selenium não ter que 'abrir' visualmente. Uns anos atrás eu fiz um projetinho em que o selenium abria o linkedin e pegava a descrição das vagas de emprego na região de interesse, só que ele tinha que abrir vaga por vaga, pagina por pagina, e no final o código demorava 1h pra pegar tudo. Vou fazer novamente usando essa dica pra ver como funfa. Muito bom o video, parabéns!!!
AGOOORAAA DEEUUUU CEEERTOOOOO, eu ouvi um amém senhores? ✋😂🤚 Fabrício uma dúvida, anteriormente eu tentei fazer com outros sites, porém ao inspecionar o resultado não tinha a parte do somente , como eu faço nestes casos ? tentei com o site da renner, mercado livre e arezzo.
@santiagoarce305 conseguiu? Eu tentei do mesmo jeito do vídeo e não funcionou. Não achei nenhum vídeo ensinando para Shopee, quando utilizo Selenium o site identifica que está sendo manipulado por um bot.
Eu não estou conseguindo, não está retornando nenhuma informação. O código não consegue pegar o preço e a marca, apenas printa o link. Alguém poderia me ajudar.
no vídeo o professor usa produtos = soup.find_all('div', class_=re.compile('productCard')) , mas o site mudou e agora tem que trocar o div por article, assim: produtos = soup.find_all('article', class_=re.compile('productCard'))
Me corrija caso eu esteja errado por favor. Eu tenho um site que tem o resumo dos produtos assim como essa página e preciso pegar mais detalhes de cada produto caso o preço seja acima de 1000 reais. Ou seja, caso o preço seja acima de 1000, preciso abrir o link e pegar mais detalhes do produto. Para fazer isso eu precisaria utilizar o Pyautogui e juntar com esse código?
pega o valor do produto, transforma ele em inteiro, depois verifica se ele é >= 1000 (maior ou igual a 1000) e depois pega o link Dessa forma: preco_produto = "5000" (nesse formato ele esta em string precisamos transformar em inteiro) preco_produto = int(preco_produto) if preco_produto >= 1000: (aqui vc esta verifcando se o valor é igual ou maior que 1000, caso ele for vc faz uma ação logo abaixo) (aqui vc coloca o codigo para pegar o link da pagina)
e se por acaso o site não tiver número da página e carrega tudo dinamicamente ao clicar em um botão e fica mudando a div. como ficaria pra acessar o último item ?
Neste caso teria que utilizar o selenium para fazer o acesso. aqui no canal tem um video na playlist de webscraping onde eu mostro como usar o selenium para fazer login em paginas e apps
@@Codifike me ajudou bastante, mas eu tenho uma outra duvida, ao inves de eu salvar ele em CSV, excel, bloco de notas etc, eu consigo só copiar a informação e colar ela em outro lugar, ou importar ela em um sheets por exemplo?
Cara seu vídeo é excelente, o que eu acho engraçado é que eu tinha pensado nesse "mix" de ferramentas antes de cair no seu vídeo. No meu caso a página inteira era renderizada primeiro em JS e eu tive que usar o Selenium de qualquer jeito e ainda por cima também me bati um pouco por causa das mudanças do selenium 4. Parabéns, continue trazendo mais conteúdos de web scraping.
Bem legal este lance de juntar Selenium com BeatifullSoap. Valeu!
Consegui fazer o projeto. Agradeço muito, meu primeiro scraping de um site dinâmico. Acho que facilitaria mais se vc coloca-se mais prints durante a escrita do código para ver o que está retornando.
Anotado. Que bom que conseguiu!!!!
Pra quem estiver com dificuldade, a tag relacionada a class = 'productcard', mudou. agora é article
@@carlos50barbosa sim. No meu foi de boa
@@matheuspeixoto5593 O meu tinha escrito uma parte errada, mas consegui kk (y)
Muito boa essa dica do selenium não ter que 'abrir' visualmente. Uns anos atrás eu fiz um projetinho em que o selenium abria o linkedin e pegava a descrição das vagas de emprego na região de interesse, só que ele tinha que abrir vaga por vaga, pagina por pagina, e no final o código demorava 1h pra pegar tudo. Vou fazer novamente usando essa dica pra ver como funfa.
Muito bom o video, parabéns!!!
Obrigado
Show demais, aula rápida que me ajudou demais
Que bim
Salve, Fabricio, faz um video ensiando um scraper sem utilizar o selenium para casos como este.
AGOOORAAA DEEUUUU CEEERTOOOOO, eu ouvi um amém senhores? ✋😂🤚
Fabrício uma dúvida, anteriormente eu tentei fazer com outros sites, porém ao inspecionar o resultado não tinha a parte do somente , como eu faço nestes casos ? tentei com o site da renner, mercado livre e arezzo.
Prof, como faz isso na Shopee?
Olá , seria a mesma coisa, porém na url vc deve passar a url da shoppe com as informações que você quer pesuisar
@santiagoarce305 conseguiu? Eu tentei do mesmo jeito do vídeo e não funcionou. Não achei nenhum vídeo ensinando para Shopee, quando utilizo Selenium o site identifica que está sendo manipulado por um bot.
Like 106
Como extrair quando é canva?
Show, mas não achei o link da PARTE 1
ua-cam.com/video/VGroXCEaBiA/v-deo.htmlsi=X_D9u0SZ06t1qlUM
Eu não estou conseguindo, não está retornando nenhuma informação. O código não consegue pegar o preço e a marca, apenas printa o link. Alguém poderia me ajudar.
no vídeo o professor usa produtos = soup.find_all('div', class_=re.compile('productCard')) , mas o site mudou e agora tem que trocar o div por article, assim: produtos = soup.find_all('article', class_=re.compile('productCard'))
Me corrija caso eu esteja errado por favor. Eu tenho um site que tem o resumo dos produtos assim como essa página e preciso pegar mais detalhes de cada produto caso o preço seja acima de 1000 reais. Ou seja, caso o preço seja acima de 1000, preciso abrir o link e pegar mais detalhes do produto. Para fazer isso eu precisaria utilizar o Pyautogui e juntar com esse código?
Vc não precisa de pyautogui pra isso, web scraping faz isso
pega o valor do produto, transforma ele em inteiro, depois verifica se ele é >= 1000 (maior ou igual a 1000) e depois pega o link
Dessa forma:
preco_produto = "5000" (nesse formato ele esta em string precisamos transformar em inteiro)
preco_produto = int(preco_produto)
if preco_produto >= 1000: (aqui vc esta verifcando se o valor é igual ou maior que 1000, caso ele for vc faz uma ação logo abaixo)
(aqui vc coloca o codigo para pegar o link da pagina)
e se por acaso o site não tiver número da página e carrega tudo dinamicamente ao clicar em um botão e fica mudando a div. como ficaria pra acessar o último item ?
Neste caso tem um video na playlist de webscraping q fala exatamente sobre isso
@@Codifike Procurei na playlist e não encontrei pai
Como que eu faço pra realizar login neste metodo?
Neste caso teria que utilizar o selenium para fazer o acesso. aqui no canal tem um video na playlist de webscraping onde eu mostro como usar o selenium para fazer login em paginas e apps
@@Codifike me ajudou bastante, mas eu tenho uma outra duvida, ao inves de eu salvar ele em CSV, excel, bloco de notas etc, eu consigo só copiar a informação e colar ela em outro lugar, ou importar ela em um sheets por exemplo?
Qual o vídeo original?
Procure webscraping site dinâmicos aqui na nossa playlist de webscraping
ua-cam.com/video/VGroXCEaBiA/v-deo.htmlsi=X_D9u0SZ06t1qlUM