Parabéns pelo vídeo! Eu fiz essa raspagem e utilizei outra forma de mudar de página e gostaria de compartilhar. Implementei uma busca pelo botão de passar pela página seguinte, para poder pegar o link. Em seguida fiz uma verificação por esse botão pegando a classe dele quando ele está desabilitado, pois usa uma classe diferente de quando está habilitado. Se achar o botão desabilitado ele exibe uma mensagem e sai do loop while. Caso contrário (else) vai capturar o link da próxima pagina. Coloquei um sleep de 2 segundos, pois é sempre bom colocar um tempo entre as requisições pois alguns sites detectam utilização de robô e bloqueiam a requisição. No mercado livre funciona sem o sleep, mas prefiro manter para evitar problemas. Segue o código: # Verifica se existe próxima página, se não existir sai do while # Se o botão de próxima página estiver deaabilitado vai sair do loop (verifica pela classe de botão "Seguinte" desabilitado) # Caso contrario atualizará a variável url com o link da próxima página botao_proxima_pagina = soup.find("li", attrs={"class": "andes-pagination__button andes-pagination__button--next"}) if soup.find("li", attrs={"class": "andes-pagination__button andes-pagination__button--next andes-pagination__button--disabled"}): print(f'{datetime.now().strftime("%d/%m/%Y %H:%M:%S")} - Chegamos na ultima página. Fim da coleta de dados.') break else: url = botao_proxima_pagina.a['href'] # link da proxima página sleep(2)
Parabéns, excelente vídeo, deu certinho aqui. Como encontrar também a quantidade vendida de cada anúncio? Como exportar esses dados para uma planilha? Obrigada
Obrigado Val ! Sobre a quantidade necessitaria fazer uma raspagem pouco mais profunda, podendo utilizar até mesmo uma automação nesse caso. Em relação a planilha, fiz um outro video no canal introduzindo o uso da planilha com o "Openpyxl" : ua-cam.com/video/vXEkAlMp7yY/v-deo.html Acredito que irá te ajudar !
@@SampaioDev obrigada, eu conseguir fazer, exportei os dados para uma planilha e chamei uma segunda requisição que me deu essa informação, ficou perfeito. Vou acompanhar o canal, tenho bastante interesse neste tema. Sucesso para você.
@@val_thomaz opaa, que ótimo!! Fico feliz por ter te ajudado Val! Caso queira me acompanhe no Instagram, lá aviso sobre os conteúdos que irei postar (link na descrição)
Muito bom, man! Vídeo muito didático. 👏🏽
Parabéns pelo vídeo!
Eu fiz essa raspagem e utilizei outra forma de mudar de página e gostaria de compartilhar.
Implementei uma busca pelo botão de passar pela página seguinte, para poder pegar o link.
Em seguida fiz uma verificação por esse botão pegando a classe dele quando ele está desabilitado, pois usa uma classe diferente de quando está habilitado. Se achar o botão desabilitado ele exibe uma mensagem e sai do loop while. Caso contrário (else) vai capturar o link da próxima pagina.
Coloquei um sleep de 2 segundos, pois é sempre bom colocar um tempo entre as requisições pois alguns sites detectam utilização de robô e bloqueiam a requisição. No mercado livre funciona sem o sleep, mas prefiro manter para evitar problemas.
Segue o código:
# Verifica se existe próxima página, se não existir sai do while
# Se o botão de próxima página estiver deaabilitado vai sair do loop (verifica pela classe de botão "Seguinte" desabilitado)
# Caso contrario atualizará a variável url com o link da próxima página
botao_proxima_pagina = soup.find("li", attrs={"class": "andes-pagination__button andes-pagination__button--next"})
if soup.find("li", attrs={"class": "andes-pagination__button andes-pagination__button--next andes-pagination__button--disabled"}):
print(f'{datetime.now().strftime("%d/%m/%Y %H:%M:%S")} - Chegamos na ultima página. Fim da coleta de dados.')
break
else:
url = botao_proxima_pagina.a['href'] # link da proxima página
sleep(2)
Oloco mano, esse jeito é muito melhor usar o sleep mesmo, e o código tá muito bem feito hein, parabéns!!
Vídeo incrível! Quero implementar essa automatização nas minhas tarefas, como faço para passar esses dados extraídos para uma planilha?
Top demais
Obrigado amigo, me ajudou muito !!
Fico feliz em saber !!
Parabéns, excelente vídeo, deu certinho aqui. Como encontrar também a quantidade vendida de cada anúncio? Como exportar esses dados para uma planilha? Obrigada
Obrigado Val !
Sobre a quantidade necessitaria fazer uma raspagem pouco mais profunda, podendo utilizar até mesmo uma automação nesse caso.
Em relação a planilha, fiz um outro video no canal introduzindo o uso da planilha com o "Openpyxl" : ua-cam.com/video/vXEkAlMp7yY/v-deo.html
Acredito que irá te ajudar !
@@SampaioDev obrigada, eu conseguir fazer, exportei os dados para uma planilha e chamei uma segunda requisição que me deu essa informação, ficou perfeito. Vou acompanhar o canal, tenho bastante interesse neste tema. Sucesso para você.
@@val_thomaz opaa, que ótimo!! Fico feliz por ter te ajudado Val!
Caso queira me acompanhe no Instagram, lá aviso sobre os conteúdos que irei postar (link na descrição)
e se o erro der 404?
@@saleszz9 Quando der o erro 404 no mercado livre, muito provavelmente é pq foi passado alguma informação errada para fazer a requisição
O seu deu esse erro?