#03 - BeautifulSoup: Buscando Notícias na Web | Web Scraping com Python

Поділитися
Вставка
  • Опубліковано 16 гру 2024

КОМЕНТАРІ • 119

  • @gustavodeoliveira4862
    @gustavodeoliveira4862 3 роки тому +44

    Conteúdo de qualidade com apenas 216 visualizações e 28 likes... Por isso esse país não vai para frente.
    Terminei o Guanabara e estou caçando coisas para fazer. Muito bom, parabéns!

    • @WalissonSilva
      @WalissonSilva  3 роки тому +4

      Valeu pelo feedback e pelo apoio, Gustavo!! Na próxima semana tem a continuação dessa série de vídeos! Grande abraço!

    • @antonioribeiro1988
      @antonioribeiro1988 3 роки тому +2

      Verdade! Se fosse um canal de fofocas teriam milhões de visualizações e curtidas!

    • @MrJBROSA5yd
      @MrJBROSA5yd 3 роки тому +2

      O canal ainda é pequeno, comparado com outros de Tecnologia, mas tem grande potencial de crescimento, quanto mais interações e pessoas escritas mais rápido vai crescer! Eu pensei a mesma coisa que vc srsrsr mas tem que ter paciência.

    • @fvbmike684
      @fvbmike684 3 роки тому

      @@antonioribeiro1988 concordo plenamente

  • @thevitorcampos
    @thevitorcampos Рік тому +9

    Muito Obrigado pelo conteúdo. Além de explicar detalhadamente as ações sobre cada linha de código e de ter ensinado HTML anteriormente, coisa que normalmente a gente não vê em outros canais (já vão direto para o scraping sem detalhar), o seu ritmo de fala e a forma como ensina são sensacionais. Muito obrigado mesmo, nunca aprendi tanto como estou aprendendo com vc. Valeu! Ah, por favor, continue postando videos.

  • @renatamendesvertelo5656
    @renatamendesvertelo5656 3 роки тому +3

    Finalmente estou conseguindo entender alguma coisa de web scraping. @walisson parabéns!

    • @WalissonSilva
      @WalissonSilva  3 роки тому +1

      Poxa, que legal, Renata!! Fico feliz demais por isso! Sucesso para você e muito obrigado pelo feedback!

  • @renansilva1362
    @renansilva1362 Рік тому +2

    irmão não desiste, tu salvou demais!! didática excelente.

  • @gabrielfreire9021
    @gabrielfreire9021 Рік тому +2

    Merece 1 milhão de likes. Primeira vez na vida que REALMENTE aprendi isso.

  • @kaduflutist
    @kaduflutist Місяць тому

    Parabéns, Walisson! Muito bem explicado. Muitíssimo obrigado pelas excelentes aulas.

  • @FutebolClich
    @FutebolClich 2 роки тому +1

    Valeu meu amigo, tava faz hora procurando alguem que ensinasse procurar por class e não por ID, seu video foi perfeito, exatamente o que eu queria, ganhou um inscrito

  • @sanchessantos7153
    @sanchessantos7153 Рік тому +1

    Didática excelente, parabéns pelo vídeo!

  • @jovensqueprosperam
    @jovensqueprosperam 3 роки тому +1

    Estava quebrando a cabeça com python ai resolvi pesquisar como utilizar o beautifulsoup e cai nesse video! Ganhou mais um inscrito! voce ensina muito bem!

  • @fndfernandu
    @fndfernandu 2 роки тому +3

    Como é bom ver uma aula dada por um professor! A diferença é enorme! Parabéns pelo seu trabalho! Me inscrevi!

  • @salogg1
    @salogg1 3 роки тому

    Conteúdo Excelente. Parabéns

  • @Grm74GO
    @Grm74GO 3 місяці тому

    Parabens pela didática e pela qualidade do conteúdo. Muito bom mesmo!

  • @barbosinhow
    @barbosinhow 3 роки тому +1

    Qualidade muito superior.. a entonação da voz a didática e a coerência nas palavras ajudam muito em manter a concentração. Muito obrigado pela contribuição.

  • @reaffless3931
    @reaffless3931 3 роки тому +2

    Ótima aula, comecei hoje mesmo com o web scraping e já entendi tudo o que você falou, sem ter que pesquisar sobre, sem ter que ver e rever o vídeo.

  • @mattlothbrok
    @mattlothbrok 7 місяців тому

    QUE CONTEÚDO SENSACIONAL

  • @adrianesc7706
    @adrianesc7706 3 роки тому +2

    Aguardando ansiosamente pela próxima aula, sua didática é excelente

    • @WalissonSilva
      @WalissonSilva  3 роки тому +1

      Poxa, muito obrigado pelo feedback, Adriane!! Saiu um vídeo novo dessa série hoje, inclusive. Espero que continue sendo um conteúdo bem proveitoso. Agradeço muito pelo apoio!

  • @joaocorreia1515
    @joaocorreia1515 Рік тому

    Mestre, sua metodologia é impecável, estou entendendo claramente, muito obrigado

  • @GeanCarlos.oficial
    @GeanCarlos.oficial 3 роки тому

    Ótima a didática!

  • @evaldoaraujo4145
    @evaldoaraujo4145 3 роки тому +1

    Tu explica super bem.
    Ótimo conteúdo.

  • @carloshenriquesoares6958
    @carloshenriquesoares6958 3 роки тому +5

    Ótima didática! Parabéns e valeu, Walisson!

  • @davifaustino3045
    @davifaustino3045 3 роки тому +1

    ansioso pela próxima aula

    • @WalissonSilva
      @WalissonSilva  3 роки тому

      Muito obrigado pelo feedback e pelo apoio, Davi!! Infelizmente, eu não consegui postar vídeos nas duas últimas semanas, por conta do trabalho, mas na próxima semana vai ter mais de um vídeo novo, incluindo dessa série! ;)

  • @felipef6300
    @felipef6300 3 роки тому +1

    Sem palavras irmão!!!

  • @rayraalves4378
    @rayraalves4378 3 роки тому

    Finalmente um conteudo que ensina bem e do básico mesmo pra quem nunca teve contato. Muito boa a aula

  • @yuricesar15
    @yuricesar15 2 роки тому

    Didática nota 1000, Parabéns!

  • @cleziorogerio-lb9bf
    @cleziorogerio-lb9bf 3 місяці тому

    Excelente vídeo

  • @aparecidomoraes9605
    @aparecidomoraes9605 3 роки тому +2

    Excelente didática. Aguardamos ansiosos como fazer o loop.

    • @WalissonSilva
      @WalissonSilva  3 роки тому +1

      Muito obrigado pelo feedback e pelo apoio, cara!! Infelizmente, eu não consegui postar vídeos nas duas últimas semanas, por conta do trabalho, mas na próxima semana vai ter mais de um vídeo novo, incluindo dessa série! ;)

  • @catastrofegames2514
    @catastrofegames2514 3 роки тому +1

    continua a serie, muito boa

    • @WalissonSilva
      @WalissonSilva  3 роки тому

      Opa! Com certeza! Saiu vídeo novo hoje! Muito obrigado pelo apoio!!

  • @rickcomvc
    @rickcomvc 2 роки тому

    Excelente vídeo! Parabéns pelo conteúdo de qualidade.

  • @AndersonRuasBorges
    @AndersonRuasBorges Рік тому

    explica muito bem, esta de parabéns não tem como não entender !

  • @arissamedeiros669
    @arissamedeiros669 3 роки тому +1

    Que aula incrível. Continue com isso!! Agradeço demaisssss

    • @WalissonSilva
      @WalissonSilva  3 роки тому

      Poxa, muito obrigado por esse feedback, Arissa!! É muito legal saber que o conteúdo está sendo útil! Eu que agradeço pelo apoio e o incentivo! Vou continuar, sim! =)

  • @JoaoVieira-kk8ub
    @JoaoVieira-kk8ub 3 роки тому

    Ótimos vídeos. Melhor que muitos cursos que já fiz....

  • @AlbertoBezerraProf
    @AlbertoBezerraProf 3 роки тому +1

    Excelente aula. Parabéns pela didática!

  • @TM.Des1gn
    @TM.Des1gn 3 роки тому

    Irmão, que explicação animal!! Parabéns, e por favor, não pare!

  • @technew1667
    @technew1667 3 роки тому

    Sensacional o vídeo explica muito bem, não desista do canal!

  • @navarrodba
    @navarrodba 3 роки тому

    Cara, chique demais!!! Estou dando os meus primeiros passos em python e seus videos me ajudaram bastante

  • @jupito2010
    @jupito2010 3 роки тому

    Ótima aula

  • @venhaotsutsuki9703
    @venhaotsutsuki9703 3 роки тому

    Irei baixar todos os videos dessa playlist, e salvar como backup. É um conteúdo muito rico para estudantes de ciências da computação! Ótima didática, professor

  • @InfoVoce
    @InfoVoce 2 роки тому

    Show Walisson, parabéns pela didática e rico conteúdo. Abraço!

  • @ContandooOntem
    @ContandooOntem 3 роки тому

    Que aula sensacional! Parabéns!

  • @jairo4120
    @jairo4120 3 роки тому

    Cara parabéns você explica muito bem , me ajudou muito, OBRIGADO

  • @jorgeleonardonesi838
    @jorgeleonardonesi838 Рік тому

    Cada vez melhor... Fala mansa... D+!

  • @Leozinho222333
    @Leozinho222333 3 роки тому

    Muito bom professor, obrigado mais uma vez.

  • @franapmachado
    @franapmachado 3 роки тому

    Mais uma aula TOP! Parabéns!

  • @ronaldoprfguitar7361
    @ronaldoprfguitar7361 3 роки тому +1

    Professor muito bom!!

  • @rhudson.douglas
    @rhudson.douglas 3 роки тому

    cara, que didática excelente!! Tem me ajudado muito!

    • @WalissonSilva
      @WalissonSilva  3 роки тому

      Obrigado pelo feedback, Rhudson!!! Em breve, vai sair outros vídeos nessa série!

  • @MatheusSilva-kj2lk
    @MatheusSilva-kj2lk 3 роки тому

    Perfeito.
    Muito obrigado.

    • @WalissonSilva
      @WalissonSilva  3 роки тому

      Valeu, Matheus! Eu que agradeço pelo apoio!

  • @wallacecamargo1043
    @wallacecamargo1043 3 роки тому

    Muito bom Walisson! Parabéns pelo trabalho!

  • @GuilhermeRibeiro-bp1yu
    @GuilhermeRibeiro-bp1yu 3 роки тому

    Deus, ta me ajudando dmais

  • @caiopjv
    @caiopjv 3 роки тому

    Vi vários vídeos sobre o BeatifulSoup. O melhor que assisti, o mais didático, foi o seu. Disparado.

    • @WalissonSilva
      @WalissonSilva  3 роки тому

      Muito obrigado por seu feedback, Caio!! Sucesso nos estudos! 🚀

  • @littlejhonn75
    @littlejhonn75 3 роки тому

    excelente video! muchas gracias.

  • @pheliperuiz2434
    @pheliperuiz2434 2 роки тому +1

    que conteúdo incrível,
    Vi que o link dos curso esta indisponível!
    Ainda tem os cursos?

  • @invisibleboy9135
    @invisibleboy9135 3 роки тому +6

    Caraca ...maratonei todos os vídeos hoje....ÓTIMO!!!!! To ansioso pro próximo vídeo...por curiosidade....esse curso vai ter cerca de quantas aulas?(ao todo contando com as que voce ja lançou)

    • @WalissonSilva
      @WalissonSilva  3 роки тому +3

      Cara, muitíssimo obrigado pelo apoio!! Muito legal saber que o conteúdo está sendo útil! Quando à tua dúvida, não sei te dizer com muita certeza, mas posso te garantir que estarei gravando uns vídeos com mais exemplos de utilização do BeautifulSoup e, depois, pretendo falar sobre Scrapy e Selenium. ;)

    • @invisibleboy9135
      @invisibleboy9135 3 роки тому +1

      @@WalissonSilva muito obrigado mesmo....por favor continue assim hahahaha

  • @LuizFelipeGomesdeCarvalho
    @LuizFelipeGomesdeCarvalho 2 місяці тому

    Muito bom o conteúdo, parabéns!
    Seria interessante uma extração de tabelas, com um laço for. Tenho dificuldades em enter a lógica para esse tipo de web scraping.

  • @taconi
    @taconi 3 роки тому +2

    Muito boa a sua didática. Estou ansioso pelos próximos vídeos.
    Você vai abordar o framework scrapy? Ela é específica para web scraping e web crawling, e é muito boa.

    • @WalissonSilva
      @WalissonSilva  3 роки тому +2

      Muito obrigado pelo feedback, Igor!! Cara, não estava pensando em explorar o scrapy, mas depois do seu comentário, vou levar em consideração, sim! Obrigado pelo apoio, cara!!

  • @matematicadasapostas
    @matematicadasapostas Рік тому

    Olá Walisson! Parabens por seus videos. Estou aprendendo muito sobre python através deles.
    Eu também gostaria de esclarecer uma dúvida:
    Ao invés do ".text", eu poderia usar o ".get_text()"?

  • @rshenrique
    @rshenrique 2 роки тому

    Otima aula Wallison, parabens. Pude tirarvarias dúvidas. No meu caso to testando da forma que você ensina no video, para uma URL que gera um xml.
    Nesse caso, aprece a seguinte mensagem no terminal ao rodar o codigo:
    -----Warning: It looks like you're parsing an XML document using an HTML parser. If this really is an HTML document (maybe it's XHTML?), you can ignore or filter this warning. If it's XML, you should know that using an XML parser will be more reliable. To parse this document as XML, make sure you have the lxml package installed, and pass the keyword argument `features="xml"` into the BeautifulSoup constructor" ----
    Dai eu tento instalar o lxml pelo comando pip install lxml, mas da um erro falando sobre uma biblioteca libxml2, mas não consigo intalar de jeito nenhum.
    Ja testei quase tudo que li na internet a respeito.
    Como poderia fazer para extrair as informações xml da url?
    Abraço

  • @PARALELOBRAZ
    @PARALELOBRAZ 3 роки тому +1

    estou acompanhando esta muito boas as aulas qunado sai a proxima?

    • @WalissonSilva
      @WalissonSilva  3 роки тому

      Valeu, Jean!! Estou colocando um vídeo novo, toda semana, na segunda, às 18h00, beleza? Estou alternando entre os vídeos do Curso de Data Science com Python e dessa série sobre Web Scraping. Muito obrigado pelo feedback e pelo apoio, cara!!

  • @gabrielcardoso9620
    @gabrielcardoso9620 3 роки тому +1

    + 1 inscrito!

  • @_ig.limaa_
    @_ig.limaa_ 10 місяців тому

    Muito obrigada por compartilhar um conteúdo de altíssima qualidade educacional!

  • @marcosoliveira8731
    @marcosoliveira8731 3 роки тому

    Muito bom.

  • @EmlioGen
    @EmlioGen Рік тому

    Vídeo incrível. E imaginar que consegui fazer tudo isso pelo celular 😅

  • @alefsantos5810
    @alefsantos5810 3 роки тому

    Excelente conteúdo parabéns!!
    No minuto 20:05 quando você digita: print(titulo.text) para achar o título da notícia, Se no meu caso ao invés de um texto, tivesse um número eu teria que digitar o comando como print(titulo.value) para aparecer o valor?

    • @WalissonSilva
      @WalissonSilva  3 роки тому +2

      Fala, Alef! Muito obrigado pelo feedback!!
      Cara, a ideia do atributo text é que você consiga obter o conteúdo da tag e, nesse caso, em formato de string. Se você quiser obter um número que está dentro da tag, eu te sugeriria utilizar o mesmo atributo text, mas aí você converte para número utilizando o int ou float. Por exemplo: float(preco.text).
      Eu faço algo parecido no exemplo que apresento na parte 5! Espero ter te ajudado e, qualquer coisa, estou por aqui! ;)

    • @alefsantos5810
      @alefsantos5810 3 роки тому

      @@WalissonSilva show de bola! Muitíssimo obrigado, ajudou bastante! Irei tentar! Vou continuar assistindo a série! Mais uma vez parabéns pelo canal!

  • @saraacsadasilvamelo3031
    @saraacsadasilvamelo3031 3 роки тому

    Muito obrigada pela aula, estou fazendo um web scrapping aqui, porem no meu caso, eu preciso acessar a informação. Por exemplo: Quero pegar todos os títulos das noticias do site, mas para cada notícia, quero que o código acesse o link dela e pegue o texto completo por exemplo...

  • @rosilenesoares9392
    @rosilenesoares9392 3 роки тому

    Muito bom!!

  • @tiagoluisdeandrade2428
    @tiagoluisdeandrade2428 3 роки тому +1

    Olá Walisson, parabéns pelo vídeo, excelente! É possível efetuar a busca no Google Scholar, por exemplo?

  • @thiagocardoso1674
    @thiagocardoso1674 3 роки тому +2

    toppp

  • @hatemachine7989
    @hatemachine7989 3 роки тому

    Agradável.

  • @AprendendoaTocar
    @AprendendoaTocar 2 роки тому

    É possível pegar dados das tags ? Se sim, como faço? Parabéns pelo vídeo!!!👏

  • @thiagoserra4674
    @thiagoserra4674 3 роки тому +2

    O meu retorna 'requests.models.Response' como trabalho com isso ? Alguém pode ajudar?
    Muito boa a aula !!!

  • @emiliabrasilio9111
    @emiliabrasilio9111 Рік тому

    Teu curso é fantástico, estou gostando demais, mas tenho uma dificuldade; eu costumo estudar pausando e codando junto, às vezes abro o help também; porém estou tendo dificuldade porque a letra do seu ide está em tamanho normal. Se nos próximos videos você puder aumentar um pouco, ficaria mais confortável pra mim. E por favor, continue com essa vibe, seu curso tem me ajudado muito. Obrigada

  • @schubertepaulausa
    @schubertepaulausa Рік тому

    Hey Walisson, você daria aulas particulares? Se sim, me responda por gentileza que tentarei contato contigo =)

  • @LovesYou-qf2gk
    @LovesYou-qf2gk 6 місяців тому

    No meu caso tenho uma lista bem grande de links e quero somente achar uma palavra em cada link, seria o caso fazer um loop com:
    for(parametro){
    response = request.get(vetorString[i])
    content = request.content
    }
    seria isso? e fazer os finds do beautifulSoup armazenando em um objeto ou arquivo

  • @Leitao526
    @Leitao526 2 роки тому

    Parabens pelo excelente conteudo, umas duvida, faltou ensinar a pegar so o link da noticia, como fazer esse find ?

    • @filipesantos6623
      @filipesantos6623 2 роки тому +1

      link = noticia.find('a', attrs={'class': 'feed-post-link'})
      print(link.get_attribute_list('href')[0])

  • @zeusteineleuterio6571
    @zeusteineleuterio6571 3 роки тому

    amei, to entendendo tudo so complica as vezes alguns html que sao esquisitos

  • @ccnfrankbr
    @ccnfrankbr Місяць тому

    legal, mas na pesquisa voce poderia , no mesmo find , usar mais de um attrs em vez de ficar criando find depois de find...

  • @schiavigamer5002
    @schiavigamer5002 Рік тому

    Quando não tem essa div descrita dessa forma, como faço para obter por favor?

  • @nagano789
    @nagano789 6 місяців тому

    Estou tentando passar uma div que esta fechada(seta para direita) mas o programa nao acha, como resolve?

  • @andrebarbosa-marca
    @andrebarbosa-marca 2 роки тому

    Caso a pagina jogue o html todo no java script, como vou recuperar isso.

  • @ronicesararaujo2141
    @ronicesararaujo2141 2 роки тому

    Amigo como posso abrir um browser com este requests, na verdade preciso abrir um site e preencher o login e senha e depois coletar os dados.

  • @brunomenezes10
    @brunomenezes10 3 роки тому

    Estou tentando fazer uma raspagem de dados para identificar um aviso , porém o aviso não é informado no HTML de retorno.

  • @shaiennyferreira9179
    @shaiennyferreira9179 2 роки тому

    Sabe me dizer qual é a diferença entre "Inspecionar" e "Exibir código fonte"? Porque eu preciso das informações do inspecionar para fazer meu web scraping, mas quando faço só considerar as informações da tela exibir código fonte, onde quase não existe informação.

    • @filipesantos6623
      @filipesantos6623 2 роки тому

      Quando vc coloca exibir código fonte e os elementos que vc busca não aparecem quer dizer que eles são gerados dinâmicamente por funções e scripts da página. É como se o código fonte da página fosse apenas um sumário. Já quando vc utiliza o inspecionar o código deles aparece pq o browser já carregou as funções de visualização daquele elemento.

  • @LucasSantos-uw5nb
    @LucasSantos-uw5nb 3 роки тому

    Boa noite galera. Alguém já conseguiu fazer com site SofaScore ou flashcore??? Estou tentando mas nunca dá certo.faco exatamente como está no vídeo porém quando mando pesquisar da resultado none como se não tivesse achado os dados. Alguém me ajuda por favor 😿😿😔

  • @genuinobrasileiro
    @genuinobrasileiro 2 роки тому +1

    No meu está aparecendo "None"... o que está errado? O código está igual... e ainda tentei trocar as "class".

    • @ronaldoleoni7170
      @ronaldoleoni7170 2 роки тому

      Mesma coisa aqui, até que fui fazer o exemplo do g1 e deu certo

  • @PedroHenrique-ct8yl
    @PedroHenrique-ct8yl Рік тому

    como eu faço caso tenha que digitar o usuario e senha para pegar os dados?

  • @victorialuisa4301
    @victorialuisa4301 2 роки тому

    como eu consigo pegar o link da noticia? que ta na -- 'a', attrs={'class': 'feed-post-link') -- só que ta no href dentro do 'a'... Porque a ideia é conseguir entrar nas noticias e pegar o corpo/texto das noticias, pra montar uma base. Qual é a melhor forma?

    • @filipesantos6623
      @filipesantos6623 2 роки тому

      link = noticia.find('a', attrs={'class': 'feed-post-link'})
      print(link.get_attribute_list('href')[0])

  • @jandersonduartedossantos9462
    @jandersonduartedossantos9462 3 роки тому +1

    eu fiz o exemplo até o print(site.prettify()) porém, na saida ele informa no final: return codecs.charmap_encode(input,self.errors,encoding_table)[0]
    UnicodeEncodeError: 'charmap' codec can't encode character '\u26bd' in position 560302: character maps to
    .
    .
    .
    como posso corrigir isso? parece algo do site, mas quando eu testo com o programa pycharm o codigo roda perfeitamente
    Ps: Ótimo Canal!!!

    • @Weeex521
      @Weeex521 3 роки тому +1

      Isto n e um tutorial e uma aula

  • @rafael9491
    @rafael9491 2 роки тому

    Dúvida, esse scraping é automático ou precisa atualizar pra coletar novos dados/notícias?

  • @bryanbrenomorais6650
    @bryanbrenomorais6650 2 роки тому

    Caso eu quisesse o Título e o Link como eu poderia fazer??

  • @kratos1444
    @kratos1444 2 роки тому

    Tentei fazer Web Scraping em um site, porém ele não retorna todo o HTML da página.

  • @claudio1170
    @claudio1170 3 роки тому +1

    Muitos sites já tem proteção contra esses scrappings

  • @TakoteGames
    @TakoteGames Рік тому

    É difícil achar cursos didáticos assim na internet, nada além do que dizer obrigado

  • @wandersonsantos5643
    @wandersonsantos5643 3 роки тому +1

    já tentei de todas as formas mas pra mim só retorna (NONE)

    • @tullez01
      @tullez01 3 роки тому +1

      qualquer coisa cola seu código aqui, e tentamos ver o que tem de errado... fora ja ter instalado as duas bibliotecas, que ele ensinou nesse e no video anterior!

  • @Maick311
    @Maick311 5 місяців тому

    boa tarde, exceletne conteudo irmao. Poderia me dar um help? o que fazer quando retorna assim?
    {{ producto.title }}
    {{ producto.formato }} {{ producto.tipo }}
    {{ producto.referencia }}
    {{ producto.acabamentoinfo }} | {{ producto.informacao_faces }}
    {{ producto.informacao_linha }}
    Variação de Faces - {{ producto.informacao_faces }}
    Ambiente
    Acabamento