Парсинг динамических сайтов | selenium python

Поділитися
Вставка
  • Опубліковано 29 лис 2024

КОМЕНТАРІ • 61

  • @ssstrolll
    @ssstrolll 5 місяців тому +10

    Чтоб ты жил долго и счастливо. Обалденно обьясняешь.

  • @notproudman
    @notproudman 4 місяці тому +1

    Вперше на вашому каналі, дуже круті відео, дуже сильно допомогли! Дякую за якісний контент!

  • @marla2043
    @marla2043 4 місяці тому +3

    Обожаю ваш канал и конкретные примеры на задачах. Спасибо что снимаете видео!

  • @qtoxaq
    @qtoxaq Місяць тому

    2 дня мучился с решением проблемы, а тут все понятно объяснили, спасибо большое!

  • @mrbush1872
    @mrbush1872 26 днів тому

    Большое спасибо за очень полезный контент ! Здоровья и успехов ! Отличный преподаватель !

  • @gorwar3613
    @gorwar3613 3 місяці тому +1

    Крутейший человек, очень доходчиво объясняете.

  • @ЕвгенийГрищенко-я4к
    @ЕвгенийГрищенко-я4к 6 місяців тому +1

    Большое спасибо. Ваши видео очень приятно и познавательно смотреть) Вы как будто читаете мои мысли, как только мне что то нужно вы выпускаете на эту тему видео)

  • @torvic2024
    @torvic2024 6 місяців тому +4

    Здравствуйте! Спасибо за видео! С версии 4.6 (если не путаю) Selenium обзавелся Selenium Manager, который сам управляет драйверами браузера автоматически.

    • @kulichevskiy
      @kulichevskiy  6 місяців тому

      о, надо посмотреть
      это прям упростит процесс

    • @TheModerus
      @TheModerus 6 місяців тому +2

      В новых версия качать драйвер ненужно, абсолютно точно.

  • @МаксимШереметьев-с6б
    @МаксимШереметьев-с6б 2 місяці тому

    Очень полезное видео. Спасибо.

  • @blastblast9897
    @blastblast9897 5 місяців тому +1

    Очень круто, спасибо)

  • @enjoyenjoy6527
    @enjoyenjoy6527 2 місяці тому

    Спасибо тебе. Спасибо большое...)

  • @The_Establishment
    @The_Establishment 6 місяців тому +1

    Спасибо за интересные видео

  • @StanislavSiberia
    @StanislavSiberia 2 місяці тому

    Алексей, что за компилятор у вас стоит или настройка (26 минута видео), которая ошибки прям коде показывает?

  • @Valdemar93
    @Valdemar93 2 дні тому

    подскажите, возможно ли сделать так чтобы забирать с сайта новые статьи, закидывать их в openAI и размещать в ТГ канале ? получилось только разместить названия статей, а тексты вообще ни в какую не может

  • @СемейныйархивДашульки

    контент разжован очень понятно. класс.

  • @wellplayttv
    @wellplayttv Місяць тому

    Спасибо!
    Лайк, подписка)

  • @alexsmitt2140
    @alexsmitt2140 4 місяці тому

    вопросик. В документации же написано: Selenium Manager - это новый инструмент, который помогает создать рабочую среду для запуска Selenium « из коробки». Для чего вы ставите отдельно драйвер браузера и заморачиваетесь с версиями?

    • @ПавелПрохоров-е9ц
      @ПавелПрохоров-е9ц 3 місяці тому

      Раньше надо было отдельно путь прописывать , потом селениум обновился и стало все из коробки браться )

    • @gerapodsolnuh
      @gerapodsolnuh 3 місяці тому

      а он про него не в курсе....а если бы читал комменты...

    • @NikolaiKuthnetsov-m9v
      @NikolaiKuthnetsov-m9v Місяць тому

      Здесь много багов. Зачем библиотека, когда можно просто импортировать данные файла секретного😂

  • @Oreshec
    @Oreshec Місяць тому

    Благодарю

  • @asemkrsk
    @asemkrsk 2 місяці тому +2

    Спасибо! Познавательно, как называется плагин который делит код по комментариям?

    • @afkDog
      @afkDog День тому

      Это не плагин, это Jupiter NoteBook

  • @danidi1
    @danidi1 6 місяців тому +1

    Хотелось бы видио о сборке веб драйвера из расширений крипто про и браузера chromium gost, для авторизации на сайте гос закупок

  • @bespalove4882
    @bespalove4882 5 місяців тому +2

    Добрый день!
    Подскажите, на какой должности можно работать с такими знаниями?

    • @triada777
      @triada777 4 місяці тому +4

      Офисным шнырем

  • @MrSunTrope
    @MrSunTrope 6 місяців тому

    Поджбонькали, пару раз скидыжнули и готово😊

  • @zvolev
    @zvolev 2 місяці тому

    И, к стати спасибо за такое видео

  • @zvolev
    @zvolev 2 місяці тому

    Обалденные видео - доберусь до компа и заведу учетку в детском мире 😅. На самом деле хочу залезть в свою учетку в WB и вытащить от туда информации в тг-бота. У них есть официальные api но не для этого раздела... кто нибудь работал с WB? - есть инфа что могут учетку заблокировать если подключаться неофициальный способом - есть у кого опыт работы с WB?

    • @kulichevskiy
      @kulichevskiy  2 місяці тому +1

      Возможно, но маловероятно. Блокируют, когда парсинг мешает работать - либо грузит серверы, либо использует какие-то нежелательные фичи

  • @R2D2022
    @R2D2022 3 місяці тому

    очень интересное и познаватальное видео, спасибо. А подскажите пожалуйста, как вы сделали, чтобы выполнять код не весь а в этих блоках пошагово?

    • @egornekr
      @egornekr 3 місяці тому +1

      тут создается не файл .py , а jupiter notebook. Такое можно быстро в google colab делать

    • @R2D2022
      @R2D2022 3 місяці тому

      @@egornekr понял, спасибо

  • @da-artstudio
    @da-artstudio 6 місяців тому

    добрый день. Спасибо за видео. По поводу Selenium, сейчас вроде уже не нужно устанавливать драйвера. я не устанавливала и всё работает.

    • @kulichevskiy
      @kulichevskiy  6 місяців тому +1

      Ага, они это в одном из недавних апдейтов добавили, кажется. Красота!

  • @sergeysakara4842
    @sergeysakara4842 6 місяців тому +1

    По-моему тут должно быть тысячи 2 лайков

  • @Сергей-у5з6п
    @Сергей-у5з6п 6 місяців тому

    зачётное видео

  • @eddvornichenko
    @eddvornichenko 5 місяців тому

    Подскажите пожалуйста, если на сайте несколько страниц, с которого надо спарсить данные. Как лучше это сделать?

    • @kulichevskiy
      @kulichevskiy  5 місяців тому

      Если адреса страниц известны, можно просто в цикле их перебрать. Если нет, то можно их спарсить с текущей страницы, а потом в цикле перебрать.
      В общем, парсеры так и работают:
      1. найди и сохрани все ссылки на страничке
      2. перейди по каждой ссылке, найди на этих страничках все ссылки и пройди по ним
      3. повторяй, пока ссылки не закончатся

    • @Эрик-ш1ы
      @Эрик-ш1ы 4 місяці тому

      ​​@kulichevskiy А если у меня около 500 ссылок,ведущие на динамический сайт, по которым нужно перейти и спарсить, есть ли что-то быстрее селениума?

  • @Chinaoptretail
    @Chinaoptretail 3 місяці тому

    Как называется среда в который вы пишите ?

  • @kotzimaru
    @kotzimaru 4 місяці тому

    Я понял как спарсить динамический сайт через добавление chromedriver но как это все засунуть в телеграмм бота и захостить на любом хостинге? Дайте материалы или сделайте видео

    • @CyberVampss
      @CyberVampss 3 місяці тому

      Хромдрайвер под линунс, в коде программы делаешь условие, если винда, запускать екзешник, если линукс или сервера, то линуксовский драйвер. Бота запихиваешь прямо в код, токен + вывод сообщений на свой чат айди.

  • @АлександрБухтояров-ф9м

    Вроде бы драйвера уже давно идут в комплекте с Селениумом и не нужно устанавливать их отдельно

  • @SergeyLuchin
    @SergeyLuchin 6 місяців тому

    Как в Vscode запускать по блокам код?

    • @kulichevskiy
      @kulichevskiy  6 місяців тому

      Это просто Jupyter Notebook (jupyter.org/). Формат файла такой. Обычно люди с ними в браузере работают, но я их в VS Code открываю.

    • @hellpingpeople
      @hellpingpeople 6 місяців тому

      @@kulichevskiy Есть ли у Вас видео с тюнингом VS Code? Настройка различных линтеров, например

    • @kulichevskiy
      @kulichevskiy  6 місяців тому

      @@hellpingpeople неа, но надо бы сделать, наверное

  • @bossbossov4037
    @bossbossov4037 13 днів тому

    У меня, почему-то, вылетает что chrome, что firefox. Запускаю код, потом открывается либо chrome либо firefox как приложение прогружает страницу и закрывается! не могу понять в чем может быть дело! Версия chromedriver и версия браузер отличаются только в конце, на одну цифру, т.е. cromedriver ver: 131.0.6778.69 а у браузера: 131.0.6778.70 ! но где-то видел, что главное, чтобы совпадали первые цифры

  • @pip_install7496
    @pip_install7496 4 місяці тому +2

    Вот и минусы использования не официальной документации. Они могут попросту не обновляться и в итоге ты получаешь не актуальную информацию

  • @fgenich
    @fgenich 5 місяців тому

    Алексей, почему не Pycharm?)

    • @kulichevskiy
      @kulichevskiy  5 місяців тому

      Да чет не зашел :)

    • @marla2043
      @marla2043 4 місяці тому

      А еще Pycharm отказался от пользователей из России , почему-то недавно а не в 2022. Поэтому с тем что не Pycharm, удачно угадано

  • @ИраклийПобедный
    @ИраклийПобедный Місяць тому

    Смысл от видео?
    Можно просто доку почитать, автор сам не понимает за парсинг ничего.