Playwright год назад юзал. Информации на русском вообще не было. Индусов смотрел. И по SeleniumBase на русском только Ваше видео. Так что у Вас работы не початый край. ))) Спасибо. Как всегда, отличный контент. Да еще и ООП! Евгений.
Большое спасибо за хороший пример по playwright! И отдельное спасибо за то, что не спешишь никуда, когда объясняешь. Очень хорошо объясняешь в теме автоматизации и парсинга, приятно слушать. Желаю успехов)
Спасибо за видео. Оставляю комментарий для того, чтобы отблагодарить автора видео, а также для того, чтобы поддержать канал! Надеюсь, символов в комментарии достаточно, чтобы ютуб его засчитал и начал больше продвигать видос xD
Спойлер, чтобы не тратили зря своё время. Это уже не актуально. Оно так не работает уже в случае с ozon((. Но автору спасибо. В образовательных целях было полезно)) Лайк
Я прекрасно понимаю, что такого вида парсеры не могут работать вечно, да и писался он больше в учебных целях, но ради интереса решил проверить сегодня его работоспособность: 1) После нескольких пробных запусков понял, что нужно добавить паузу перед тем как писать в поле поиска, добавил простой time.sleep(5) и всё заработало 2) Есть проблемы с чтением имени продавца, но и там не хватает обычной паузы 3) 90% проблем возникает из-за того, что в данном видео использовался playwright==1.36.0, сейчас это уже устаревшая версия, но никто не мешает установить именно её 4) Помните, что это не готовый рабочий продукт, а всего лишь что-то вроде прототипа и писалось для демонстрации работы playwright в реальных условия
Насчет контекст=профиль верно. Насчет stealth не подскажу, раньше у меня playwright нормально работал на сайте с cloudflare и потребности в stealth не было, как сейчас не знаю, это нужно пробовать
пока нахожусь на 15 минуте ролика как мне кажется, перед тем, как что то вводить, лучше всегда сначала использовать метод .click(), иначе есть риск, что во время исполнения скрипта текст не введется полностью. Я вот сейчас пытаюсь с помощью скрипта входить в админку в вордпрессе и без .click() у меня через раз логин полностью прописывается
Ваш канал и видео просто супер💪👍👍 подскажите пожалуйста что бы сработал кусочек кода JavaScript, весь JS нужно установить?? А то что то не срабатывает прокрутка страницы
Привет, а как прокинуть опции в браузер, например, флаг "--start-maximized", чтобы развернуть его на весь экран??? За работу лайк однозначно, так держать!!!
Дружище, что ты со списком ссылок делаешь… Есть прекрасный способ, называется срез, тогда код бы выглядел еще лаконичнее: for link in links[:5]: … А так спасибо за видео
Добрый день, сделал все как на видео, но при нажатии на кнопку поиска вылезает капча. Ставил разную задержку, тайм слип и тд. Не помогает. В принципе, могу и без поиска обойтись, т.е. по прямой ссылке, но хочется все-таки с поиском. Как исправить?
Почти все сайты дико не любят когда кто-то парсит результаты поиска, есть такой момент. Как это обойти в данном случае: для начала я бы установил какой-то нормальный юзерагент, если не поможет - попробуйте установить форк playwright, который по идее должен не палиться github.com/QIN2DIM/undetected-playwright Я его еще ни разу не устанавливал, так что с подсказать больше по нему ничего не смогу
Нифига непонятно как подниматься на элемент выше если parent() от найденого не работает а locator('..') выводит дичь какую то с фреймами которая не итерируется. В общем самое сложное из озона вытащить цену и увязать на товар
На моменте, когда нужно вывести 5 ссылок отпал. Вроде хорошее знание python, но такой костыль. Вы собрали СПИСОК из ссылок, в чем проблема было сделать срез списка? for link in links[:5] Все.
Что вы сделали, чтобы убрать лишние окна в IDE на 26:30? И ещё у меня postman не разрешает javascript, поэтому я не могу посмотреть ответ ozon. Как у вас получилось? Заранее спасибо за ответ
Подскажи как ты сохраняешь сессию пользователя при работе с библиотекой? куки в коде не используешь, но при запуске твой акк всегда остается автоматизированным, спасибо
У меня в видео был открыт ozon в моём обычном Chrome, я там был залогинен и показывал примеры. А при запуске скрипта открывался другой Chrome, там я не авторизован. Но авторизация в playwright работает просто: # Сохранить storage = context.storage_state(path="state.json") # Загрузить context = browser.new_context(storage_state="state.json")
По отпечаткам тот же селениум. Лучше использовать форки undetected_chromedriver или undetected_playwright, ну и не забывать, что банить могут и по другим признакам, например один ip, слишком быстрые действия, работа 24х7 и т.д
при запуске вылетает ошибка, Executable doesn't exist at AppData\Local\ms-playwright\chromium-1076\chrome-win\chrome с предложением запустить команду plawright install. нО это уже сделано было. порывшись в инете, народ пишет, что надо запустить установку npx plawrigth. но к сожалению, пишет что npx имя не распознано. Есть решение ?
Не уверен, но возможно у Вас установлен playwright глобально и локально и он путается в версиях браузера. Попробуйте полностью его удалить и установить заново в виртуальном окружении
@@the_parse_hubаха. так значит ваше видео тут бестолку, т.к. спарсить озон не получается, решений у вас нет. Блокировку обойти решения нет. Ну и смысл ?
@@nokeppivanoff4353 аха, если Вы до сих пор не поняли, то я объясню: решения в парсинге не бывают вечными (особенно на таких сайтах как Авито, Ямаркет, Озон и пр.), а требуют постоянной доработки и изменений. Это постоянная игра в кошки-мышки. Также выходят новые версии библиотек, убираются одни методы, добавляются другие (как раз этот случай с Playwright). Именно поэтому разные компании, которые занимаются парсингом, продают как правило парсинг как услугу, а не как готовый продукт. Как-то так, надеюсь доступно объяснил
Озону не нравится парсинг. Попробуйте увеличить паузы в скрипте, месяц назад это помогло, но на самом деле нужно искать другие способы парсинга - этот слишком нестабильный
@@the_parse_hub не помогает ни stealth, ни undetected_chrome. Cloudflare срабатывает сразу на старте страницы, никаких действий еще не сделал. А undetected_chrome перестал проходить какие-либо защиты еще пару недель назад, до этого cloudflare обходил исправно. UPD: после корректировки аргументов, селениум stealth обходит cloudflare при старте страницы.
Подскажите, можно им парсить инстаграм? Использую selenium и bs4 для парсинга количествоюа подписчиков. Но сайт меня блочит через не которое количество повторений
Playwright год назад юзал. Информации на русском вообще не было. Индусов смотрел. И по SeleniumBase на русском только Ваше видео. Так что у Вас работы не початый край. ))) Спасибо. Как всегда, отличный контент. Да еще и ООП!
Евгений.
Спасибо, по Playwright на русском действительно очень мало информации, нужно исправлять
Хотим увидеть курс,и поддержим.
Курс уже в разработке. Хочется выпустить сразу весь, чтобы всем было удобно. В связи с нехваткой времени, не могу точно сказать когда он будет готов
Автору респект!!! Огромное спасибо за видос! Мотивирует😊 Однозначно за курс по Playwright
однозначно хотим видеть курс по playwright
Большое спасибо за хороший пример по playwright! И отдельное спасибо за то, что не спешишь никуда, когда объясняешь. Очень хорошо объясняешь в теме автоматизации и парсинга, приятно слушать. Желаю успехов)
Спасибо, дружище! Не все успеваешь посмотреть новое и проверить. Такие видео крайне полезны! лайк и подписка!
Поставил тебе еще на гитхабе звезд! продолжай в том же духе! будем смотреть :)
Спасибо большое автору, объясняет доходчиво, однозначно лайк.
Спасибо за видео. Оставляю комментарий для того, чтобы отблагодарить автора видео, а также для того, чтобы поддержать канал! Надеюсь, символов в комментарии достаточно, чтобы ютуб его засчитал и начал больше продвигать видос xD
Спасибо!
Прошел год, а курса нету :(
Не забрасывайте, пожалуйста. Ждём до сих пор.
Сам чувствую ответственность за это. Уже 2 раза начинал делать этот курс, но всё не то. Но раз обещал - значит сделаю
Познавательное видео.Ждем продолжение.
Отличное образовательное видео
👍
Спасибо за видео!
Как всегда топчик контент 👍
Спойлер, чтобы не тратили зря своё время. Это уже не актуально. Оно так не работает уже в случае с ozon((.
Но автору спасибо. В образовательных целях было полезно)) Лайк
Я прекрасно понимаю, что такого вида парсеры не могут работать вечно, да и писался он больше в учебных целях, но ради интереса решил проверить сегодня его работоспособность:
1) После нескольких пробных запусков понял, что нужно добавить паузу перед тем как писать в поле поиска, добавил простой time.sleep(5) и всё заработало
2) Есть проблемы с чтением имени продавца, но и там не хватает обычной паузы
3) 90% проблем возникает из-за того, что в данном видео использовался playwright==1.36.0, сейчас это уже устаревшая версия, но никто не мешает установить именно её
4) Помните, что это не готовый рабочий продукт, а всего лишь что-то вроде прототипа и писалось для демонстрации работы playwright в реальных условия
Просто супер
хотим увидеть курс по плейрайт!!!
спасибо. норм тема.)))
Есть ощущение, что слушаю Олега Молчанова
Кто это такой ??
@@СергейФергюсон-ж7е я когда-то не знал питон, и его видео заложили базу.Один из лучших, в этой области.
👍👍👍👍👍👍👍👍
сильно ))
Новый контекст это по сути новый профиль? К нему можно подвязать куки и прокси? Не згаете есть ли к этой библиотеке что-то типа как selenium-stealth?
Насчет контекст=профиль верно.
Насчет stealth не подскажу, раньше у меня playwright нормально работал на сайте с cloudflare и потребности в stealth не было, как сейчас не знаю, это нужно пробовать
Хочется увидеть playwright c прокси
👍👍👍👍👍👍👍👍👍👍👍👍
пока нахожусь на 15 минуте ролика
как мне кажется, перед тем, как что то вводить, лучше всегда сначала использовать метод .click(), иначе есть риск, что во время исполнения скрипта текст не введется полностью. Я вот сейчас пытаюсь с помощью скрипта входить в админку в вордпрессе и без .click() у меня через раз логин полностью прописывается
Частично согласен, но здесь всё зависит уже от конкретного сайта
Ваш канал и видео просто супер💪👍👍 подскажите пожалуйста что бы сработал кусочек кода JavaScript, весь JS нужно установить?? А то что то не срабатывает прокрутка страницы
Привет, а как прокинуть опции в браузер, например, флаг "--start-maximized", чтобы развернуть его на весь экран??? За работу лайк однозначно, так держать!!!
Спасибо!
Это можно сделать при добавлении контекста, к примеру так:
self.context = browser.new_context(viewport={"width": 1920, "height": 1080})
Спасибо тоже!@@the_parse_hub
Дружище, что ты со списком ссылок делаешь…
Есть прекрасный способ, называется срез, тогда код бы выглядел еще лаконичнее:
for link in links[:5]:
…
А так спасибо за видео
Я уже сам не понимаю, почему я сделал именно так)
тоже резало глаз, хотел написать, а потом твой комментарий увидел)
Спасибо за видео.
Как вы говорили, возможно эмулировать андройд,где можно ознакомиться с подобным функционалом,буду благодарен
Спасибо! Насчет эмуляции можно подробнее почитать здесь:
playwright.dev/python/docs/emulation
@@the_parse_hub Как понимаю речь идёт только эмуляции браузера,а как парсить приложения для которых нет реализации в браузере
Крутое видео, но почему ты xpath не пользуешься, например модно было находить имя продавца?
Спасибо!
Насчет xpath - это тоже не всегда панацея, но в данном случае я сделал это специально
Добрый день, сделал все как на видео, но при нажатии на кнопку поиска вылезает капча. Ставил разную задержку, тайм слип и тд. Не помогает. В принципе, могу и без поиска обойтись, т.е. по прямой ссылке, но хочется все-таки с поиском. Как исправить?
Почти все сайты дико не любят когда кто-то парсит результаты поиска, есть такой момент.
Как это обойти в данном случае: для начала я бы установил какой-то нормальный юзерагент, если не поможет - попробуйте установить форк playwright, который по идее должен не палиться github.com/QIN2DIM/undetected-playwright
Я его еще ни разу не устанавливал, так что с подсказать больше по нему ничего не смогу
Погнали на джаве, напишешь парсер)))
Даже интересно, получится ли это у питониста
Что к чему?
Нифига непонятно как подниматься на элемент выше если parent() от найденого не работает а locator('..') выводит дичь какую то с фреймами которая не итерируется. В общем самое сложное из озона вытащить цену и увязать на товар
Борода.
может вместо enumerate просто срез сделать
На моменте, когда нужно вывести 5 ссылок отпал. Вроде хорошее знание python, но такой костыль.
Вы собрали СПИСОК из ссылок, в чем проблема было сделать срез списка?
for link in links[:5]
Все.
Не Вы один это заметили)
Косяк признаю, видимо у меня была мысль что-то сделать там еще или по-другому, хз, ничего уже не поменять
Здравствуй! А у тебя есть Дискорд сервер? Было бы хорошо и удобно спрашивать там вопросы по видео
нет, нету
@@the_parse_hub А вы планируете сделать?
@@Verse_Studio Пока нет, по возможности стараюсь отвечать в комментариях, на дискорд просто не хватит времени
Что вы сделали, чтобы убрать лишние окна в IDE на 26:30? И ещё у меня postman не разрешает javascript, поэтому я не могу посмотреть ответ ozon. Как у вас получилось? Заранее спасибо за ответ
Лишние окна в ide убрались на монтаже, никакой магии. А насчет postman, где там javascript? Мы просто посылаем какой-то запрос, не более этого
@@the_parse_hub вы удалили комментарий?
Подскажи как ты сохраняешь сессию пользователя при работе с библиотекой? куки в коде не используешь, но при запуске твой акк всегда остается автоматизированным, спасибо
У меня в видео был открыт ozon в моём обычном Chrome, я там был залогинен и показывал примеры. А при запуске скрипта открывался другой Chrome, там я не авторизован.
Но авторизация в playwright работает просто:
# Сохранить
storage = context.storage_state(path="state.json")
# Загрузить
context = browser.new_context(storage_state="state.json")
@@the_parse_hub Работает!!!! :)
Интересно как он в плане оставления отпечатков, хочу автоматизировать одну весч, но за это банят) Пробовал на селениуме, через сутки забанили )
По отпечаткам тот же селениум. Лучше использовать форки undetected_chromedriver или undetected_playwright, ну и не забывать, что банить могут и по другим признакам, например один ip, слишком быстрые действия, работа 24х7 и т.д
@@the_parse_hub спасибо за совет
Спасибо автору за отличные видео.
Скажите, кто-нибудь пробовал парсить Яндекс маркет?
Помогите, пожалуйста, советом у кого получилось обходить капчу(
Я еще не пробовал
Здравствуйте, а будут видео по Pytest?
В разработке курс по playwrite, pytest там тоже рассмотрим
Привет. Подскажи может пропустил. Почему тебя не блочит клаудфлэр?
Привет! Конкретно на Ozon проверка капчи cloudflare произойдет, если мы сделаем много действий за короткий промежуток времени
Добрый день.Благодарю за видео.Но почему то страница не загружается.Показывает что ошибок ноль и все, браузер не открывается.Что это может быть?
Попробуйте запустить в debug режиме и посмотреть где проблема, если не умеете - расставьте несколько вспомогательных print в коде
@@the_parse_hub ок
Нашел press('Enter')
Добрый день! Можно ли создать такой парсер на сервере без графического интерфейса?
Имеется ввиду наверное не создать, а запустить. Можно, headless там есть
@@the_parse_hub Да, именно запустить. Понял, спасибо!
привет, напишешь мне парсер на озон? я бабки скину
Привет. Пиши на почту что конкретнее нужно. Почта в описании
при запуске вылетает ошибка, Executable doesn't exist at AppData\Local\ms-playwright\chromium-1076\chrome-win\chrome с предложением запустить команду plawright install. нО это уже сделано было. порывшись в инете, народ пишет, что надо запустить установку npx plawrigth. но к сожалению, пишет что npx имя не распознано. Есть решение ?
Не уверен, но возможно у Вас установлен playwright глобально и локально и он путается в версиях браузера. Попробуйте полностью его удалить и установить заново в виртуальном окружении
@@the_parse_hub переустановка помогла, но теперь озон включает капчу после поиска
@@nokeppivanoff4353 да, такое бывает
@@the_parse_hubаха. так значит ваше видео тут бестолку, т.к. спарсить озон не получается, решений у вас нет. Блокировку обойти решения нет. Ну и смысл ?
@@nokeppivanoff4353 аха, если Вы до сих пор не поняли, то я объясню: решения в парсинге не бывают вечными (особенно на таких сайтах как Авито, Ямаркет, Озон и пр.), а требуют постоянной доработки и изменений. Это постоянная игра в кошки-мышки.
Также выходят новые версии библиотек, убираются одни методы, добавляются другие (как раз этот случай с Playwright).
Именно поэтому разные компании, которые занимаются парсингом, продают как правило парсинг как услугу, а не как готовый продукт. Как-то так, надеюсь доступно объяснил
А если мне сразу озон выдаёт проверку на то человек ли я и потом ошибку ВПН выдаёт, то что делать тогда ? 14:35
Озону не нравится парсинг. Попробуйте увеличить паузы в скрипте, месяц назад это помогло, но на самом деле нужно искать другие способы парсинга - этот слишком нестабильный
@@the_parse_hub да помогло запускать браузер с одним дополнительным аргументом и дальше по видео повторилось все легко
@@asmr_codster вот и отлично
@@asmr_codster не подскажите что добавиили?
Чтобы селениум не блочили нужны танцы с бубнами.
нужно всего-лишь установить stealth или undetected_chromedriver, вот и все танцы
@@the_parse_hub к сожалению есть абсолютно злые сайты и это не поможет
@@the_parse_hub не помогает ни stealth, ни undetected_chrome. Cloudflare срабатывает сразу на старте страницы, никаких действий еще не сделал. А undetected_chrome перестал проходить какие-либо защиты еще пару недель назад, до этого cloudflare обходил исправно.
UPD: после корректировки аргументов, селениум stealth обходит cloudflare при старте страницы.
ozon уже не попарсишь
Таким способом - скорее всего уже не получится. Но вообще спарсить можно всё - весь вопрос в доступных ресурсах
Зачем парсить хтмл если можно слушать сеть и поймать запрос к апи и парсить удобный json?
Подскажите, можно им парсить инстаграм? Использую selenium и bs4 для парсинга количествоюа подписчиков. Но сайт меня блочит через не которое количество повторений
Для парсинга защищенных сайтов используйте лучше undetected_playwright, ну и не забывайте, что банить сайты могут и по поведению