Python Hub Studio, Ваши простые и понятные объяснения СЛОЖНЫХ ВОПРОСОВ делают обучение настоящим удовольствием. Благодарю за возможность воспользоваться вашим ПРОФЕССИОНАЛИЗМОМ! Спасибо за ценные уроки и поддержку!
это чудо. ролик по requests появился через день, после того как я начал изучать эту библиотеку. вчера я столкнулся проблемами в практике по парсингу, и тут это видео! лайк
Спасибо за видео! Понятно объясняете, приятно смотреть. Сделайте также пожалуйста урок с использованием Selenium для динамических сайтов. Думаю многим пригодится.
Пол года назад, начал учить Пайтон язык, по вашим Видео урокам И...? Я стал маленьким программистом) Я успешно сдал свой первый заказ на фрилансе и продолжаю дальше учится!) Но остается много тумана и неясностей В частности, если web разработка не зашла, а именно frontend (backend ещё норм), куда ещё можно посмотреть? На чем ещё можно зарабатывать? За аналитиков данных , или машинное обучение вы что-то знаете? Там интересно?)
Я так понимаю автоматизация, вроде парсинга и ботов в портфолио тоже есть... Аналитика и ML очень хорошая тема, но не особо для фриланса с нуля, так как уровень ответственности с точки зрения заказчика намного выше, и разнородность требований/задач больше, а значит количество заказов на старте которые вы сможете взять меньше. Это если про фриланс. А так, то направление максимально перспективное.
Здравствуйте! Пытаюсь спарсить телефонный справочник, но там разные url в запросе и ответе, есть токены, api в url запросов и я вообще не могу понять что делать и куда копать. Вроде бы можно сделать через селениум, но хотелось бы разобраться и сделать без него. Помогите
Пробовал потренироваться парсить защищенные сайты. Пока не получается вытащить json простым get запросом. Хотя если в браузере на странице посмотреть в инспекторе где XHR там все JSON, которые через API получаются можно найти. Вариант только через selenium? Или может есть какой путь более быстрый?
@@PythonHubStudio У меня тоже в браузере не отображается ajaxdetail/. На вкладке xhr/fetch вместо него стоит: ?sentry_key=547...., у которого статус 200 и POST-запрос, а не GET. На вкладке "Ответ/отклик" - пустой словарь. Можете подсказать почему так?
Добрый день! подскажите пожалуйста, как собрать информацию с сайта вайберриз а именно на каком месте находиться мой товар по различным запросам, возможно ли научиться этому с помощью PYTHON?
И не должно обновляться, это скрытая пагинация, сайт просто делает инъекцию при скроле страницы вниз. Советую использовать вебдрайвер для этих целей, легче получается и имитация работы пользователя
Здравствуйте, автор канала! Спасибо за контент! Какие источники информации (книги, ютуб.каналы, сайты) по Питону можете посоветовать новичку и вообще что нужно знать начинающему фрилансеру?
Хм, а как отработал print(response['title'])? в питоне возвращает ошибку формируется список а не словарь "TypeError: list indices must be integers or slices, not str". Через цикл For работает. for item in response: print(item['title'])
подскажите пожалуйста, как распарсить сайт Майкрософта? нужно распарсить карточки с играми, а способ с видоса не работает, никак разобраться не моуг (((
Что делать если обрезали доступ к этой ссылке. Когда захожу по по подобной ссылке из url-запроса то мне пишет: 403 Forbidden nginx/1.18.0. Но на сайте можно открыть нужную мне информацию по нажатию кнопки и появится модальное окно, (которое не видно в элементе без нажатия этой кнопки). Можно ли как-то с помощью requests нажать на эту кнопку чтобы потом взять элементы из этого модального окна?
Ролика не будет как этот ресурс парсить, парсинг на канале есть только в качестве тренинга для начинающих, чтоб была практика по python и понимание в запросах. Это не благодарное дело(парсинг), поэтому хоть и можно спарсить любой сайт и попытаться на этом заработать, как это делать обходя блокировки выпускать видео не буду. Это никому не нужно, это не то чем нужно себя занять в программировании.
Спасибо за видео! Подскажите пожалуйста есть ли сейчас возможность парсить avito? что только не использовал, ответ всегда 403 при попытке установить соединение на стартовой странице
На 14 минуте вы сказали про код 200 и код 300 с копеечкой и про перенаправление. А если на сайте есть перенаправление и 304 код, то как тогда быть? И если не xhr, а fetch запрос и ещё есть graphql. Будут ли видео про парсинг ещё у вас?
все коды 200 по умолчанию успешные, задай диапазон status >=200 and < 300, если хочешь знать причины ошибки 5хх(серверна) или 4хх(клиентская) делай так-же а лучше оберни в try exception чтобы ловить полный лог ошибок и понимать что с ней дальше делать. Но если я не ошибаюсь можео еще сделать status.success и он сам решит успешный это код или нет
Здравствуйте, у меня есть 30 тыс ссылок и мне нужно из каждой ссылки собрать - артикул, описание и картинку. Заметила, что сайт не любит большое количество запросов. Есть ли способ обойти эту защиту используя прокси или что-то другое. Хотела купить прокси, но это дорого
А помните вы видео записали как сделать Питон флешку а я написал скрипт который парсит мой гитхаб и выводит список менюшку с питон скриптами когда выбираете оно скачивает и запускает я так могу прийти в офис и напоназапускать своих скриптов на любом компе где пайтон не установлен ну и скрипт который ищет питон скрипты на моей флешке и запускает в виртуальном окружении venv
Уважаемый автор, я прошел ваш семичасовой курс по Python и хочу поблагодарить вас за проделанную работу, но в моей стране нет функций спасибо. Как бы я смог отправить вам денег?
Всем привет! Кто знает, как обойти вот это? Ваш браузер не смог пройтипроверку.Для доступа к веб-ресурсу включите в настройках вашего веб-браузера поддержку JavaScript или воспользуйтесь другим веб-браузером, который поддерживает JavaScript.
Попробуй с помощью selenium загружать страницу, и потом уже сохранять ее и отправллять в bs4. Это может быть не очень хороший совет потому как я сам только учусь, но если я правильно понял твою проблему, то selenium поможет
@@firstandlast4435 Спасибо за комментарий! Да, я как раз и использовал selenium. Но , увидев данный ролик, подумал, что смогу справляться с задачей скроллинга на сайте и без selenium. Протестировал через requests, но сервер не пускает меня, потому что, как понял, не прохожу проверку на "человечность".
@@ЕгорГуторов-р7я мне по сообщению показалось что сайт проверяет не на человечеость а на совместимость с яваскрипт, так как использует его для отображения контента. Это логичная проверка и я думаю что отнюдь нередкая
@@firstandlast4435 Попробую через selenium зайти и в метод get отправлять запросы имитирующие скроллинг. Но почему-то у меня устоявшийся в голове принцип, что селениум чисто для имитации действий пользователя, и что он не может в запросы API.
@@PythonHubStudio сайт ничего не отрисовывает, рендерит драйвер.... поэтому как я и сказал это не то, я искал как без этого ссаного хром драйвера + селениум который жрет кучу ресурсов получать уже отрендеренные страницы
Python Hub Studio,
Ваши простые и понятные объяснения СЛОЖНЫХ ВОПРОСОВ делают обучение настоящим удовольствием.
Благодарю за возможность воспользоваться вашим ПРОФЕССИОНАЛИЗМОМ!
Спасибо за ценные уроки и поддержку!
Еще одна огромная благодарность вам. Очень благодарен вам за ваш труд. Бриллиант в океане туториалов! 💎
Спасибо за урок! Как всегда информативно и доступным языком👍
это чудо. ролик по requests появился через день, после того как я начал изучать эту библиотеку. вчера я столкнулся проблемами в практике по парсингу, и тут это видео! лайк
Лайк и благодарность по умолчанию 👍
Нашёл, что искал. Спсибо, Python Hub Studio!
Спасибо, все четенько, по делу и без лишней воды!
Спасибо за видео! Понятно объясняете, приятно смотреть. Сделайте также пожалуйста урок с использованием Selenium для динамических сайтов. Думаю многим пригодится.
огромное спасибо благодаря знанию что хчр это инъекция быстро выполнил свою задачу
Спасибо!! Отличный урок.
Спасибище! Однозначно в закладки видео.
Спасибо тебе добрый человек
Оч крутой разбор, спасибо!
Видео очень понравилось. лайк не забыли поставить)
Спасибо большое!
Хороший видос
Полезная информация, спасибо ;3
Супер полезный видос
Пол года назад, начал учить Пайтон язык, по вашим Видео урокам
И...? Я стал маленьким программистом)
Я успешно сдал свой первый заказ на фрилансе и продолжаю дальше учится!)
Но остается много тумана и неясностей
В частности, если web разработка не зашла, а именно frontend (backend ещё норм), куда ещё можно посмотреть? На чем ещё можно зарабатывать?
За аналитиков данных , или машинное обучение вы что-то знаете? Там интересно?)
Я так понимаю автоматизация, вроде парсинга и ботов в портфолио тоже есть... Аналитика и ML очень хорошая тема, но не особо для фриланса с нуля, так как уровень ответственности с точки зрения заказчика намного выше, и разнородность требований/задач больше, а значит количество заказов на старте которые вы сможете взять меньше. Это если про фриланс. А так, то направление максимально перспективное.
Спасибо ! Много подчерпунул
Здравствуйте! Пытаюсь спарсить телефонный справочник, но там разные url в запросе и ответе, есть токены, api в url запросов и я вообще не могу понять что делать и куда копать. Вроде бы можно сделать через селениум, но хотелось бы разобраться и сделать без него. Помогите
Пробовал потренироваться парсить защищенные сайты. Пока не получается вытащить json простым get запросом. Хотя если в браузере на странице посмотреть в инспекторе где XHR там все JSON, которые через API получаются можно найти. Вариант только через selenium? Или может есть какой путь более быстрый?
Разберите пожалуйста обновлённый selenium
Здравствуйте. Не могли бы Вы подсказать, почему Chrome не видит "ajaxdetail/" и прочие такие файлы, в чем может быть проблема?
Все браузеры это видят, только может называться вкладка по другому xhr, fetch, ajax, и тд
@@PythonHubStudio У меня тоже в браузере не отображается ajaxdetail/. На вкладке xhr/fetch вместо него стоит: ?sentry_key=547...., у которого статус 200 и POST-запрос, а не GET. На вкладке "Ответ/отклик" - пустой словарь. Можете подсказать почему так?
Разобрался в чём дело. Надо было кликнуть на другую страницу ("Mimicking Ajax requests") и уже там смотреть html-код.
Добрый день!
подскажите пожалуйста, как собрать информацию с сайта вайберриз а именно на каком месте находиться мой товар по различным запросам, возможно ли научиться этому с помощью PYTHON?
А что делать если на сайте не обновляется page в ссылке?
И не должно обновляться, это скрытая пагинация, сайт просто делает инъекцию при скроле страницы вниз. Советую использовать вебдрайвер для этих целей, легче получается и имитация работы пользователя
Можно к вам куда-нибудь лично обратиться по вопросу парсинга?
Здравствуйте, автор канала! Спасибо за контент! Какие источники информации (книги, ютуб.каналы, сайты) по Питону можете посоветовать новичку и вообще что нужно знать начинающему фрилансеру?
Привет, расскажи почему используешь Интернет Експлорер ? В чем плюсы ?
Спасибо!
Хм, а как отработал print(response['title'])? в питоне возвращает ошибку формируется список а не словарь "TypeError: list indices must be integers or slices, not str". Через цикл For работает. for item in response:
print(item['title'])
подскажите пожалуйста, как распарсить сайт Майкрософта? нужно распарсить карточки с играми, а способ с видоса не работает, никак разобраться не моуг (((
Респект
Что делать если обрезали доступ к этой ссылке. Когда захожу по по подобной ссылке из url-запроса то мне пишет: 403 Forbidden
nginx/1.18.0. Но на сайте можно открыть нужную мне информацию по нажатию кнопки и появится модальное окно, (которое не видно в элементе без нажатия этой кнопки). Можно ли как-то с помощью requests нажать на эту кнопку чтобы потом взять элементы из этого модального окна?
Добрый день, а geekjob возможно спарсить? Не будет ролика как это сделать?
Ролика не будет как этот ресурс парсить, парсинг на канале есть только в качестве тренинга для начинающих, чтоб была практика по python и понимание в запросах. Это не благодарное дело(парсинг), поэтому хоть и можно спарсить любой сайт и попытаться на этом заработать, как это делать обходя блокировки выпускать видео не буду. Это никому не нужно, это не то чем нужно себя занять в программировании.
Спасибо за видео!
Подскажите пожалуйста есть ли сейчас возможность парсить avito? что только не использовал, ответ всегда 403 при попытке установить соединение на стартовой странице
неделю назад написал его на Selenium отлично работает, но для моего случая нужна была авторизация в начале по смс для получения большего числа данных
На 14 минуте вы сказали про код 200 и код 300 с копеечкой и про перенаправление. А если на сайте есть перенаправление и 304 код, то как тогда быть? И если не xhr, а fetch запрос и ещё есть graphql. Будут ли видео про парсинг ещё у вас?
все коды 200 по умолчанию успешные, задай диапазон status >=200 and < 300, если хочешь знать причины ошибки 5хх(серверна) или 4хх(клиентская) делай так-же а лучше оберни в try exception чтобы ловить полный лог ошибок и понимать что с ней дальше делать. Но если я не ошибаюсь можео еще сделать status.success и он сам решит успешный это код или нет
Будет ли видео по JS и React ?
А можно через питон спарсить запросом, если подгружает скриптом js и ответ я получаю jsonом
просто requests
давай видео как парсить сайты с каптчей запросами(без селениума) пожалуйста
Сейчас пробую на другом сайте и там всё совершенно по другому. Уже четыре часа вожусь и не могу понять что и где!
ошибка TypeError: 'str' object is not callable
Здравствуйте, у меня есть 30 тыс ссылок и мне нужно из каждой ссылки собрать - артикул, описание и картинку. Заметила, что сайт не любит большое количество запросов. Есть ли способ обойти эту защиту используя прокси или что-то другое. Хотела купить прокси, но это дорого
Выставить задержку? И есть бесплатные прокси.
33 рубля в месяц вовсе не дорого
Как это без обновления страницы? Страница-же обновилась... Ты имеешь ввиду БЕЗ ЗАГРУЗКИ/ПЕРЕЗАГРУЗКИ страницы....
Игра слов
А помните вы видео записали как сделать Питон флешку а я написал скрипт который парсит мой гитхаб и выводит список менюшку с питон скриптами когда выбираете оно скачивает и запускает я так могу прийти в офис и напоназапускать своих скриптов на любом компе где пайтон не установлен ну и скрипт который ищет питон скрипты на моей флешке и запускает в виртуальном окружении venv
Круто!
Привет! Как можно задонатить тебе из России?
Можешь сделать видео что нужно знать для data science для устройство на работу)
Уважаемый автор, я прошел ваш семичасовой курс по Python и хочу поблагодарить вас за проделанную работу, но в моей стране нет функций спасибо. Как бы я смог отправить вам денег?
описание смотри
Всем привет!
Кто знает, как обойти вот это?
Ваш браузер не смог пройтипроверку.Для доступа к веб-ресурсу включите в настройках вашего веб-браузера поддержку JavaScript или воспользуйтесь другим веб-браузером, который поддерживает JavaScript.
Попробуй с помощью selenium загружать страницу, и потом уже сохранять ее и отправллять в bs4.
Это может быть не очень хороший совет потому как я сам только учусь, но если я правильно понял твою проблему, то selenium поможет
@@firstandlast4435 Спасибо за комментарий!
Да, я как раз и использовал selenium. Но , увидев данный ролик, подумал, что смогу справляться с задачей скроллинга на сайте и без selenium.
Протестировал через requests, но сервер не пускает меня, потому что, как понял, не прохожу проверку на "человечность".
@@ЕгорГуторов-р7я мне по сообщению показалось что сайт проверяет не на человечеость а на совместимость с яваскрипт, так как использует его для отображения контента. Это логичная проверка и я думаю что отнюдь нередкая
@@ЕгорГуторов-р7я просто насколько я знаю когда то не все браузеры поддерживали яваскрипт. Хотя сейчас все популярные браузеры это делают
@@firstandlast4435
Попробую через selenium зайти и в метод get отправлять запросы имитирующие скроллинг. Но почему-то у меня устоявшийся в голове принцип, что селениум чисто для имитации действий пользователя, и что он не может в запросы API.
почему не использовать Pycharm ? VS Code смотрится фигово
Или наоборот.
И для меня важны преимущества vscode, а VStudio чрезмерно тюнингованая.
Под каждым видео такие эмоциональные комменты... Сектанты прям 😂 хоть 1 конструктивная критика автора есть где??
Это не парсинг динамических страниц
А парсинг страниц которые присылают json
В этом видео парсинг по ajax запросам, которые сайт отрисовывает динамически(без перезагрузки) по средствам JavaScript - json и фрагменты разметки.
@@PythonHubStudio сайт ничего не отрисовывает, рендерит драйвер.... поэтому как я и сказал это не то, я искал как без этого ссаного хром драйвера + селениум который жрет кучу ресурсов получать уже отрендеренные страницы
задержка time.random излишняя.
вообще не понял зачем она? для обхода антипарсиноговой блокировки?