Секреты парсинга на Python | Как зарабатывать больше на фрилансе | Парсинг сайтов
Вставка
- Опубліковано 17 лют 2023
- ⚡️ Практика Python ⚡️
Фриланс. Обучение (Web-Scraping) веб парсингу на Python. Секреты парсинга, незаменимые помощники при парсинге данных.
💰 Поддержать проект:
www.netstalkers.com/private
/ pythontoday
yoomoney.ru/to/410019570956160
🔥 Стать спонсором канала:
/ @pythontoday
🔥 Telegram канал к кучей ништяков и командами из видео:
t.me/python2day
****Ссылки****
Дешевый/надежный сервер в Европе + СКИДКА 10%:
vdsina.ru/?partner=858b36ud3p
Хороший proxy сервис:
proxy6.net/a/149995
С нуля до 100 000 за полгода | Что должен знать JUNIOR PYTHON разработчик в 2023:
• С нуля до 100 000 за п...
Кликер на Python | Фармим ресурсы в играх:
• Кликер на Python | Фар...
Выполняем тестовое задание на Junior Python разработчика с зарплатой 70000р:
• Выполняем тестовое зад...
Зарабатываем на фрилансе | Requests, bs4 и телеграм бот на aiogram:
• Обучение парсингу на P...
Вычисляем по IP с помощью Python | Как определить местоположение по IP:
• Вычисляем по IP с помо...
Как узнать пароль от Wi-Fi с помощью Python | Достаем пароли от Wi-Fi точек доступа в Windows:
• Video
Что такое фишинг и как не попасться? | Генератор QR код на Python:
• Что такое фишинг и как...
Парсинг криптобиржи | Торговый бот | API криптобиржи:
• Парсинг криптобиржи | ...
Python с нуля | if _name_ == '__main__' | Зачем? И почему нужно использовать
• Python с нуля | if __n...
Асинхронный парсинг на Python | Ускоряем код в 10 раз
• Асинхронный парсинг на...
Парсинг на Python | Подмена IP-адреса | Запросы через прокси
• Парсинг на Python | По...
Парсинг динамического сайта на Python + Telegram бот на AIOGram | Requests, AIOGram, API, JSON
• Парсинг динамического ...
Пишем Telegram бота на Python + Загружаем Telegram бота на сервер(хостинг):
• Пишем Telegram бота на...
Плейлист по распознаванию лиц на Python:
• Распознавание лиц | Fa...
Плейлист по парсингу сайтов на Python:
• Парсинг/Scraping
Плейлист по Instagram боту:
• Instagram Bot на Pytho...
Плейлист по Linux для новичков:
• Linux для начинающих
CURL into Python requests:
curlconverter.com/
****Соц.сети****
Telegram: t.me/python2day
#фриланс #парсинг #заработоквинтернете #requests #python #заработок #webscraping #scraping
Красавчик, человеческое спасибо, с уверенностью скажу - ты старался и стараешься не зря, ты пробудил огромный интерес у многих людей, интерес к программированию! Здоровья твоей семье, живи вечно, всего самого хорошего тебе и твоей семье!
Огромное спасибо за теплые слова дружище! Взаимно! Здоровья и успехов тебе и семье 💪
Dominic Toretto: "Ты сказал семья?"
@@the_huge_knightbandaleros
@@the_huge_knight ты чепес
@@the_huge_knight 😂😂😂
Большое Вам Спасибо! Очень хочется больше видео по Python!
Лучший, спасибо! Скоро будет 200к. Очень давно тебя смотрю) всегда лучшие объяснения и качество)
Только учусь) Большое спасибо за поддержку!
Огроная благодарность за то, что тратишь свое время и делишься полезной и интересной практикой! 👍
Спасибо за поддержку!
Спасибо автору !!!
Давай ещё по парсингу, материал огонь! 🔥
Спасибо, огромное. Сильно помогли. На работе таск был в бэклоге ваш видос помог исправить ситуацию.
Рад что полезно! Спасибо за фидбэк!
Спасибо, очень нужные вопросы раскрываешь).
Спасибо за фидбэк и поддержку!
Здорово! Благодарю за прекрасный практический материал!
Благодарю за фидбэк и поддержку!
PythonToday, спасибо за видосы, очень классные! Но есть пару просьб - увеличивай пж размер кода в редакторе, не очень читабельно на малых мониторах и комментируй урок пж не так быстро как печатаешь - с усвоением написанного и быстрой озвучкой мозг бывает не справляется, уменьшаю скорость видео)))
Спасибо что делишься знаниями!
На здоровье друг) Главное чтоб было полезно!
Спасибо за видео! Видно, что видео проработано!
Спасибо, вы сэкономили мне кучу времени! Посмотрев видео я поняла, что такое программирование - уж точно не моё, хотя не так давно всё же (по подсказкам с ютуба) написала работающего бота для биржи, но это скорее было мучением, чем удовольствием. Пойду дальше ковырять свои микропроцессоры и писать код под "железо". Питон - интересно, но когда смотришь со стороны))
Здравствуйте! Подскажите, пожалуйста, как Вы создали бота для биржи? У меня проблема с парсингом цены на золото в унциях (XAU/USD) в реальном времени с биржи. Я создаю телеграм-бота, у которого можно постоянно узнавать с помощью одной кнопки актуальную цену на золото в унциях с конкретной биржи с помощью парсинга, но никак не могу реализовать этот нюанс. Есть предложения?
@@jerrysimon7687 Здравствуйте! У меня получалось подключиться к двум биржам: OKX и Kucoin. Там это открытые публичные данные и прямо есть пример запроса по паре монет и документации по АПИ. В вот на московскую биржу меня не пускает, с другими тоже пока не разбиралась.
@@jerrysimon7687 могу помочь (не за бесплатно)
Здравствуйте. Благодарю. Все супер!
Приветствую, спасибо за фидбэк!
Спасибо огромное, благодаря твоему видео удалось прочитать лимиты для Яндекс API JavaScript API и HTTP Геокодер для своего скрипта. Еще раз огромный респект!
Благодарю за фидбэк! Рад что полезно
Я почти неделю не мог вытащить данные с сайта , не проходил защиту. После этого видео всё получилось , думаю комментарии излишни. Большое спасибо
Топовый контент, топовая подача! благодарность!
Большое спасибо за поддержку!
Довольно интересная информация. Спасибо за ролик!
Спасибо за фидбэк!
Огромное спасибо, как всегда на высоте
Большое спасибо за поддержку!
Спасибо. Очень полезно
Спасибо большое за видео! Очень полезное, интересное и что самое главное понятное для новичков
Большое спасибо за фидбэк!
Просто топ как всегда огромное спасибо просто с удовольствием и жду твое видио
Большое спасибо за поддержку!
Смотрю все видео, лучший канал. Было бы круто если бы выложил что-то с fingerprint защитой. Или где нужно через моб апи ломиться. Сбермегамаркет показался очень сложным.
Дружище, ты меня очень сильно выручил, благодарю за видео))
Благодарю за фидбэк!
@@PythonToday у меня есть вопрос, как парсить с помощью rest api?
Огромное, тебе спасибо. Говорю уже не первый раз
Большое спасибо за поддержку!
Спасибо! Лучший!
Спасибо за фидбэк!
Спасибо!
Твой канал - находка года. Подписался
Благодарю за поддержку!
Здорово)))
Круто, спасибо. еще бы видос как обойти cloudflare2 без selenium...
Спасибо тебе за все видосики
Благодарю за фидбэк!
Большое спасибо за ценную информацию, отдельный респект за краткость и отсутствие воды
Большое спасибо за фидбэ и поддержку!
спасибо братан мотивируешь
Спасибо тебе крутой парень !!!
Охренеть. Просто охренеть. Спасибо!
Спасибо за фидбэк!
Слушай, а попробуй записать сравнение httpx и requests, а так же selectolax + bs4, на скорость, удобство настройки параметров всяких и т.д.
Я думаю, что тема очень интересная, т.к. чем проще и быстрее сможешь собирать данные, тем легче тебе будет :Р
что это ?
Спасибо за видео! Хотелось бы узнать, как парсить характеристики товаров, когда у всех они разные, и в разном порядке? Есть ли видео на канале с объяснением этого?
вау, действительно качественный контент
Благодарю!
Ты лучший 👍👍👍👍👍
При открытии файла *html у меня возникали проблемы с кодировкой. Проблема была решена указав принудительно его кодировку. with open("rez1.html", "w", encoding='utf-8') as file:
спасибо, помог!
Да, простой и удобный инструмент для работы.
Видео класс, давно пользуюсь этим методом, кстати подсмотрел я его у тебя в одном из прошлых видосов по парсингу. Рекомендую всем, таким способом даже многие сайты с серьёзно защитой от парсинга не догадывались что орудует скрипт)
Но я предпочитаю сразу json данные с Бэка так скачивать, если они есть конечно.
Всё верно) Молодцом! Большое спасибо за фидбэк и поддержку! Рад видео помогают 👍
@@PythonToday спасибо большое за приятные слова и за твою работу!)
@@PythonToday вот про скачивать json с бэка тоже был бы годный контент
сори, понял что вопрос глупый))) Ведь для этого нужно таким же методом искать *.json...
@@user-yb2rm6rb7i такой уже есть. Пересмотри ролики. Не могу сказать где именно.
Лучшего гайда не существует!
Если можешь , сделай видос , со скачиванием видео с сайта , для усложнения задачи , пусть будет одно дефолтное видео , а другое с otp ключом которое рендерится в , и привязано к домену
Отлично и крайне полезно, парсинг на питоне - это гибкость и мощь👍
Благодарю за фидбэк!
лучший канал про python
Большое спасибо за поддержку!
не могли бы вы объяснить бизнес-логику в ваших следующих видео?
Есть вопрос, я хочу парсить сайт, параметры поиска товара будут всегда разны (в зависимости от того что выберит пользователь в телеграмм боте), соответственно и ссылки, и страницы будут постоянно меняться. Есть ли смысл, повторить всё как на видео, но только с главной страницы? Будут ли куки, прокси от главной страницы полезны для подстраниц сайта? Заранее спасибо
видео интересное, но вот как парсить сетевые пакеты в селениуме это очень будет интересно посмотреть т.к таких видео попросту нет(
Я не поняла, но было интересно)
Бро пожалуйста сними плейлист про библиотеку requests
Вы лучший!
Только учусь) Большое спасибо за фидбэк и поддержку!
@@PythonToday На самом деле Ваши видео бесценны!))
Ещё раз спасибо) Искренне рад, что полезно и интересно!
крассавчик
Приветствую, хотел бы узнать, можно ли хранить данные для сайта(в моём случае задания для учеников) в json файле, и отдавать их оттуда при запросе на сайте?
Безопасно ли это, и стоит ли так делать?
Приветствую. Думаю лучше хранить информацию в БД
Спасибо за твой труд!!! Лайк в поддержку канала!!!
Большое спасибо за поддержку!
Уже наверное все твои видео на канале пересмотрел
Надеюсь нашел что-то полезное!)
👏
Спасибо большое видео было очень полезно 👍👍👍
Благодарю за поддержку и интерес! Рад что видео помогают!
Очередное доброе утро с новым видео от pythonToday :3
Спасибо за поддержку)
А есть такая возможность у телеграмм ботов. Их можно как нибудь спарсить или вытянуть данные?
класс, но больше бы инфы для чего можно было бы это использовать как для начинающих прогеров не ясна цель использования данного ресурса и парсинга
👍👍👍👍👍
подскажите, начал делать парсер АлиЭкспресс, и спустя время столкнулся с ошибкой 429( слишком много запросов) как можно обходить эту проблему?
А что если сайт жмот. и пишет в файле html {"status":"wait"} и всё
👍
У меня тот же вопрос если json не открывается сам по себе , выдает что данных нету , а вот сами данные есть
Подскажите, пожалуйста, в каком запросе можно цены на товар выловить у dns? А так, видео - супер! Всё работает, спасибо)
В браузере можно посмотреть, f12 и во вкладке network
Подскажи пожалуйста,как установить Visual Studio Code на Кали линукс!!!
Можно ли запустить live сервер в pycharm ?
Как получить и выполнить первый заказ? Где бы его найти вообще
Вроде как у самого получается парсить, парсил за логином, парсил Вайлдберриз, ну заказы хз где взять
Подскажите пожалуйста. Парсил сайт обьявлений при клике пару раз на "посмотреть телефон" в модальном окне показывался телефон. Если больше раз кликать на просмотр тел. Появляется окно регестрации. Как можно обойти это???
очищать куки
я правда копировал готовое чуть не там, но тоже так сделал на пером парсере своем.😁а реативные сайты проверяли? где чисто ajax.
Крутяк, анимего топ
Если рассмотреть одну страницу то легче на js через консоль спарить одной строкой даже 600 записей с инфинити скролом (если ram позволит) и в json легко конвертировать. Тут даже цены не будет api у них странное в product_buy названия, цена и тд, картинки отдельно не понятно как формируются
nice
good
хороший ролик, спасибо, как бы еще решить вопрос с куками после авторизации, если примерно через 30-40 минут сайт закрывает авторизацию и снова просит логинов паролей
Написать запрос авторизации, далее получить токен и подставлять в заголовки запроса. Т. е. настроить cron (не знаю как питоне, я js), чтобы он логинился каждые 30 минут и сохранял токен в переменную, которую вы будете передавать с запросом
Отличный урок! Могли бы сделать видео о том, как обходить 403 Cloudflare?
К сожалению, этот метод не помог. Пытаюсь написать небольшой парсер для озона, маркетплейса.
Тоже пытаюсь парсер для озона написать и тоже не выходит, если решил проблему отпишись пожалуйста
@@user-eu8gq7md3z После загрузки страницы в одном из div есть атрибут data-state, в котором массив items и там есть название, цена, цена скидкой и т.д., все что вам потребуется. Я так думаю, что понадобится библиотека - эмулятор браузера, после чего вы сможете получить контент страницы и далее по dom элементам вытащить нужный атрибут в json и распарсить
Как автоматизировать получение необходимых для получения контента cookies идентификаторов типа qrator_ssid?
Не возможно запустить парсер, которому нужно постоянно передавать вручную извлеченные из браузера ключи.
Selenium эту страницу не прогружает, уходя в бан по ip на некоторое время.
Есть какие то методы обхода?
qrator_ssid активен не долго, получается в результате работы js кода на странице из qrator_ssjr отправленного сервером.
а можно прямо для ограниченных вывести на экран нажимаемые кнопки
Все понятно и очень интересно! Добра, любви, денежных средств! Спасибо за внимание, до свидания! 🤗
Большое спасибо за поддержку!) Взаимно!
привет, наверное не по теме видео но хотелось бы спросить и получить ответ на вопрос
я написал тг бот но при выключении пк он перестает работать, я слышал что бота можно закинуть на сервер что бы он работал,
в обще подскажите пожалуйста на какой сервер его лучше закинуть?
Я тебе больше скажу, не только при выключении пк твой под умрет, но и при остановки скрипта. Есть видосы на тему деплоя бота на сервер, открывай и смотри
бот*
Почему нет кнопки х100 лайкосиков! Это оч интересная инфа. К сожалению ее актуальность для меня сейчас малозначительно. Вот если бы год назад я это знал))) Как говориться - я был бы другим человеком))
Большое спасибо за фидбэк! Надеюсь другие видео будут полезны)
способ конечно сработал. капчу обойти удалось. Но что делать, если в полученном response так и не удалось найти никакой информации, которую можно было бы спарсить?
парни подскажите как так быстро разворачивает локальный сервер. Нажимает кнопку' go live' это плагин или что ?
Привет, можешь написать, на каких фриланс биржах лучше и удобнее искать заказы?
открываешь гугл, пишешь в нем ФРИЛАНС и на первых 5 можешь искать, все нормальные,
чем дороже оплата за месяц тем выгоднее проекты
либо это уже не работает, потому что мне после сохранения response в html выдаёт просто загрузку, то есть когда я открываю его, то там просто страница loading и символы вместо анимации прокрутки, либо просто я что-то не так делаю
Привет, сталкивался с защитой от ботов "F5"? Подскажи как обходить, если да🙃 Задолбало видеть запись The requested URL was rejected. Please consult with your administrador.
Привет, не сталкивался
Коллеги,
подскажите, пожалуйста, как спарить информацию с ЯндексМаркета?
Он меня банит сразу, ничего не помогает. Может кто подсказать рабочий метод с selenium?
ParsingToday)
а как дальше цены получить?
Добрый вечер. Не могли бы вы мне подсказать, вот если я хочу развиваться в сфере "Информационная безопасность" ( пентестинг ), какой язык программирования стоит начать учить, самым первым ?????
Здравствуйте, если мы говорим про веб пентест, думаю для начала нужно изучать сети.
@@PythonToday А если мы говорим про пентест в целом, я понимаю что там нужно учить сетевые протоколы, криптографию и т.д. Если брать конкретно язык, в каком языке присутствует, больше инструментария для данной деятельности????
Здравствуйте! как найти id код сайта помогите пожалуйста!
:) 👍
Python Today лудший
было видео как спарсить сайт у которого исходный код это js, а весь Html css генерируемый?
если нет, можешь показать как-бы ты решил такую проблему?
Selenium web driver
Хотел бы посмотреть как Авито таким образом спарсишь)
А яндекс как запарсить? он при определенном количестве запросов выставляет капчу...
яндекс я не парсил. Но парсил гугл выдачу множеством реквестов. Там я использовал прокси сервер с ротацией. Может и с яндексом так же прокатит.
Кто знает как можно спарить элементы из Frame с помощью requests в интернете ничего не могу найти
Хотелось бы узнать как парсить те данные которые подгружаются скриптами, и желательно не используя селениум
Но ведь скрипты не подгружаются просто так, это тот же запрос
@@PythonToday Проблема в том, что я пытался найти запрос который отправляют js скрипты с сайта, и понял что они никуда его не отправляют. Они просто как то подставляют данные, но как - вообще не понятно. я могу отправить в тг например показать что там происходит
Если можно пожалуйста сделайте обзор библиотек python-а которыми можно преоброзовать html на pdf а так же с подробным описанием как правильно подключить свой шрифты что бы они коректно отображались на pdf Файле. Я искал в интернете и в ваших платных контентах но нормального обясниние не нашел.
Зарание спасибо.