8000р за вечер на фрилансе | Обучение парсингу на Python | Proxy, Requests, API, JSON, CSV
Вставка
- Опубліковано 21 вер 2024
- ⚡️ Практика Python ⚡️
Фриланс. Обучение (Web-Scraping) веб парсингу на Python. В данном видео выполняем заказ взятый на фрилансе по парсингу сайта лаборатории тестов.
Поработаем с прокси и отправим через них запрос на сайт с помощью библиотеки requests, исследуем сайт, напишем запрос к API, запишем данные в json и csv файлы, ну и конечно заработаем 8000 рублей.
🔥 Доступ в приват | Поддержать проект:
boosty.to/pyth...
/ pythontoday
yoomoney.ru/to...
🔥 Стать спонсором канала:
/ @pythontoday
****Ссылки****
Дешевый/надежный сервер в Европе:
zomro.com/?from...
promo_code:
zomro_246874
Хороший proxy сервис:
proxy6.net/a/1...
Выполняем тестовое задание на Junior Python разработчика с зарплатой 70000р:
• Выполняем тестовое зад...
Зарабатываем на фрилансе | Requests, bs4 и телеграм бот на aiogram:
• Обучение парсингу на P...
Вычисляем по IP с помощью Python | Как определить местоположение по IP:
• Вычисляем по IP с помо...
Как узнать пароль от Wi-Fi с помощью Python | Достаем пароли от Wi-Fi точек доступа в Windows:
• Video
Что такое фишинг и как не попасться? | Генератор QR код на Python:
• Что такое фишинг и как...
Парсинг криптобиржи | Торговый бот | API криптобиржи:
• Парсинг криптобиржи | ...
Python с нуля | if _name_ == '__main__' | Зачем? И почему нужно использовать
• Python с нуля | if __n...
Асинхронный парсинг на Python | Ускоряем код в 10 раз
• Асинхронный парсинг на...
Парсинг на Python | Подмена IP-адреса | Запросы через прокси
• Парсинг на Python | По...
Парсинг динамического сайта на Python + Telegram бот на AIOGram | Requests, AIOGram, API, JSON
• Парсинг динамического ...
Пишем Telegram бота на Python + Загружаем Telegram бота на сервер(хостинг):
• Пишем Telegram бота на...
Плейлист по распознаванию лиц на Python:
• Распознавание лиц | Fa...
Плейлист по парсингу сайтов на Python:
• Парсинг/Scraping
Плейлист по Instagram боту:
• Instagram Bot на Pytho...
Плейлист по Linux для новичков:
• Linux для начинающих
CURL into Python requests:
curlconverter....
Код проекта на github:
github.com/pyt...
И в telegram канале:
t.me/python2day
****Соц.сети****
Telegram: t.me/python2day
#фриланс #парсинг #заработоквинтернете #requests #python #aiogram #заработок #webscraping #scraping #api #json #csv #pythonapi
Умение завернуть в 10 минутный бесплатный ролик практики из месячного платного курса...Потрясающий канал, автору респект и спасибо за труд!👍👍👍
Найс месячный платный курс, в котором инфы на 10 минутный ролие
@@rianoneq пхахаххаха )
Большое спасибо за фидбэк!)
@@PythonToday зачем тебе прокси? Есть библиотеки которые даже клаудфларе защиту обходят, ты просто не знаком
@@dimamihalev2986 напиши название, полезным будет
Пару месяцев назад даже не понимал как такое возможно вообще, но теперь уже предугадываю действия) все благодаря твоим видео, ты делаешь людей образованнее, дорогой Автор! 🫡
Спасибо тебе 🤝
Большое спасибо! Рад что видео интересны и полезны)
Я вот тоже сейчас не понимаю как это вообще возможно ))
Шикарные видео. Понемножку вливаюсь в программирование и когда наступают моменты "опускания рук" - Ваши видео - элексир. Больших Вам успехов!!! И большое СПАСИБО!!!
Автору огромное спасибо! Благодаря навыкам, которые он показывает, я уже начал свою предпр. деятельность по сбору данных!
Материал доносит понятно и без напряжений, приятно смотреть уроки. Ну и конечно кивающий под бэксаунд, котофей! Мои любимые моменты ))))
Большое спасибо за фидбэк!)
Лайк за полезный контент и крутую подачу без воды. Коты топ))
Спасибо за поддержку!
Мощно, мужик! 😍
Хотелось обвинить в слишком быстром темпе, но ты предусмотрительно отправил на видосы-предыстрию 👍
Где ж ты был пару месяцев назад. Так красиво, и главное, ДОСТУПНО объяснил всё то, что было необходимо для моей учебной практики в вузе. Но благодаря ролику теперь задумался о фрилансе в этом направлении, спасибо за обучение!
Благодарю за фидбэк! Рад что видео интересны)
Я даже и не знаю что ещё написать) спасибо за очередной огненный ролик с тонной информации! Всё логично и просто, надеюсь, что, когда-нибудь и я смогу так же легко видеть решение проблем)
В видео всё просто) Спасибо за фидбэк!
Спасибо за видео, с нетерпением ждем каждого выпуска. Отличная подача материала 👍
Благодарю за фидбэк!
Видео очень крутые и информативные! Благодарю!)
Есть вопрос - на 4:42 ты говоришь, что нашел ОДИН ВЕСЬМА ИНТЕРЕСНЫЙ ЗАПРОС. Но как ты понял (по каким признакам) что это тот самый?
Дружище очень позновательно) Сам Бэк работаю с битриксом больше и на пыхе. Подчерпнул для себя полезной инфы)
Сразу лайк. Потом просмотр.
Подписался на телегу ;) Канал офигенный, честно говоря.
10:29 правильнее написать "в течение", т.к. "в течении реки" разве что можно сказать, а тут у нас идёт течение времени, т.е. не буквальное значение выражения
ок
В питоне есть специальный метод str.translate для преобразования одних символов в другие, работает молниеносно. По факту это базовая реализация команды tr из GNU. По поводу replace не нужно проверять наличие символа в строке, т.к. он не вызывает ошибки, если символ не был обнаружен. Ну и я бы всё-таки поискал способ сохранить без модификации, кодировку поменять или ещё что-то.
Способ, который приведён в видео требует 4 прохода по строке и весьма громоздкий, решение точно не из лучших. Ещё мне не понравилось, что в переменную result добавляются списки, хотя рациональным решением тут конечно было бы использовать кортежи, потому что строчки после этого не изменяются. При использовании кортежей получаем 10x выигрыш по скорости и приличный выигрыш по памяти.
А еще можно было разбить на функций все, а не писать в одной. + делать функцию main() и вызывать в ней одну функцию, а саму main вызывать в if name... - это жестко
@@tarlock4089 Тоже хотел написать, но коммент и так большой получился) Никто бы не стал читать
@@tarlock4089 это не "жестко" - это правильно
Шикарный контент, Автор просто молодец!!! Успехов и процветания каналу!!!
Огромное спасибо за фидбэк!
проработал все уроки из данного плейлиста!!!
PythonToday - спасибо тебе за такую большую и интересную практику! Всех благ тебе!
теперь попробую взять свой первый заказ на фрилансе, надеюсь у меня все получиться
а параллельно буду смотреть другие твои видосы на ютубе и NetStalkers
ты, с котиком из видео, самые крутые айтишники во всем ютубе!!!!!!!
Благодарю за фидбэк! Всё обязательно получится, главное практика и выше нос!
Александр Итяксов, кстати, как сейчас на фрилансе обстоят дела? Кол-во заказов там, цены и т.д. Всё получилось?
Как у вас с заказами, получилось?
Я несколько заказов успешно завалил😢
@@1244188 как так?
Лайк автоматом! Делаю дипломную работу (бот парсер [14 сайтов] + [несколько тг каналов] + [вывод данных в эксель]
Спасибо тебе за творчество и практику!!!!
Не могли бы вы поделиться своим успехом, мне нужно примерно тоже самое, только для личных целей
@@DS-wg5nc а че там сложного, пишешь парсер, бота, парсер запускакшь по крону а инфу кидвешь в бд, а бот просто инфу из бд берет
@@rianoneq к сожалению, для меня это тёмный лес
Большое спасибо за фидбэк! Рад что интересно)
@@PythonToday У меня такая проблема появилась. Купил на proxy6 прокси, но один из сайтов при подключении выдает ошибку (Tunnel connection failed: 502 Bad Gateway). С другим сайтов все работает отлично. Прочитал, что можно сделать fake_useragent или поднять прокси на VPS сервера. Есть какие-то предложения?
Очень крутой видос! Спасибо)
Когда в универе учился, писал прогу что парсит сайты с выгрузкой csv файлов на google disk для препода
Интересно было)
Буду начинать с твоих уроков обучение! Очень интересно!
Спасибо за фидбэк!
Шикарное видео, хоть парсингом и занимаюсь давно, но всё равно нашёл для себя много интересного
Большое спасибо за фидбэк! Рад что полезно.
Спасибо за видео, было интересно посмотреть, как выполняются реальные проекты
Благодарю за фидбэк!
5:53 спасибо за сайт, теперь знаю где удобнее смотреть json 😁
Ещё не успел посмотреть, так как на работе ) ну уже лайк однозначно!))))))
Большое спасибо за поддержку!
@@PythonToday не за что! Серьезно помогаешь людям хорошо)) я сам учу python пол года, и очень хорошо помогает твои советы и уроки!)
@PythonToday Шикарная подача бро, интересно
Как всегда топовый контент, спасибо !
Благодарю за фидбэк!
Классное видео. Не знаю насчёт 8тысяч. На фрилансе и за 1000 рублей несложно такой заказ найти
Спасибо. Писал для Windows и всё получилось)
Рад что видео полезны!
Каждый новый ролик сродни теплу душевному
Благодарю!
Ну вообще смысл видео в том, что
"О, у них все в жсонке хранится. Повезло-повезло"
Хотелось бы посмотреть, как парсить реально подгружаемые сайты
@@АзаматханАрифханов динамические 😉. якщо шо
8:53 советую научиться пользоваться регулярками, я их тоже не понимал, но как-то раз когда редактировал один патч для ядра linux в редакторе kate(входит в рабочую среду kde) были удобно расписаны символы для регулярных выражений и спустя час мучений я смог понять их работу чтобы посмотреть в патче только на добавленные изменения и наоборот
Спасибо большое автору за проделанную работу, как всегда кратко и по существу
круть! знал бы такое 7 лет назад когда парсил вручную сайт кафешек...
Спасибо огромное за практику!
Большое спасибо за фидбэк!
tremendous video PythonToday. I killed that thumbs up on your video. Maintain up the very good work.
Thanks a lot! Really appreciate it
Пушка!
ну вот, годнота, а не какие-то там сериальчики)
Спасибо огромное! Очень помогли!
Прикольно. Я сам с помощью стаковерфлоу и прочих "интернетов" смог научиться парсить сайты архивов и т.д.
Но благодаря этому каналу стал больше внимания уделять именно чистоте кода. А то некрасиво получалось :)
Спасибо за фидбэк! Но над "чистотой" мне ещё работать и работать, сам учусь)
Лайк за крутой контент!!!!
Пипец, курю первый букварь, как далеко мне еще плыть.
Спасибо за труд
Дорогу осилит идущий, главное практика! Спасибо за фидбэк!
Полезное видео! Кот как всегда рулит! :)
Благодарю за фидбэк!
Почему на этом канале еще нет 1 000 000 подписчиков?
Благодаря вам написал парсер одного питерского гос. портала , осталось взятые данные в excel перекинуть :)
Рад что полезно! Спасибо за фидбэк!
Шеф, не подскажите где вы берёте такие заказы?
Или фриланс биржи в целом
Ну есть предположение что нигде и такого заказа не существует в природе, ибо зачем платить кучу денег за то, что можно сделать руками за полчаса?
Лайк и комент, за полезный контент!
Ты умница, спасибо огромное =*
мне кажется, что это не настоящие заказы...
3:12 просто посмотри в инспекторе на запросы сайту, обычно данные подгружаются через rest api и запросом к нему можно это не трудно спарсить и без selenium)))
Главное при большом парсинге про заголовки и возможно прокси не забыть
Ролик познавательный, изложено понятно
Пишу на винде на пайтоне в PyCharm. Очень даже приятно. Проблем с кодировками не возникало. Вообще замечаю, что у меня намного меньше траблов встречается, чем у моих коллег с lin и тем более mac осями.
питон и макось это боль) Да и по опросам профильных сайтов около 70% питонистов используют винду
Прямо скажем, в ролике показан очень относительный скрепинг. Повезло, что сайт сразу по одному запросу отдает готовый json, по которому нужно просто пробежаться циклом. Вот если бы вся информация подгружалась динамически... :)
И неужели эта работа стоила 8000 руб.?
@@Survivalminercaft Так фриланс так и работает. Человек, которому нужна услуга и который сам так не умеет пришел к чуваку с нормальными отзывами и заказал, сказав, например, что готов заплатить в пределах десятки за работу. В чем проблема?
Видео супер👍
Поэтому питон так любят, он простой и позволяет делать такие вещи.
Привет, случайно наткнулся на видео, сделано неплохо, но слишком уж простой случай) Хотя для новичков самое то. Какую биржу посоветуешь на данный момент где такие заказы падают?)
Приветствую, давно не сижу на биржах, не подскажу.
Можешь более информативно рассказать на каком фрилансе бывают такие заказы или кинуть ссылку на видео где ты упопоминаешь его плиз )
Да ни на каком, это просто "желтый заголовок", я уж действительно ожидал увидеть задачу с selenium, эмуляцией браузера, выполнением js скриптов и прочего, но - как обычно все закончилось на подгрузке json и его парсинге.. Эх...
@@wydiwys ага, я хз почему ютуб мастерам так нравится из раза в раз учить хомяков парсить json))
@@Survivalminercaft спасибо за инфу
@@wydiwys селениум легче чем распаршивание Json
Что бы юникод сохранялся в текстовый файл, нужно при открытии файла указать кодировку UTF-8: open(...., encoding='utf8')
Не забыть добавить разделитель и обработать перенос строки. Да и на разных полушариях разделители в винде разные :/
Здравствуйте. Классный ролик. Может след. ролик будет про telegram web bot? Сейчас ни где нету туториал видео про такой телеграм бот.
Интересный вопрос к автору, ответы на комменты ты тоже автоматизировал?))
Ставим лайк, чтоб вывести в топ и проверить предположение))
Нет, выражаю благодарность людям которые поддерживают.
Для греческих символов файл нужно сохранять в кодировке UTF. Явно указать при записи и чтении файла.
супер, но как мне кажется уже идут повторы. Давай лучше возьми какой ни будь сложный сайт с динамической подгрузкой данных из js скриптов. Очень интересно твое решение
Selenium
@@royalea9354 на силениум плохо реагируют сайты , плюс еще драйвера надо ставить хромовские
Благодарю за фидбэк. Каждый сайт индивидуален, и требуется свой чемоданчик с инструментами. Как заметили ниже, бывало так, что без селениума не обойтись.
@@PythonToday согласен. давно что то не было у вас про парсинга на селениуме :)
Драйвера хрома?
В это случаи селен уместен, ссылка одна, API быстрее.
как так можно писать с первого раза и всё работает?))))) а как же часы мучений в поисках некорректно поставленной точки с запятой или перепутанной переменной)))))) Контент топ, СПАСИБО!!!
Большое спасибо за фидбэк! Можно было растянуть на 1-2 часа как многие видео. Но всегда это раздражало, идея в максимально полезных и коротких видео)
Супер полезно!
Очень круто объясняешь
Надеюсь я когда-то начну понимать это))))
Конечно, главное ковырять что-то ежедневно, прогресс обязательно придет
Где вы находите такие простые задания за такие большие деньги?
Я за пару часов могу сотню подобных парсеров написать
Если возникают проблемы с кодировкой, при записи в csv файл на винде, то нужно использовать кодировку UTF-16.
Эта кодировка решает проблему и с корректным отображением кириллицы и с символами не входящими в cp1251. Сам раньше костыли с replace писал :)
Utf-8 то чем не угодил? Ексель нормально его жрёт
@@TheMorpheios если записываешь в csv, то не определяется кириллица
Мне интересно, сколько у вас опыта в разработке? Акцентируете внимание даже на таких мелких деталях как .strip(), что безусловно ОЧЕНЬ круто!
И при этом замена двух символов двумя реплейсами с двумя ифами...
не понял зачем заменять B и Y и причем здесь виндоус кодировка. просто надо сохранять файл в кодировке utf-8, нет? она отлично открывается где угодно.
Может нулем ошибся? тут от силы работы на 800 рублей, да и более того, где такой заказ взять , это даже еще больший вопрос нежели цена, нет, не хабр фриланс и прочие биржи не подойдут, там за такие деньги такой заказ никогда не достанется, так что кликбайтик , пойман за руку как говориться)
пойман за руку как ДЕШЁВКА)))
@@ilnurdavletshin1363 ну иначе это не назвать, хоть бы для приличия написал
Выполняю заказ за 500 рублей с кворка или как там та биржа для бомжей
@@alexk3929 а можешь сказать какие биржи не для бомжей? ато обидно както... я нуб и других не знаю (
Лайк за кота)
почему ты греческие буквы приравнивал к обычной латинице? по идее можно было просто указать способ кодировки, например uncoding-utf8
потому что этот умник взял чужой код и тупо перепечатал, при этом не печатая лишь строки комментариев. Откуда ему знать как что-то исправить, если исправления в чужом коде не были заложены
@@曾玮-d8z та ну, может и его, бывает ошибся
@@dfdbn9368 не бывает! Каждый знает что код пишется снизу вверх. Сверху в низ его можно только втупую переписывать
@@曾玮-d8z код снизу вверх (для небольших проектов) пишут люди с ограниченным пространственным мышлением). А ещё, эта ограниченность коварно скрывает от носителя, что есть отдельная процедура создания видеоконтента, если претендуешь на качество))
@@alekssss8009 Aхаха. Удачи! Линейный друг.
В devtools если нажать на кнопку fetch, то покажутся только нужные запросы, без всяких картинок и is файлов.
А это весь заказ или там еще требовалось как то обработать данные? И еще какойто код который не вошел в видео был?
Как же хочеться разбираться во всём этом, ругаю себя что не учился в молодости))) хотя в 14 лет я уже знал что хочу быть программистом, а опомнился в 32
Поверь мне, у тебя все впереди. Вливайся, все обязательно получится если есть интерес.
Хорош!
Тот момент когда рассказал заказчику про тонну работы, а получилось ... бывает )
Видео как всегда на высоте. Качественно преподнесённые материал, отлично смонтировано и уже не один , а два кота 🐈- да это просто комбо, брат ✊.
🙏 Спасибо огромное , я в каждом своём комментарии повторяю, одну фразу, но считаю это правильным для автора: в ролике ярко видно, как автор потратил много сил и энергии, чтобы сделать все качественно. Это круто, моего спасибо мало для признательности за такой контент.
Было приятно увидеть свой Ник в списке поддерживающих канал в самом начале) я раньше не обращал на это внимание, но это всё-таки приятно)
❓И у меня один вопрос к автору: поделись пожалуйста тем, где на фрилансе ты находишь такие заказы . Сколько я перелопатил этих заказов, так везде либо изобретите мне коллайдер за 500 рублей и побыстрее, либо сделайте то, сам не знаю что , заплачу 1000 рублей)
Поделись пожалуйста своими источниками заказов, буду признателен
Приветствую, большое спасибо за фидбэк и поддержку! За несколько лет перепробовал множество бирж, сейчас иногда работаю только со старыми заказчиками + сарафанное радио.
@@PythonToday понятно, а топовые из тех, которые перебирал не выделишь?
На канале есть подробное видео ua-cam.com/video/1pLlX9x60rM/v-deo.html
Я думаю нужно делать как автор. Создавать группы, каналы везде где можно - ютуб, вк, тг, инста. Создавать полезный контент и выкладывать во все каналы. Тем самым позиционировать себя как специалист, попутно привлекая клиентов. Да еще плюс донаты, патреоны всякие. Со временем можно вообще с клиентами дел не иметь). Учить в свое удовольствие новые технологии и расказывать другим.
Фриланс биржи это тупиковый путь. Там такой парсинг стоил бы 1000р и за него еще нужно конкурировать с парой десятков голодных программистов.
Многие бы с удовольствием писали подобные парсеры за 8к. Но для этого мало уметь писать парсеры, нужны еще клиенты которые хотят работать именно с вами.
@@dmitriy-vasilevich школьники на зеннопостере, подобный парсер напишут за меньшее время и даже не за 1000р, а за 300-500р.
Очень интересная тема
Начал смотреть твой канал т.к хочется начать писать код и вот пытаюсь разобраться что как делается .
И главное что мне нравится это вставка с котом) очень круто придумал))))
Благодарю!
Привет. Спасибо за помощь. Но мог бы ты подробнее рассказать как использовать proxy. Куда какое IP?
Класс, жаль такие сайты редко попадаются, и приходится selenium использовать.
Есть и плюсы, код сложнее, следовательно больше опыта)
Цвета порталов, созданных портальнойтпушкой тоже как бы намекают )
А Что за музыка играет на фоне? очень очень интересно
Магия какая-то прям!
Дядя спасибо на инфу
Пользуйся сынок
Моя жизнь никогда не будет прежней... Когда в школе учил Делфи, а в универе SQL, если бы мне кто-то сказал, что объем работы как в этом ролике можно сделать в 15-20 строчек кода, в лицо бы плюнул. Я чёт в ахуе слегка...
Технично!
Подскажи биржу фриланса, где брал заказ? Ну или в принципе куда залетать лучше всего на he сегменте (для начала)
ты лучший!
Видос - кайф...
А у тебя есть где то видео по настройке VS Code под разработку на python? Все вот эти подсказки при написании, линтер, дополнения итд
На практике оч редко встречается такие простые заказы
Go!
Спасибо. Для продвижения
Благодарю!
Жаль не рассказано самое главное - как найти этот "интересный" запрос
Привет! А продолжение по голосовому ассистенту будет или только на патреоне смотреть?
Предложил бы не парсить json, а сразу грузить json в csv. Большинство аналитиков анализирует данные в Excel, а там есть надстройка Power Query, которая очень достойно разбирает json. А вот чего не хватает, то это побольше бы роликов на более сложные структуры данных, например парсинг и выгрузка данных с кадастровой карты. Пришлось пилить дерево и рекурсивный обход с запросами... - на vba!!! Пайтон пока некогда изучать)
Круто 😀 Но ведь там много лишней для заказчика информации. Думаю лучше сразу доставать то, что нужно.
В название добавить .replace('α', 'Альфа').replace('β', 'Бета').replace('γ', 'Гамма')