Всегда проверяйте наличие скрытого API при парсинге сайтов
![ZProger [ IT ]](http://yt3.ggpht.com/ytc/AIdro_nEayoD4jBvKkG7VFnuTm_Rnd64g6RPSHL9K53LulYXDQ=s48-c-k-c0x00ffffff-no-rj)
Вставка
- Опубліковано 12 чер 2024
- ⭐ Курс ООП и Приват канал: www.zproger-school.com/?...
⭐ Телеграм канал: t.me/+ag3TWfFIuKs1NjMx
⭐ Прокси сервис: proxy6.net/en/a/91388
Бывало ли у вас такое, что при парсинге сайтов вы не могли достать тот контент, который отображается на странице? Часто это говорит о том, что данные рендерятся через JS.
Поэтому в таких ситуациях многие предпочитают использовать Selenium, чтобы имитировать поведение пользователя. Но что если я вам скажу, что вы можете найти скрытый API сайта и избежать использования таких инструментов как Селениум?
В этом видео я покажу как искать зацепки на сайтах, и как использовать Insomnia для проверки запросов. Мы научимся находить чистые данные, которые отдает сервер, прежде чем JS проведет над ними свои манипуляции.
📁 Github: github.com/Zproger
📁 Все плейлисты с уроками: bit.ly/39GaY89
📁 Связаться со мной: zproger777@gmail.com
📁 Поддержать канал: github.com/Zproger/donate
Тайм-коды:
0:00 - Почему важно знать этот способ?
1:13 - Ищем способ автоматизации сайта с Insomnia
5:07 - Ищем данные в sitemap.xml и сравниваем контент без JS
5:49 - Как узнать что сайт хранит данные локально?
7:53 - Ищем скрытый API сайта с Insomnia
Конечно, боо! Даёшь парсинг без нагрузки.
Спасибо за твой труд
Благодарю!
Здравствуйте. Благодарю. Жду следующее обещанное видео. Вы супер!
Спасибо
Привет, сделай видео про кастомизацию Arch, твой Arch очень красиво выглядит
уважаемый бро , инфа касающаяся поиска скрытого апи актуальна , но чесно говоря я мало что понял , всё как то быстро и сумбурно
Супер 👍 Очень вовремя. Как раз столкнулся с проблемой получения данных с сайта букмекера . На странице данные есть , а в json из нет. Спасибо , буду пробовать.
в конце видео где вы показываете скрытый апи сайтов, примерное на 10:30 минуте вы показываете как использовать апи чужого сайта. я хотел спросить, а законно ли это и могут ли за такое как-то заблокировать запросы с определенного сервера (в данном случае моего сервера)? по факту я нашел сайт на котором я нашел пост запросы и там не нужна авторизация могу ли я пользоваться этим апи или это чревато тем, что когда-то они его закроют и мое приложение крашнется, хотя по факту может крашнутся и парсинг страниц, если их допустим парсить через puppeteer.
Очень полезно. Спасибо тебе за контент!
Тот момент, когда видео надо смотреть с уменьшением скорости😅
Спасибо за комментарий 😃😃
Это помогает более качественно подбирать контент
Первых два раза на нормальной. А третий уже на пониженной.😀
Какой линукс ты используешь и какое окружение? Можно ли сделать такое де рабочее оформление как у тебя?
arch linux, а что за тема мне лень искать
Конечно интересно тема со splash 😊
очень полезно. понял, что не нужно отказываться от платного курса, что в хтмле может быть вся инфа, что прокси очень нужен непонятно нахера, и что сайт можно парсить с помощью запросов.
большое спасибо приду ещё дверь за мной не закрывайте
а я вот не понял к чему это
@@zproger у мня был тот же вопрос на протяжении всего видео. Какой-то адовый сумбур из всего
что-то никак не могу понять, что за программа используется для отладки запросов и дальнейшей генерации кода... ?
А какой браузер использовали в видео?
Месяц назад делал парсинг сайта, HTML которого полностью реализован на JS.
Вы мне помогли, оказалось не сложно :)
Рад что смог помочь :))))
С помощью Selenium?
а если api защищено и не дает данные, если делать запросы не через сайт, то как тут быть?
Добрый день. А что делать если сайт монолитный? те работает без апишек?
Конечно, интересно! Автор, жги! :)
Благодарю
Ахаха, на работе как раз таки и использовал апи для парсинга вб. Легко, удобно!
бро подскажи плиз, есть ли такое кумулятивное видео, в котором есть все основы для парсинга сайта (не программирование, а именно архитектура)
Подскажите пожалуйста что за Линукс автор использует ? Очень красивый😊
Arch Linux с оконным менеджером bspwm
Подскажите, пожалуйста, почему не получается получить post ответ от сайта, выдает ошибку requests.exceptions.SSLError
подскажите, пожалуйста, какой юзаете браузер?
Раскажи пожалуйста как сейчас нужно обходить новые версии cloudflare не используя платные сервисы
Котик зачётный.
Лайк.
:)))
Только хотел с темой разобраться )))
Класс, значит я вовремя))
Парсинг без нагрузки интересует! Жду с нетерпением!!!
Как у ватсапа без купленного api можно найти скрытое api? Или там без selenium больше никак?
Очень интересно! Создавай!
Благодарю
сними видос про свой линукс
Хотелось бы увидеть, поставил лайк
а как называется эта штука где делаете запросы и генерируете Python код?
Говорил в видео, это Insomnia
@@zproger спасибо
Я уснул на этом видео, когда проснулся, меня выселили с моей квартиры ( а видео классное, кстати )
Паршу 2 сайта для сравнение цен, где лучше сохранять данние для сравнения (json, sqlite) или в чем?
Если для себя можно в скулайт
Какой браузер используешь? Понравился дизайн
Mozilla Firefox в режиме Private
я думал, что первый до такого додумался
Что нужно сделать при взломе сейфа в первую очередь?
Потянуть за ручку - а вдруг он открыт?
:DDD
Можно обзор на твою ОС? Как ты сделал такой красивый десктоп?
Будет, но мне нужно время на нее найти, ибо очень много багов вылезло после обновы арча)
@@zproger отлично, с нетерпением жду)
Какой смысл в этом если при запросе эти данные что ты показывал "ищу по айди и тд," находиться не будут так как джс не отработал
Я тут на днях сталкивался. Нужно было буржуйский сайт спарсить.
Прикол в том, что есть запросы через js. Но ответы в формате HTML. HTML вставляется на страницу с небольшими доработками через js.
Неудобно, но за-то не потребовался селениум
А второй момент: страницы с сылками парсятся scrapy, но пройти по ссылкам и скачать файл csv не получается. Защита.
Но оказалось, что ссылка на скачивание файла - динамическая. И данные можно получить из ссылки первого прохода.
Резюмирую. Нет какого-то готового ответа. Каждый сайт который требуется спарсить, требует индивидуального подхода.
как называется этот визуализатор звука виджет?
Cava
@@zproger спс
будет ли видео про настройку арча и нвима как у тебя ?
Да, но дедлайны неизвестны
Годно!
Спасибо
Здорова. Будет контент или может уже есть. Как регать на запросах социальные сети ? Например инстаграм
Привет, уже было на канале. Правда запросы для разных сайтов отличаются
@@zproger как назывался выпуск ?
Прочитав заголовок сразу понял о чем речь 😎
😎😎😎
😎😎😎
Не понятно как работать с Insomnia, ничего не показал.
Как это не показал, вы походу перемотали половину видео. Смотрите полностью, там все показано, причем в подробностях.
Первый случай, это сайт с ssr, всё отрендерилось на сервере и тебе ришел html готовый, второй случай это обычное spa... Скрытый "api" он вообще-то совсем не скрытый)))
Какой у тебя оконик ?
bspwm
@@zproger Спасибо
Ура, кто-то у нас занялся переводом John Rooney 🎉🎉🎉
Это не перевод, мне просто понравилась идея, но сайты и фишки я взял свои, потому что тоже многие просили заснять такое видео 🙃🙃
@@zproger согласен. Это авторский материал, а идею сразу узнал. У Руни даже есть видос с таким же названием
Бро сними видео как спарсить подписчиков в ютюбе пожалуйста. Сделал это через силениум, но это шляпа
Видос как всегда кстати
Благодарю
Вот реально, к стати. Вселенная услышала...)))
А с озоном вариант так провернуть? ВБ то понятно)
Первая половина видоса класс, вторая не оправдала названия видоса, что же тут "скрытого" ?
Зашел посмотрел запросы, увидел что возвращают некоторые json и все, конечно проще нормальными данными работать.
Как называется программа название которой автор видео не называет?
называл
@@zproger и какое же у неё название?
зачем на вб искать скрытый api если он у них есть открытый, разве нет??
ах да, забыл в видео сказать: перед поиском скрытого api, посмотрите нет ли официального))
а то бывает копаешь запросы пол дня, а потом узнаешь что у них оф.апи есть оказывается :D
но в целом выбрал этот сайт ибо он для видео подходит хорошо.
CORS -здарова дядя
Это база парса же. Селениумом максимум куки получать
В WB все на поверхности. А вот Ozon спарсить, уже не так тривиально.
Спасибо, но ничего не понял ))). Попробую пересмотреть
Бывает :D
Материал интересный. Но столько само рекламы отталкивает. В сумме раза 4 зазывал в тг подписки и тд
Как называется приложение в 0:48?
В видео говорил об этом, это Insomnia.
зашел на видео котейку посмотреть
Только думал про видео парсинг веб сайта, правда парсить нужно всего лишь ссылки на видео на сайте.
Гуд, думаю лишним точно не будет :))
блин где ты был раньше?!
как отдельно от курса купить приват канал?
Приветствую, рад что видео помогло, на данный момент купить отдельно приват нельзя, потому что он переплетается с курсом ООП, и когда я буду добавлять новые курсы, то все участники должны быть на равных правах.
@@zproger честно говоря я по книгам и видео учил python и мало уже чего нового могу найти лично для себя, по этому мне интересен именно приват есть там есть какой-то интересный контент, в плане разбор редких фишек языка и какие-то полезные инструменты
Postman тоже неплох
а зачем прокси?
меня юзер агент, этого недостаточно? могут заблокать ip?
Запрос к API это не web scraping и не parsing
Парсинг это любой сбор и обработка информации, в конце видео как раз этим и занимаемся, хоть там и простой пример, ибо на канале уже 1000 раз показывал примеры и не хотел повторяться
@@zproger да ты прав, а тот чел комментатор душнила
Так а где скрытое апи то? Во вкладке нетворк? Так оно не скрыто, смотри сколько хочешь😅
Ну так конечно не скрыто, потому что я показал где смотреть))
Видео про скрытый API, в итоге автор 9 минут рассказывает про всё что угодно кроме скрытого API
Если бы я сразу начал рассказывать о скрытом API, игнорируя подводку, вы бы написали что видео не раскрывает сути, ибо не понятно что за инструменты, куда кликать и заходить.
Возникло желание на публичной кадастровой карте спарсить координаты углов участков. Они как-то подгружаются и накладываются на карты гугла и яндекса.
Проблема в том, что в выписке из ЕГРН координаты указываются в МЕТРАХ! Мать их в МЕТРАХ координаты вместо угловых величин! Какие плоскоземельщики это придумали? Агрх!!!
upd: Облом. Отрисовка слоя происходит на сервере. Можно конечно обработать картинку и найти углы, но точность будет с пиксель.
:DDD
Название видео вводит в какое-то заблуждение. Я думал, тут будут какие-то сложные техники, или использование специального софта, а тут, по факту, база базы базой погоняемая. К чему тогда это видео, если у тебя уже есть серия курсов по парсингу с нуля? Причем, способ показанный в видео, а именно изучение ответа каждого запроса руками еще более замороченный, чем нужно. Зачем все это, если можно просто скачать любой сниффер (допустим fiddler), отследить все запросы, а потом просто через CTRL + F найти ту инфу, что нам нужна за одну секунду?
Господи сделай видео о линуксе и своем конфиге прошу
Спасибо! Искал медь, а нашел золото!
Благодарю за фидбэк
пытаюсь взомать пентагон. день 1
Сорт, що 3 к лайков
А кто-то парсил иначе такие сайты? Неужели вам на столько не лень тянуть селениум в проект 💀
Смотря что за проект, иногда он настолько маленький, что скорее лень копать эти запросы :D
ничего не понимаю :)
Совет. Надо медленнее и подробнее. Слишком сжато! Дроби на несколько видео. Оч сложно воспринимать, твой контент не для развлечения, а скорее для обучения - спешка тут не к чему.
Благодарю, правда у меня не особо получается говорить медленно, я когда так говорю, то это выглядит странно и скучно) Можно попробовать расширения для ютуба, которые делают контент медленней на заданный процент. Это позволит подобрать оптимальную скорость.
@@zproger Я не об этом. Добавь "воды". Темп у тя охрененный - приятно слушать, но воспринимать... Слишком много инфы на минуту времени.
Все норм. Если быстро, включи замедление видео или чаще на паузу нажимай. Воды полон ютуб.
@@zproger не слушай его, ты ужал инфу с часового видео в 13 минут, и ещё и так структурировано всё подал. Респект
А мне норм. В жпу развлекуху @@zproger
Потом я пошёл посрать, а потом пошёл пожрать, потом вышел на улицу, а потом зашёл обратно чтобы посмотреть в окно, но потом решил посмотреть телек. Вот такая подача информации у вас, вам бы в педагогическом поучиться чтобы понимать как формировать ЗУН.
вообще ни чего не понятно
Бля!!!
Нельзя так издеваться!!!
Что а программы для генерации запроса и прочее???
Даже браузер не похож на браузер!!!
Начни с этого.
Эти программы всегдм нужны!!!
Даже если есть уже свои проверенные!
Так а что тут объяснять, о программе рассказал достаточно подробно в видео, если не перематывать то вопросов не будет, про браузер вообще нечего говорить ибо это кастом Firefox и он к видео никак не относится, ибо без разницы какой браузер использовать. Ну а вообще, я конечно могу перечислить все софты, но видео адресовано для тех людей, которые умеют парсить, но хотят узнать о новых фишках. В видео также говорил, что если парсить не умеете, то можно посмотреть мои бесплатные плейлисты по парсингу на канале, там все софты показываю с нуля.
Код пишу в nvchad, хотя тут тоже без разницы где писать, можно хоть в блокноте от винды :D
@@zproger
Умею.
Прям щас решаю задачу с парсингом одноф букмейкерской канторы и уже не первая подряд за несколько дней.
Разгадал много уже чего и на сайте и особенно в приложении.
Приложение парсить очень удобно.
Там запросы проще.
Хотя, иногда, очень нужен реверс, которые еще не покорился.
Прям щас легкий перерыв и задача авторизироваться, получить всп события, выбрать, сделать валидную ставку, получать обновлерие коэффициентов постоянно.
И все это запросами.
Еще 2 параметра найти как формируются без входа на сайт можно будет весь стак вызовов собрать.
Очень сложно.
Очень интересно.
А видео все посмотрел.
Но название программы вообще не понятно как называется.
Дикция в некоторых словах скомкана и торопишся все время, а с незнакомыми словами еще хуже получается понимать.
Только поэтому вопрос.
Софт для запросов - Insomnia
В начале видео - Pycharm и nvim (nvchad)
Остальные софты вроде описал в пред.комментарии, надеюсь это поможет :))
@@karandalliikкакую бк парсишь ? Тоже занимаюсь парсингом и созданием ботов для ставок.
Одна реклама
где вы ее тут увидели?))
Пересмотрите свое видео , кстати wb самый легкий сайт для парсинга ,json отдает без всяких костылей. Покажите лучше на примере Ozon поиск скрытого API
Ну совсем по детски , nuxt старый как динозавр. Тренируйся
:))
Слово паразит во всех видео у автора "потоМмММмм"
:)))
хи-хи.... что за бредовое видео....