Если тема зайдет, планирую сделать отдельный ролик с парсингом через Splash. Я принимаю любые идеи и дополнения к этому ролику, поэтому вы можете написать свой вариант в ответ на данный комментарий 🙃.
У меня на пример есть заказ на парсинг авито но там надо парсить цифры с аккаунта продажи затраты и тп. И они обновляються постоянно так что скачивать так просто не получиться. Не подскажешь как парсить именно с моего аккаунта?(заказ уже выполнен через силениум но интересно как через чат сделать.)
Привет, попробуй спарсить сайт БК, например Фонбет, а именно все игры по футболу, на предстоящие сутки в которых есть тотал больше 1 тайма 3,5. И вывести это все в таблицу Эксель
@@zproger Я помню еще 10 - 15 лет назад нужно было читать много книг смотреть кучу видосов аля Евгений Попов. Сейчас просто четкий вопрос copilot пишешь он вываливает решение, ты его подгоняешь под свои нужды а порой и таким используешь и все. Нооо нооо книги и полезные видосы тоже нужно смотреть что бы совсем валенком не оставаться.
Привет, классный ролик. Давно хотел тебя поблагодарить, после твоего ролика о продуктивности ( как приучиться кодить, а не играть в игры ), я забросил игры, стал пользоваться линухом ( была федора, теперь арч + hyprland ) и много кодить, и честно - мне очень нраится, и я совсем не жалею, спасибо за классные ролики/советы!
Благодарю за комментарий! Очень круто, что есть результат. Люди как правило делятся на 2 типа: (1) Те, для которых все вода и все не работает; (2) Которые берут и делают. А потом 1-я группа удивляется, почему у 2-й есть результат, а у них нет. Мне достаточно забавно за всем этим наблюдать, когда по сути одинаковые видео влияют по-разному на разных людей.
Классный ролик, спасибо! А можешь показать как парсить плеймаркеты? Я как-то пробовал один известный плеймаркет парсить и получилось только через отправку запросов на сервер
если собрались динамику парсить не забудьте что вас отфуболит система защиты от ботов. по этому это все дело нужно нормас чекать. не все так просто. Я писал парсер через селен для пинтереста. пинтерест его видит.
Я именно этим и занимаюсь сейчас, надо просто правильно опции прописать. Загугли обход cloudflare и посмотри, какие опции прописываются. Там дофига кода, но буквально недавно в стак оверфлоу пост с вопросом и правильными конфигами в самом вопросе же
Будет обходить все блокировки. Если не найдешь, напиши, запарюсь и скину ✌️ Странно, я возмущен, мой коммент выше удален, я писал, что надо просто загузглить “обход cloudflare selenium”
На Manjaro сидел примерно 1-2 года и потихоньку изучал Linux, время от времени тестировал другие дистрибутивы, так как иногда можно найти интересные особенности.
хз, что там на счёт новичков. Друг сидел на винде и через putty конектился по ssh к серверу. За день разобрался, как поставить arch с гномом и сидит нормально на нём
Покажи как завернуть парсер на selenium (undetected_chrome_driver) без headless режима (т.е. с мордой) в docker контейнер. Вне docker контейнера сайт Лемана ПРО парсится норм, а если в docker завернуть, пишет отключите VPN... (Как то обнаруживает) Желательно на примере этого сайта показать...
А что можно сделать, когда паршу с помощью серениума, но сайт пишет что браузер не поддерживается. Ничего не помогает обойти, сайт прочто не дает авторзироватся. Например twitch.
Всем привет. Можете пожалуйста подсказать как официальным сайтом чата gpt можно воспользоваться. У меня он в моменте просто перестал работать, не могу пройти авторизацию. Пробовал впн и всякое другое, ничего не помогает
Интересный подоход, с одной строны gpt ускоряет написание кода, с другой стороны все равно нужны знания, и не понятно что быстрее опять gpt что тебе нужно или самому написать код и все спарсить.
Тут от ситуации зависит, бывают такие сайты, что достаточно абстрактного описания, по типу: достань данные из 1-й колонки таблицы и запиши в csv файл. Даже можно в таком случае примеры html кода не предоставлять.
Я только начал изучать пайтон и чат гпт мне очень помогает. Но есть 2 проблемы - я решаю с его помощью задачи и мне кажется, что он заменит программистов. Меня так точно😢
Не думаю, что он способен заменить даже джуна. Его можно рассматривать максимум как инструмент автодополнения, когда надо какой-то маленький кусочек кода написать и вставить в проект. И то очень часто он ошибается + надо знать структуру проекта, уметь составить его архитектуру и сделать полно других вещей. Это слишком сложная задача для ИИ, я бы никогда не доверил ChatGPT написать приложение для работы с чувствительными данными. Сам работаю с ним как только его запустили, и уже давно понял, что это просто быстрая замена поисковика, но не более того.
Автор ~ сказочник. Начал свою сказку про мифические статические сайты без JS, с которых можно парсить данные. Я такие сайты с 2010 года не видел. Далее про динамические - как много сайтов ты знаешь без защиты от ботов и т.д.?
У тебя оффигенные ролики, но этот объективно халтура. Ой, gpt, я тебе скажу все теги и блоки Я понимаю, что написав текстом потрачу больше времени чем просто вбить эти же данные в bs4... Но мы же gpt юзеры, по современному.... Условно я могу понять использование gpt для написания одного шаблона текстом и чтобы он работал на 100 или 1000 сайтов. Но это объективно халтура. Ну или если человек вообще не хочет потратить 10 минут чтобы посмотреть видос по bs4
😂😂 Но это вообще не парсинг. Ты сохранил страницу HTML и отправил её gpt??? Он и так получил сразу весь код и доступ к всем возможностям, всё я ему больше ничего не нужно. Дальше gpt умеет переходить на странице и читать информацию с них. То есть по сути ты сбросил ссылку сайта и HTML страницу. По сути он уже сразу получил весь код и доступ.... Где здесь парсинг? Это больше похоже на сохранение страницы и просто сбрасываешь его в gpt для анализа
Боже. Сколько чел будет одно и тоже видео высирать Статик сайты - никому не нужны, там где есть важная инфа не будет Статик сайтом Почему чел ajax загрузку называет ее загрузкой скриптом, когда загрузка через реальные скрипты js(не обычная ajax подгрузка страницы) парсятся по другому Проверять Нетворк, консоль, находить скрипт в HTML, а в нем json данные, что часто бывает. Серчить xhr загрузки, находить заурытый\открытый апи, попытаться его юзать И только когда все эти методы не работаю и ты не можешь получить к ним доступ, тогда уже можно юзать... Playwright. Какой селениум для парсинга, который работает с системным браузером? Давай поставь на сервачок в докер селениум))) когда я за 3 строчки playwright запущу в докере. Я не знаю кто смотрит этого типа и не нашлось людей, которые реально парсили хоть среднюю защиту у стримсервисов, которые бы поржали над тем, что тип несет
Я не зетник, я вообще глубоко верующий человек, и никогда никакую военную символику не использовал бы. Этому нику огромное количество лет. Жаль, что многие делают такие поспешные выводы, ничего при этом не зная.
![ZProger [ IT ]](http://yt3.ggpht.com/ytc/AIdro_nEayoD4jBvKkG7VFnuTm_Rnd64g6RPSHL9K53LulYXDQ=s48-c-k-c0x00ffffff-no-rj)
Если тема зайдет, планирую сделать отдельный ролик с парсингом через Splash. Я принимаю любые идеи и дополнения к этому ролику, поэтому вы можете написать свой вариант в ответ на данный комментарий 🙃.
Зачем давать ссылку на Telegram, в котором ссылка на тот же UA-cam, который уже давно не работает? В итоге нельзя посмотреть ни там, ни там
@@marsel2912 Если у вас проблемы даже с тем, чтобы починить ютуб, что вы тут тогда забыли.
@@marsel2912 на программистском канале писать, что ютуб не работает..
У меня на пример есть заказ на парсинг авито но там надо парсить цифры с аккаунта продажи затраты и тп. И они обновляються постоянно так что скачивать так просто не получиться. Не подскажешь как парсить именно с моего аккаунта?(заказ уже выполнен через силениум но интересно как через чат сделать.)
Привет, попробуй спарсить сайт БК, например Фонбет, а именно все игры по футболу, на предстоящие сутки в которых есть тотал больше 1 тайма 3,5. И вывести это все в таблицу Эксель
Первый , привет!
Привет, прям как молния :)))
Нейросети мощь, я так несколько проектов сделал, при том что фреймворк не знал от слова совсем
Красота :)
Так и быстрее развиваться можно.
@@zproger Я помню еще 10 - 15 лет назад нужно было читать много книг смотреть кучу видосов аля Евгений Попов. Сейчас просто четкий вопрос copilot пишешь он вываливает решение, ты его подгоняешь под свои нужды а порой и таким используешь и все.
Нооо нооо книги и полезные видосы тоже нужно смотреть что бы совсем валенком не оставаться.
развиваться не зная ничего и деплоя код, который даже не понимаешь?...
А теперь ссылку на репозиторий
Привет, классный ролик. Давно хотел тебя поблагодарить, после твоего ролика о продуктивности ( как приучиться кодить, а не играть в игры ), я забросил игры, стал пользоваться линухом ( была федора, теперь арч + hyprland ) и много кодить, и честно - мне очень нраится, и я совсем не жалею, спасибо за классные ролики/советы!
Благодарю за комментарий! Очень круто, что есть результат. Люди как правило делятся на 2 типа: (1) Те, для которых все вода и все не работает; (2) Которые берут и делают.
А потом 1-я группа удивляется, почему у 2-й есть результат, а у них нет. Мне достаточно забавно за всем этим наблюдать, когда по сути одинаковые видео влияют по-разному на разных людей.
@@zproger Да, есть такие! Но самое главное в любом деле - желание им заниматься!
Все
это делал, только с claude) Так же попробуй Zed с Zed Claude 3.5
Классный ролик, спасибо! А можешь показать как парсить плеймаркеты? Я как-то пробовал один известный плеймаркет парсить и получилось только через отправку запросов на сервер
Можно пример сайта? Возможно сделаю видео, если этот ролик будет интересен
@@zproger Весь каталог wildberiеs по категориям и вложенностям
@@zprogerон 100% хотел написать плейсмаркеты 😁 а точнее маркетплейсы
авито@@zproger
если собрались динамику парсить не забудьте что вас отфуболит система защиты от ботов. по этому это все дело нужно нормас чекать. не все так просто. Я писал парсер через селен для пинтереста. пинтерест его видит.
Это да, нужен индивидуальный подход. Может быть дойдут руки показать пару динамических сайтов с подобными ограничениями.
Пинтерест супер легко парсится, я делал
Я именно этим и занимаюсь сейчас, надо просто правильно опции прописать. Загугли обход cloudflare и посмотри, какие опции прописываются. Там дофига кода, но буквально недавно в стак оверфлоу пост с вопросом и правильными конфигами в самом вопросе же
Будет обходить все блокировки. Если не найдешь, напиши, запарюсь и скину ✌️
Странно, я возмущен, мой коммент выше удален, я писал, что надо просто загузглить “обход cloudflare selenium”
@@ivanalexandrovsky1909скинь мне такой, который сможет любой сайт парсить и при чем активно к примерно 1000 запросов в час
Привет, давно тебя смотрю. Хотел спросить. Сколько примерно по времени ты использовал дистрибутив для новичков?
На Manjaro сидел примерно 1-2 года и потихоньку изучал Linux, время от времени тестировал другие дистрибутивы, так как иногда можно найти интересные особенности.
@@zproger Спасибо за ответ!
"Дистрибутив для новичков" хахахах
хз, что там на счёт новичков. Друг сидел на винде и через putty конектился по ssh к серверу. За день разобрался, как поставить arch с гномом и сидит нормально на нём
Покажи как завернуть парсер на selenium (undetected_chrome_driver) без headless режима (т.е. с мордой) в docker контейнер. Вне docker контейнера сайт Лемана ПРО парсится норм, а если в docker завернуть, пишет отключите VPN... (Как то обнаруживает) Желательно на примере этого сайта показать...
с днём программиста
Во сколько лет ты начал программировать?
Не помню, наверное где-то в 19-20
Годно
Благодарю
Помогите пожалкйста black screen и курсор сидел не редите зделал многое и нечиго не помогло bspwm😢
все классно, просто закинул ссылку на гугл в чат гпт и попросил спарсить все данные пользователей, он все сделал за пару минут
А что можно сделать, когда паршу с помощью серениума, но сайт пишет что браузер не поддерживается.
Ничего не помогает обойти, сайт прочто не дает авторзироватся.
Например twitch.
У тебя браузер (хром) и драйвер должны по версии совпадать (плюс-минус)
Всем привет. Можете пожалуйста подсказать как официальным сайтом чата gpt можно воспользоваться. У меня он в моменте просто перестал работать, не могу пройти авторизацию. Пробовал впн и всякое другое, ничего не помогает
Я лично использовал когда-то вот эти прокси: proxy6.net/e/91388. Брал IPv4 и загружал в расширение браузера FoxyProxy, очень хорошо работало.
чем можно парсить твиттер полностью автоматизированно?
Selenium
Интересный подоход, с одной строны gpt ускоряет написание кода, с другой стороны все равно нужны знания, и не понятно что быстрее опять gpt что тебе нужно или самому написать код и все спарсить.
Тут от ситуации зависит, бывают такие сайты, что достаточно абстрактного описания, по типу: достань данные из 1-й колонки таблицы и запиши в csv файл. Даже можно в таком случае примеры html кода не предоставлять.
Огонь
Я только начал изучать пайтон и чат гпт мне очень помогает. Но есть 2 проблемы - я решаю с его помощью задачи и мне кажется, что он заменит программистов. Меня так точно😢
Не думаю, что он способен заменить даже джуна. Его можно рассматривать максимум как инструмент автодополнения, когда надо какой-то маленький кусочек кода написать и вставить в проект.
И то очень часто он ошибается + надо знать структуру проекта, уметь составить его архитектуру и сделать полно других вещей. Это слишком сложная задача для ИИ, я бы никогда не доверил ChatGPT написать приложение для работы с чувствительными данными.
Сам работаю с ним как только его запустили, и уже давно понял, что это просто быстрая замена поисковика, но не более того.
Лучше уже попросить гпт код написать на селениуме с подстановкой пользовательских заголовков.
Хмм, неплохо
Автор ~ сказочник. Начал свою сказку про мифические статические сайты без JS, с которых можно парсить данные. Я такие сайты с 2010 года не видел. Далее про динамические - как много сайтов ты знаешь без защиты от ботов и т.д.?
Что за мелодия?
Glory Be - Patrick Patrikios
как спарить чат бота в телеге?
Pyrogram или Telethon
@@zproger Спасибо. Запиши видео на эту тему, будет интересно посмотреть, как и все предыдущие
- для чего я создан?
- Парсить сайты
- боже мой!....
нах я 2 учусь если меня заменят этой програмой...
Не заменят) Это просто инструмент. Я бы этому ИИ не доверил ничего серьезного.
У тебя оффигенные ролики, но этот объективно халтура.
Ой, gpt, я тебе скажу все теги и блоки
Я понимаю, что написав текстом потрачу больше времени чем просто вбить эти же данные в bs4...
Но мы же gpt юзеры, по современному....
Условно я могу понять использование gpt для написания одного шаблона текстом и чтобы он работал на 100 или 1000 сайтов. Но это объективно халтура.
Ну или если человек вообще не хочет потратить 10 минут чтобы посмотреть видос по bs4
Ну да, в конце видео это и говорил, что способ пригодится для очень ленивых задач, когда единственная цель это как можно быстрее достать данные :))
😂😂 Но это вообще не парсинг. Ты сохранил страницу HTML и отправил её gpt??? Он и так получил сразу весь код и доступ к всем возможностям, всё я ему больше ничего не нужно. Дальше gpt умеет переходить на странице и читать информацию с них. То есть по сути ты сбросил ссылку сайта и HTML страницу. По сути он уже сразу получил весь код и доступ.... Где здесь парсинг? Это больше похоже на сохранение страницы и просто сбрасываешь его в gpt для анализа
Парсинг это извлечение данных, не важно откуда, с локального файла или с веб-ресурсов, основная задача из набора данных достать необходимое.
Боже. Сколько чел будет одно и тоже видео высирать
Статик сайты - никому не нужны, там где есть важная инфа не будет Статик сайтом
Почему чел ajax загрузку называет ее загрузкой скриптом, когда загрузка через реальные скрипты js(не обычная ajax подгрузка страницы) парсятся по другому
Проверять Нетворк, консоль, находить скрипт в HTML, а в нем json данные, что часто бывает. Серчить xhr загрузки, находить заурытый\открытый апи, попытаться его юзать
И только когда все эти методы не работаю и ты не можешь получить к ним доступ, тогда уже можно юзать... Playwright. Какой селениум для парсинга, который работает с системным браузером? Давай поставь на сервачок в докер селениум))) когда я за 3 строчки playwright запущу в докере.
Я не знаю кто смотрит этого типа и не нашлось людей, которые реально парсили хоть среднюю защиту у стримсервисов, которые бы поржали над тем, что тип несет
боже зачем ты смотришь если это высер, просто пройди мимо
Дорвались макаки до чатгпт
:)
умный чувак. Жаль что зетник
Я не зетник, я вообще глубоко верующий человек, и никогда никакую военную символику не использовал бы. Этому нику огромное количество лет. Жаль, что многие делают такие поспешные выводы, ничего при этом не зная.