Парсинг сайтов при помощи GPT-4o и платформы make.com

Поділитися
Вставка
  • Опубліковано 4 жов 2024

КОМЕНТАРІ • 126

  • @vasiliev.k
    @vasiliev.k 4 місяці тому +5

    Супер! Благодарю за знания!

  • @kyMopa
    @kyMopa 4 місяці тому +25

    Что накинулись на спеца - звук не тот, говорит не так. Решение - не нравится не смотри, пройди мимо, но нет же, надо насрать в комментах и оскорбить человека, эго свое потешить

  • @АлексейЦывкунов
    @АлексейЦывкунов 4 місяці тому +6

    Вы молодец! Молю, продолжайте!!!

  • @MegaFrast
    @MegaFrast 4 місяці тому +4

    Интересно очень. Вообще, сейчас мало контента с использованием gpt, побольше бы таких видосов)

  • @crypt-learner1471
    @crypt-learner1471 4 місяці тому +18

    интересное решение, если не получается обычным способом спарсить сайт, то можно попросить чат гпт прочитать скриншоты с этого сайта)))

    • @ai-iiru
      @ai-iiru  4 місяці тому +1

      благодарю за отклик)

  • @СергейКраснов-п6н
    @СергейКраснов-п6н 4 місяці тому +1

    Очень круто, и необычно! Вы молодец, продолжайте

    • @ai-iiru
      @ai-iiru  4 місяці тому

      Благодарю, даже только ради таких комментариев стОит делать)

  • @CrazzzyTuber
    @CrazzzyTuber 4 місяці тому

    Ильяс спасибо! Очень интересно, кратко, наглядно!

  • @ВалерийЯнчук-т4о
    @ВалерийЯнчук-т4о 4 місяці тому +3

    Интересная идея, тоже использую мейк и жпт, но пока много ручной работы, хочу все максимально сделать автономным, а то кучу времени трачу на рутину

  • @popdr3960
    @popdr3960 3 дні тому

    Супер!

  • @MauwTong
    @MauwTong 4 місяці тому +3

    Супер , дед не отстаёт от трендов 😮

    • @ai-iiru
      @ai-iiru  4 місяці тому

      благодарю за высокую оценку, приятно )

    • @romankonstantinovich2584
      @romankonstantinovich2584 4 місяці тому

      почему дед?)

  • @TheBloghappy
    @TheBloghappy 4 місяці тому

    Все четко. Кратко. По делу

  • @oleglevytskyi3
    @oleglevytskyi3 4 місяці тому +1

    Велике дякую! 🎉

  • @sorokousov
    @sorokousov 4 місяці тому +9

    Если сайт имеет HTML разметку, использование AI для запросов экономически невыгодно. Сменить поменявшийся селектор в скрипте скрапера стоит 2 копейки, а AI будет жрать копейки всегда. Вообще, проблемы писать скраперы проблемы нет, проблема, это защита основанная на поведении скрипта на сайте.

    • @silentage6310
      @silentage6310 4 місяці тому +1

      как я вижу это решение для тех кто от вида html разметки в обморок падает, каким им селекторы. ну и для тех кому парсить надо 1 раз в сутки, изза цены. если четсно реальное применение очень сложно придумать, ну мало ли...

  • @cardinalius
    @cardinalius 4 місяці тому

    Суперр!!!
    Продолжайте пожалуйста!!!

  • @strangerbro1408
    @strangerbro1408 4 місяці тому

    Супер, спасибо огромное

  • @ivan.save1good
    @ivan.save1good 4 місяці тому

    Интересно. Спасибо!

  • @СургутПланшет
    @СургутПланшет 4 місяці тому +1

    Спасибо большое

  • @assurancequality
    @assurancequality 4 місяці тому

    Спасибо большое круто!!!

  • @ДенисНагорный-й4н
    @ДенисНагорный-й4н 4 місяці тому +1

    Далее можно автоматизировать отправку скриншота и настроить систему реакций на изменение значений и кнопки "покупать" и "продавать" передать нейронке )

  • @homedom5867
    @homedom5867 4 місяці тому

    Спасибо большое круто

  • @user-bu3hzj734e4r
    @user-bu3hzj734e4r 4 місяці тому

    Очень неожиданное и интересное решение!

    • @ai-iiru
      @ai-iiru  4 місяці тому

      вероятно, решение пригодилось, рад

  • @dmitrysakhn-inst9688
    @dmitrysakhn-inst9688 4 місяці тому +2

    Очень интересное видео, спасибо.
    было бы еще полезно если бы был ТГ канал, где так же можно почитать новости, знать информацию о новых видео.
    А как оплачиваете сайт? ОН есть в бесплатном формате? или только платно?

    • @ai-iiru
      @ai-iiru  4 місяці тому

      рад, что вам интересно, также как и мне)
      ТГ канала нет, вы первый, кто задает такой вопрос, стоит подумать.
      Какой сайт? Маке? Там до 1000 операций/мес бесплатно

    • @romankonstantinovich2584
      @romankonstantinovich2584 4 місяці тому

      @@ai-iiru обязательно ТГ

  • @Pokstar
    @Pokstar 4 місяці тому +2

    а можно парсить не сайты а телеграм каналы ? ну и в другом удобном виде предоставлять информацию в той же телеге?

    • @andreypress9562
      @andreypress9562 2 місяці тому

      можно, но ооочень дорого, если через скриншоты)) зато на хабре куча статей про просмотр тг

  • @alexe7861
    @alexe7861 4 місяці тому +1

    Навеяло: Про API для CoinDesk не слышали?
    По сути: а вообще занятный подход, свежий взгляд на парсинг ;)
    Но по времени обработки - дохрега дольше, чем по api

    • @ai-iiru
      @ai-iiru  4 місяці тому +1

      ну, coinmarketcap мне попался под руку, потому что хотелось попробовать на том, где данные нужны периодически и парсинг решал бы "добычу" этих данных. К крипте никакого отношения не имею.
      В любом случае, благодарю за отклик)

  • @eda.shorts
    @eda.shorts 4 місяці тому +2

    Начнешь изучать нейросети, и в 20 будешь выглядеть так)

  • @mitry1111
    @mitry1111 2 місяці тому

    👍

  • @РоманК-ж9ч
    @РоманК-ж9ч Місяць тому

    Скиньте пож-та гайд как в chatgpt в make отправить изображение для анализа, не совсем понятно как это сделать

  • @avexoidavex3577
    @avexoidavex3577 4 місяці тому +1

    Платен ли Маке? Если нет, как много подобных запросов он позволяет делать в день?

    • @ai-iiru
      @ai-iiru  4 місяці тому +1

      до 1000 операций/мес - бесплатно

  • @user-Ruslan_p
    @user-Ruslan_p 4 місяці тому +1

    очень опасно полагаться на "зрение" от GPT, сейчас работаю над одной автоматизацией, и вижу, что когда речь идет о чтении данных с изображения, в ответах очень много галюцинаций, путает номера, названия улиц (может легко сказать что речь идет о совсем другом адресе, нежели указан в тексте, даже если промт составлен в виде "прочитай и верни текст слово в слово"), и речь идет об идеальных изображениях, разночтения в которых невозможны, особенно показателен пример с адресами, в тексте один адрес, в его ответе другой, причем с более популярными местами в городе о котором идет речь, а не просто созвучные улицы называет

    • @romankonstantinovich2584
      @romankonstantinovich2584 4 місяці тому

      Я юзаю и минимум ошибок, чисто скринами с ним общаюсь

    • @user-Ruslan_p
      @user-Ruslan_p 4 місяці тому

      @@romankonstantinovich2584 значит нам не повезло, в нашей задаче точность нужна хотя бы на уровне 80 процентов, но получаем результаты 50/50, и да, я говорю именно об API, в пользовательском интерфейсе, результаты гораздо точнее, проверено на сотнях документов

    • @ai-iiru
      @ai-iiru  4 місяці тому

      а вы не пробовали также скрин скормить Claude от Anthropic? Текст он вытаскивал корректно, правда, я только тестил, статистики нет

    • @user-Ruslan_p
      @user-Ruslan_p 4 місяці тому

      @@ai-iiru нет, пока тестили только openAI, и так как объем имено сканированных документов не большой, пока сосредоточились на обработке текстовых данных

    • @TolstyakFree
      @TolstyakFree 4 місяці тому

      Поддерживаю, как то скармливал GPT баскетбольную статистику от руки картинкой, чтобы он составил нормальный протокол, так он какие-то левые фамилии написал, очки - совсем из других данных.

  • @МаксимА-н2х
    @МаксимА-н2х 4 місяці тому

    Это что за мамкин трейдер!

  • @PavelBali-r6c
    @PavelBali-r6c 4 місяці тому

    Спасибо за урок. Подскажите как ещё используете make для автоматизации с gpt?

    • @ai-iiru
      @ai-iiru  4 місяці тому

      Для контента, в основном, статьи в блог писать, и для аудио-в-текст, саммари для видео/аудио/лонгридов

  • @prizzzzze
    @prizzzzze 4 місяці тому

    Спасибо, очень познавательно

  • @like3762
    @like3762 Місяць тому

    А как можно обратиться к вам за персональным заказом. Я не нашел ни почты ни иного способа обратиться к вам. У меня компания.

    • @ai-iiru
      @ai-iiru  Місяць тому

      @@like3762 Телеграм @nejroset

  • @shap3lessplay654
    @shap3lessplay654 26 днів тому

    Ильяс, добрый день! Подскажите как реализовать цепочку:
    1. Приходит новость через RSS feed
    2. ChatGPT вырезает из статьи только первые несколько абзацев
    3. ChatGPT отправляет в телеграм
    Стандартная цепочка работает криво и ChatGPT сильно каверкает статью после анализа. Нужно чтобы он цитировал. Если делать цепочку RSS-ChatGPT, ИИ ругается, что не может использовать прямой текст, а перефразирует он не точно (как написал выше)

    • @ai-iiru
      @ai-iiru  26 днів тому

      @@shap3lessplay654 Вы можете: а) спарсить текст, и вырезать абзацы через регулярные выражения
      б) спарсить текст -> разбить на абзацы -> фильтровать первые несколько абзацев

    • @shap3lessplay654
      @shap3lessplay654 25 днів тому

      @@ai-iiru Когда вставляю парсер после РСС - он просто тянет ссылку, но не текст. После парсера какой модуль необходим для перевода в текст? Спасибо

    • @shap3lessplay654
      @shap3lessplay654 25 днів тому

      @@ai-iiru можете пояснить пункт А или скинуть ссылку из Ваших видео, где об этом подробнее узнать? Спасибо

    • @shap3lessplay654
      @shap3lessplay654 25 днів тому

      @@ai-iiru разобрался, спасибо)))

    • @shap3lessplay654
      @shap3lessplay654 25 днів тому

      @@ai-iiru Что значит ошибка "Exceeded maxRedirects. Probably stuck in a redirect loop"?

  • @solntsevlf
    @solntsevlf Місяць тому

    А какой тарифный план на Gpt брать? Получается за 20 баксов в месяц?

    • @ai-iiru
      @ai-iiru  Місяць тому +1

      @@solntsevlf Если Вам нужен 4o - то да, подписка ChatGPT Plus

    • @solntsevlf
      @solntsevlf Місяць тому

      @@ai-iiru а разве можно к make подключиться на бесплатном тарифе и реально пользоваться?

    • @solntsevlf
      @solntsevlf Місяць тому

      @@ai-iiru скорее автоматизация как вы показали на этом и подобных видео

  • @-Zorkiy-
    @-Zorkiy- 4 місяці тому

    Может я не понял, а просто посмотреть курс не быстрее?

  • @SV-13
    @SV-13 4 місяці тому

    Вот чувствую, что что-то интересное, но, блин, ну ничего же не понятно!
    Что, куда, откуда...

  • @david_gvana
    @david_gvana 2 місяці тому

    Подскажите, для каких задач в маркетинге или продажах можно применять эту фишку?

    • @ai-iiru
      @ai-iiru  2 місяці тому +1

      @@david_gvana Здравствуйте!
      Именно парсинг? Например, собирать данные для исследования рынка: анализ рыночных трендов, мониторинг цен, мониторинг конкурентов или чтоб найти емайлы, номера телефонов, почтовый адрес, названия компаний, должность....

  • @zigf
    @zigf 4 місяці тому +1

    О, и такие древние пенсионеры тоже знают о нейронках!

  • @user-astra4a
    @user-astra4a 3 місяці тому

    А если на сайте защиты стоят, как быть?
    Cloudflare, капчи, и т.д.

    • @ai-iiru
      @ai-iiru  3 місяці тому

      Возможно, могут помочь вставка в модуль cookie с визита, но это не точно, нужно тестить

  • @379ETERNITY
    @379ETERNITY 4 місяці тому +2

    ЗДАРРРРРРРРРРРРРРРОВАЙИЯ;)(:В БУДУЩЕМ БУДУТ РУЛИТЬ ТЕ КТО СМОГУТ СТРОИТЬ ГРАМОТНЫЕ И ИНТЕРЕСНО НЕСТАНДАРТНЫЕ ЗАПРОСЫ РОБОТОВ И РЕАЛИЗОВЫВАТЬ УНИКАЛЬНЫЕ ПРОЕКТЫ

  • @DianaScorpio777
    @DianaScorpio777 2 місяці тому

    Вы можете рассказать про рекламу в Ютубе?Можно ли добавить рекламу в видео shorts?

    • @ai-iiru
      @ai-iiru  2 місяці тому +1

      @@DianaScorpio777 Понятия не имею, по моему, UA-cam в РФ рекламу отменил

    • @DianaScorpio777
      @DianaScorpio777 2 місяці тому

      @@ai-iiru Спасибо .

  • @GodProper
    @GodProper 4 місяці тому

    Привет! Спасибо за видео, а ссылку на готовую автоматизацию или инструкцию можно где-то получить?

    • @ai-iiru
      @ai-iiru  4 місяці тому

      могу на емайл скинуть (в json-формате)

    • @СургутПланшет
      @СургутПланшет 4 місяці тому

      Спасибо

    • @andrejvlasenko7248
      @andrejvlasenko7248 4 місяці тому

      Если не трудно, скиньте пожалуйста и мне.

    • @GodProper
      @GodProper 4 місяці тому

      @@ai-iiru не пришло

    • @ai-iiru
      @ai-iiru  4 місяці тому

      @@GodProper куда отправлять?

  • @prispeshnik-istini2
    @prispeshnik-istini2 4 місяці тому

    ПРивет. Хотелось бы понять как сделать полноценный парсер с входящим запросом, и последующим сохранением информацию после изъятия. Например если у меня есть только сайт с 100 000 страницами. НА вашем примере получается что это ручной парсер с единичным запросом, но кажется что это слишком дорого, с учетом того что нужно платить и зха сервис и за гпт нет ?

    • @ai-iiru
      @ai-iiru  4 місяці тому +1

      Привет! Входящие URL страниц можно задать в Google sheets, и на выходе также заносить в таблицы, либо отправлять в емайл/мессенджер. По стоимости не считал, и да, количество операций влияет на бюджет, это правда. В предыдущем видео говорил про парсинг через http -запросы, там гпт не нужен.
      При таком количестве страниц (100k) имеет смысл, наверное, парсеры, типа apify, подключать.

  • @144ТАРО
    @144ТАРО 4 місяці тому

    А в чем она дешевле? У меня как было 20$, так и осталась.

    • @ai-iiru
      @ai-iiru  4 місяці тому

      gpt-4o $5.00 / 1M tokens | $15.00 / 1M tokens
      gpt-4-turbo $10.00 / 1M tokens | $30.00 / 1M tokens

  • @myQrise
    @myQrise 2 місяці тому

    🤔Это все хорошо, а можно в этой программе Make создать так, чтобы она лазила моим аккаунтом по фейсбуку в групах, пабликах, и могла оставлять разные комментарии к чужим постам или сообщениям, к примеру раз в минуту. Сообщения будут короткими, которые я сгенерирую gpt и закину списком где они будут подтягиватся случайно. Можно так сделать?

    • @ai-iiru
      @ai-iiru  2 місяці тому

      @@myQrise думаю, комментарии можно настроить только в своём аккаунте, это же машина, ей нужна инструкция где, куда, что можно, что нельзя. Произвольно не ходит, на заборах не пишет.
      И слава Богу.

    • @myQrise
      @myQrise 2 місяці тому

      ​​​@@ai-iiru Благодарю за ответ. Да за комментарии знаю, это не проблема. Тот же зепто постер справляется с этим на ура. Ну в зепто постере можно самому код писать на питоне, может написание кода исправит эту задачу 🤔 Я б шаблон купил, если бы был такой

    • @ai-iiru
      @ai-iiru  2 місяці тому

      @@myQrise а Вы попросите GPT код написать, он с этим хорошо справляется, и инструкцию напишет как и куда развернуть

  • @alpenliebe8820
    @alpenliebe8820 4 місяці тому

    А как такое сделать себе в notion??

    • @ai-iiru
      @ai-iiru  4 місяці тому

      Имеете ввиду, чтоб в notion данные приходили, или что?

    • @alpenliebe8820
      @alpenliebe8820 4 місяці тому

      @@ai-iiru да, чтобы собирались в базу данных в конкретный столбец

  • @НиколайПавлов-т3ц
    @НиколайПавлов-т3ц 4 місяці тому

    Я так понял этот Мейк в России даже с VPN не работает.😢

    • @ai-iiru
      @ai-iiru  4 місяці тому

      Маке доступен без VPN

    • @НиколайПавлов-т3ц
      @НиколайПавлов-т3ц 4 місяці тому

      @@ai-iiru Странно, после авторизации через гугл аккаунт написано, что сайт недоступен.

  • @romankonstantinovich2584
    @romankonstantinovich2584 4 місяці тому

    Сколько стоит внедрить?

    • @ai-iiru
      @ai-iiru  4 місяці тому

      привет! здесь только как идея, в реале ваши требования нужно знать. Можете на емайл написать или здесь вкратце, обсудим, что смогу - сделаю.

    • @tancoinoff
      @tancoinoff 3 місяці тому

      ​@@ai-iiruЯ попытался сделать. Не получилось. Идея такая. 1 раз в сутки парить скрин токена и GPT4o делать анализ по промпту, а затем в бота закидывать, чтобы любой по запросу мог выводить себе эту аналитику. Ну и донаты просить на токены у тех кто будет пользоваться.

  • @MmMssj1
    @MmMssj1 4 місяці тому

    я нечего не понял

  • @ВладимирВивота
    @ВладимирВивота 3 місяці тому

    Чел, зачем ты записываешь и выкладываешь ролики, где ты разговариваешь сам с собой? )) Все что понял я как человек много раз слышавший о "Make" , но не работавший с ним, это то, что есть такой сервис, который может сделать вот такое, а дальше бу-бу-бу, разбирайтесь сами... )) Ну реально, нихера не понятно, просто словесная каша.
    Это я не для того чтобы покритиковать от нехер делать. Просто искал видос как раз о работе данного сервиса, а тут твой канал, а там бу-бу-бу, разбирайтесь сами.

    • @ai-iiru
      @ai-iiru  3 місяці тому

      Благодарю за отклик, учту в следующем видео

  • @xintreavideo
    @xintreavideo 4 місяці тому

    Бедный человек. Как он завязан на чужие платформы, по самые яйца. Грустно на это смотреть. В какой-то момент его поимеют на любом этапе обработки запроса.

    • @2009Spread
      @2009Spread 4 місяці тому

      Ты мать тереза? Не можешь уснуть, за других переживаешь?

    • @xintreavideo
      @xintreavideo 4 місяці тому

      @@2009Spread Я за нашу Айтишечку переживаю. Походу я один здесь увидел проблему. Всем остальным все нравится, они готовы делать то же самое что и автор. А он, на минуточку, вещает на всю аудиторию ютубчика.

    • @2009Spread
      @2009Spread 4 місяці тому

      @@xintreavideo opensource юзать нужно больше костылить чтоб собрать все вместе. да и в бажину упрешься а там некому законтрибьютить чтоб фиксануть. А тут хочется что-то выкатить хоть MVP какое-то. Потому как можно зарыться в челленжах и перегореть.

  • @user-vv5hh4ci4j
    @user-vv5hh4ci4j Місяць тому

    Да все эти приложухи менее надежные, чем свой код. То ломаются, то становятся платными, или как сейчас модно, просто русских ненавидят и блочат ру адреса. Так что лучше змеинный суп. У меня нет проблем с этим.

    • @ai-iiru
      @ai-iiru  Місяць тому

      @@user-vv5hh4ci4j Возможно, Вы правы, только не у всех есть такие знания, которому учиться и учиться, а нужен бывает раз в полгода.
      Лет 10 назад сайты заказывал, ещё и ждал, пока мной займутся уважаемые программисты, а сейчас шаблон или elementor, и всё, лендинг уже висит.
      Я считаю, no code/low code это как раз решение для таких как я, самые базовые вещи смогу сам собрать, а за сильно сложным обращусь к таким, как Вы.

    • @user-vv5hh4ci4j
      @user-vv5hh4ci4j Місяць тому

      @@ai-iiru мне нравился проект coze. Долго там висел, плагины свои делал, потом сделали козу платной,из РФ конечно не работают платежи. А извращаться с оплатами не охота. Забил, делаю тоже самое через свой код и llama_index.

  • @raphaild279
    @raphaild279 4 місяці тому

    микро делает ушам больно!

    • @steven9917
      @steven9917 4 місяці тому

      Колонки или наушники норм купите

  • @metallobazav
    @metallobazav 4 місяці тому

    это пздц

  • @ЕрланЕргалиев-ю3в
    @ЕрланЕргалиев-ю3в 4 місяці тому +3

    Пытался слушать, но не смог дальше. Толи вы заикаетесь, толи у вас такой стиль разговора.

    • @ai-iiru
      @ai-iiru  4 місяці тому +2

      может быть, хотя в жизни не заикаюсь, но видео режу при монтаже, возможно еще потому, что русский не родной. Учту. В любом случае, благодарю за отклик)

    • @EVERPLAY-ik7ps
      @EVERPLAY-ik7ps 4 місяці тому

      @@ai-iiru Да, слушать очень тяжело. Нужно что-то делать, если хотите развивать канал. Удачи!

    • @romankonstantinovich2584
      @romankonstantinovich2584 4 місяці тому

      нормально слушать на 1.5 скорости слушал и все норм

    • @victorianli
      @victorianli 4 місяці тому +1

      Можно читать, подключить текст или расшифровать

    • @Инглия
      @Инглия 4 місяці тому +2

      Скорость воспроизведения повыше ставьте, информационные ролики минимум нужно слушать на 1.25, а в данном случае ещё и съедает неровности

  • @olegkurochkin3847
    @olegkurochkin3847 4 місяці тому

    Интересно, спасибо!

  • @МаксимА-н2х
    @МаксимА-н2х 4 місяці тому

    Это что за мамкин трейдер!