Вот что мне нравится, так это то, что в этом видео показано, как делать бизнес чисто на айти тематике. Никакого rocket science тут нет и в помине, идея бизнеса лежит на поверхности. Любой программист ещё в юные годы пытался что-то парить. А тут ребята сделали из этого достаточно доходный и стабильный бизнес. И рассказывают все нюансы. Респект за это.
Очень интересные мысли. Сегодня ваш канал в рекомендациях появился и я подзалип на канале. Очень полезно. :) Периодически тоже заказы на парсинг приходят, сталкивался с частью проблем, озвученных в видео. Но и нового для себя тоже взял. Спасибо за ваш труд по созданию полезного контента. Очень крутой канал. :)
Здравствуйте! Подскажите пожалуйста, в Авито недвижимость для поиска квартиры в определенном метро или районе можно сделать парсинг? К примеру ищу квартиру на ВДНХ в Москве от собственника и соответственно хочу, чтобы после публикации такого объявления на Авито, оно падало мне в телеграмм
спасибо за информацию! делаем агрегаторы с использованием парсинга - отлично идет! делаем сами, изучаем, развиваем свою экспертизу - на этом и работаем. Видео полезно. Благодарю!
Правильно, что сказали про таймауты между парсинговыми запросами, про перерывы и т.п. Есть сайты, которые сами предоставляют данные, дают аккаунт и они жестко указывают частоту запросов, если вы их нарушите, вас забанят. Конечно, вы можете использовать несколько прокси с несколькими аккаунтами и тянуть параллельно данные. Но я, когда занимаюсь парсингом обычного сайта, придерживаюсь такого же алгоритма, чтобы ненамеренно не заддосить. А данные, в зависимости от области, могут идти на пополнение баз знаний, для ИИ и т.п. Обычно в компании такая задача даётся одному программисту и он, имея наработки в этой теме, может быстро спарсить новый сайт, настроить регулярное обновление данных с этого сайта и т.п.
Когда сайтов становится больше хотя бы 50 один не вывезешь даже если ты супермен. И это если данные не проверять вообще, парсер что-то выдал, значит результат. По хорошему нужен контроль выходных данных, обнаружение аномалий и тд.
Привет Максим, а я парсил и картинки) 12000шт с гугл, 5000 с янды, и норм, и можно даже сразу сжимать эти картинки, чтоб на хостинге клиента аесили не много😊
О, а еще скоро предстоит парсить около 3500*48=168.000 😢 ух епт, теперь понимаю какой звездец меня ждет, скажу цену в 20к клиенту ибо согнусь как гусеница со своим пк😅
Спарсят всё, вместе с ботом XD пасибо за интересный видос. Случайно наткнулся когда искал как бы струкрутировать инфу. и вааааау. крутяк. настроение поднялось.
22:40 по поводу "вы взяли данные и получаете выгоду" вы же по идее собираете информацию и продаёте её, т.е. получаете выгоду с помощью информации, которую собирали у себя на сайте другие, забираете её себе и перепродаёте так сказать. (не в упрёк, пытаюсь понять как это в плане законности работает)
я для себя собирал быстро, но включал в то время когда сат минимум нагружен, чтоб не положить и проверял не забанили ли, подбирал тайминги.😁тот же hh парсил, 20 страниц быстро побежался ночью, пауза, еще 20. и не каждый день, раз в месяц общую статистику собрал и ушел.)) тот что тяжелый парсер у меня, он да, он идет с паузами 3-4сек. но он и парсит не 3 минуты а 30-40 минут.)) но там уже бегает по именно вакансиям развернутым, там нагрузка больше, поэтому тайминги такие чтоб не дидоснуть случайно.))
Единственная проблема в парсинге - постоянные платежеспособные клиенты. Есть системы, которые способны автоматически генерировать парсер для конкретного сайта, и делать остальную работу (прокси , очереди, пайпланы данных и т.д.)
Генерировать парсер или разборщик разметки? Самая простая часть парсинга - это разобрать полученный контент. Остальные 98% работы это выявление закономерностей как сайт работает, откликается, паттерны блокирования запросов, ротация прокси и периодическая верификация структуры
@@sergeydeynego6949 проста, когда у тебя 10-50 средней паршивости источников, с которых должен быть стабильный сбор. Да и я не сказал, что остальная часть задач - сложная. Я только выделил самую простую из них
Про парсеры сам думал, была идея saas сделать но по факту это такой геморрой, потому что парсеры постоянно ломаются если парсят более менее серьезный сайт и все это нужно поддерживать. Можно конечно сделать некий менеджер парсеров, но это как раз таки уже не так сложно и думаю такие решения уже существуют. Хотя в целом представляю себе гипотетически некий конструктор парсеров в котором предусмотрены компоненты которые часто используются для написания парсера, но опять же, слабо верится что можно будет добиться эффекта швейцарского ножа. Все равно придется писать кастомный код и накручивать костыли. Я писал парсер объявлений с Яндекс.Услуг. 3 месяца проработало, а потом сломалось. Хотя парсил с таймаутом по 2 секунды между запросом и 30 минут между обходом всех страниц в выдаче, чтобы не наглеть. В итоге тот еще геморрой был. Периодически меняется api, блочат по ip, усложняют каптчу и так далее. Как будто специально хотят усложнить парсинг. Потом чтобы они меня по ip не банили перевел парсинг запросы на их же лямду. Ежемесячного бесплатного гранта хватало на парсинг))
Церебро, Таргет Хантер и Пеппер Ниндзя свои парсеры для вконтакте сделали и теперь между собой конкурируют, чтобы таргетологи вк несли им деньги, а деньги там приличные.
Если вопрос не решается в лоб, он решается иным подходом. Например,, накопить огромную базу соответствий задания, исходных структур данных и полезной части скриптов паркинга или методов обхода и скормить нейросети. Затем долго бить её по пальцам через обратную связь на простых, постепенно усложняющихся примерах. Но магия и узкое место в размере базы для обучения. Сотни российских сайтов совсем не объем, однако все сайты мира вполне вероятно для раскачки ИИ-парсера. Рутина - это то, чем должен заниматься компьютер, а не человек. Здесь рассказчик всю дорогу говорит о рутине.
Менеджер парсеров как инфраструктура - любой оркестратор. Менеджер парсеров для заказчика - готовый продукт, который, насколько я знаю, никто даже продавать не торопится. Ибо не выгодно. Конструкторов парсеров как говна за баней. Сложность парсинга не в коде парсера. Написание кода это примерно 2% от всей работы. Автоматизировать тут что-то да куда уж больше? В питухоне есть целые фреймворки, в других языках ну на пару строчек больше писанины, но это вообще не критично.
Максим спасибо большое за очень позновательные видео. Подскажите пожалуйста в каких нишах парсинг более всего востребован? Например из каких отраслей к вам чаще обращаются за парсингом?
Чтобы не нагружать сайт запросами чрезмерно, можно интересующую страничку с информацией получить единожды в формате html на жёсткий диск. А потом уже никуда не отправляя никакие запросы распарсить эту страничку и извлечь интересующее.
Интересный видос, тоже в компании много парсим и сейчас строим проект сначала для себя, потом возможно выкатим публично связан с парсером организаций. Скажите пользуетсь ли selenium или другим движком для эмуляций действий. Ведь иногда парсить приходится не в лоб html контент, а получая данные после некоторых манипуляций со страницей (например карты) . Еще есть phantomJS, но пока это не использовал. Если не секрет поделитесь хотя бы намеком. Будет полезно
Все инструменты хороши, если тянется реквестами с beautiful soup, то их и использовать, если есть защиты или динамическая подгрузка, то само собой только эмуляция браузера или драйвер для управления браузером
Здравствуйте. Немогли бы вы сказать по пунктам что относится к персональным данным которые нельзя парсить? То есть например если на OLX выложен номер телефона , имя , то их можно парсить или нет? Ну или там ещё каки то ньюансы!
Что касается it и тем более ИИ, хочу сказать что я понял одну вещь: никогда не говорите никогда, потому что потом будет стыдно и смешно. Про ИИ уже говорили: он никогда там не сравнится с человеком, он никогда не сможет творить и тд... На любую задачу найдется алгоритм который будет справляться с ней лучше чем человек. Потому что вычислительная мощность процессоров на порядки быстрее чем у мозга. И задержка в передаче сигнала ниже. Человек пока что алгоритмтчески опережает компьютеры в решении некоторых задач, потому что уже натренирован на их решении и архитектурно оптимизирован. Это лишь вопрос "когда", а не "будет ли".
Не стоит переоценивать ML инструменты. Это всего лишь инструменты. Эффектные, эффективные, но не универсальные. Лобзик круче человека пилит, но он не круче человека и никогда(в обозримом будущем) не станет круче. Все сегодняшние достижения нейронок должны были случиться лет 10 назад, по прогнозам моих преподов. Они этой темой бредили еще в начале нулевых. Я в этой теме уже 20 лет варюсь. И в парсинге 10. Сматчить товары - говно вопрос, сделать ML парсер - маловероятно. Мы пытаемся, но не так все радужно. А ведь написание парсеров это не рокет сайнс далеко. Вся вот эта чушь про вычислительные мощности мозга это вообще о чем? Это вообще задача, к которой даже подступиться пока непонятно как. Не ясно что именно измерять. Есть какие-то громкие заявления, но они являются просто теорией, ничем не подтвержденной. Во всяком случае пока. Мы про мозг знаем гораздо меньше, чем про компьютер. Знали бы больше, может и общий ИИ бы развивался, а пока только прикладные инструменты.
@@ИбрагимДринкерманн поддерживаю, закончил 20 лет назад Itшку, так вот мало кто догадывается, что мы ИИшные сети делали на первых пнях на первом пайтоне 22 года назад не предмете который так и назывался ИИ.
Я не буду отвечать за автора, но предположу что в цене разница ре сильно большая и питон и c# и php и go для этих задач подходят очень хорошо и разницы в хостере большой не должно быть
Хорошие у Вас видео, не боитесь говорить так как есть, спасибо! Максим подскажите, а как Вы формируете цену на парсер (или любой другой продукт) для клиента, чтобы это была аренда, а не разовая оплата, с учетом того, что это будет индивидуальная разработка под конкретного клиента и как договариваетесь об этой цене, имеется в виду как обосновываете?
@@MaximKulgin Да,я понимаю, но вопрос вот в чем, например я хочу также как и Вы продавать проектную разработку но по подписке, услуга будет какой-то узконаправленной, чтобы была экономия на масштабе и кривой обучения. Тогда встает вопрос как определить цену для такой услуги, например мне заказали разработку программы, я посчитал, что ее разработка обойдется в 100 т.р., и как дальше? Например я могу поделить эту сумму на 12 месяцев, и брать с клиента 8 333 руб., но тогда возникает риск того что перестанут пользоваться и разработка не окупится. Еще есть другая ситауция. Клиент просит сделать доработку, как такую доработку включать в ежемесячную оплату?
как думаете возможно обучиться самостоятельно в нете парсингу и зарабатывать на этом в соло через фриланс? и какие это будут суммы в месяц если реалистично?
И по поводу каптчи хотел высказаться, что в наше время это конечно дикий архаизм использовать каптчу на сайте, и особенно подписывать что мол Проверяем что вы не робот. Полная чушь и деградация. А самая адекватная защита от парсинга это обфускация API, периодическое обновление API, обфускация ответов сервера и кода на клиенте, запутывание http контрактов для общения с сервером, куча кук которые выдаются по какой-то не очевидной логике и конечно знание метрик своих клиентов, настройка прокси сервера чтобы отпинывать или банить тех кто, например, делает в 5 раз больше запросов в секунду чем 90 перцентиль клиентов. Меня дико бесят каптчи со светофорами и автобусами, и особенно когда твой правильный ответ считают неправильным. Полная дичь и отсталость. Точно также как и чекбоксы с галочками которые обойти как 2 пальца обо$$ать.
Все эти защиты ведут к нестабильной работе сайта при разнообразной клиентской базе браузеров. Обфускация, конечно, хорошо. А усредненная нагрузка со среднего клиента может быть искусственно задрана в ночные часы десятком подключений через разные IP.
Так потом можно просто работать с АПИ и все. Большинство все равно предпочтут купить готовые данные, чем содержать выделенную команду под это. Просто себестоимость парсинга уменьшиться и кол-во усилий, соотв. и штат парсеров снизится.
Макс, почему нельзя просить е-мейл и телефон, ведь, это тоже открытая информация. Когда пользователь вводил данные, он согласился на "обработку персональных данных".
@@Ty_Sila "Когда пользователь вводил данные, он согласился на "обработку персональных данных"" на обработку площадкой, а не кем попало. от таких как ты этот закон и защищает
Здорово, конечно, слушать про OVER NINE THOUSAND рублей выручки, но что насчёт прибыли? Может, она у вас отрицательная вообще? По своему опыту знаю, что, замалчивая прибыль и заменяя её в презентации выручкой, докладчик стремится манипулировать кадрами низшего звена и кандидатами на равнозначные им должности.
@@MaximKulgin Не поленился залезть и почитать про ООО "РЕФОРМА". Суммы доходов и расходов по данным бухгалтерской отчетности организации выглядят плачевно и не переубедили меня.
@@alexandr.goncharov как? Например у букмекеров js, как там спарсить. В режиме разработчика видно все теги, а если открыть код страницы, то там их уже нет, за место их стоит js.
@@nen5868 Смотреть внутренний код, что отправляет сервер , обычно в JSON или JS. Это вообще-то не очень сложно, есть обфускация, помноженная на cloudflare, капчу , всякие детекты с блоком proxy, по фингерпринтам иногда детектят.
Под многие языки работает Selenium (можете погуглить). Это драйвер браузера, которым вы из кода командуете и эмулируете действия простого пользователя. Сейчас все то, что вы видите в браузере, можно спарсить.
Зачем это физлицам? Физлицам помог бы например парсинг фото соцсети от экстремистской компании. Чтобы там получить ответ что сегодня модно, например. Но физик не вывезет это по деньгам.
Я понимаю что вы профессионал в своём деле! Но вы в серьёз считаете что proxy или всякие торы вам помогут быть анонимными? Они конечно же помогают в анонимности людям, которые нахрен никому не нужны. Но грамотному специалисту просто понадобится больше времени чтобы вычислить. Где нужно было бы 10 минут, ему понадобится 30 чтобы выследить всю цепочку. Просто как вы правильно заметили, что вы работаете в рамках правового поля, и выслеживать вас никто не будет. Ну может кроме конкурентов. Вот от них возможно анонимайзеры и защитят, ибо не у всех кулхакеров есть скилы и инструменты для подобной работы. А вот у IT криминалистов они есть)) И они Очень мощные, и Очень мощные сервера
@@MaximKulgin ну вот я пытался, даже сайт сделал, потом понял что ни когда клиентов не найду и сейчас занимаюсь более продуктовыми штуками. Они наверное более рисковые и неопределенные в моем случае, но по крайней мере заходят, я даже могу сказать что не плохо зарабатывают, а с парсингм был тупо ноль, хотя я парсить то вроде умею.
в чем вообще смысл говорить клиенту что вы его парсите? ну парсите и парсите, ничего такого. зачем на ровном месте создавать конфликт интересов, озвучивая это.
Эм. Обученный берт и кой-какие препроцессоры и постпроцессоры матчат товары в 90+% случаях. Сложно? Вообще нет. Обучить берта имея хренову гору матченых товаров в датасете изи.
Заблуждение в том, что нельзя бороться с парсерами. Согласен только, их совсем не победить, но можно сделать так, что заказчик просто не осилит ценник у парсеров. Парсинг станет экономически не выгоден. Хороший админ это сделает не потея. Жаль, что вы этого не понимаете. Что на том конце сидит админ, а вы так и будете действовать по шаблону. Я говорю не про монстров рынка, а про обычные средние и мелкие фирмы. Вот у меня был случай. Юридическая фирма в сфере авторских прав заказала парсинг одного бренда. Туда попал и мой сайт. Авторское право было как предлог давления для выравнивания цен на рынке. Эта была увлекательная война. В которой я победил. Я научился в логах на глаз уже отличать паука и от живого запроса. И чем дальше шла война, тем больше я учился. Да, конечно сервер был не в России. Чтобы не было абуз от юристов. Потому что у нас законодательная импотенция. Вот и существуют такие юристы и даже юрлица оказывающие услуги по парсингу. И почему такие говноеды как вы, говорите, что вам насрать на моральную составляющую и при этом говорить о какой то этике парсинга? Эдакие геи на пол шишки.
Посмотрев одно его видео, вы уже знаете суть его 99% видео. Чувак с пустого в порожнее в каждом видео переливает. Парсинг, скликивание, нужен продукт, грант от государства на 4 млн и в айти все нет хорошо, как вы думаете. Вот про это он в каждом видео толчет воду в ступе.
Я те больше скажу - даже профессора-популяризаторы, пытаясь освещать свою отрасль и точку зрения на главные вопросы, скандируют одно и то же. Курпатов, Дубынин, Дробышевский. Что уж говорить о тех, кто просто раскручивает бизнес. Более-менее оригинальны контент-мейкеры, типа veritasum, thosoi и других популяризаторов науки широкого профиля, у них каждый раз разные приключения. Вы сами попробуйте быть оригинальным долго.
В каждом видео много полезной информации тому, кто по каждой теме хочет применить эти знания у себя в аналогичной сфере. А вы, судя по всему, хотите магическую формулу с раскрытием всех секретов, как построить бизнес от А до Я.
Вот что мне нравится, так это то, что в этом видео показано, как делать бизнес чисто на айти тематике. Никакого rocket science тут нет и в помине, идея бизнеса лежит на поверхности. Любой программист ещё в юные годы пытался что-то парить. А тут ребята сделали из этого достаточно доходный и стабильный бизнес. И рассказывают все нюансы. Респект за это.
Спасибо
лучший бложик по айти за последнее время, который я видел) спасибо)
спасибо
Очень интересные мысли. Сегодня ваш канал в рекомендациях появился и я подзалип на канале. Очень полезно. :)
Периодически тоже заказы на парсинг приходят, сталкивался с частью проблем, озвученных в видео. Но и нового для себя тоже взял. Спасибо за ваш труд по созданию полезного контента. Очень крутой канал. :)
Спасибо 🙏
Здравствуйте! Подскажите пожалуйста, в Авито недвижимость для поиска квартиры в определенном метро или районе можно сделать парсинг? К примеру ищу квартиру на ВДНХ в Москве от собственника и соответственно хочу, чтобы после публикации такого объявления на Авито, оно падало мне в телеграмм
@@kamaduuu в телеграм канале есть чат, он там есть
спасибо за информацию! делаем агрегаторы с использованием парсинга - отлично идет! делаем сами, изучаем, развиваем свою экспертизу - на этом и работаем.
Видео полезно. Благодарю!
Удачи 👍
Большое спасибо за информацию. Делаю первые шаги в мире парсинга. Было очень интересно!
Пишу парсеры больше года за 2к рублей, услышал про прибыль в несколько миллионов, поплохело. Пойду заварю дошик, надо все обдумать
удачи. без шуток
@santy3546 как с вами связаться?
Пишу парсеры за 70к с базой данных
@@MentorOfMentors а где берете клиентов?
Пишу «парсеры» в гугл, кнтрлц-кнтрлв - работает. Продам за миллион - налетайте, только очередь соблюдайте
Очень интересный видос! Работаю программистом, о собственном бизнесе даже не задумываюсь, но так интересно послушать что там творится. 🙂
Спасибо 🙏
Спасибо тебе за видосы. У меня сейчас тяжеловое время в жизни, но они реально помогают!)
спасибо за информацию и открытость. понравилось. подписался.
Очень интересно было послушать, спасибо за прозрачность
Круто что ты реально знаешь как тут тащить и юзаешь разные игры и тактики!
Правильно, что сказали про таймауты между парсинговыми запросами, про перерывы и т.п. Есть сайты, которые сами предоставляют данные, дают аккаунт и они жестко указывают частоту запросов, если вы их нарушите, вас забанят. Конечно, вы можете использовать несколько прокси с несколькими аккаунтами и тянуть параллельно данные. Но я, когда занимаюсь парсингом обычного сайта, придерживаюсь такого же алгоритма, чтобы ненамеренно не заддосить. А данные, в зависимости от области, могут идти на пополнение баз знаний, для ИИ и т.п. Обычно в компании такая задача даётся одному программисту и он, имея наработки в этой теме, может быстро спарсить новый сайт, настроить регулярное обновление данных с этого сайта и т.п.
Когда сайтов становится больше хотя бы 50 один не вывезешь даже если ты супермен. И это если данные не проверять вообще, парсер что-то выдал, значит результат. По хорошему нужен контроль выходных данных, обнаружение аномалий и тд.
Привет Максим, а я парсил и картинки) 12000шт с гугл, 5000 с янды, и норм, и можно даже сразу сжимать эти картинки, чтоб на хостинге клиента аесили не много😊
О, а еще скоро предстоит парсить около 3500*48=168.000 😢 ух епт, теперь понимаю какой звездец меня ждет, скажу цену в 20к клиенту ибо согнусь как гусеница со своим пк😅
Как всегда топ инфа!
спасибо!
Вот тебе свезло конечно) надеюсь дальше будет так же) удачи
Мега огонь! Очень полезно и интересно.
Спасибо
Спарсят всё, вместе с ботом XD пасибо за интересный видос. Случайно наткнулся когда искал как бы струкрутировать инфу. и вааааау. крутяк. настроение поднялось.
спасибо
Оч хорошо, спасибо. Смотрю...
спс
Да, было полезно, спасибо
спасибо
Я полностью доволен этим казиком. Играю здесь уже пару месяцев. Пока все гуд)🍊
22:40 по поводу "вы взяли данные и получаете выгоду" вы же по идее собираете информацию и продаёте её, т.е. получаете выгоду с помощью информации, которую собирали у себя на сайте другие, забираете её себе и перепродаёте так сказать. (не в упрёк, пытаюсь понять как это в плане законности работает)
Я тоже не совсем понял где эта граница, хотелось бы пояснений чтобы попе больно потом не было)
Все верно! Удачи и процветания, коллега!
Спасибо
я для себя собирал быстро, но включал в то время когда сат минимум нагружен, чтоб не положить и проверял не забанили ли, подбирал тайминги.😁тот же hh парсил, 20 страниц быстро побежался ночью, пауза, еще 20. и не каждый день, раз в месяц общую статистику собрал и ушел.)) тот что тяжелый парсер у меня, он да, он идет с паузами 3-4сек. но он и парсит не 3 минуты а 30-40 минут.)) но там уже бегает по именно вакансиям развернутым, там нагрузка больше, поэтому тайминги такие чтоб не дидоснуть случайно.))
6:09 Никогда, никогда, никогда не покупай в офис ИТ компании стул ИСО за 1000 руб.! :)
Ага скрипит
Вовремя ты переключался, красавчик) так бы мог до талого играть и все слить) А сейчас окуп славил. Класс)
А как рассчитать цену за парсинг? Объём то может быть разный. Чтобы зарабатывать, нужно же рачитывать цену за одну строку данных.
Единственная проблема в парсинге - постоянные платежеспособные клиенты.
Есть системы, которые способны автоматически генерировать парсер для конкретного сайта, и делать остальную работу (прокси , очереди, пайпланы данных и т.д.)
Генерировать парсер или разборщик разметки? Самая простая часть парсинга - это разобрать полученный контент. Остальные 98% работы это выявление закономерностей как сайт работает, откликается, паттерны блокирования запросов, ротация прокси и периодическая верификация структуры
Да
@@MagicMightNew половина из перечисленных вами задач достаточно проста.
@@sergeydeynego6949 проста, когда у тебя 10-50 средней паршивости источников, с которых должен быть стабильный сбор. Да и я не сказал, что остальная часть задач - сложная. Я только выделил самую простую из них
Что за системы?
Спасибо вам за информацию!
Спасибо
Про парсеры сам думал, была идея saas сделать но по факту это такой геморрой, потому что парсеры постоянно ломаются если парсят более менее серьезный сайт и все это нужно поддерживать. Можно конечно сделать некий менеджер парсеров, но это как раз таки уже не так сложно и думаю такие решения уже существуют. Хотя в целом представляю себе гипотетически некий конструктор парсеров в котором предусмотрены компоненты которые часто используются для написания парсера, но опять же, слабо верится что можно будет добиться эффекта швейцарского ножа. Все равно придется писать кастомный код и накручивать костыли.
Я писал парсер объявлений с Яндекс.Услуг. 3 месяца проработало, а потом сломалось. Хотя парсил с таймаутом по 2 секунды между запросом и 30 минут между обходом всех страниц в выдаче, чтобы не наглеть. В итоге тот еще геморрой был. Периодически меняется api, блочат по ip, усложняют каптчу и так далее. Как будто специально хотят усложнить парсинг. Потом чтобы они меня по ip не банили перевел парсинг запросы на их же лямду. Ежемесячного бесплатного гранта хватало на парсинг))
Так и есть
Церебро, Таргет Хантер и Пеппер Ниндзя свои парсеры для вконтакте сделали и теперь между собой конкурируют, чтобы таргетологи вк несли им деньги, а деньги там приличные.
Если вопрос не решается в лоб, он решается иным подходом. Например,, накопить огромную базу соответствий задания, исходных структур данных и полезной части скриптов паркинга или методов обхода и скормить нейросети. Затем долго бить её по пальцам через обратную связь на простых, постепенно усложняющихся примерах. Но магия и узкое место в размере базы для обучения. Сотни российских сайтов совсем не объем, однако все сайты мира вполне вероятно для раскачки ИИ-парсера. Рутина - это то, чем должен заниматься компьютер, а не человек. Здесь рассказчик всю дорогу говорит о рутине.
@@Valera374вк имеет апи, легальный. Там и парсить то ничего не надо.
Менеджер парсеров как инфраструктура - любой оркестратор.
Менеджер парсеров для заказчика - готовый продукт, который, насколько я знаю, никто даже продавать не торопится. Ибо не выгодно.
Конструкторов парсеров как говна за баней. Сложность парсинга не в коде парсера. Написание кода это примерно 2% от всей работы. Автоматизировать тут что-то да куда уж больше? В питухоне есть целые фреймворки, в других языках ну на пару строчек больше писанины, но это вообще не критично.
шикардос, благодарен
Спасибо!
трекк тайм 18:00 не совсем уловил , данные из инет магазина лежащие в открытом доступе парсить можно , но продавать нельзя ? не уловил чето совсем
Речь идёт о плагиате.
Т.е. о копировании данных с чужого магазина и размещения этих данных на своём в исходном виде.
Максим спасибо большое за очень позновательные видео. Подскажите пожалуйста в каких нишах парсинг более всего востребован? Например из каких отраслей к вам чаще обращаются за парсингом?
Было интересно послушать как человеку, который полтора года работал в отделе парсинга)
Некоторые вещи вызывают улыбку, но, в целом, очень здраво
Про яндекс.маркет и озон прям флешбеки. Особенно про маркет)
Мы три года парсим
Чтобы не нагружать сайт запросами чрезмерно, можно интересующую страничку с информацией получить единожды в формате html на жёсткий диск. А потом уже никуда не отправляя никакие запросы распарсить эту страничку и извлечь интересующее.
Ajax запросы слышал? Html часто голый
А есть вакансия капчю порешать на досуге, фрилансом?=)
Максим, спасибо за видео, очень полезно. Напишите, пожалуйста, название хостера для серверов (не смог расслышать)
net reack
Поиск не находит, можно прямую ссылку?@@MaximKulgin
Как определить, что сайт держит вашу нагрузку или уже перебор?
Благодарю за видео.
Выписал для себя 20 пунктов на вооружение.
А есть сайты которые банят по IP если не скачиваешь картинку?
а вы не пытались спрашивать почему они так реагируют негативно?
это же вроде не продавцы на рынке, которые думают, что цены у них нельзя снимать
Ты не поверишь
@@alexeykerdivare😂
Сколько будет спарсить вк?)))))) Спасибо большое, очень интересно и полезно для тех кто решится
ВК ? его не спарсить
это была шутка)@@MaximKulgin
Интересное видео.
Интересный видос, тоже в компании много парсим и сейчас строим проект сначала для себя, потом возможно выкатим публично связан с парсером организаций. Скажите пользуетсь ли selenium или другим движком для эмуляций действий. Ведь иногда парсить приходится не в лоб html контент, а получая данные после некоторых манипуляций со страницей (например карты) . Еще есть phantomJS, но пока это не использовал. Если не секрет поделитесь хотя бы намеком. Будет полезно
Все инструменты хороши, если тянется реквестами с beautiful soup, то их и использовать, если есть защиты или динамическая подгрузка, то само собой только эмуляция браузера или драйвер для управления браузером
плайврайт лучше селениума. почему то ни кто про него не говорит.
Сервисы по подбору автострахования также работают через парсинг? где по номеру авто выходит вся информация по автомобилю
видимо да. но точно не скажу
Здравствуйте. Немогли бы вы сказать по пунктам что относится к персональным данным которые нельзя парсить? То есть например если на OLX выложен номер телефона , имя , то их можно парсить или нет? Ну или там ещё каки то ньюансы!
Тут лучше к юристам. Все что позволяет идентифицировать человека запрещено
Круто. Почему не боитесь конкуренции?
Рынок большой
Доброго дня! Мне всё понятно, то, что Вы говорите. Бланодарен за информацию. А Возможно с Вами лично созвониться ? Как сконтактировать?
добрый день, я в телеграмме доступен
очень интересно, Изучаю Парсинг, прикольная вещь, буду развиваться. Подписался ан вас и в телеге
спасибо
Что касается it и тем более ИИ, хочу сказать что я понял одну вещь: никогда не говорите никогда, потому что потом будет стыдно и смешно. Про ИИ уже говорили: он никогда там не сравнится с человеком, он никогда не сможет творить и тд...
На любую задачу найдется алгоритм который будет справляться с ней лучше чем человек. Потому что вычислительная мощность процессоров на порядки быстрее чем у мозга. И задержка в передаче сигнала ниже. Человек пока что алгоритмтчески опережает компьютеры в решении некоторых задач, потому что уже натренирован на их решении и архитектурно оптимизирован. Это лишь вопрос "когда", а не "будет ли".
Не стоит переоценивать ML инструменты. Это всего лишь инструменты. Эффектные, эффективные, но не универсальные. Лобзик круче человека пилит, но он не круче человека и никогда(в обозримом будущем) не станет круче. Все сегодняшние достижения нейронок должны были случиться лет 10 назад, по прогнозам моих преподов. Они этой темой бредили еще в начале нулевых.
Я в этой теме уже 20 лет варюсь. И в парсинге 10. Сматчить товары - говно вопрос, сделать ML парсер - маловероятно. Мы пытаемся, но не так все радужно. А ведь написание парсеров это не рокет сайнс далеко.
Вся вот эта чушь про вычислительные мощности мозга это вообще о чем? Это вообще задача, к которой даже подступиться пока непонятно как. Не ясно что именно измерять. Есть какие-то громкие заявления, но они являются просто теорией, ничем не подтвержденной. Во всяком случае пока. Мы про мозг знаем гораздо меньше, чем про компьютер. Знали бы больше, может и общий ИИ бы развивался, а пока только прикладные инструменты.
Очередной науковер 😂
@@ИбрагимДринкерманн поддерживаю, закончил 20 лет назад Itшку, так вот мало кто догадывается, что мы ИИшные сети делали на первых пнях на первом пайтоне 22 года назад не предмете который так и назывался ИИ.
Вакансии есть к вам на работу? Где посмотреть ? Язык не важен, ну экономия на серверах в зависимости от языка.
Я не буду отвечать за автора, но предположу что в цене разница ре сильно большая и питон и c# и php и go для этих задач подходят очень хорошо и разницы в хостере большой не должно быть
Хорошие у Вас видео, не боитесь говорить так как есть, спасибо! Максим подскажите, а как Вы формируете цену на парсер (или любой другой продукт) для клиента, чтобы это была аренда, а не разовая оплата, с учетом того, что это будет индивидуальная разработка под конкретного клиента и как договариваетесь об этой цене, имеется в виду как обосновываете?
там же услуга. люди получают данные. и платят подписку
@@MaximKulgin Да,я понимаю, но вопрос вот в чем, например я хочу также как и Вы продавать проектную разработку но по подписке, услуга будет какой-то узконаправленной, чтобы была экономия на масштабе и кривой обучения. Тогда встает вопрос как определить цену для такой услуги, например мне заказали разработку программы, я посчитал, что ее разработка обойдется в 100 т.р., и как дальше? Например я могу поделить эту сумму на 12 месяцев, и брать с клиента 8 333 руб., но тогда возникает риск того что перестанут пользоваться и разработка не окупится. Еще есть другая ситауция. Клиент просит сделать доработку, как такую доработку включать в ежемесячную оплату?
как у вас вскрывается капча? программно или человек ?
програмно
Здравствуйте, подскажите куда пойти учиться чтобы научиться парсить! И освоить эту профессию с нуля!
Python и Scrapy, Beautiful Soup 4, selenium и умение работать с файлами
Не пойму, почему матчинг товаров не получается? Мне эта задача кажется тривиальной.
очень сложная задача
Потому что все карточки заводят по своему, попробуйте найти обычным поиском товар определённый, кто-то в названии указал модель, а кто-то нет итд.
ИИ в матчинге не пробовали подключать? Например разбор товара по картинке
А почему именно мобильные прокси, а не серверные? С какими проблемами сталкивались?
Спасибо.
мобильные реже блочат
только коммент написал и ютуб сразу выдал..🤣 спасибо!
Минус - нужна обратная связь. Ваша дополнительная прибіль.
как думаете возможно обучиться самостоятельно в нете парсингу и зарабатывать на этом в соло через фриланс?
и какие это будут суммы в месяц если реалистично?
боюсь что сложно...
Без опыта программирования и сразу во фриланс будет очень сложно конкурировать и в целом работать.
отличное видео
спасибо
Выгрузки из яндекс услуги. Только данные, парсер не продаю😂
можно и так да
А вакансии есть? Я 2 года назад этим занимался
Пока нет
И по поводу каптчи хотел высказаться, что в наше время это конечно дикий архаизм использовать каптчу на сайте, и особенно подписывать что мол Проверяем что вы не робот. Полная чушь и деградация. А самая адекватная защита от парсинга это обфускация API, периодическое обновление API, обфускация ответов сервера и кода на клиенте, запутывание http контрактов для общения с сервером, куча кук которые выдаются по какой-то не очевидной логике и конечно знание метрик своих клиентов, настройка прокси сервера чтобы отпинывать или банить тех кто, например, делает в 5 раз больше запросов в секунду чем 90 перцентиль клиентов. Меня дико бесят каптчи со светофорами и автобусами, и особенно когда твой правильный ответ считают неправильным. Полная дичь и отсталость. Точно также как и чекбоксы с галочками которые обойти как 2 пальца обо$$ать.
Все эти защиты ведут к нестабильной работе сайта при разнообразной клиентской базе браузеров. Обфускация, конечно, хорошо. А усредненная нагрузка со среднего клиента может быть искусственно задрана в ночные часы десятком подключений через разные IP.
@@alexeykerdivare каким образом каптча является альтернативой в этом случае? Я просто сказал что может помочь. И это точно не каптча))
А что если российские сайты наконец поумнеют и будут продавать доступ к своему API? Тогда ваш бизнес просто умрёт.
Да
Авито с платным api доступом, например
Так потом можно просто работать с АПИ и все. Большинство все равно предпочтут купить готовые данные, чем содержать выделенную команду под это. Просто себестоимость парсинга уменьшиться и кол-во усилий, соотв. и штат парсеров снизится.
кого сложнее всего парсить, я бы отметил днс скорее всего
да. и их тоже.
citilink мозг делает очень
Макс, почему нельзя просить е-мейл и телефон, ведь, это тоже открытая информация.
Когда пользователь вводил данные, он согласился на "обработку персональных данных".
парсить где? на сайтах компаний? да можно
@@MaximKulgin на маркетплейсах и досках объявлений.
@@Ty_Sila "Когда пользователь вводил данные, он согласился на "обработку персональных данных"" на обработку площадкой, а не кем попало. от таких как ты этот закон и защищает
👍🔥💯💥💯🔥👍
Здорово, конечно, слушать про OVER NINE THOUSAND рублей выручки, но что насчёт прибыли? Может, она у вас отрицательная вообще? По своему опыту знаю, что, замалчивая прибыль и заменяя её в презентации выручкой, докладчик стремится манипулировать кадрами низшего звена и кандидатами на равнозначные им должности.
данные на сайте ФНС открыты для сомневающихся.
@@MaximKulgin Не поленился залезть и почитать про ООО "РЕФОРМА". Суммы доходов и расходов по данным бухгалтерской отчетности организации выглядят плачевно и не переубедили меня.
парсю более 4 лет, все что угодно, основные клиенты это конкуренты или НР
Что такое hp?
А если в html коде нет информации (сделано на js. - react, vie js) - тоже спарсите?
Естественно, если Вы что-то видите в браузере, то это видит и парсер.
@@alexandr.goncharov как? Например у букмекеров js, как там спарсить. В режиме разработчика видно все теги, а если открыть код страницы, то там их уже нет, за место их стоит js.
@@nen5868 Смотреть внутренний код, что отправляет сервер , обычно в JSON или JS.
Это вообще-то не очень сложно, есть обфускация, помноженная на cloudflare, капчу , всякие детекты с блоком proxy, по фингерпринтам иногда детектят.
Под многие языки работает Selenium (можете погуглить). Это драйвер браузера, которым вы из кода командуете и эмулируете действия простого пользователя. Сейчас все то, что вы видите в браузере, можно спарсить.
Интересная тема. Думаю вот как к ней грамотно подойти пока в продуктовом смысле и разогнать на физических лиц....
Зачем это физлицам? Физлицам помог бы например парсинг фото соцсети от экстремистской компании. Чтобы там получить ответ что сегодня модно, например. Но физик не вывезет это по деньгам.
что то не понятно , парсят они 700-800 сайтов, один сайт 10к стоит, откуда тогда 20 кк взялось, чето не сходится
есть сайты за которые мы просим 2000 р. т.к. их порядка 500 :) в работе
Здравствуйте парсинг вообще законно?
Вообще да
@@MaximKulgin благодарю
И это всё не пиздеж 😊. Парсинг хорошая тема, правда что то не пошло у меня. Заказов нет и нет, пошел в 3D печать, а хуль жрать что то надо...
что за 3д печатать
@@axelvermontov6607 печать на 3D принтере всякой пластиковой хрени. автозапчасти, бытовуха и т.д.
слушаю взахлеб
для статистики: тоже программист, бизнеса нет
спасибо
❤
Я понимаю что вы профессионал в своём деле! Но вы в серьёз считаете что proxy или всякие торы вам помогут быть анонимными? Они конечно же помогают в анонимности людям, которые нахрен никому не нужны. Но грамотному специалисту просто понадобится больше времени чтобы вычислить. Где нужно было бы 10 минут, ему понадобится 30 чтобы выследить всю цепочку. Просто как вы правильно заметили, что вы работаете в рамках правового поля, и выслеживать вас никто не будет. Ну может кроме конкурентов. Вот от них возможно анонимайзеры и защитят, ибо не у всех кулхакеров есть скилы и инструменты для подобной работы. А вот у IT криминалистов они есть)) И они Очень мощные, и Очень мощные сервера
Мы работаем в правовом поле всегда
Пробовал найти подработку, по пирсингу. Бесполезно. Учень узкий рынок.
💥👋
спасибо бро
Парсить не сложно, сложно клиентов искать.
Это всегда сложно да
@@MaximKulgin ну вот я пытался, даже сайт сделал, потом понял что ни когда клиентов не найду и сейчас занимаюсь более продуктовыми штуками. Они наверное более рисковые и неопределенные в моем случае, но по крайней мере заходят, я даже могу сказать что не плохо зарабатывают, а с парсингм был тупо ноль, хотя я парсить то вроде умею.
Че за сытный окуп пришел)) офигеть я тебе завидую с такими винами)
в чем вообще смысл говорить клиенту что вы его парсите? ну парсите и парсите, ничего такого. зачем на ровном месте создавать конфликт интересов, озвучивая это.
Если спросят только
Почему этика для Вас - это ничто?
4.40: почалась не сво, а війна!
наверное. спорить не хочу.
Эм. Обученный берт и кой-какие препроцессоры и постпроцессоры матчат товары в 90+% случаях. Сложно? Вообще нет. Обучить берта имея хренову гору матченых товаров в датасете изи.
Плохое качество в итоге
@@MaximKulginотличное качество. Когда речь идет о миллионах товаров
Даже жалко Вас стало. С такой болью рассказываете о своем бизнесе. Так Вам не легко деньги эти даются
не легко.
Алоха - на лоха
а как продавать 2gis, если не парсить 1 в 1? Заказчики же хотят именно ту инфу, что на сайте...
Можно парсить и обогащать
Полно бесплатных парсеров 2gis, стыдно продавать.
@@alexeykerdivareстыдно покупать, продавать нормально 😊
Заблуждение в том, что нельзя бороться с парсерами. Согласен только, их совсем не победить, но можно сделать так, что заказчик просто не осилит ценник у парсеров. Парсинг станет экономически не выгоден. Хороший админ это сделает не потея. Жаль, что вы этого не понимаете. Что на том конце сидит админ, а вы так и будете действовать по шаблону. Я говорю не про монстров рынка, а про обычные средние и мелкие фирмы.
Вот у меня был случай. Юридическая фирма в сфере авторских прав заказала парсинг одного бренда. Туда попал и мой сайт. Авторское право было как предлог давления для выравнивания цен на рынке. Эта была увлекательная война. В которой я победил. Я научился в логах на глаз уже отличать паука и от живого запроса. И чем дальше шла война, тем больше я учился.
Да, конечно сервер был не в России. Чтобы не было абуз от юристов. Потому что у нас законодательная импотенция. Вот и существуют такие юристы и даже юрлица оказывающие услуги по парсингу.
И почему такие говноеды как вы, говорите, что вам насрать на моральную составляющую и при этом говорить о какой то этике парсинга? Эдакие геи на пол шишки.
ясно. я говноед. а вы молодец, весь в белом. я таких как вы очень люблю.
Блин, чувак, да ты крут! Можно у тебя взять пару уроков офигенности?
Посмотрев одно его видео, вы уже знаете суть его 99% видео. Чувак с пустого в порожнее в каждом видео переливает. Парсинг, скликивание, нужен продукт, грант от государства на 4 млн и в айти все нет хорошо, как вы думаете. Вот про это он в каждом видео толчет воду в ступе.
И вам не хворать
Я те больше скажу - даже профессора-популяризаторы, пытаясь освещать свою отрасль и точку зрения на главные вопросы, скандируют одно и то же. Курпатов, Дубынин, Дробышевский. Что уж говорить о тех, кто просто раскручивает бизнес. Более-менее оригинальны контент-мейкеры, типа veritasum, thosoi и других популяризаторов науки широкого профиля, у них каждый раз разные приключения. Вы сами попробуйте быть оригинальным долго.
В каждом видео много полезной информации тому, кто по каждой теме хочет применить эти знания у себя в аналогичной сфере. А вы, судя по всему, хотите магическую формулу с раскрытием всех секретов, как построить бизнес от А до Я.
👍👍👍👍