Принципы работы парсера WebScraper на примере Авито
Вставка
- Опубліковано 2 бер 2021
- Рассмотрим, как бесплатно парсить Авито.
Поблагодарить и поддержать канал:
pay.cloudtips.ru/p/118e1f87
Скачать WebScraper бесплатно:
forum.webscraper.io/
Настройки карты парсинга для импорта gist.github.com/DxDiagDx/5cec...
Для связи пишите:
Почта lukin@usota.ru
WhatsApp +79053311246
Телеграм @lukin_ea
Профиль на профи.ру:
profi.ru/profile/LukinEA8/?ut...
![Объяснение 12 законов Вселенной и их Применение в Жизни [ЧТОБЫ ЛЕГКО ПОЛУЧАТЬ ЖЕЛАЕМОЕ]](/img/n.gif)
00:24 Запуск парсера WebScraper
00:33 Парсинг с одной страницы
03:31 Парсинг со страниц пагинации
06:17 Парсинг внутренних страниц
это самое простое и толковое объяснение. Супер!
волшебный туториал, таких туториалов дай бог каждому!
Лайк Подписка Комментарий
Огромное спасибо! Очень помогли!
Евгений огромное вам спасибо за ваш труд.
Это самое лучшее видео по бесплатному парсеру.
Спасибо что помогли мне)
Почему так мало подписчиков не пойму)
Спасибо большое, очень приятно, рад, что пригодилось!
Очень полезное видео. И автор очень отзывчивый. Благодарю!
Пожалуйста, рад помочь!
Евгений, без преувеличения "Огромное СПАСИБО"! Если честно, то не ожидал что Вы ответите на просьбу о помощи, да еще и так быстро. Я уже начал готовить себя к тому что придется миллиона полтора картинок вытаскивать по одной вручную!
Пожалуйста, рад был помочь )
Жень, огромное спасибо, ты сэкономил мне денег, тысяч так 20 в год )
спасибо большое за обзор!! у меня получилось вытянуть всю необходимую инфу) блок про парсинг внутренних страниц оказался очень полезным.
хотел сегодня покупать подписку на сервис, а оказалось можно парсить вручную! )
Очень рад, что пригодилось)
СПАСИБО ОГРОМНОЕ!
спасибо за инструкцию
Пожалуйста, рад что пригодилось)
Thank you very much !!!
Спасибо огромное! Работает! Очень удобно
Но заткнулся на скролле, когда открывается новые элементы при скролле, покажете?
Евгений, +1000 Вам в карму, медаль за отмену крепостного права, и грамоту за отмену рабства! Сколько соков в нашей компании было выпито из студентов, тупо собирающих прайсы! Меня это не волновало, я же аналитик, пусть копают. Но когда передо мной - патологической лентяйкой - предстала необходимость копать самой в личных целях... Хотела уж школьника сына засадить за ковыряние, в 14 лет это же не должно считаться эксплуатацией))) И Ваше видео! Просто, доступно, гениально! Спасибо огромное! Только, простите, не могу поделиться видео. Во-первых, "такая корова нужна" самому. Во-вторых, боюсь стать той самой обезьяной, которая будет бегать на пальму за бананами для вожаков стаи.
Спасибо, очень приятно! )
хороший материал, спасибо. подскажите пожалуйста почему у Вас во втором результате (при добавления данных по типу дома) количество строк меньше, чем в первом? Парсер должен был просто добавить столбец же? или я что-то не так понял?
Спасибо за хорошую оценку. Строк меньше, потому что я прервал работу парсера и не стал дожидаться всех результатов.
Спасибо Вам огромное, все получилось, но только методом тыка. Вы почему-то не показываете ключевые моменты настройки, поэтому по Вашему материалу ничего не получилось сделать. Возможно сам парсер изменился. Но все равно огромное спасибо!
Спасибо, видео супер! А может ли он парсить страницы с бесконечной прогруткой? Т.Е. с автоматически подгружаемыми блоками
Спасибо за высокую оценку, очень приятно!
Да, WebScraper парсит страницы с бесконечной прокруткой. Для этого используется селектор "Element scroll down". Я думаю, раскрою это тему подробнее в следующих видео.
Можно ли сделать пагинацию с помощью Element Click? Пагинация сделана с помощью Java Script
у меня парсится в стиле лесенки по абзатцам как их выровнить чтобы в вместе были в одной строке по разным столбцам как у вас??? помогите пожалуйста
Здравствуйте, Евгений. Вопрос по иерархии элементов в Вашей карте выборки. Ссылка на страницу где Вы берете тип дома уже находиться в группе element может стоило "провалиться" в элемент родительский Item чтобы там добавить элемент Link как дочерний? Или это не имеет значения?
Да, можно и так
Здравствуйте Евгений, Помогите Пожалуйста у меня выходит (FAILED_TO_CONNECT_TO_CHROME_TAB) когда нажимаю select, не знаю что делать. Спасибо вам за видео!
Добрый день! Подскажите, если link не находит ссылку на странице, но она есть. Но именно ее не видит, остальные видит. Что можно сделать?
Добрый день. Спасибо за полезную инфу. А как контакты вытягивать, подскажи пожалуйста.
Спасибо за вопрос. Если под контактами вы имеете ввиду номер телефона, то на авито - это изображение. Теоретически, если бы авито получил у своих пользователей разрешение на использование их персональных данных третьими лицами в соответствии с законом 152-ФЗ, то можно было бы спарсить номера в виде изображений и распознать цифры. Но это уже находится за рамками простого парсера WebScraper.
@@usota Спасибо
Подскажите пожалуйста. Раньше я пользовался contentdowenlouder x1 но устал от него ищу альтернативу. Этот будет норм или есть ещё что-то интересное?
Не работал с тем, что вы сказали) WS покрывает мои простые задачи на 100%. Если что-то сложное нужно решать - беру Python.
добрый день. времени много прошло, но вдруг ответите, можно ли парсить календарь бронирований с объявлений посуточно?Придумал костыль в виде блока запросов на каждый день в заданном интервале, но в идеале хотелось бы иметь колонку со списком занятых дат допустим на неделю или месяц вперед в любом формате за один проход
Добрый день, готового решения у меня нет, но я бы тоже начал с блока запросов, а там уже в процессе вырулил бы на оптимальный вариант. Сразу хорошо ничего не получается, сначала пару-тройку подходов с ошибками, и так в любой задаче. Уверен, у вас всё получится .
а как парсить с определенных страниц? например в пагинации указаны специально разные цифры
тут либо по пагинации идти, либо вручную проставить
где можно синтаксис еще глянуть парсера?
Про пагинацию расскажу в отдельном видео, там есть 3 способа, как это делать. Но чтобы не ждать - синтаксис описан в документации и есть примеры в видео на сайте WebScraper
Здравствуйте, Евгений. Скажите пожалуйста как в процессе парсировки результатов поиска в гугл перебирать страницы если в перелистывание происходит списком например 20 записей? Что-то я не могу найти.
Нашел. Использовал Pagination
👍👍👍👍👍👍👍👍👍👍👍👍
Евгений, спасибо за видео. Помогло справиться с сайтом поставщика автозапчастей, где другие парсеры ничего не парсили! Но! Есть вопрос и просьба о помощи! Не получается спарсить картинку товара в полном размере. Миниатюра парсится на ура, но чтобы получить полное изображение нужно кликнуть на миниатюру. Все страницы товара с бесконечным скроллом. При настройке парсинга одного товара, все норм, но как только настраиваю по скроллу, так картинка не парсится. Помогите пожалуйста.
1) Есть два способа получить полное изображение. Первый - найти тег с полным изображением в исходном коде сайта. Второй - выбрать селектор "Клик" и сэмулировать клик по изображению, а потом уже скачивать фото.
2) По вопросу скролла - скорее всего надо немного донастроить парсер и данные будут собираться.
Смотрите, в парсере есть возможность экспортировать его настройки. Пункт меню Export Sitemap. Пришлите мне на почту эти данные, я смогу ответить на ваш вопрос более точно. Контакты в описании.
@@usota написал на почту
Привет 🤗 Как телефон спарсить?)
А можно сделать, чтобы собирал статистику просмотров и применяемых услуг?
Если это есть в коде страницы - то это можно собрать.
@@usota Существуют на рынке парсеры, которые собирают эту информацию и по итогу формируется Ексель файл, со всеми данными, кроме номеров телефона, благодаря чему можно найти и отфильтровать популярные объявления и трендовые товары. Возможно парсинг происходит из кабинета Авито про расширенные версии, не с базового тарифа. А просто парсинг смысла практически никакого для анализа, только для мониторинга нужных товаров разве что.
Все круто да только, контакты не могёт получается?
Скорее всего нет, не пробовал
Здравствуйте, если парсить например заголовки и цены, то парсит не всё а только половину заголовков и половину цен. А если парсить только они заголовки, то парсит всё. Получается нужно по очереди, сначала например заголовки а после цены? Спасибо!
Здравствуйте. Парсер - это машина. Как ей скажешь, так и сделает. Попробуйте задать условия иначе. Я уверен, можно и заголовки и цены собрать за один проход.
Евгений, здравствуй, хотел спросить, есть допустим сайт одежды, и нужно про парсить его по некоторым пунктам, там цена, название, картинка, но пропарсить надо его все товары, которые есть на сайте, это возможно как-то по быстрому сделать? Или это надо тупо на кажду страницу категорий товара зходить и выбирать? А то я только понял как выбрать все товары с одной страницы, а если есть другие категории, как там быть?
Здравствуйте, вы верно рассуждаете - заходить в каждую категорию не нужно. Как правило структура категорий во всех разделах сайта одинакова. Поэтому указав парсеру, как парсить одну категорию, он по такому же принципу соберёт остальные категории.
@@usota Здравствуйте еще раз, хотел спросить, а как получить Sitemap? Я просто по вашему примеру делал, но только другой сайт, но у меня карта что-то не те результаты дает, точные почти никакие результаты не дает
Наберите в адресной строке имясайта/sitemap.xml и как правило сразу попадёте на карту сайта. Если я правильно понял вопрос )
@@usota спасибо, уже понял, и вообще спасибо за отзывчивость, не каждый отвечает подписчикам, спасибо ещё раз, удачи Вашему каналу!
Спасибо!
Здравствуйте! Хорошая подача материала! Подскажите как установить этот Web Scraper в браузер?
Здравствуйте, спасибо! В описании оставил ссылку на официальный сайт. Но вы можете установить его и из каталога расширений для браузера.
@@usota Оперативно! Спасибо!
Как вытянуть картинки по каждой квартире, если их там несколько штук?
Не хватило такой информации. А так, конечно, очень познавательно, ага...
WebScraper не профессиональный парсер и сбор картинок как привило я делаю отдельно через селектор img с отметкой галочки «мультипл». На официальном сайте WS есть подробные примеры с видео, поэтому тут разобран только базовый пример.
А есть ли возможность парсить данные Авито при задание периода (дата от и до)? Как это можно сделать.. Заранее благодарю
К сожалению, этот парсер не поддерживает условия выхода из парсинга. Ну кроме ограничения пагинации через квадратные скобки [1:10]
Реклама курсов по Python как бы намекает, что парсить лучше на Питоне)
Да, реклама прямо в тему))). А вобще лучше подбирать под задачу подходящий ей инструмент. Разовый парсинг Вебскрейпером будет быстрее, чем написать скрипт на пайтоне.
Доброго времени, подскажите как парсить Ютуб, не все элементы видит (
Мало информации. Но предположу, что не все элементы успевают загрузиться - попробуйте увеличить задержку между запросами до 6-8 секунд.
@@usota могу вам как-то написать лично ?
Да, в описании есть контакты, напишите в WhatsApp.
Я понял почему ты теперь ставишь свою **лицо** в треть экрана - хочешь чтобы все видели как ты похудел.
За это видео спасибо, полезное.
Не переходите на личности пожалуйста
@@usota ладно, не заводись 🙄
Приветствую а номера как то можно таким способом добыть? хочу пропарсить сайт с объявлениями в своем городе, но мне нужны только номера, получится? Я пробовал у меня не получается
Нет, таким способом не получится. Способ получить номера другой и не этой программой. Я, например, беру номера из мобильной версии.
@@usota можешь подсказать пожалуйста как это сделать, и какая программа нужна? очень нужно
@@usota там просто нужен переход на страницу номера сразу видны
Мне кажется только ленивый не предлагает парсинг телефонов авито) Там простенький скрипт на Python. Напишите мне, помогу. Контакты в описании есть
@@usota да я не про авито, спасибо, сейчас напишу
Добрый день. Как номер телефона спарсить?
Здравствуйте, к сожалению, не знаю - с такой задачей не сталкивался. Номера всё равно подменные, потому и бесполезны.
можно ли настроить скраппер чтобы он пароль вводил и парсил в запланированное время регулярно?
Парсинг по расписанию есть только в версии по подписке, но цены на подписку такие, что дешевле заказать парсер под свою задачу либо написать самому на Python или BrowserAutomationStudio.
@@usota спасибо за ответ
@@usota а сколько стоит заказать парсер?
как узнать?
Напишите в наш телеграм-чат @proparsing, там ребята отлично разбираются в парсинге. К сожалению, кого-то конкретно порекомендовать не могу.
Nomer telefon neto zdes. A kak mojna parsirovat telefon nomer toje?
Этим инструментом, к сожалению, не возможно. Номер телефона выводится в виде изображения, а не текста.
@@usotaа с сайтов где номер текстом отображается, можно спарсить номера?
@_technomutant_ да, текст можно спарсить селектором text
Авито мобильный ip заблокировал после парсинга 6 страниц.
Возможно и такое. У любого бесплатного инструмента есть ограничения. В этом, к сожалению, нельзя использовать прокси. Но можно попробовать перенести парсинг на позже и делать более длинные паузы между запросами.
Сейчас нет смысла парсить так как авито ставит левые номера вместо реальных
Да, номера парсить смысла нет
А что есть смысл парсить ? )
Свежие объявления о квартирах или авто, чтобы не пропустить привлекательные, например. Не номерами едиными богато авито.
Минус этой программки в том что сохраняет он в таблице ещё первые два не нужных столбца
Не лучший способ подачи информации, но на безрыбье и рак рыба. Направление задано, а дальше самим разбираться. Извините, лайк за такую подачу не поставлю.
Спасибо за обратную связь
@@usota , здравствуйте. Нашел Ваше второе более подробное видео. Вы хотели нам помочь, затратили своё время, поэтому мне несколько совестно Вас критиковать. Но Вы сами спросили моё мнение. Выскажусь относительно длительного видео. Рассказываете тактику подробно, но когда дело доходит до нажатия кнопок, происходит рассинхронизация голоса и дела. Например, Вы рисуете логику запросов на 8-й минуте. Это средствами обозреваемого плагина или другой утилитой. 2) Используете "кальку" английских слов, типа "пагинг", те самым теряется смысл рассказа. 3)Что-то нажимаете, на экране что-то изменилось, но не понятно, какую кнопку Вы нажали. Например, Вы нажимали кнопку ШИФТ или КОНТРЛ? Как бы я снимал? Я показал бы выполняемые шаги руками, что бы пользователь понял, что тоже самое будет делать программа. Со всем уважением к Вам.