Обучение парсингу на Python #1 | Парсинг сайтов | Разбираем методы библиотеки Beautifulsoup
Вставка
- Опубліковано 22 тра 2024
- Обучение (Web-Scraping) веб парсингу на Python. В данном видео разбираем методы одной из основных библиотек для парсинга веб сайтов на Python Beautifulsoup4.
🔥 Доступ в приват | Поддержать проект:
boosty.to/pythontoday
/ pythontoday
yoomoney.ru/to/410019570956160
🔥 Стать спонсором канала:
/ @pythontoday
Таймкоды:
00:00 - О библиотеке Beautifulsoup
01:18 - Установка Beautifulsoup
01:58 - Установка lxml
02:55 - Работа с основными методами .find() и .find_all()
09:37 - Методы .find_parent() и .find_parents()
11:25 - Методы .next_element .previous_element .find_next()
12:38 - Методы .find_next_sibling() и .find_previous_sibling()
13:30 - Комбинирование методов
14:25 - Как забрать атрибуты из тегов
15:44 - Поиск по тексту
16:20 - Пример использования регулярных выражений при парсинге
****Ссылки****
Дешевый/надежный сервер в Европе + СКИДКА 10%:
vdsina.ru/?partner=858b36ud3p
Хороший proxy сервис:
proxy6.net/a/149995
Документация Beautifulsoup:
EN: www.crummy.com/software/Beaut...
RU: www.crummy.com/software/Beaut...
Код проекта на github:
github.com/pythontoday/scrap_...
И в telegram канале:
t.me/python2day
****Соц.сети****
Telegram: t.me/python2day
Вот только заинтересовался парсингом и хорошо что тебя нашёл. Максимально приятно все объясняешь
Сапасибо за фидбэк 👍
Как идут успехи, в сфере парсинга? Многое что уже умеете?)
@@1ntrigo364 не отвечает, забросил ведать всё это дело...
@@PythonToday и информация по парсингу представлена элегантно, за это спасибо
ну как там твой парсинг?
Вот так нужно объяснять! Без воды быстро и сразу на живых примерах. Спасибо.
Спасибо большое за вашу работу, жду следующий урок
Всем у кого открывается набор символов, вместо русского языка!
Нужно перекодировать файл в кодировку UTF-8 добавив в первую строчку команду encoding="utf-8".
Вот таким образом: with open('blank/index.html', encoding="utf-8") as file:
Много часов ты наверное многим сэкономишь, но к сожалению я увидел этот комментарий уже после того, как нашел решение
@@ferterhard тоже помучился просто)
блин :) как решил эту проблему потом увидел комент, оказывается можно было в html коде просто изменить на и перезагрузить pycarm
Согласен с предыдущими. Сначала нашел решение, а потом уже прочитал коммент. Спасибо, многие бы мучились
@@user-nv7cq8xt2k ну в рабочих проектах так не выйдет, когда паришь сторонний сайт поэтому лучше в коде питона указывать)
После ваших видео мне стало интересно разбираться в кодирование,а именно в парсинге , невероятно. Спасибо ❤
Классно, спасибо огромное за уроки! Буду с огромным желанием смотреть до конца и обучаться!
На мой взгляд, этот видос - лучший по соотношению полезность/понятность/длительность
Один из самых понятных уроков по парсингу на BS.
Спасибо!
Спасибо за фидбэк!
сколько не искал - НИЧЕГО лучше твоего виде не нашел!!! ОГРОМНОЕ СПАСИБО!
Здраствуйте, я как абсолютный новичок в этой сфере говорю вам что за один ваш урок узнал очень много нового для себя, очень доступно и понятно объясняете, спасибо за ваш контент!)
Отличный урок, пересмотрел уже несколько на данную тематику. Тут есть логика и системное изложение материала, что позволяет понять технологию, а не просто наблюдать за тем, как кто-то пишет код, который при повторении почему-то часто не работает.
Благодарю за фидбэк 💪
Превосходная подача материала. Спасибо
Благодарю за фидбэк 💪
Это лучший урок! По существу, без воды. Респектище!
Спасибо за поддержку!
спасибо за урок! офигенная подача материала.
Разобрано на простом примере. Все очень понятно. Большое спасибо! То что надо.
Очень круто! И понятно изложено. На лекция 2 часа объясняют непонятно о чём... А тут всё ясно и наглядно.
Спасибо, твой канал очень классный! Всё кратко, понятно и по делу.
Приятный голос, слушать одно удовольствие. Доходчиво и понятно. Спасибо за труд
Спасибо за фидбэк и интерес!
Очень понятно и доступно и исходники есть-спасибо человеку за проделанную работу!
Спасибо за фидбэк! Рад что полезно
Очень крутое видео. Огромное спасибо за Ваш труд!
Для 3х к подписчиков уж слишком годно! Спасибо за уроки !
есть такое
На сегодня >5.5 k. Годная динамика.
@@shamanskiy Уже почти 11к
@@user-hc1ne6td1z 42.7к
@@dmitryvladimirov611 112к уже)
Огромное спасибо!
Идеальные уроки по парсингу! Автор, ты лучший!
Большое спасибо за поддержку!
Объём информативности зашкаливае
Спасибо за труд!
Спасибо за фидбэк!
Очень круто наблюдать за магией! Потрясающе!
Большое спасибо за фидбэк и поддержку!
Какой Вы молодец! Здоровья Вам и процветания!
Большое спасибо! Взаимно!
Просто великолепное видео, столько удовольствия! Спасибо большое!!!
Спасибо за поддержку! Рад что полезно.
ИНтересно и познавательно! Побольше таких видео!
Просто лучший, всё понятно и чётко объясняешь !
Благодарю!
Это очень хороший курс. Спасибо огромное. С первого урка всё понятно. Ссылки на документацию пригодились. Всем рекомендую прочесть для большего понимания действий автора видео. Ещё раз спасибо.
Большое спасибо за фидбэк!
прошло два часа, но наконец это все понял и законспектировал , спасибо большое что оставили страницу для тренировки на github, очень хороший ролик и объяснение :] //а еще приятно видеть ubuntu , очень мне нравится она ( у самого стоит)
Редко оставляю комменты, но тут грех пройти мимо...
Спасибо тебе, автор, за качество работы! Я, как раз начинаю изучать, тему программирования, а твои работы как раз в тему.
Подписка, лайк е едем дальше) 😎👍
Благодарю за фидбэк!
как процесс изучения год спустя?)
Все четко и по делу, отличная подача информации и микрофон
Ты лучший старина, спасибо за материал!
классно. Спс. Начал изучать Парс по твоим роликам.
Ты - супер! Первый канал, на котором все легко укладывается :) Даже появилось ощущение, а вдруг я смогу когда-нибудь кодить)
Спасибо за фидбэк! Конечно сможешь, вливайся 👍
Отличный урок) и хорошее объянения) спасибо!
Благодарю за фидбэк! Рад что полезно)
Офигеть, с первых минут нашел, что искал - работа с полученными тегами через список. Лайк и подписка с меня
Очень крутой видос! Библиотека сама очень очень вкусная! Спасибо за гайд!
Спасибо за фидбэк!
Предлагаю сделать ещё одно видео по этой теме)
А так всё очень доходчиво обьяснил
Благодарю. Видео будет много 👍
Огромное спасибоза видео! Очень рад что наткнулся на ваше видео, на всякий случай сохранил в плейлист)
Рад что полезно! Спасибо за фидбэк!
Огромное СПАСИБО за видео и за коды на ГитХабе
Очень качественное видео. Всё подробно рассказано. Всё понятно.👍
Спасибо!
отличный урок! спасибо за гайд!👍🤘
Спасибо за фидбэк 💪
Прекрасно, замечательно продуманный план урока.
Благодарю!
самый полезный гайд из всех, что на ютубе
Большое спасибо за видео! Очень качественные видеоролики.
Большое спасибо за поддержку!
Приятный голос, хорошее качество звука, понятное объяснение спасибо
Благодарю за фидбэк!
Кайф! с удовольствием посмотрел и попрактиковался. ❤
Как всегда супер!)
ахренеть какой крутой канал, с первого видео я понял, что это супер качественный контент, а не вода! доходчиво быстро!
Благодарю за фидбэк, рад что полезно
Огромное спасибо. Очень доходчиво, хороший стиль изложения урока
Благодарю 💪
@@PythonToday Было бы здорово раширить урок по пагинации. В принципе это вообще отдельный урок, так как тема, мне кажется сложная, учитывая разнообразие сайтов. Буду очень благодарен если сделаете видео на эту тему. Пример пагинации на разных сайтах и всякие хитрости.
Вернулся с видео "Обучение парсингу на python #4", чтобы еще раз все осознанно посмотреть и достать текст из тега span без класса. АВТОР МОЛОДЧИНА! СПАСИБО!
Большое спасибо за интерес!
🔥🔥🔥🔥🔥 ты молодец, обучение просто бомба, все предельно просто и ясно🔥🔥🔥🔥🔥
Благодарю!
Очень крутая и полезная информация, Вы молодец)
Спасибо, рад стараться 👍
подача материала отличная.все понятно.спасибо
Благодарю!
Спасибо, что код выложил, настоящий разработчик
Спасибо, очень понятно, прекрасно рассказали.
Чувак,ты лучший!!!я начинающий питонист, на данный момент лучше тебя еще не встречал!!!Спасибо за урок,очень понятно и доходчиво обьясняешь.🍺🍺🍺
Ты братишка не питонист а аутист
Видео очень простое и легкое для понимания, спасибо!
Благодарю за фидбэк!
Очень хороший урок, сжато и информативно.
Благодарю за фидбэк и поддержку!
Видео огонь. Все оочень доступно и интересно🔥🔥🔥
Благодарю!
Хорошая подача! Спасибо!
спасибо большое за познавательный ролик!
Реально годное видео, без лишней информации.
Благодарю
Огромное спасибо за урок, очень полезное видео!
Благодарю за фидбэк, рад что полезно!
Спасибо за видос!
Огромное спасибо, очень грамотно и понятно изложен материал
Спасибо за фидбэк!
Наредкость отличный канал. Отличная подача материала, просто замечателная. Лайк, подписка, колокольчик!
Благодарю!
Капец, как круто! Вот сейчас я реально распечатался по Пайтону. А то сидел простые задачки решал по два плюс два складывать.
Никогда не любил решать задачи. Спасибо за фидбэк
@@PythonToday А это вы про те задачи как: нарисуйте из звездочек чайник с помощью цикла for)))
Долго не мог разобраться в порядке перемещения по дом дереву а сейчас как осенило. Крутой урок буду смотреть весь плейлист.
Благодарю за фидбэк и поддержку! Рад что полезно)
Если вывалится ошибка при чтении html то, пропишите кодировку:
with open(r"blank/index.html", encoding='utf-8') as file:
src = file.read()
print(src)
Спасибо! У меня неверно выводился русский текст, что содержится в тегах. Установка кодировки таким образом помогла!
Спасибо, подскажите из-за чего была ошибка ?
Спасибо. Час времени потерял.
@@user-ze1fb8jw8q на кирилице бывает принудительно нужно указывать кодировку
Спасибо!
Спасибо большое для новичка самое то. Пересмотрел пару раз. И теперь буду двигаться дальше.
Молодцом! Рад что полезно. Спасибо за фидбэк!
Автору респект за ненавязчивый и понятный стиль изложения!
Большое спасибо!
Очень круто все и подробно, вообще классно❤️
Большое спасибо за фидбэк!
Классно объясняешь! Я рад что подписался !
Благодарю 👍
Шикарно!)))Большое СПАСИБО!!!
Благодарю за фидбэк!
Я поставил вам лайк с помощью Python)) спасибо очень помогло
Спасибо, интересно смотреть и слушать! Ролик вылез случайно, а подписку оформляю специально.
Большое спасибо за поддержку!
Как же это информативно!
Четко, внятно и понятно. Благодарю!
Благодарю за фидбэк!
Ооо, вот это было очень здорово! Спасибо!
Спасибо за фидбэк!
Спасибо Учитель :) как говорится без воды!
Сам учусь)) Спасибо за фидбэк! Надеюсь было полезно
@@PythonToday ✊✊✊ еще раз спасибо,и за такой открытый урок, и за такие теплые коменты.
Спасибо автору!
Сразу начал пытаться писать парсер, для интересующего сайта.
После третьего дня просмотра первого и второго видео "Обучение парсингу на Python", кое что начало получаться. Почти удалось создать путь до самого, одного из интересующих элементов на странице.
Надеюсь дальнейший просмотр поможет понять, как доставать сам этот "элемент" из: элемент
Пока результат исполнения программы выдаёт None , с нормальным завершением кода, что само по себе считаю хорошим знаком.
О себе в программировании полный ноль, во времена СССР в школе его не преподавали.
Спасибо, очень крутые видео!
Благодарю 💪
Красава, чувак! Круто объясняешь
Благодарю 💪
Урок огонь!
огромное спасибо! прям по полочкам разложено)
Благодарю за фидбэк!
Отличный видос. Как всегда.
Спасибо за поддержку!
@@PythonToday Если можно, подскажи, по чему у меня при сохранении любой html-страницы в файл с помощью выражения
with open(‘filename.html’, ‘w’) as f:
f.write()
вместо символов кириллицы записываются ромбы с вопросами внутри?
Я работаю в windows 10 x64 ru. Скрипты запускаю из командной строки, код пишу в Atom.
классное видео, повторил всё, что ты сделал, спасибо
Спасибо за фидбэк и поддержку!
Все максимально понятно. Спасибо!
Спасибо за фидбэк и поддержку!
Спасибо большое, максимально ясно и кратко
Благодарю
Это шикарно! Благодарю!!!!
Спасибо за фидбэк и поддержку!
Спасибо большое, отличное видео)
Благодарю за фидбэк!
Быстро, коротко, существенно, понятно, безумно интересно, при просмотре получаешь кайф) респект желаю продвижение твоему каналу. Большая просьба если будет возможность про nginx и докеры был бы благодарен.... понимаю что уклон от парсинга) хотя я тоже решил углубился в парсинг)
Спасибо за фидбэк! Залил бы разом 200 роликов, но к сожалению не хватает на всё времени)
Наглядно, спасибо!
Объяснения 12/10. подписка, лайк
Спасибо за поддержку!
Очень круто, спасибо!
Благодарю за фидбэк 👍
спасибо! Самое толковое видео на эту тему!
Благодарю за фидбэк 💪
Годно! спасибо за работу!
Благодарю
Крайне редко пишу комменты, но ты лучший, прямо в тему мне сегодня! Большущий лайк от души!
Благодарю за фидбэк 💪
@@PythonToday А можно вопрос? Хотя бы сам алгоритм чтобы понять. Мне нужно спарсить определенные данные с сайта, с первой страницы получилось, но мне нужно и с остальных, там кнопка 'следующая страница', так вот как мне ее 'нажать' в скрипте, чтобы он дальше пошел?
Вариантов много, можно искать кнопку пагинации и нажимать на нее через Selenium и работать дальше, можно забрать ссылку на следующую страницу которая в этой кнопке лежит и отправлять по ней запрос например через requests, можно посмотреть алкогоритм перехода по страницам, как формируются ссылки и сразу запустить по ним цикл с подстановком элемента пагинации. Всё зависит от ситуации.
Спасибо)
Я нашел ссылку перехода и в цикле после того, как достал данные, создавал новый урл на основе этой ссылки, и так по кругу, все сработало)