Apache Kafka основы УРОК 2. Что такое broker, consumer, producer, topic, partition и т.д.
Вставка
- Опубліковано 29 вер 2024
- Надежный хостинг FirstVDS! Переходи по ссылке и получай скидку 25% на первый месяц на любой тариф firstvds.ru/s/...
Я последнее время занимаюсь поддержкой Кафки. В этом видео ты узнаешь о Apach Kafka:
Что такой kafka?
Что такое kafka topic и зачем этот топик нужен?
Что такое partition topic kafka и сколько партиций тебе нужно?
Что такое consumer и producer. Чем они отличаются и чем схожи?
Верхнеуровнево разберем как отправляется и считываются сообщения в kafka?
Apache Kafka: Зачем нужна, что это? • Apache Kafka урок 1. З...
REST API • Что такое REST API про...
Монолит VS Микросервисы • МИКРОСЕРВИСЫ VS МОНОЛИ...
Модули в Gitlab CI • GITLAB CI CD сокращаем...
ХОТИТЕ ПОМОЧЬ РАЗВИТИЮ КАНАЛА?
★ Станьте спонсором канала / @pavlenkoat
★ Boosty (подписка донаты) boosty.to/pavl...
★ Яндекс.Деньги: money.yandex.r...
★ www.donational...
★ www.tinkoff.ru...
КОНТАКТЫ:
✦ Канал в TELEGRAM: t.me/worlditech (worlditech)
✦ DevOps/SRE чат t.me/devopssre
✦ Чат для Сисадминов и эникеев t.me/sys_hell
✦ Linux чат в TELEGRAM: t.me/linux_wit - Наука та технологія
Антон, тема очень интересна. На новой работе Кафка это моя основная задача) Если можешь то выведи на монитор консоль и сделай пару примеров с консьюмер группами
Спасибо большое, Антон, и за ролик, и за то, что сдержал обещание из коммента к прошлому видео по Кафке. Я наконец сообразил, как устроена ее архитектура, и теперь буду ждать видеопримеров, так сказать, «на кошках». Надеюсь, у тебя найдётся подходящий стенд для демонстрации.
Стенда к сожалению нет. Небольшую практику опишу в телеграм канале. Как можно потыкать Кафку.
Вот, тут уж смело лайк, уже не поликлиника. Еще бы в следующих выпусках с реальными скринами - и будет вообще огонь.
Огромное спасибо! Не останавливайся, продолжай пилить контент
Очень доступно рассказываете, спасибо!
Очень классное видео, спасибо!
Ждем продолжения!
Начало должно начинаться с речи -а сейчас Я вам покажу, откуда Kafka... ну и .т. д. :)
Поправка - сообщения распределяются по партициям, иными словами в партициях одного топика лежат разные сообщения (не одинаковые)
Ой, а можно еще раз про топики, зачем и как они работают.
Спасибо огромное! :)
Отличное видео
Интересно
фигасе у вас аллегории.
+
3:50 перепутано понятие партиции и реплики.
Партиции нужны для масштабирования параллельной обработки сообщений консьюмерами. (К одной партиции может подключиться только один консьюмер)
В партициях находятся РАЗНЫЕ сообщения одного топика.
верно, а реплики хранятся в разных брокерах. Еще момент - данные в топиках удаляются, точнее в каждой партиции удаляются сегментами по выставленной настройке (ограничения на макс размер партиции или времени хранения).
К одной партиции может подключиться только один консьюмер с одной и той же группы консьюмеров. Т.е. два консьюмера с разных групп МОГУТ читать одну и ту же партицию
Привег может посоветуешь какой русскоязычный нормальный ресурс для изучения Kafka?
Вау! Все по полочкам! четко и без воды! Продолжать однозначно.
Антон, вы сказали, что сейчас происходит отход от зоокипера - не могли сказать, куда этот отход идет, что сейчас является главной альтернативой? сменится подход coordination service в целом или будет переход на другую библиотеку?
Супер!!! Рад что вы продолжаете видео выкладывать! Развод это не конец, а только начало жизни.
Да я как-то и не парился насчет развода. Ну развелся и развелся. Идем дальше. Если найду женщину с которой мне попути, то сойдемся. Нет. Я и так в жизни реализуюсь. Плюс есть ребенок с которым мы проводим переодически время.
хахаха про девку топ, командир, а сделай стрим как поднимаешь кафку например или просто видос пожалуйста
Спасибо. Хорошо бы еще наглядности добавить, а то объем новых слов в 8 минутах немного зашкаливает и сложно все сразу уложить в голове.
Антон, большое спасибо за видео(очень содержательно за такое время), хотелось при возможности больше подробностей про сообщении, топики, особенно меня интересует тема с доставкой сообщений конкретным пользователям, что лучше использовать? много топиков или ключи в сообщениях? просто не очень до конца понимаю механизм Kafka
Спасибо за информативное видео!
Как раз решил почитать про кафку поподробнее и тут выходит видос )
В другом видео видел что консьюмер не читает из слэйва. Пишет в лидера и читает из лидера. А если лидер падает - выбирается кандидат из фоловеров, в который пиcалось синхронно. Хоть вроде и сделано по аналогии с репликацией БД
Спасибо! да было бы здорово увидеть от тебя еще одно видео по кафке(грефневой)
Когда нам может пригодиться кафка? Для хранения событий и исполнения ряда действий на событие?
События, логов, пересылка сообщений между приложений. В бигдате его используют.
Все же, без теоретической подготовки computer science тяжеловато понять.
Мсьё, Вы извините меня, но в скором времени я Вас затеребонькаю вопросами=)))
Антон, огромное спасибо за твои видео! Постигаю DevOps практики, аттестация в УЧ на этой неделе. Невероятные объемы информации поглощены, пол года трудов. В скором времени проходить собесы.
как успехи с трудоустройством?)
А я люблю kafky гречневую. Спасибо за ролик, так держать! Хотелось бы увидеть на практике применение.
Как раз пришел в компанию администрировать кафку) Продолжай!
ооо на прошлой работе столкнулся с kafka и тогда понятия не имел об этом, такие видео очень помогают быстро уловить суть
Очень много инфы расходится
Продолжать! В том же духе! Так же бодро, юмористично и доходчиво!👍
А я девочка и я хочу увидеть конфиги! Где они лежат, что из себя представляют. И еще примеры с числами. 🤗
А разве через admin api не удалить сообщения? deleteBefore например по офсету
Пользователю оно недоступно.
А если они никогда не удаляются, не значит ли это что память просто закончится в один прекрасный момент?
Они не никогда не удаляются скорее их нельзя удалить
Спасибо за видео ролики. Очень полезно
Примеры были бы очень кстати
Спасибо! Продолжайте, тема полезная!
поставил лайк, написал коммент
Спасибо
Тема интересная, а подача очень хорошая. Продолжайте по возможности. Спасибо.
Кайфовый выпуск
Очень хотелось бы на практике рассмотреть, в вашем исполнении
Спасибо!
Так, мне задачу делать надо. Где продолжение?)
ua-cam.com/video/hY9WfVRVFPE/v-deo.html
Но увы не зашло видео без напоминания))))
Спасибо за видео Антон!
Если будешь делать следующий урок, расскажи пожалуйста про жизненный цикл сообщений и как влиять на него. Просто ты сказал что они не удаляются, а что с ними происходит и как этим управлять интересно.
Уже даже кусок сценария есть по поводу очистки. Я его вырезал из этого видео.
И информация вроде как полезная. И вы вроде все хорошо рассказываете, и юмор присутствует в оптимальных объемах.
Но если я не разрабатываю веб-приложения (и вряд ли хочу этим заниматься) и не пытаюсь организовать обмен данными между ними, то выходит что мне это не нужно.
Я не знаю что делать. Смотрю канал давно и бросать не хочется. Привык уже)
В то же время забивать голову ненужной фигней тоже не хотелось бы.
Такие дела...
Канал это по сути мой профессиональный дневник. Я сейчас работаю над кафкой. Поэтому делюсь с людьми этими знаниями.
Спасибо
Заваривайте вашу любимую кафку. )))
Как раз заварил себе овсянную кафку из пакетика перед видео. Подсел на неё когда начал худеть.
было бы ещё интересно сравнить кафку с rmq и прочими
Спасибо. Как раз появилась необходимость именно структурировать разрозненные данные о Кафке )
огонь
В чем преимущество у Кафки перед rabbitmq?
Спасибо, огромное!! Ты крутой! Очень понятно! Было бы круто ещё видео инструкции посмотреть. На практике.
Спасибо огромное за видео. Только теперь я разобралась, что это такое Кафка.
Привет! Снимай ещё! Хорошо получается. Чётко, доступно. Жду продолжения ))
Отлично выглядишь, Антон. Здоровье явно пошло на поправку. Молодец.
Спасибо за видео.Коммент в поддержку!
Очень нужно. Я как раз столкнулся с этим.
продолжай, тема интересная. Жги!
Круто, готов купить ваш платный курс по кафка
Все точно без лишней инфы. Большое спасибо! Точно продолжайте
Спасибо, очень в тему. Ждём продолжения :-)
Спасибо большое, интересно, доступно, понятно!
Классно. Интересно. Почти понятно. Нужно ещё )
Тема интересная. Продолжать определенно стоит
Конечно, продолжай снимать видео !
Очень познавательно, спасибо большое 👍🏻
Посмотрел. Понравилось. Продолжать.
А сколько всего уроков запланировано?
Или "как пойдёт"?
Hint: я когда о чем-то планирую рассказать, сначала составляю план уроков, и первый урок - обзор плана.
P.S. стенд, про который народ, справедливо, спрашивает - это хорошо-бы, но ему нужна какая-то практическая задача. Был у меня такой проект и курс NETMandala, мы на столе сеть оператора связи собирали, с нуля. Тут если делать стенд, какая-то подобная идея нужна, которая вытекает из тех реальных задач, где Кафка применяется.. про это, кстати, тоже можно рассказать..
P.P.S. этот комментарий, с размышлениями вслух - для алгоритмов, все вопросы - риторические и не требуют ответа ;)
Как пойдёт. Сейчас основы расскажу потом буду делать отдельные ролики о разных фишках. На ютубе мало смотрят многосерийные выпуски почему-то. Поэтому я и байтю на просмотры.
Спасибо большое, Антон, очень понятно объяснили!
More Kafka
Спс. Но как масштабировать кафку, если нужно добавить в кластер из 3х нод еще 2 ноды без перезагрузки (сервиса) конфига. TCP проксированием через nginx или haproxy ?
Кафка самостоятельная системе. Если за неделю наберётся 3000 просмотров расскажу в следующем видео Как происходит балансировка нагрузки и добавления новых нод. Если нет то наверно придётся закруглятся. Так как у меня уже что-то мотивация от количества просмотров пропадает. Но я подожду.
Огромное спасибо за твои видео! Максимально короткие и полезные)
Очень нужно продолжение!
Познавательно. Спасибо.
зашёл просто для лайка
Спасибо за ролик!
Интересно!)
В этом видео мы подключаемся к очереди, а не к потоку)
Ну да ты прав
Давай дальше по кафку, интересно!
Последнее видео не зашло как наберёт. 4000 просмотров продолжу
спасибо, очень актуально, буду ждать продолжения
Продолжение есть на канале. Его не смотрели
@@pavlenkoat , уже посмотрела, теперь жду ещё)
Снимай дальше! На безрыбье и рак - рыба.