Основи роботи з Kafka з Павлом Вейником
Вставка
- Опубліковано 7 вер 2021
- Павло Вейник про основи роботи з Kafka: messaging, найпростіший код, короткий огляд функціоналу + корисні посилання та ресурси.
📌Про спікера:
🔹Павло - Java-розробник з 2003, лід з 2008, CTO c 2016.
🔹Досвід роботи як у стартапах, так і ентерпрайзах.
🔹Проводить навчання з 2008 року (Java та архітектура).
🔹На даний момент працює на посаді архітектора в EPAM, а також є засновником і CEO центру IT-навчання "Hard & Soft Skills".
Павло Вейник: / veinik
Курс із Kafka від спікера: hardsoftskills.by/kafka_essen...
Інші курси: hardsoftskills.by/
Interview - Done! FB: groups/inter...
Interview - Done! t.me: t.me/interview_done
Катя: / katerynavoronkina
Тая: / taisiia
Влада: / vlada-liashchenko
email: ytb@interviewdone.com
Презентація: docs.google.com/presentation/...
Посиланняи:
Разгортування Kafka: habr.com/ru/post/543732/
Що почитати:
www.enterpriseintegrationpatt...
dzone.com/articles/kafka-arch...
www.confluent.io/blog/set-up-...
habr.com/ru/post/543732/
kafka.apache.org/documentation/
www.confluent.io/kafka-vs-pul...
www.confluent.io/blog/set-up-...
kafkatool.com/download.html
habr.com/ru/company/southbrid...
logz.io/blog/kafka-vs-redis/ logz.io/blog/kafka-logging/
otonomo.io/redis-kafka-or-rab...
kafka-summit.org/sessions/ooy...
Kafka vs Rabbit MQ
otonomo.io/redis-kafka-or-rab...
betterprogramming.pub/rabbitm...
www.upsolver.com/blog/kafka-v...
habr.com/ru/company/itsumma/b...
Kafka vs Pulsar
www.confluent.io/kafka-vs-pulsar
digitalis.io/blog/kafka/apach...
www.kai-waehner.de/blog/2020/...
habr.com/ru/company/southbrid...
Відмовостійкість Kafka
tech.ebayinc.com/engineering/...
www.infoq.com/articles/resili...
Kafka Transactions
www.confluent.io/blog/transac...
itnext.io/kafka-transaction-5...
chrzaszcz.dev/2019/12/kafka-t...
Data Science & Kafka
www.analyticsvidhya.com/blog/...
www.datasciencecentral.com/pr...
🙌 Детальніше про рекрутингове агентство Talando: talando.com/
E-mail: info@talando.com
Найм по світу +44 (7539) 032 190
Найм в Україні +38 (063) 060 40 10
Підписуйтесь на новини нашої команди в наступних соц.мережах:
LinkedIn: / talando-recruitment
Facebook: / talandorec
Instagram: / talando_tech
Clutch: clutch.co/profile/talando#hig...
Компанії партнери:
Allmatics - Your IT solutions: allmatics.com/
Wandify: wandify.io/en
Fresh Start by Joakim Karud / joakimkarud
Creative Commons - Attribution-ShareAlike 3.0 Unported- CC BY-SA 3.0
Free Download / Stream: bit.ly/_fresh-start
Music promoted by Audio Library • Fresh Start - Joakim K... - Наука та технологія
Спасибо за ваш труд и воможность его увидеть =)
Подача супер, особенно спасибо за список ссылок.
Отличное объяснение и наглядный пример! Спасибо!
Спасибо! Отличная лекция!
Всё классно объяснил. Спасибо!
Самое лучшее видео по kafka👍разложили прям все по полочкам
крутой мужик, доступно рассказал
The best of best video about Kafka. Thanks!
думаю стоило упомянуть, что выход из kafka console producer осуществляется командой
ctrl + c
спасибо интересно было
49:20
Ожидаемое поведение консьюмеров. После закрытия окна консьюмер продолжает работать в контейнере и читать сообщения. Если явно завершить работу консьюмера через ctrl+c, то ожидаемая перебалансировка произойдет.
Золото!!!!!!
У меня только один консьюмер из группы считавет сообщения(
Ооо, хоть где-то я увидел код! а то все только пиздят и пиздят.... СПасибо тебе человек!)
Soft skills
Спасибо
А какие размеры сообщений в кафке могут быть?
Я так понимаю файлы туда засовывать не очень хорошая идея?
1Мб по умолчанию, большие файлы вроде как оф дока не рекомендует пихать
Подскажите, пожалуйста, а есть ли такая настройка, при которой consumer на которого не достается партиции, читает какую либо партицию? Например: в топике 3 партиции, а консьюмеров 4
такого нет и об этом было в видео, он будет либо ничего не делать либо подколючится к работе когда отвалится один из работающих консюмеров. для увеличения параллелизма нужно увеличить количество партиций.
Где взять код из видео?
Его нет в доступе к сожалению - был доступен только во время "живого" вебинара.
@@InterviewDone А вот и нет. На 51:36 светится гихаб Павла. Проект до сих пор находится там в целости и сохранности)
неплохо
А кафка без докера не пашет?я новичок в этом деле.
Работает, надо запускать через консоль на своей машине. Докер, грубо говоря, запускает на твоём компе контейнер и в нём уже работает сама кафка до которой нужно будет достукиваться из вне.
У кого ошибки кидает зукипер юзайте вместо --zookeeper zookeeper:2181 вот это --bootstrap-server localhost:9092
Чувак, спасибо тебе
Теперь я понял смысл слогана "Мы рождены, чтоб Kafka сделать былью".
скудноватое объяснение если смотреть с нуля.
54:44 Producer
ЗуКипер Зууууу
мне тоже режет слух "заа кипер"
Чтобы увеличить количество партиций /bin/kafka-topics --bootstrap-server localhost:9092 --alter --topic demo-topic --partitions 3
Epam отнюдь не маленькая компания)
это был сарказм
а че не на мове)
наразі записуємо вже все на мові.. тоді були ще двомовні..
@@InterviewDone вот же можешь на хохляцком
че все описание на украинско, а вебинар главное на русском)))) Вот не в падлу же было какому-то огузку все менять на укр.
Чем брокер отличается от топика?
В Apache Kafka термины "брокер" и "топик" представляют собой два ключевых компонента архитектуры, выполняющих различные функции:
1. **Брокер (Broker):**
- **Определение:** Брокер в Kafka представляет собой сервер, который участвует в хранении и передаче данных. Он является основным компонентом, обеспечивающим распределение сообщений между производителями и потребителями.
- **Функции:** Брокер отвечает за управление топиками, хранение сообщений в журнале (логе), а также передачу сообщений от производителей к потребителям. Кластер Kafka может состоять из нескольких брокеров, и они работают совместно для обеспечения отказоустойчивости и масштабируемости.
2. **Топик (Topic):**
- **Определение:** Топик в Kafka - это категория или канал, который используется для классификации сообщений. Производители отправляют сообщения в определенный топик, а потребители читают сообщения из топика.
- **Функции:** Топик определяет, как сообщения организованы и каким образом они могут быть распределены по разным частям кластера брокеров. Он также является механизмом для масштабирования и обеспечивает возможность увеличения пропускной способности и хранения данных в системе.
Таким образом, брокер представляет собой физический узел или сервер, который управляет хранением и передачей данных, в то время как топик - это логическое понятие, определяющее категорию сообщений. Каждый топик может быть разделен на несколько партиций для обеспечения распределенного хранения данных и параллельной обработки.