Евгений Ненахов - Потоковая обработка с Kafka в условиях Big Data
Вставка
- Опубліковано 4 кві 2024
- Ближайшая конференция - Joker 2024, 9 октября (Online), 15-16 октября (Санкт-Петербург + трансляция).
Подробности и билеты: jrg.su/Ypf1HW
- -
Многие информационные системы используют Kafka для различных целей. Для работы с Kafka потребуется написать немного кода на Java, чтобы настроить и запустить consumer и producer. Все выглядит просто и понятно, но когда приходит время запускать свое решение в продакшен на длительный срок - начинают всплывать неочевидные ошибки, происходит деградация производительности, ресурсы используются неэффективно.
Евгений рассказывает о типовых ошибках, которые выдает Kafka Consumer, о причинах появления, а также о том, как решать подобные проблемы. Спикер разбирает советы по повышению производительности в части Java-кода и конфигураций Kafka Consumer в рамках высоконагруженных систем. Узнаем, по каким метрикам можно понять, что что-то идет не так.
Доклад будет полезен тем, кто только начинает работать с Kafka и тем, кто хочет детальней погрузиться в работу Kafka Consumer.
Скачать презентацию с сайта Joker - jrg.su/RU8A5w
#kafka #bigdata - Наука та технологія
Очень интересно и познавательно, спасибо!
Евгений, подскажите пожалуйста, как мы можем загрузить свои базы в MTS BigData? Как можно совершать массовые действия для всех объявлений сразу? и как подключить рублёвый биллинг? заранее спасибо!
Очень было бы интересно сравнить перформанс с другими решениями (Parallel vs Consumer+Reactive vs Consumer+Pool) - этого очень не хватило
Для больших консьюминговых групп можно поднимать несколько idle consumers, которые ждут пока кто-то из active consumer отвалится. Тогда idle consumer просыпается и подхватывает выбывшую партицию.
Плюс в том что другие консьюмеры на импактятся.
Минус в том, что кто-то должен сообщить ждущему консьюмеру, что ему надо подхватывать конкретную партицию, то есть нужен какой-то свой балансировщик.
Но я бы вообще не использовал oob балансировщик от кафки, тк он начинается ребалансить на каждый чих (как было сказано в докладе).