Брокер сообщений Kafka в условиях повышенной нагрузки / Артём Выборнов (Rambler&Co)
Вставка
- Опубліковано 15 січ 2018
- Приглашаем на конференцию Saint HighLoad++ 2024, которая пройдет 24 и 25 июня в Санкт-Петербурге!
Программа, подробности и билеты по ссылке: vk.cc/cuyIqx
--------
--------
РИТ++ 2017, Backend Conf
Тезисы:
backendconf.ru/2017/abstracts/...
Kafka - распределённый брокер сообщений, нашедший широкое применение как универсальная шина для больших данных. Kafka позволяет как реализовать realtime-обработку большого числа событий, так и построить батчевый pipeline по доставке логов.
Почему мы используем Kafka? Если коротко - унификация. А если чуть подробнее - десятки поставщиков, терабайты логов каждый день, онлайн- и офлайн-pipeline'ы - без единой высокопроизводительной шины данных с этим крайне сложно совладать.
Из доклада вы узнаете о том, почему мы перешли на Kafka, и как она вписалась в наш pipeline. Поймёте, как обеспечить exactly once доставку данных. Узнаете о том, как из-за одной опечатки в несколько раз выросла нагрузка на Kafka, и что мы из этого выяснили. Выясните, какие метрики Kafka стоит мониторить и как по ним понять, что что-то идёт не так.
Очень полезный доклад, спасибо!
Толковый доклад, большое спасибо !
Отличный доклад, благодарю
спасибо, интересный доклад! :)
Спасибо, интересный доклад!
отличный доклад. про мониторинг - полезно
По существу )
Похмелье, это зло)))
Потерю данных при переизбрании лидеров лучше было бы продемонстрировать на примере split-brain, а то непонятно как это происходит. RF=3 и ISR=2 это на самом деле про нечетное количество членов в кворуме, RF всегда должен быть нечетным.
А нафига тут в кафке нужна репликация вообще, какие проблемы если у вас всё данные будут равномерно размазаны по всем нодам? А эта штука которая раз в 30 мин запускается, просто или одновременно или по очереди коннектится к каждой да выкачивает всё.
это все в книге есть по кафке
Отличный доклад, спасибо!
P.S.: Воду лучше пить из стакана или отключать микрофон. Эти звуки выбешивают не только доктора Хауса:)
Для людей не знакомых с Kafka слушать довольно тяжело
Зафетчены значит забраны?..
верно
Ребята из рамблера, отправьте докладчика к логопеду, это ужасно
странный немного доклад. автор так упоролся в "exactly once" и даже не объяснил, зачем ему оно надо
15:06
@@riversong9841 это не объяснение, зачем ему это надо, а объяснение, что означает exactly once
ack.=acknowledge [ək'nɒlıdʒ] -
1. признавать, допускать; сознавать
2. узнавать, опознавать, распознавать; признавать
3. подтверждать (получение чего-л.)
fetch [feʧ] -
1.1)а) принести, достать;
б) сходить за кем-л., позвать кого-л.; приглашать
2)а) = fetch up достигать, добиваться
б) приносить доход, зарабатывать
Semantic [sı'mæntık] - смысловой, Значение.
Чувак воды пьет много с бодунища после пивка?)
доклад интересный, но бесконечные паразитные "а" между словами задалбывают
11:55 Все время просмотра я переживал чтобы автор не умер ...
Человек преподносит действительно важную и передовую информацию о современных решениях, а вы замечаете только его проблемы с желудком. Еще и пытаетесь хохмить на этот счет. Это ведь так смешно, да? Ничтожнее этого я мало что в жизни видел, посылаю вам лучи поноса.
Данный коммент показывает на сколько скуден ваш внутренний мир
Unclean [ʌn'kli:n] -
1. 1) нечистый, грязный; поганый
2) неопрятный, неряшливый
2. нечистый (о пище)
3. аморальный, непристойный