Андрей Серебрянский - Грузим в Kafka из базы: с CDC и без

Ближайшая конференция - Joker 2024, 9 октября (Online), 15-16 октября (Санкт-Петербург + трансляция).
Подробности и билеты: jrg.su/Ypf1HW
- -
Что, если каждое изменение из базы данных вам нужно транслировать в Kafka? Если в базе есть CDC - это отлично! А если нет? Какие подводные камни могут встретиться на пути? И даже если удалось настроить загрузку, как это правильно раскатать в большой организации с сотней команд?
Доклад будет сосредоточен на использовании Kafka Connect для забора данных из БД как с возможностью чтения WAL-логов, так и без нее. Посмотрим на неочевидные трудности, которые могут возникнуть в процессе:
- Что произойдет, если мастер-нода базы данных откажет?
- Как забрать данные из таблицы, если WAL-логи недоступны, а в ней даже нет тайм-стемпов?
- Как написать свой коннектор, если open source-вариантов недостаточно?
Обсудим особенности использования Kafka Connect на enterprise-уровне: как унифицировать метаданные, как деплоиться и откатываться из CI, как хранить секреты.
Как Platform Owner платформы потоковой обработки данных в Райффайзен Банке и дата-инженер с более чем пятилетним опытом, спикер поделится нюансами построения внутреннего PaaS-решения на больших объемах (десятки команд используют его, ежесекундно прогоняя тысячи сообщений).
Презентация к докладу: squidex.jugru.team/api/assets...

[@uivadim]

Спасибо! Взял на заметку несколько подходов

[@alexexnew]

Крайне интересный доклад. Отличная подача, грамотная речь.

[@ferzzzzzz]

на 20:28: откуда информация о сортировке по ключу?