Kafka: carte des pièges à l’usage des développeurs et des ops (Emmanuel Bernard, Clement Escoffier)

D’apparence simplissime, Kafka cache une étonnante complexité. Dans cette université, nous vous proposons d’explorer la carte des pièges, monstres et trésors. Déjà du point de vue de l’application cliente et de ses développeurs: sérialisation, partitionnement dans un monde polyglotte, impact du rebalancement, retry et ordre, les politiques d’assignation, les commits et la perte de messages, le problème des DLQ, etc. Et ensuite du point de vue des opérations: comment configurer le cluster Kafka, comment valider qu’il fonctionne, quelles métriques sont utiles, comment sont gérées les garanties, quel est l’impact du partage des ressources entre Kafka et… un autre Kafka?
Cette université va vous faire découvrir les concepts avancés qui impactent le bon développement d’applications Kafka. Et parce qu’il faut mettre en prod un jour, nous découvrirons aussi comment un cloud provider gère sa flotte de Kafkas à l’échelle. Ce retour d’expérience vient du travail que Clément et Emmanuel ont fait autour du développement applicatif Kafka et de la gestion d’un Kafka dans le cloud.
Pièges de devs, pièges de prod, ils seront découverts autour d'un format recettes ludique et concret.
Emmanuel Bernard :
Emmanuel est Java Champion, Distinguished Engineer et Chief Architect services cloud applicatifs chez Red Hat. Son travail est Open Source. Il est connu pour ses contributions et sa direction des projets Quarkus, Hibernate ainsi qu'à ses contributions aux standards Java.
Son aventure la plus récente est la construction d'un Kafka as a service managé par les équipes Red Hat
Il parle régulièrement dans des conférences et JUGs notamment JavaOne, Red Hat Summit et Devoxx. Il est l'hôte de plusieurs podcasts et notamment Les Cast Codeurs.
Clement Escoffier :
Clement Escoffier (@clementplop) is a senior principal software engineer at Red Hat. He is a Java Champion, author, and also acts as a Reactive Architect at Red Hat. Before joining Red Hat, Clement had several professional lives, from academic positions to management. Clement has always been interested in software engineering, distributed systems, and event-driven architectures. More recently, he focused on Reactive Systems, Cloud-Native applications, and Kubernetes. Clement is an active contributor to many open-source projects such as Apache Felix, Eclipse Vert.x, SmallRye, Mutiny, and Quarkus.

[@DJjetseb]

producer: de 2:22 à 19:52
ack, ordering & retries: de 30:03 à 41:05
consumer: de 58:04 à 1:18:10
rebalance: de 2:03:05 à 2:19:12