Kafka Cluster в Docker

Поділитися
Вставка
  • Опубліковано 2 жов 2024

КОМЕНТАРІ • 26

  • @deemoon_off
    @deemoon_off 2 місяці тому +1

    Отличное видео! Очень помогли. Хотелось бы увидеть запуск кафки с настройкой безопасности🙏🏼

    • @java-guru
      @java-guru  2 місяці тому +1

      Спасибо за отзыв!!!

  • @alexandr6055
    @alexandr6055 5 місяців тому +4

    Кстати вы не думали сделать некий промежуточный вариант, все таки курс стоит прилично, не у каждого найдется в кармане. Как на счёт условного бусти/патреона, где за подписку разных уровней какие-то бонусы для зрителей, всякие доп видео, может какие-то ваши советы, лонгриды, бест практис и прочее. Вот я уже отучился и работаю в компании, на курс я не пойду, но вашу работу уважаю и с удовольствием бы подписался для поддержки автора, думаю я такой не один здесь.

    • @java-guru
      @java-guru  5 місяців тому +3

      Я разберусь с как реализовать бусти, и скорее всего воспользуюсь вашим советом

  • @alexandr6055
    @alexandr6055 5 місяців тому +4

    Мистер Джава Гуру. Вся моя надежда на вас😅. Сделайте плиз плейлист по реализации кэша в спринг Бут проектах. В русском сегменте нормальных роликов нет, что по дефолтному Кешу спринга, что по редис или хазелу и остальным тем более. Такую задачу можно доверить только лучшим - то есть вам! 🤝

    • @unknownunknown-os4ue
      @unknownunknown-os4ue 5 місяців тому

      у ильи лисова посмотри

    • @alexandr6055
      @alexandr6055 4 місяці тому

      @@unknownunknown-os4ue мне у него не очень нравится, там вроде самый первый проект с редисом. Он прям очень поверхностно про редис рассказал там

  • @milordplus
    @milordplus 3 місяці тому +4

    Спасибо за классный курс! Есть неточность, с которой пришлось повозиться) Для параметра KAFKA_CFG_ADVERTISED_LISTENERS: PLAINTEXT - нужно указывать хост пода, т.е. kafka1/kafka2/kafka3. А в примере для всех указан один kafka1.

    • @thereal_do
      @thereal_do 3 місяці тому

      да, тоже с ней пришлось посидеть. 30% лишь записывало инфу. Корректный docker-compose:
      version: "3.8"
      services:
      kafka-1:
      image: bitnami/kafka:latest
      ports:
      - "9092:9092"
      environment:
      - KAFKA_CFG_NODE_ID=1
      - KAFKA_KRAFT_CLUSTER_ID=JPXseuBFRN6s2acQY5Nqkw
      - KAFKA_CFG_PROCESS_ROLES=controller,broker
      - KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=1@kafka-1:9091,2@kafka-2:9091,3@kafka-3:9091
      - KAFKA_CFG_LISTENERS=PLAINTEXT://:9090,CONTROLLER://:9091,EXTERNAL://:9092
      - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://kafka-1:9090,EXTERNAL://${HOSTNAME:-localhost}:9092
      - KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,EXTERNAL:PLAINTEXT,PLAINTEXT:PLAINTEXT
      - KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER
      - KAFKA_CFG_INTER_BROKER_LISTENER_NAME=PLAINTEXT
      volumes:
      - /Users/dimao/IdeaProjects/microservice/volumes/server-1/:/bitnami/kafka
      kafka-2:
      image: bitnami/kafka:latest
      ports:
      - "9094:9094"
      environment:
      - KAFKA_CFG_NODE_ID=2
      - KAFKA_KRAFT_CLUSTER_ID=JPXseuBFRN6s2acQY5Nqkw
      - KAFKA_CFG_PROCESS_ROLES=controller,broker
      - KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=1@kafka-1:9091,2@kafka-2:9091,3@kafka-3:9091
      - KAFKA_CFG_LISTENERS=PLAINTEXT://:9090,CONTROLLER://:9091,EXTERNAL://:9094
      - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://kafka-2:9090,EXTERNAL://${HOSTNAME:-localhost}:9094
      - KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,EXTERNAL:PLAINTEXT,PLAINTEXT:PLAINTEXT
      - KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER
      - KAFKA_CFG_INTER_BROKER_LISTENER_NAME=PLAINTEXT
      volumes:
      - /Users/dimao/IdeaProjects/microservice/volumes/server-2/:/bitnami/kafka
      kafka-3:
      image: bitnami/kafka:latest
      ports:
      - "9096:9096"
      environment:
      - KAFKA_CFG_NODE_ID=3
      - KAFKA_KRAFT_CLUSTER_ID=JPXseuBFRN6s2acQY5Nqkw
      - KAFKA_CFG_PROCESS_ROLES=controller,broker
      - KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=1@kafka-1:9091,2@kafka-2:9091,3@kafka-3:9091
      - KAFKA_CFG_LISTENERS=PLAINTEXT://:9090,CONTROLLER://:9091,EXTERNAL://:9096
      - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://kafka-3:9090,EXTERNAL://${HOSTNAME:-localhost}:9096
      - KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,EXTERNAL:PLAINTEXT,PLAINTEXT:PLAINTEXT
      - KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER
      - KAFKA_CFG_INTER_BROKER_LISTENER_NAME=PLAINTEXT
      volumes:
      - /Users/dimao/IdeaProjects/microservice/volumes/server-3/:/bitnami/kafka

    • @java-guru
      @java-guru  2 місяці тому

      Да, спасибо за поправку, без этого реплики будут выходить их синхрона

  • @LuchkinDS
    @LuchkinDS 4 місяці тому +1

    добрый день! спасибо за серию отличную роликов по kafka. рассмотрите, пожалуйста, возможность создания подобной серии по NATS.

    • @java-guru
      @java-guru  2 місяці тому

      добрый день, спасибо за коммент, подумаю)

  • @luffikun09
    @luffikun09 5 місяців тому +8

    это не курс! ЭТО ЗОЛОТО!

    • @java-guru
      @java-guru  4 місяці тому +1

      Большое спасибо за отзыв!)

  • @АлексейЛойко-ы3в
    @АлексейЛойко-ы3в 6 місяців тому +4

    спасибо за труд!

    • @java-guru
      @java-guru  6 місяців тому +1

      Спасибо)

  • @inavto927
    @inavto927 4 місяці тому +2

    Привет, отличный плейлист про Kafka!. Будет ли на канале(или рассматриваете возможность) сделать видео про oauth 2.0 ?

    • @java-guru
      @java-guru  4 місяці тому +2

      Мы проходим oauth на курсе java developer, возможно снимем видео в дальнейшем, сейчас по плану снять spring cloud

  • @webicode
    @webicode Місяць тому

    Спасибо за курс !!! Подскажите пожалуйста, пробовал по разному, и на разных машинах, то в логах всегда вижу: "" WARN [AdminClient clientId=adminclient-1] Connection to node 2 (localhost/127.0.0.1:9094) could not be established. Node may not be available. (org.apache.kafka.clients.NetworkClient) и WARN [AdminClient clientId=adminclient-1] Connection to node 3 (localhost/127.0.0.1:9096) could not be established. Node may not be available. (org.apache.kafka.clients.NetworkClient) "". Что может быть не так в настройках ?

    • @java-guru
      @java-guru  Місяць тому

      настройки прикреплены в описании к видео, попробуйте сверить. Только warn, ошибок нет? Работает?

  • @pussy_ace1019
    @pussy_ace1019 5 місяців тому +3

    Супер ❤🎉
    Хочется увидеть видео как сделать максимально правильное тестирование и написание автотестов на Кафке

  • @realyte6861
    @realyte6861 6 місяців тому +3

    Супер как всегда!

    • @java-guru
      @java-guru  6 місяців тому +1

      Спасибо!

  • @webicode
    @webicode Місяць тому

    На 5:55 по времени чтото кажется не так ) Указан 9090 порт а в разговоре говорится что 9091. Что в итоге является верным ? На 11:07 тоже несоответствует со сказаным.

    • @java-guru
      @java-guru  Місяць тому +1

      Под видео прикреплен docker-compose.yaml

  • @НИКИТАЭпов-э6з
    @НИКИТАЭпов-э6з 4 місяці тому

    Подскажите у меня есть два микросервиса: продюсер и консюмер.
    Хочу их обернуть в докер
    Кафку в докер добавлять только в один микросервис или в два(напрмер только в продьюсер)?
    Вроде как достаточно один чтобы она запустилась, но а если выкидывать в продакшен, значит у нас полностью окружение должно настроено быть с кафкой как и проьюсере так и консьюмере
    Заранее спасибо)