카프카, 레빗엠큐, 레디스 큐의 큰 차이점! 이벤트 브로커와 메시지 브로커에 대해 알아봅시다.
Вставка
- Опубліковано 6 тра 2021
- 이벤트 브로커와 메시지 브로커는 큰 차이점을 가지고 있는데요. 이벤트 브로커는 카프카, 키네시스를 예로 들 수 있고 메시지 브로커는 레디스 큐, 레빗엠큐를 예로 들 수 있습니다. 어떻게 다른지 한번 알아봅시다!
- 아파치 카프카 서적 구매 : www.yes24.com/Product/Goods/99...
- 데브원영 블로그 : blog.voidmainvoid.net/ - Наука та технологія
![[10분 테코톡] 🤔디디의 Redis](http://i.ytimg.com/vi/Gimv7hroM8A/mqdefault.jpg)
![[NHN FORWARD 2021] Redis 야무지게 사용하기](/img/n.gif)
이 동영상보고 그동안 사용만 하던 Redis랑 Apache Kafka의 틀이 잡히는 것 같아서 좋았습니다. 유익한 내용 감사합니다.
항상 좋은 내용 전달해주셔서 감사합니다.
정말 원했던 정보입니다. 감사합니다~!!
데브원영님 유튭도 하셨군요..! 블로그 잘 보고 있었습니다. 감사합니다!
좋은 영상 감사합니다
감사합니다!
근데 이 영상만 보면 이벤트 브로커가 기능이 더 많으니까 무조건 좋은것 같네요 ㅎㅎ
영상 감사히 보고 갑니다!! ㅎㅎ 고맙습니다
봐주셔서 감사합니다!
티셔츠 탐나네요 ㅋㅋㅋㅋㅋ 좋은 설명 감사합니다 !
윤님, 잘 봐주셔서 감사합니다^^
감사합니다
행님!! 고마와요!!
안녕하세요 원영님 영상 다 잘 챙겨보고있습니다 !
작성하신 책도 직접 확인해보고 싶었는데 탐스에 재고가없어서 아쉬웠네요 😓
데이터엔지니어의 직무특성 상 학부생이 해당 기술스택을 프로젝트에 녹여내기 쉽지않고, 경험을 쌓기 힘든 것 같습니다. 실제로 DE를 신입으로 뽑는 경우도 적은 것 같더라구요.
취준생으로써 해당직무를 어떤식으로 준비해야 메리트가 있을지 알고싶습니다.
(현재는 Coursera로 DE 관련 강의를 들으며 보충하고 백쪽으로 취업 후 중간에 진로를 틀까도 고민중입니다..)
안녕하세요 김준기님, 취준생으로 데이터 엔지니어를 준비하는 방법은 각양각색이지만, 제가 생각하는 방법은 아래와 같습니다.
- 컴퓨터 공학에 대한 역량
- 데이터 플랫폼과 아키텍처에 대한 이해
- 오픈소스 데이터 플랫폼 중 1개에 대한 상세한 이해도
- 여러 언어중 1개 이상 언어 완벽히 습득
정도로 준비하신다면 신입으로 데이터엔지니어 관련 직무에 도전하는데 문제 없을 것으로 보입니다! 아 물론 알고리즘 시험도 잘 준비하는것도 잊지 말으셔야합니다.
1
1
티셔츠 이쁘네요!!
좋은 정보 감사드립니다. 혹시 solace가 Kafka와 대비해서 좋은 점들이 있다고 하는데 의견 부탁드립니다.
좋은 영상 감사합니다! 실시간 데이터에 대해 순서를 보장하여 시각화하고 하루 단위로 삭제하고 싶을 때 Kafka(메시지큐) -> redis(캐시저장소) 로 저장 후 WAS 와 통신(하루 단위로 레디스 내 데이터 소멸) / 레디스 큐 단독사용 후 WAS 와 통신 시 차이점이 어떻게 될까요?
안녕하세요 조윤하님, 실시간 데이터를 순서를 보장하고 시각화 한다고 했을 때 카프카를 활용하게 되면 토픽에 있는 데이터는 목적에 따라 컨슈머 그룹을 나눌 수 있기 때문에 향후 확장성 측면에서 매우 유리하다고 볼수 있을 것 같아요.
다만, 굳이 비즈니스 상 그럴 필요가 없다면 카프카를 굳이 구축해야할까 생각이 드네요.
@@DevWonYoung 답변 감사드립니다. 영상 정말 잘 보고있습니다! 감사드려용
카프카는 순서보장이 안되지 않나요?
@이승천 님, 카프카에서 순서 보장을 하기 위해서는 토픽의 파티션을 1개만 사용하거나 레코드의 메시지 키를 사용하는 방식을 통해 순서 보장을 할 수 있습니다! [아파치 카프카 애플리케이션 프로그래밍 with 자바] 책의 프로듀서 중요 개념 설명에 관련 내용이 포함되어 있으니 참고부탁드려요 🙌
@@DevWonYoung 감사합니다 꼭 읽어 볼게요~~
잘봤어요! 그러면 두개의 역할을 하는 이벤트 브로커만 주로 쓰이나요 현업에서!? 굳이 메세지 브로커만 써야하는 상황이 따로 있나요!?
안녕하세요 YoungHun Jo님, 현업에서는 상황에 따라 다른것 같아요. 굳이 이벤트 단위 reprocessing이 필요 없고 오랫동안 적재되지 않아도 된다면 메시지 브로커를 쓰시는것 같구요. 기존에 카프카 클러스터를 사용하고 있다면 토픽만 만들어서 메시징 처리를 하기도 한답니다.
백엔드를 구축하고자 하는데 카프카와 래빗엠큐 등을 같이 활용하고자 한다면 성능이나 연동 등을 종합적으로 고려했을 때, 파이썬 백엔드 프레임 워크보다 자바쪽 프레임워크가 나을까요?
상황에 따라 다르기 때문에 이것이 낫다고 명확히 정하기는 어려울것 같습니다.
좋습니다
RabbitMQ도 Persistent 설정을 하게되면 메시지가 Broker에 남지 않는가요? 설정으로써 Event Broker처럼 동작하게 할수 있을것 같다고 생각합니다.
래빗앰큐도 메시지가 브로커에 남는 것은 맞습니다만, 이벤트 데이터로 취급하지 않으므로 특정 시간, 오프셋 별로 리플레이하지는 못한다는 점이 다르다고 보여집니다.
AMQ랑 카프카의 차이점은 무엇인가요?
Park June님, AMQ와 카프카의 큰 차이점은 AMQ는 메시지 브로커로 역할을 하는 것이고 카프카는 분산 이벤트 스트리밍 플랫폼으로서 데이터를 다룬다는 점이 가장 클거같아요. 상세한 비교는 stackoverflow.com/a/44792914/9634545 을 참고해주세요
저도 무슨 이야기인지 모르겠네요…
침착맨 폼 미쳐따...
외국에서 살다 오셨어요?
?
이거 저 때문에 찍은건 아니죠?
단일 진실 공급원이 무슨 소리일까요.... ? 조금 더 말을 부드럽게 해주시면 좋을 것 같아요 ㅠㅠ (부자연스럽게 느껴집니다)
천천히 또박또박 이야기 해주시는 건 정말 좋습니다!
단일 진실 공급원 = Single Source Of Truth = SSOT
아키텍쳐 분야 언어로, 해당 개념에 대한 정확한 표현입니다. 이것 말고는 다음과 같이 설명됩니다. 집약데이터의 축척은 한곳에서 담당하고, 데이터의 활용은 참조형식으로 다수에서 사용되는 형태.
카프카의 경우, 리드 브로커, 레플리카, 컨슈머 쪽을 참고하시면 단일진실공급원의 형태로 운영됩니다.
뭔소리인지 모르겠음. 책에서 나오는 개념적인 이야기를 말로 전하는 수준임.
😅 그림을 더 넣어볼게요 ㅎㅎ
설명 너무 쉽고 명료해요~ 원래 카프카라는거 자체가 주니어 개발자들한텐 생소할 수 밖에 없는 것 같아요
@@legel9559ㅎㅎ 제가 주니어 일까요?
이 정도면 엄청 쉽고 자세하게 설명하는데, 개발 공부를 더 하셔야할듯요