안녕하세요!!! 카프카에 대한 영상 감사합니다. 카프카에 대한 배포환경에 대한 궁긍한것이 있어서 댓글을 남겨봅니다. 쿠버네티스 같은걸 쓰는 컨테이너 환경에서는 성능이나 디스크이슈 등등으로 카프카는 컨테이너환경으로 잘 안쓰고 있는걸로 압니다(틀리면 지적부탁드립니다). 그럼 aws 제품을 쓴다고 가정하고 msk를 안쓴다고 가정하고 ec2위에 kafka 클러스터를 구성한다고하면 브로커서버는 몇개로 가져가는지 이런걸 어떻게 계산하는 방법이란게 있을까요 ? ec2를 여러개띄워 클러스터로 연결하는건지 현업에서 많이 쓰는 방법이 궁금합니다.. 감사합니다!
안녕하세요! 컨테이너환경에서도 카프카 클러스터를 사용하는 사례가 나오고 있고 컨플루언트(사)에서도 카프카를 안전하게 k8s위에서 운영하기 위한 방안들을 제시해주고 있습니다! 그리고 아무래도 statefull하게 운영해야 안전하게 운영할 수 있는 카프카 클러스터 특성상(다른 메시지 큐들도 마찬가지지만) AWS에서 운영할 경우 EC2보다는 베어메탈이나 MSK를 사용하는 편이 좋습니다. 그리고 브로커 서버를 몇대로 가져갈지는 토픽의 리텐션기간과 저장, 전송 용량을 파악하셔서 EBS용량을 가져가면 됩니다~!
전송용량은 어떤 데이터를 보낼것인지? 호출량은 얼마나 되는지 측정하시면 더욱 쉽게 파악하실수 있습니다. 거기에 추가하여 토픽의 리텐션 기간까지 고려하시면 초기 용량 측정은 금방되실거라 믿습니다. 추후에 트래픽이 늘어나서 데이터양이 많아져도 걱정하실 필요는 없습니다. 모니터링을 통해 EBS용량이 어느정도 상승하게 되면 EBS를 늘리는 작업을 하면 됩니다. 카프카를 3개이상 브로커로 운영할 경우 1대의 브로커를 종료하더라도 나머지 카프카 브로커들이 파이프라인을 무중단으로 운영할 수 있습니다. 그러므로 롤링 업그레이드 방식으로 EBS용량을 업그레이드 하시면 즉각적인 대응이 가능합니다! 실제로 현업에서도 이렇게 모니터링을 통해 스케일아웃/인 을 한답니다. 댓글달아주셔서 감사해요~
좋은 강의 좋은 자료 모두 감사합니다. 카프카에 대한 개념을 잡고 실습까지 해볼 수 있을것 같습니다.
영상 정말 많은 도움이 되었습니다. 정말 감사합니다. ㅎㅎ 설명도 상세히 잘 말씀해주시고 완전 짱이에요 ㅎㅎ
잘봐주셔서 감사합니다🔥🥰
소중한 영상 정말 감사합니다. 여러번 돌려보고 공부하겠습니다! 카프카는 데브원영님이 최고예요 ㅠ.ㅠbbb
@최유진 님, 영상잘봐주셔서 감사합니다.
좋은 영상 감사합니다 ㅎㅎ
@Andone Kwon 님, 영상 잘봐주셔서 감사해요
드디어 다 봤습니다. 좋은 영상 너무 감사드립니다. 추천해주신 책은 사놓고 읽지 않고 있었는데 그것도 꼭 읽어보고 싶네요. 한 가지 질문이 저는 하둡에 데이터를 저장하는 방법으로 wifi를 활용하는데 컨슈머를 직접 개발하셔서 사용하시는지 문의드립니다.
강성현님, 영상 모두 보신다고 고생많으셨습니다! 하둡에 데이터를 저장하는 방법으로는 컨슈머를 직접 개발하여 비즈니스로직을 녹여 애플리케이션 단위로 운영하고 있습니다!
안녕하세요 원영님 혹시 강의 초반에 설명해주신 telegraf로 데이터를 카프카에 저장하고, 카프카에 저장된 데이터를 엘라스틱서치로 이동시키는 방법에 관한 글은 없을까요? 다른 영상에서 그라파나로 시각화하는 부분은 있는데, 이 부분이 없는것 같아서 댓글을 남깁니다
안녕하세요 @병종진 님, 텔레그래프로 보낸 데이터를 카프카에서 엘라스틱서치로 적재하는 애플리케이션 개발 및 운영에 관한 내용은 아직 공유하지 않았습니다. 준비되는대로 영상이나 또는 블로그 글로 공유하도록 할게요. 감사합니다.
안녕하세요 현재 카프카를 공부하고 있는 시청자 입니다.
Jmx를 가지고 java(spring혹은 eips)에서 브로커의 cpu 사용률을 구할수 있는 bean 이 있는지 알고싶습니다 ㅠㅠ
안녕하세요 장준하 님, 카프카 브로커의 정보를 JMX로 가져오고 싶으신것으로 이해했는데요. 해당부분은 JMX규격으로 직접 수집로직을 구현하시는것이 좋을것 같습니다. 댓글달아주셔서 감사합니다!
@@DevWonYoung 감사합니다 ㅠㅠ 카프카 jxm을 가지고 직접 엘라스틱 서치에 넣는게 너무 어려워서 힘들지만 이 영상 보고 힘을 얻습니다!!
안녕하세요!!! 카프카에 대한 영상 감사합니다. 카프카에 대한 배포환경에 대한 궁긍한것이 있어서 댓글을 남겨봅니다. 쿠버네티스 같은걸 쓰는 컨테이너 환경에서는 성능이나 디스크이슈 등등으로 카프카는 컨테이너환경으로 잘 안쓰고 있는걸로 압니다(틀리면 지적부탁드립니다). 그럼 aws 제품을 쓴다고 가정하고 msk를 안쓴다고 가정하고 ec2위에 kafka 클러스터를 구성한다고하면 브로커서버는 몇개로 가져가는지 이런걸 어떻게 계산하는 방법이란게 있을까요 ? ec2를 여러개띄워 클러스터로 연결하는건지 현업에서 많이 쓰는 방법이 궁금합니다.. 감사합니다!
안녕하세요! 컨테이너환경에서도 카프카 클러스터를 사용하는 사례가 나오고 있고 컨플루언트(사)에서도 카프카를 안전하게 k8s위에서 운영하기 위한 방안들을 제시해주고 있습니다! 그리고 아무래도 statefull하게 운영해야 안전하게 운영할 수 있는 카프카 클러스터 특성상(다른 메시지 큐들도 마찬가지지만) AWS에서 운영할 경우 EC2보다는 베어메탈이나 MSK를 사용하는 편이 좋습니다. 그리고 브로커 서버를 몇대로 가져갈지는 토픽의 리텐션기간과 저장, 전송 용량을 파악하셔서 EBS용량을 가져가면 됩니다~!
@@DevWonYoung 전송용량 같은걸 파악하는게 어렵지 않나여..? 트래픽 양에 따라 토픽이 늘어남에 따라 ebs용량도 늘어날텐데, ebs용량이 자동으로 늘어나는것도 아니고 어떤식으로 현업에서 예측하고 초기작업을 가져가는지 궁금합니다..
전송용량은 어떤 데이터를 보낼것인지? 호출량은 얼마나 되는지 측정하시면 더욱 쉽게 파악하실수 있습니다. 거기에 추가하여 토픽의 리텐션 기간까지 고려하시면 초기 용량 측정은 금방되실거라 믿습니다. 추후에 트래픽이 늘어나서 데이터양이 많아져도 걱정하실 필요는 없습니다. 모니터링을 통해 EBS용량이 어느정도 상승하게 되면 EBS를 늘리는 작업을 하면 됩니다. 카프카를 3개이상 브로커로 운영할 경우 1대의 브로커를 종료하더라도 나머지 카프카 브로커들이 파이프라인을 무중단으로 운영할 수 있습니다. 그러므로 롤링 업그레이드 방식으로 EBS용량을 업그레이드 하시면 즉각적인 대응이 가능합니다! 실제로 현업에서도 이렇게 모니터링을 통해 스케일아웃/인 을 한답니다.
댓글달아주셔서 감사해요~
@@DevWonYoung 친절한답변 감사합니다!
좋은 영상 감사합니다!