@최윤호님, 주키퍼는 3대 이상의 서버에 앙상블로 설치하면 되고 카프카는 필요한 브로커 개수만큼 운영하시면 됩니다~! AWS에 EC2 클러스터로 설치하는방법은 blog.voidmainvoid.net/325?category=698302 를 참고하시면 됩니다. 주키퍼 앙상블 설치 방법은 zookeeper.apache.org/doc/r3.1.2/zookeeperAdmin.html#sc_zkMulitServerSetup 를 참고하시면 됩니다~!
안녕하세요 @Jeongjin Park님, topic별 lag을 대시보드형태로 보실 때 elasticsearch로 수집하면 grafana 또는 kibana를 통해 대시보드 형태로 즉시 확인 가능합니다. 관련 구축 방법은 아래 링크를 참고해주세요. blog.voidmainvoid.net/279
zookeeper를 커맨드 그래도 실행했는데 실행이 안되어 로그를 보니 zookeeper-gc.log 파일에 no shared space configured 라고 나오고 zookeeper.out 에는 java exception 에러가 나네요. 별도의 configure를 해줘야 하는걸까요??
안녕하세요, 카프카 입문해보고 싶어서 따라하고있는데 이제 t2.micro 는 아마존에서 프리티어로 지원하지 않는건가요? 동영상과 같은 AMI를 선택했는데 프리티어로 지원하는 t2.micro는 비활성화 돼있고 t3.nano부터 설정할수있게 돼있어서요.. ㅠㅠ t3.micro로 하면 시간당 0.013$ 정도 비용이 드는걸로 나와있는데 실습하는데 비용이 많이 들어갈까요?
빛과 같은 강의네요. 너무 유익했습니다.
@강성현 님, 잘봐주셔서 감사합니다 :)
너무 감사합니다!!
강사님 내용 잘 듣고 있 습니다.
복수의 서버 운영에 대하여 카프카 및 주키퍼등 등 모든 서버에도 동일 하게 카프카를 설치하나요?.
관련하여 복수 서버 운영 설치 가이드가 있으면 소개 해주세요.
X'PACK도 같이 모든 서버에 동일하게 설치하나요...
@최윤호님, 주키퍼는 3대 이상의 서버에 앙상블로 설치하면 되고 카프카는 필요한 브로커 개수만큼 운영하시면 됩니다~!
AWS에 EC2 클러스터로 설치하는방법은 blog.voidmainvoid.net/325?category=698302 를 참고하시면 됩니다.
주키퍼 앙상블 설치 방법은 zookeeper.apache.org/doc/r3.1.2/zookeeperAdmin.html#sc_zkMulitServerSetup 를 참고하시면 됩니다~!
안녕하세요 ssh접속할때 질문이있는데요
ssh -i abcd.pem ec2-user 123.456
이렇게해서 ssh접속을 하는데
abcd.pem은 개인키를 쓰는데 123.456은 왜 퍼블릭ip를 쓰는건가요…?
abcd.pem도 개인키말고 공개키를 써야 짝이맞는거아닌가요??
유익한 강좌 감사합니다. :)
혹시 kafka-consumer-groups --describe 내용처럼
topic별 lag 상태를 웹 대시보드 형식으로 보려고 할 때 추천해줄만한 방법이 있으실까요 ㅎ..ㅎ
안녕하세요 @Jeongjin Park님, topic별 lag을 대시보드형태로 보실 때 elasticsearch로 수집하면 grafana 또는 kibana를 통해 대시보드 형태로 즉시 확인 가능합니다. 관련 구축 방법은 아래 링크를 참고해주세요.
blog.voidmainvoid.net/279
데브원영 DevWonYoung
grafana로 해봐야겠네요
감사합니다 ㅎㅎ 혹시 사내에서도 lag 모니터링을 대시보드 형태로 하고 계신가요?
넵 랙모니터링을 그라파나를 통해 하고 있습니다!
안녕하세요. 카프카 입문자입니다.
로컬PC에서 /kafka-console-producer.sh --bootstrap-server [ec2 ip 주소]:9092 --topic test
안녕하세요 항상 영상 잘보고 있습니다 ,,,!
다름이 아니라 저는 데이터 엔지니어로의 길을 항상 갈망하고 꿈꾸는 전자공학과 학생입니다 ! 그에 관해 궁금한게 있는데 혹시 메일로 여쭤봐도 될까요? 된다면 메일주소를 알려주시면 감사하겠습니당 !
안녕하세요 @김김찬문 님, 연락처는 PC유튜브의 ua-cam.com/users/c%EB%8D%B0%EB%B8%8C%EC%9B%90%EC%98%81DevWonYoung/about 링크에서 확인하실 수 있습니다. 감사합니다.
안녕하세요 ! 카프카 공부를 열심히 하고있는 학생입니다. 근데 저는 12 번을 수행해도 아무것도 다운이 안되던데.. 혹시 이유가 있을까요?
3H님, 12번에 있던 네이버 다운로드 경로가 막혔습니다. kafka.apache.org/downloads.html 에서 binary download 중에 선택하셔서 진행하시면됩니다.
zookeeper를 커맨드 그래도 실행했는데 실행이 안되어 로그를 보니 zookeeper-gc.log 파일에 no shared space configured 라고 나오고 zookeeper.out 에는 java exception 에러가 나네요. 별도의 configure를 해줘야 하는걸까요??
stackoverflow를 찾아보니 실행되고 있는 자바 버전의 문제였네요ㅎㅎ 기존에 OS 이미지에 java 1.7 버전이 설치되어 있어서 그냥 스킵했더니 그런 에러가 나는군요~ ㅎㅎ 혹시나 다른 분들도 문제가 있으셨다면 참고하시길...
버전 update 하셔서 해결 하셨나요? ㅠ 로컬에서 kafka-broker-api!versions.sh --bootstrap-server ~~~ 하면
Java exception 에러 (request metadata failed on brokers list ) (id=-1) 에러가 떠요 ㅠㅠ
안녕하세요, 카프카 입문해보고 싶어서 따라하고있는데 이제 t2.micro 는 아마존에서 프리티어로 지원하지 않는건가요? 동영상과 같은 AMI를 선택했는데 프리티어로 지원하는 t2.micro는 비활성화 돼있고 t3.nano부터 설정할수있게 돼있어서요.. ㅠㅠ t3.micro로 하면 시간당 0.013$ 정도 비용이 드는걸로 나와있는데 실습하는데 비용이 많이 들어갈까요?
AWS의 요금 정책을 제가 정확히 몰라서 확답드리기 어렵네요. 로컬에서 따라하셔도 좋고 t3.nano로 진행하시고 실습 이후에 종료하시면 크게 금액이 많이 나오지 않을 겁니다 ㅎㅎ
로컬에서 kafka-broker-api!versions.sh --bootstrap-server ~~~ 하면
Java exception 에러 (request metadata failed on brokers list ) (id=-1) 에러가 뜨네요ㅠㅠ 깃헙
jy L님, 해당 에러는 카프카가 정상적으로 실행되고 있지 않거나 네트워크 이슈로 보여집니다. 보안그룹을 확인해보시고 public ip가 있는지 확인해주세요.