권남

사용자 도구

사이트 도구

추적:
kafka

차이

문서의 선택한 두 판 사이의 차이를 보여줍니다.

차이 보기로 링크

양쪽 이전 판 이전 판
다음 판 		이전 판
kafka [2022/03/31 14:16]
kwon37xi [docker wurstmeister] 		kafka [2024/06/07 08:48] (현재)
kwon37xi
줄 4: 줄 4:
   * [[https://github.com/yahoo/kafka-manager|Kafka Manager]]   * [[https://github.com/yahoo/kafka-manager|Kafka Manager]]
   * [[https://github.com/ptgoetz/logback-kafka|logback-kafka]]   * [[https://github.com/ptgoetz/logback-kafka|logback-kafka]]
 +  * [[kafka:burrow|Burrow]]
  
 ===== docker wurstmeister ===== ===== docker wurstmeister =====
   * [[https://github.com/wurstmeister/kafka-docker/blob/master/README.md|wurstmeister/kafka-docker: Dockerfile for Apache Kafka]]   * [[https://github.com/wurstmeister/kafka-docker/blob/master/README.md|wurstmeister/kafka-docker: Dockerfile for Apache Kafka]]
 +  * **Apple Silicon M1 에서 문제 발생함.**
   * https://hub.docker.com/r/wurstmeister/kafka/   * https://hub.docker.com/r/wurstmeister/kafka/
 +  * https://raw.githubusercontent.com/wurstmeister/kafka-docker/master/docker-compose.yml 를 기본 참조하여 작성
   * ''/opt/kafka/bin/kafka-console-*.sh'' 로 여러 명령을 해볼 수 있다.   * ''/opt/kafka/bin/kafka-console-*.sh'' 로 여러 명령을 해볼 수 있다.
   * Kafka 버전에 따라 옵션이 다르므로 확인 할것.   * Kafka 버전에 따라 옵션이 다르므로 확인 할것.
줄 16: 줄 19:
 # producer - console 에 타이핑하고 엔터 누르면 전송됨. # producer - console 에 타이핑하고 엔터 누르면 전송됨.
 # --batch-size 0 으로 줘야 타이핑 즉시 전송됨. # --batch-size 0 으로 줘야 타이핑 즉시 전송됨.
-docker exec -it bmart-platform-kafka /opt/kafka/bin/kafka-console-producer.sh\+/opt/kafka/bin/kafka-console-producer.sh\
     --broker-list localhost:9092 --topic <topic-name> --batch-size 0     --broker-list localhost:9092 --topic <topic-name> --batch-size 0
  
줄 23: 줄 26:
     --topic <topic-name>     --topic <topic-name>
 </code> </code>
-===== docker bitnami =====+===== docker 기타 =====
   * https://hub.docker.com/r/bitnami/kafka   * https://hub.docker.com/r/bitnami/kafka
 +  * https://github.com/conduktor/kafka-stack-docker-compose
 +
 +===== 처리량 =====
 +  * [[https://d2.naver.com/helloworld/7181840|Kafka에서 파티션 증가 없이 동시 처리량을 늘리는 방법 - Parallel Consumer]]
  
 ===== 참고 ===== ===== 참고 =====
줄 38: 줄 45:
   * [[https://www.kai-waehner.de/blog/2022/01/04/when-not-to-use-apache-kafka/|When NOT to use Apache Kafka? - Kai Waehner]]   * [[https://www.kai-waehner.de/blog/2022/01/04/when-not-to-use-apache-kafka/|When NOT to use Apache Kafka? - Kai Waehner]]
   * [[https://voidmainvoid.tistory.com/473|카프카 커넥트의 태스크 밸런싱 로직, DistributedHerder(양치기) 그리고 IncrementalCooperativeAssignor 내부 동작 소개]]   * [[https://voidmainvoid.tistory.com/473|카프카 커넥트의 태스크 밸런싱 로직, DistributedHerder(양치기) 그리고 IncrementalCooperativeAssignor 내부 동작 소개]]
 +  * [[https://medium.com/@greg.shiny82/%EC%8B%A4%EB%AC%B4-%EA%B4%80%EC%A0%90%EC%97%90%EC%84%9C%EC%9D%98-apache-kafka-%ED%99%9C%EC%9A%A9-023d468f9182|실무 관점에서의 Apache Kafka 활용. 이 글은 Apache Kafka 간략하게 살펴보기 에 이어서 “실무… | by Greg Lee | Dec, 2023 | Medium]]
 +  * [[https://www.youtube.com/watch?v=7_VdIFH6M6Q&ab_channel=kakaotech|신뢰성 있는 카프카 애플리케이션을 만드는 3가지 방법 (최원영 Cory) - YouTube]]
kafka.1648703797.txt.gz · 마지막으로 수정됨: 2022/03/31 14:16 저자 kwon37xi

문서 도구

별도로 명시하지 않을 경우, 이 위키의 내용은 다음 라이선스에 따라 사용할 수 있습니다: CC Attribution-Share Alike 4.0 International
CC Attribution-Share Alike 4.0 International Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki