kafka

차이

문서의 선택한 두 판 사이의 차이를 보여줍니다.

차이 보기로 링크

--- kafka [2022/03/30 22:40]
kwon37xi
+++ kafka [2023/12/19 13:31] (현재)
kwon37xi
@@ 줄 5: / 줄 5: @@
   * [[https://github.com/ptgoetz/logback-kafka|logback-kafka]]
-===== docker =====
+===== docker wurstmeister =====
-  * https://hub.docker.com/r/bitnami/kafka
   * [[https://github.com/wurstmeister/kafka-docker/blob/master/README.md|wurstmeister/kafka-docker: Dockerfile for Apache Kafka]]
+  * **Apple Silicon M1 에서 문제 발생함.**
   * https://hub.docker.com/r/wurstmeister/kafka/
+  * https://raw.githubusercontent.com/wurstmeister/kafka-docker/master/docker-compose.yml 를 기본 참조하여 작성
+  * ''/opt/kafka/bin/kafka-console-*.sh'' 로 여러 명령을 해볼 수 있다.
+  * Kafka 버전에 따라 옵션이 다르므로 확인 할것.
+<code sh>
+docker exec -it docker-kafka /bin/bash
+cd /opt/kafka/bin
+# producer - console 에 타이핑하고 엔터 누르면 전송됨.
+# --batch-size 0 으로 줘야 타이핑 즉시 전송됨.
+/opt/kafka/bin/kafka-console-producer.sh\
+    --broker-list localhost:9092 --topic <topic-name> --batch-size 0
+# consumer - 여러개 consume 못함.
+/opt/kafka/bin/kafka-console-consumer.sh  --bootstrap-server localhost:9092\
+    --topic <topic-name>
+</code>
+===== docker 기타 =====
+  * https://hub.docker.com/r/bitnami/kafka
+  * https://github.com/conduktor/kafka-stack-docker-compose
+===== 처리량 =====
+  * [[https://d2.naver.com/helloworld/7181840|Kafka에서 파티션 증가 없이 동시 처리량을 늘리는 방법 - Parallel Consumer]]
 ===== 참고 =====
@@ 줄 22: / 줄 44: @@
   * [[https://www.kai-waehner.de/blog/2022/01/04/when-not-to-use-apache-kafka/|When NOT to use Apache Kafka? - Kai Waehner]]
   * [[https://voidmainvoid.tistory.com/473|카프카 커넥트의 태스크 밸런싱 로직, DistributedHerder(양치기) 그리고 IncrementalCooperativeAssignor 내부 동작 소개]]
+  * [[https://medium.com/@greg.shiny82/%EC%8B%A4%EB%AC%B4-%EA%B4%80%EC%A0%90%EC%97%90%EC%84%9C%EC%9D%98-apache-kafka-%ED%99%9C%EC%9A%A9-023d468f9182|실무 관점에서의 Apache Kafka 활용. 이 글은 Apache Kafka 간략하게 살펴보기 에 이어서 “실무… | by Greg Lee | Dec, 2023 | Medium]]

kafka.1648647640.txt.gz · 마지막으로 수정됨: 2022/03/30 22:40 저자 kwon37xi