====== Kafka ======

===== 관련 도구 =====
  * [[https://github.com/yahoo/kafka-manager|Kafka Manager]]
  * [[https://github.com/ptgoetz/logback-kafka|logback-kafka]]

===== docker wurstmeister =====
  * [[https://github.com/wurstmeister/kafka-docker/blob/master/README.md|wurstmeister/kafka-docker: Dockerfile for Apache Kafka]]
  * **Apple Silicon M1 에서 문제 발생함.**
  * https://hub.docker.com/r/wurstmeister/kafka/
  * https://raw.githubusercontent.com/wurstmeister/kafka-docker/master/docker-compose.yml 를 기본 참조하여 작성
  * ''/opt/kafka/bin/kafka-console-*.sh'' 로 여러 명령을 해볼 수 있다.
  * Kafka 버전에 따라 옵션이 다르므로 확인 할것.
<code sh>
docker exec -it docker-kafka /bin/bash
cd /opt/kafka/bin

# producer - console 에 타이핑하고 엔터 누르면 전송됨.
# --batch-size 0 으로 줘야 타이핑 즉시 전송됨.
/opt/kafka/bin/kafka-console-producer.sh\
    --broker-list localhost:9092 --topic <topic-name> --batch-size 0

# consumer - 여러개 consume 못함.
/opt/kafka/bin/kafka-console-consumer.sh  --bootstrap-server localhost:9092\
    --topic <topic-name>
</code>
===== docker 기타 =====
  * https://hub.docker.com/r/bitnami/kafka
  * https://github.com/conduktor/kafka-stack-docker-compose

===== 처리량 =====
  * [[https://d2.naver.com/helloworld/7181840|Kafka에서 파티션 증가 없이 동시 처리량을 늘리는 방법 - Parallel Consumer]]

===== 참고 =====
  * [[http://readme.skplanet.com/?p=13042|Kafka New Producer API를 활용한 유실 없는 비동기 데이터 전송]]
  * [[http://www.popit.kr/kafka-%EC%9A%B4%EC%98%81%EC%9E%90%EA%B0%80-%EB%A7%90%ED%95%98%EB%8A%94-producer-acks/|Kafka 운영자가 말하는 Producer ACKS]]
  * [[http://readme.skplanet.com/?p=13802|Streaming Platform으로써의 Apache Kafka]]
  * [[https://www.javacodegeeks.com/2018/05/spring-apache-kafka-tutorial.html|Spring Apache Kafka Tutorial | Java Code Geeks - 2018]]
  * [[https://www.popit.kr/%EC%B9%B4%ED%94%84%EC%B9%B4-%EC%84%A4%EC%B9%98-%EC%8B%9C-%EA%B0%80%EC%9E%A5-%EC%A4%91%EC%9A%94%ED%95%9C-%EC%84%A4%EC%A0%95-4%EA%B0%80%EC%A7%80/|카프카 설치 시 가장 중요한 설정 4가지 | Popit]]
  * [[https://www.popit.kr/%EC%B9%B4%ED%94%84%EC%B9%B4-%EC%84%9C%EB%B2%84-%EB%94%94%EC%8A%A4%ED%81%AC-%EC%B5%9C%EC%A0%81%ED%99%94/|카프카 서버 디스크 최적화 | Popit]]
  * [[https://d2.naver.com/helloworld/6560422|KafkaProducer Client Internals]]
  * [[https://www.baeldung.com/spring-boot-kafka-testing|Testing Kafka and Spring Boot | Baeldung]]
  * [[https://alden-kang.tistory.com/24|Logstash의 Kafka Input 성능 개선 이야기]]
  * [[https://www.kai-waehner.de/blog/2022/01/04/when-not-to-use-apache-kafka/|When NOT to use Apache Kafka? - Kai Waehner]]
  * [[https://voidmainvoid.tistory.com/473|카프카 커넥트의 태스크 밸런싱 로직, DistributedHerder(양치기) 그리고 IncrementalCooperativeAssignor 내부 동작 소개]]
  * [[https://medium.com/@greg.shiny82/%EC%8B%A4%EB%AC%B4-%EA%B4%80%EC%A0%90%EC%97%90%EC%84%9C%EC%9D%98-apache-kafka-%ED%99%9C%EC%9A%A9-023d468f9182|실무 관점에서의 Apache Kafka 활용. 이 글은 Apache Kafka 간략하게 살펴보기 에 이어서 “실무… | by Greg Lee | Dec, 2023 | Medium]]