====== Kafka ====== ===== 관련 도구 ===== * [[https://github.com/yahoo/kafka-manager|Kafka Manager]] * [[https://github.com/ptgoetz/logback-kafka|logback-kafka]] * [[kafka:burrow|Burrow]] ===== docker wurstmeister ===== * [[https://github.com/wurstmeister/kafka-docker/blob/master/README.md|wurstmeister/kafka-docker: Dockerfile for Apache Kafka]] * **Apple Silicon M1 에서 문제 발생함.** * https://hub.docker.com/r/wurstmeister/kafka/ * https://raw.githubusercontent.com/wurstmeister/kafka-docker/master/docker-compose.yml 를 기본 참조하여 작성 * ''/opt/kafka/bin/kafka-console-*.sh'' 로 여러 명령을 해볼 수 있다. * Kafka 버전에 따라 옵션이 다르므로 확인 할것. docker exec -it docker-kafka /bin/bash cd /opt/kafka/bin # producer - console 에 타이핑하고 엔터 누르면 전송됨. # --batch-size 0 으로 줘야 타이핑 즉시 전송됨. /opt/kafka/bin/kafka-console-producer.sh\ --broker-list localhost:9092 --topic --batch-size 0 # consumer - 여러개 consume 못함. /opt/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092\ --topic ===== docker 기타 ===== * https://hub.docker.com/r/bitnami/kafka * https://github.com/conduktor/kafka-stack-docker-compose ===== 처리량 ===== * [[https://d2.naver.com/helloworld/7181840|Kafka에서 파티션 증가 없이 동시 처리량을 늘리는 방법 - Parallel Consumer]] ===== 참고 ===== * [[http://readme.skplanet.com/?p=13042|Kafka New Producer API를 활용한 유실 없는 비동기 데이터 전송]] * [[http://www.popit.kr/kafka-%EC%9A%B4%EC%98%81%EC%9E%90%EA%B0%80-%EB%A7%90%ED%95%98%EB%8A%94-producer-acks/|Kafka 운영자가 말하는 Producer ACKS]] * [[http://readme.skplanet.com/?p=13802|Streaming Platform으로써의 Apache Kafka]] * [[https://www.javacodegeeks.com/2018/05/spring-apache-kafka-tutorial.html|Spring Apache Kafka Tutorial | Java Code Geeks - 2018]] * [[https://www.popit.kr/%EC%B9%B4%ED%94%84%EC%B9%B4-%EC%84%A4%EC%B9%98-%EC%8B%9C-%EA%B0%80%EC%9E%A5-%EC%A4%91%EC%9A%94%ED%95%9C-%EC%84%A4%EC%A0%95-4%EA%B0%80%EC%A7%80/|카프카 설치 시 가장 중요한 설정 4가지 | Popit]] * [[https://www.popit.kr/%EC%B9%B4%ED%94%84%EC%B9%B4-%EC%84%9C%EB%B2%84-%EB%94%94%EC%8A%A4%ED%81%AC-%EC%B5%9C%EC%A0%81%ED%99%94/|카프카 서버 디스크 최적화 | Popit]] * [[https://d2.naver.com/helloworld/6560422|KafkaProducer Client Internals]] * [[https://www.baeldung.com/spring-boot-kafka-testing|Testing Kafka and Spring Boot | Baeldung]] * [[https://alden-kang.tistory.com/24|Logstash의 Kafka Input 성능 개선 이야기]] * [[https://www.kai-waehner.de/blog/2022/01/04/when-not-to-use-apache-kafka/|When NOT to use Apache Kafka? - Kai Waehner]] * [[https://voidmainvoid.tistory.com/473|카프카 커넥트의 태스크 밸런싱 로직, DistributedHerder(양치기) 그리고 IncrementalCooperativeAssignor 내부 동작 소개]] * [[https://medium.com/@greg.shiny82/%EC%8B%A4%EB%AC%B4-%EA%B4%80%EC%A0%90%EC%97%90%EC%84%9C%EC%9D%98-apache-kafka-%ED%99%9C%EC%9A%A9-023d468f9182|실무 관점에서의 Apache Kafka 활용. 이 글은 Apache Kafka 간략하게 살펴보기 에 이어서 “실무… | by Greg Lee | Dec, 2023 | Medium]] * [[https://www.youtube.com/watch?v=7_VdIFH6M6Q&ab_channel=kakaotech|신뢰성 있는 카프카 애플리케이션을 만드는 3가지 방법 (최원영 Cory) - YouTube]]