사용자 도구

사이트 도구


kafka

차이

문서의 선택한 두 판 사이의 차이를 보여줍니다.

차이 보기로 링크

양쪽 이전 판 이전 판
다음 판
이전 판
kafka [2018/05/31 13:46]
kwon37xi
kafka [2023/12/19 13:31] (현재)
kwon37xi
줄 4: 줄 4:
   * [[https://github.com/yahoo/kafka-manager|Kafka Manager]]   * [[https://github.com/yahoo/kafka-manager|Kafka Manager]]
   * [[https://github.com/ptgoetz/logback-kafka|logback-kafka]]   * [[https://github.com/ptgoetz/logback-kafka|logback-kafka]]
 +
 +===== docker wurstmeister =====
 +  * [[https://github.com/wurstmeister/kafka-docker/blob/master/README.md|wurstmeister/kafka-docker: Dockerfile for Apache Kafka]]
 +  * **Apple Silicon M1 에서 문제 발생함.**
 +  * https://hub.docker.com/r/wurstmeister/kafka/
 +  * https://raw.githubusercontent.com/wurstmeister/kafka-docker/master/docker-compose.yml 를 기본 참조하여 작성
 +  * ''/opt/kafka/bin/kafka-console-*.sh'' 로 여러 명령을 해볼 수 있다.
 +  * Kafka 버전에 따라 옵션이 다르므로 확인 할것.
 +<code sh>
 +docker exec -it docker-kafka /bin/bash
 +cd /opt/kafka/bin
 +
 +# producer - console 에 타이핑하고 엔터 누르면 전송됨.
 +# --batch-size 0 으로 줘야 타이핑 즉시 전송됨.
 +/opt/kafka/bin/kafka-console-producer.sh\
 +    --broker-list localhost:9092 --topic <topic-name> --batch-size 0
 +
 +# consumer - 여러개 consume 못함.
 +/opt/kafka/bin/kafka-console-consumer.sh  --bootstrap-server localhost:9092\
 +    --topic <topic-name>
 +</code>
 +===== docker 기타 =====
 +  * https://hub.docker.com/r/bitnami/kafka
 +  * https://github.com/conduktor/kafka-stack-docker-compose
 +
 +===== 처리량 =====
 +  * [[https://d2.naver.com/helloworld/7181840|Kafka에서 파티션 증가 없이 동시 처리량을 늘리는 방법 - Parallel Consumer]]
  
 ===== 참고 ===== ===== 참고 =====
줄 10: 줄 37:
   * [[http://readme.skplanet.com/?p=13802|Streaming Platform으로써의 Apache Kafka]]   * [[http://readme.skplanet.com/?p=13802|Streaming Platform으로써의 Apache Kafka]]
   * [[https://www.javacodegeeks.com/2018/05/spring-apache-kafka-tutorial.html|Spring Apache Kafka Tutorial | Java Code Geeks - 2018]]   * [[https://www.javacodegeeks.com/2018/05/spring-apache-kafka-tutorial.html|Spring Apache Kafka Tutorial | Java Code Geeks - 2018]]
 +  * [[https://www.popit.kr/%EC%B9%B4%ED%94%84%EC%B9%B4-%EC%84%A4%EC%B9%98-%EC%8B%9C-%EA%B0%80%EC%9E%A5-%EC%A4%91%EC%9A%94%ED%95%9C-%EC%84%A4%EC%A0%95-4%EA%B0%80%EC%A7%80/|카프카 설치 시 가장 중요한 설정 4가지 | Popit]]
 +  * [[https://www.popit.kr/%EC%B9%B4%ED%94%84%EC%B9%B4-%EC%84%9C%EB%B2%84-%EB%94%94%EC%8A%A4%ED%81%AC-%EC%B5%9C%EC%A0%81%ED%99%94/|카프카 서버 디스크 최적화 | Popit]]
 +  * [[https://d2.naver.com/helloworld/6560422|KafkaProducer Client Internals]]
 +  * [[https://www.baeldung.com/spring-boot-kafka-testing|Testing Kafka and Spring Boot | Baeldung]]
 +  * [[https://alden-kang.tistory.com/24|Logstash의 Kafka Input 성능 개선 이야기]]
 +  * [[https://www.kai-waehner.de/blog/2022/01/04/when-not-to-use-apache-kafka/|When NOT to use Apache Kafka? - Kai Waehner]]
 +  * [[https://voidmainvoid.tistory.com/473|카프카 커넥트의 태스크 밸런싱 로직, DistributedHerder(양치기) 그리고 IncrementalCooperativeAssignor 내부 동작 소개]]
 +  * [[https://medium.com/@greg.shiny82/%EC%8B%A4%EB%AC%B4-%EA%B4%80%EC%A0%90%EC%97%90%EC%84%9C%EC%9D%98-apache-kafka-%ED%99%9C%EC%9A%A9-023d468f9182|실무 관점에서의 Apache Kafka 활용. 이 글은 Apache Kafka 간략하게 살펴보기 에 이어서 “실무… | by Greg Lee | Dec, 2023 | Medium]]
kafka.1527741980.txt.gz · 마지막으로 수정됨: 2018/05/31 13:46 저자 kwon37xi