전체 글 338
MirrorMaker2 Basic

목차 [참조] mirrorMaker2 내용: https://devidea.tistory.com/112 mirrorMaker2 내용 + 구동방법: https://blog.voidmainvoid.net/293 mirrorMaker2 구동방식 분석: https://devidea.tistory.com/107 MirrorMaker1의 한계점과 2 release: https://devidea.tistory.com/70 MirrorMaker2의 성능테스트: https://devocean.sk.com/blog/techBoardDetail.do?ID=164371 MirrorMaker2 전체적인 정리 Part1: https://www.instaclustr.com/blog/kafka-mirrormaker-2-theory/ ..
Kafka 2023.07.24

MirrorMaker2 - 테스트

목차 MirrorMaker2 설정 정리 참조: https://godekdls.github.io/Apache%20Kafka/geo-replication/ (MirrorMaker2 부분) [MirrorSourceConnector] 기본 조건 active-passive 상황으로 가정한다. source: source-dev (active) target: target-dev (passive) 토픽명: jaeshim-mirror-20230724 (파티션5) Configurations 설정값 설명 Default refresh.topics.enabled 주기적으로 새 토픽을 확인할 지 여부 true refresh.topics.interval.seconds 새 토픽 확인 주기 6000 (10분) source.cluste..
Kafka 2023.07.24

클러스터간 메시지 복제

목차 카프카 클러스터간 복제를 하는 방법은 다양한 듯 한데, 어떤 방법과 도구를 사용하는 것이 좋을지 나름대로 정리해본다. [메시지 복제 도구 후보] 도구 내용 비고 Confluent Connect Replicator Control-Center에서 별도의 메뉴로 제공. 상용 Apache Kafka MirrorMaker1 Producer/Consumer API를 호출하는 형태로 동작. MirrorMaker1의 단점들이 MirrorMaker2로 보완되어 출시 오픈소스 Apache Kafka MirrorMaker2 Connector 형태로 동작. Apache kafka 2.4부터 릴리즈. 오픈소스. 오픈소스 Logstash 단순 메시지 복제. 키, 헤더 기타 정보 복제 X 오픈소스 Fluentd Logstas..
Kafka 2023.07.24

높은 버전의 kafka 라이브러리에서 압축된 메시지를 낮은 버전의 라이브러리에서 consuming할 수 없는 이슈

목차 [개요] 토픽을 구독하려고 했는데 아래같은 오류가 발생한다. 해당 오류가 반복적으로 발생하면서 메시지 처리가 되지 않는다. 해당 토픽은 Spring Kafka 2.6 버전을 사용하는 producer에서 발급되었고, compression.type = zstd을 사용하고 있다. Consumer는 아래 환경에서 동작한다. SpinrgBoot Version: 2.1.6 Spring Kafka Version: 2.2.7 Apache Kafka Client Version: 2.0.1 [문제 현황] consumer-group에는 정상적으로 추가되지만 오류가 발생하면서 메시지를 계속해서 처리하지 못한다. 라이브러리 버전을 올릴 경우 정상적으로 동작한다. [디버깅] Fetcher.java의 fetchRecords ..
Kafka/Spring Kafka 2023.06.20
1 ··· 6 7 8 9 10 11 12 ··· 17
더보기

티스토리툴바