분류 전체보기 308
MirrorMaker2 Basic

목차 [참조] mirrorMaker2 내용: https://devidea.tistory.com/112 mirrorMaker2 내용 + 구동방법: https://blog.voidmainvoid.net/293 mirrorMaker2 구동방식 분석: https://devidea.tistory.com/107 MirrorMaker1의 한계점과 2 release: https://devidea.tistory.com/70 MirrorMaker2의 성능테스트: https://devocean.sk.com/blog/techBoardDetail.do?ID=164371 MirrorMaker2 전체적인 정리 Part1: https://www.instaclustr.com/blog/kafka-mirrormaker-2-theory/ ..
Kafka 2023.07.24

MirrorMaker2 - 테스트

목차 MirrorMaker2 설정 정리 참조: https://godekdls.github.io/Apache%20Kafka/geo-replication/ (MirrorMaker2 부분) [MirrorSourceConnector] 기본 조건 active-passive 상황으로 가정한다. source: source-dev (active) target: target-dev (passive) 토픽명: jaeshim-mirror-20230724 (파티션5) Configurations 설정값 설명 Default refresh.topics.enabled 주기적으로 새 토픽을 확인할 지 여부 true refresh.topics.interval.seconds 새 토픽 확인 주기 6000 (10분) source.cluste..
Kafka 2023.07.24

클러스터간 메시지 복제

목차 카프카 클러스터간 복제를 하는 방법은 다양한 듯 한데, 어떤 방법과 도구를 사용하는 것이 좋을지 나름대로 정리해본다. [메시지 복제 도구 후보] 도구 내용 비고 Confluent Connect Replicator Control-Center에서 별도의 메뉴로 제공. 상용 Apache Kafka MirrorMaker1 Producer/Consumer API를 호출하는 형태로 동작. MirrorMaker1의 단점들이 MirrorMaker2로 보완되어 출시 오픈소스 Apache Kafka MirrorMaker2 Connector 형태로 동작. Apache kafka 2.4부터 릴리즈. 오픈소스. 오픈소스 Logstash 단순 메시지 복제. 키, 헤더 기타 정보 복제 X 오픈소스 Fluentd Logstas..
Kafka 2023.07.24
1 ··· 4 5 6 7 8 9 10 ··· 16
더보기

티스토리툴바