분류 전체보기 308

KRaft

목차 [KRaft?] Actually, the problem is not with ZooKeeper itself but with the concept of external metadata management. (사실 문제는 ZooKeeper 자체가 아니라 외부 메타데이터 관리 개념에 있습니다.) 카프카 클러스터를 구성하기 위해서는 메타데이터 관리를 하는 코디네이터 서비스가 필요하고, 거의 대부분이 주키퍼를 통해서 코디네이터 서비스를 구축하고 있다. 다만 주키퍼를 통한 카프카 외부에서 메타데이터 관리 하다보니 데이터 중복 또는 브로커의 메타데이터와 주키퍼의 메타데이터의 불일치, 시스템 복잡성 증가, 서버나 시스템이 추가로 더 필요하거나 더 많은 자바 프로세스 실행 필요와 같은, 더 많은 자원의 소모 등의 ..

Kafka 2023.11.28

Kafka Cruise-Control 사용해보기

목차 [Cruise Control?] Cruise Control은 Apache Kafka 클러스터를 대규모로 실행하는 데 도움이 되는 제품입니다. Apache Kafka의 인기로 인해 많은 회사에서 점점 더 큰 Kafka 클러스터를 보유하고 있습니다. LinkedIn에는 ~7K+ Kafka 브로커가 있습니다. 이는 브로커 사망이 거의 매일 발생하고 Kafka의 작업 부하 균형도 큰 오버헤드가 된다는 것을 의미합니다. Kafka Cruise Control은 이러한 작업 확장성 문제를 해결하도록 설계되었습니다. Kafka 클러스터를 원격으로 관리하는데 도움이 되는 REST 인터페이스를 추가했습니다. Cruise Control은 큰 규모의 Kafka 클러스터를 운영하는데 있어 운영관리를 단순하게 해주는 오픈소..

Kafka 2023.08.31