잼의 이것저것

목차 소개: https://developers.redhat.com/articles/2022/09/27/end-end-field-level-encryption-apache-kafka-connect github: https://github.com/hpgrahsl/kryptonite-for-kafka GitHub - hpgrahsl/kryptonite-for-kafka: Kryptonite for Kafka is a client-side 🔒 field level 🔓 cryptography library for Apa Kryptonite for Kafka is a client-side 🔒 field level 🔓 cryptography library for Apache Kafka® offering a Kafka..

목차 REST-API REST-API로 많은 것을 조회할 수 있다. GET /connectors/hdfs-sink-connector/status HTTP/1.1 Host: connect.example.com HTTP/1.1 200 OK { "name": "hdfs-sink-connector", "connector": { "state": "RUNNING", "worker_id": "fakehost:8083" }, "tasks": [ { "id": 0, "state": "RUNNING", "worker_id": "fakehost:8083" }, { "id": 1, "state": "FAILED", "worker_id": "fakehost:8083", "trace": "org.apache.kafka.commo..

목차 [Connect 구성 방법] Standalone : 하나의 워커(프로세스) 로 구성되어 있어 하나의 프로세스로 모든 작업을 처리하는 커넥트 프레임워크 프로세스 하나 안에 connector + task 로만 이루어져 있음 task개수는 읽고자 하는 토픽 개수 혹은 하나의 태스크가 여러개의 작업을 처리함 하나의 프로듀서와 하나의 컨슈머 그룹 과 동일한 구조 모든 작업이 하나의 JVM에서 처리됨 개발단계 등에서만 사용한다 Distributed : 복수의 워커로 구성되어 있는 커넥트 클러스터 connect instance가 생성되며 얘를 통해 task들을 워커에 골고루 분포시킴 설정한 task 개수에 맞춰 워커에 균등하게 분산시켜줌 group id로 묶어 하나의 커넥트 클러스터로 구성 가능하다 운영환경에서..

목차 [Kafka Connector 확인하기] Confluent Hub: https://www.confluent.io/hub/ Confluent Hub에는 사용가능한 Connector들을 확인할 수 있다. 사용하려는 connector를 검색한다. 라이센스 확인 Connector 별로 라이센스가 달라서 확인이 필요하다. Apache License, Confluent Community License: 무료이므로 사용상의 제약이 없다. Confluent Support: 유료 라이센스이므로 사용 전 확인이 필요하다. [설치하기] 플러그인을 설치하는 방법은 2가지가 있다. Confluent CLI를 통한 설치 zip파일을 내려받아 connector plugin Path에 직접 옮겨주기 Confluent CLI를 ..

목차 [용어 정리] Connect: Connect가 공식명칭으로 카프카로 데이터를 전달하고 읽어오는 스트림 프레임워크를 지칭한다. connect는 connector(task) + transform + converter 형태로 구현된다. Connector: 데이터 스트리밍을 위한 상위 레벨의 추상화. 어디서 어디로 데이터를 내보내는가에 대한 정의 Worker: Connector와 Task가 실행되는 프로세스 Task: 실제로 외부 시스템에 데이터를 전달하기 위한 구현체 Converter: 데이터들을 Connector에서 변환하기 위해 사용하는 것. (Ex: Object → ByteArray) Transform: 각각의 메시지를 요구사항에 맞게 변환하는 단순 로직 Dead Letter Queue: Conne..

[Kafka Connect] 카프카는 프로듀서와 컨슈머 클라이언트를 통해 메시지 파이프라인을 구성할 수 있다. 하지만 파이프라인 구성을 위해 매번 프로듀서와 컨슈머를 개발하는 것은 쉽지 않다. => 카프카와 외부 시스템 간의 파이프라인 구성을 더욱 쉽고 간편하게 해주는 도구. Source Connector : 외부 시스템 -> 커넥트 -> 카프카 Sink Connector : 카프카 -> 커넥트 -> 외부 시스템 특징 다양한 Connector들을 지원한다. But 기능적으로 완벽한 것 같지는 않다. Connector 구축 및 관리를 위한 REST API를 지원한다. Connector별로 라이센스가 다르다. (ex: Elasticsearch Sink Connector는 Confluent 유료 라이센스) C..