Kafka Connect 모니터링

목차

REST-API

REST-API로 많은 것을 조회할 수 있다.

GET /connectors/hdfs-sink-connector/status HTTP/1.1
Host: connect.example.com
 
HTTP/1.1 200 OK
 
{
    "name": "hdfs-sink-connector",
    "connector": {
        "state": "RUNNING",
        "worker_id": "fakehost:8083"
    },
    "tasks":
    [
        {
            "id": 0,
            "state": "RUNNING",
            "worker_id": "fakehost:8083"
        },
        {
            "id": 1,
            "state": "FAILED",
            "worker_id": "fakehost:8083",
            "trace": "org.apache.kafka.common.errors.RecordTooLargeException\n"
        }
    ]
}

상태값

• UNASSIGNED: 커넥터/태스크가 워커에 할당되지 않은 상태
• RUNNING: 실행 중
• PAUSED: 일시정지된 상태
• FAILED: 실패된 상태. 오류로그를 보고 후속조치를 하여야 한다. 

 

JMX 모니터링

Confluent에서 대시보드 제공: https://github.com/confluentinc/jmx-monitoring-stacks

Grafana Dashboard 예시

 

• 주요 메트릭을 모니터링할 수 있다. - Prometheus + Grafana 대시보드를 이용

• Coonector Metrics
• Connector Task Metrics
• Work Metrics
• Source Task Metrics
• Sink Task Metrics 
• Etc..