잼의 이것저것

보호되어 있는 글입니다.

보호되어 있는 글입니다.

보호되어 있는 글입니다.

보호되어 있는 글입니다.

보호되어 있는 글입니다.

목차 [Apache JMeter] 웹 성능을 측정하기 위해 대중적으로 가장 많이 사용한다고 한다. Apache 재단에서 제공하는 오픈소스. 다양한 플러그인 제공 Master - Slave 개념으로 대량 부하 테스트도 가능. 아래 블로그 참조하여 기본적인 세팅 진행해봄 https://velog.io/@leejh9022/Jmeter-%EC%84%A4%EC%B9%98-Jmeter-%EC%9D%B4%EC%9A%A9%ED%95%9C-%EB%B6%80%ED%95%98%ED%85%8C%EC%8A%A4%ED%8A%B8 [전제조건] JDK 8이상 설치 Windows 환경에서는 GUI 기반으로 구동가능 (.bat 파일제공) [설치] https://jmeter.apache.org/download_jmeter.cgi bina..

보호되어 있는 글입니다.

보호되어 있는 글입니다.

보호되어 있는 글입니다.

보호되어 있는 글입니다.

보호되어 있는 글입니다.

보호되어 있는 글입니다.

보호되어 있는 글입니다.

보호되어 있는 글입니다.

WindowsCTRL + / : 주석처리CTRL + SHIFT + / : 블록처리SHIFT + SHIFT: 전체검색SHIFT + F6: 이름변경CTRL + D: 한 줄 아래로 복사CTRL + Y: 한 줄 삭제CTRL + E: 이전 편집하던 파일로 이동 CTRL + ALT + L : 코드정렬CTRL + SHIFT + ENTER: 바로 다음줄로 엔터CTRL + ALT + V: local variable 자동 생성CTRL + N : 클래스 정의 찾기ALT + F7: 침조 찾기CTRL + ALT + 방향키: 소스이동CTRL + ALT + O: 미사용 import 제거유용한 자동완성sout: System.out.println 자동완성psvm: 메인함수 자동완성iter: for문 자동완성

목차 [Topic - cleanup.policy] Kafka는 데이터 리텐션 정책이 2가지 있다. Delete: retention.ms를 지나거나 retention.bytes를 초과하는 경우 오래된 세그먼트를 삭제한다. Compact: Key별로 가장 최근의 value값만 남겨두고 저장한다. [Log Compaction?] Log compaction ensures that Kafka will always retain at least the last known value for each message key within the log of data for a single topic partition.It addresses use cases and scenarios such as restoring state..

HTML 삽입 미리보기할 수 없는 소스 [BuiltIn Partitioner?] 문제 제기 : https://issues.apache.org/jira/browse/KAFKA-10888?focusedCommentId=17285383&page=com.atlassian.jira.plugin.system.issuetabpanels%3Acomment-tabpanel#comment-17285383 업데이트 patch : https://cwiki.apache.org/confluence/display/KAFKA/KIP-794%3A+Strictly+Uniform+Sticky+Partitioner Apache Kafka 3.3 버전에 추가된 것으로 기존 StickyPartitioner를 사용할 때 Broker Networ..

목차 [기본 동작 방식] [Producer 컴포넌트] PDF파일 (출처: 본인) Overview Record Accumulator Sender Thread [컴포넌트별 상세설명] Serializer 레코드로부터 전달된 Key, Value가 지정된 serializer에 의해 변환된다. Partitoner partitioner에 의해 어떤 파티션으로 보내질 지 결정된다. Key값이 있는 경우 Key의 Hash 값을 이용해서 파티션을 할당한다. Key값이 없는 경우 Stickey 방식으로 할당된다. Compression 전송하려는 레코드를 압축할 수 있다. 레코드는 배치에 채워진 후 그 배치가 압축되어 RecordAccumulator에 저장된다고 한다. Compression.type gzip snappy lz..

목차 [Simple Consumer?] offset과 같은 세부적인 부분을 직접 다루고 싶은 요구가 있는 경우 Consumer 관련항목을 직접 제어하기 위해 사용. 이름은 Simple 이지만 실제로는 전혀 Simple하지 않음 Consumer-Group이라는 개념이 Simple Consumer에서는 없다. [Simple Consumer를 사용하는 이유] SimpleConsumer 구현을 사용하는 주된 이유는 Consumer-group이 제공하는 것보다 파티션 소비를 더 잘 제어하기를 원하기 때문. 예: 메시지를 여러 번 읽기 토픽의 일부 파티션만 사용하도록 제어 메시지가 한 번만 처리되도록 트랜잭션을 관리합니다. [Simple Consumer의 단점] SimpleConsumer는 Consumer Grou..

Confluent 문서에 리밸런싱에 대한 설명이 자세히 나와있어 참고 https://www.confluent.io/blog/cooperative-rebalancing-in-kafka-streams-consumer-ksqldb/#consumer-groups-and-rebalance-protocol