잼의 이것저것

MySQL에 적재되는 데이터를 Elasticsearch에 복제하여 사용하려는 요구가 있다. 다양한 방법이 있는 듯하다. logstash input - jdbc plugin output - elasticsearch plugin fluentd input - mysql-query, mysql-prepared-statement etc.. output - elasticsearch 이 중 fluentd에 mysql-replicator가 있어서 이 부분에 대해서 구동해본 내용 정리. [mysql-replicator?] github: https://github.com/y-ken/fluent-plugin-mysql-replicator GitHub - y-ken/fluent-plugin-mysql-replicator: F..

[CRUD] GET $ curl -XGET http://localhost:9200:/classes?pretty PUT (인덱스 생성) $ curl -XPUT http://localhost:9200:/classes POST (Document 생성) $ curl -X POST http://localhost:9200:/classes/class/1 -H 'Content-Type: application/json' -d '{"title":"Algorithm","professor":"John"}' #file $ curl -X POST http://localhost:9200:/classes/class/1 -H 'Content-Type: application/json'-d @filename.json UPDATE $ cu..

[Elasticsearch 설치] https://velog.io/@qnfmtm666/elasticsearch-Elasticsearch-%EC%84%A4%EC%B9%98%ED%95%98%EA%B8%B0-Ubuntu-20.04 [🌎elasticsearch] Elasticsearch 설치하기 (Ubuntu 20.04) Elasticsearch 가이드북 ✈Elasticsearch 홈페이지 가기 ✈다음과 같은 사항이 필요합니다.Ubuntu 20.04 버전이 깔려 있는 OS듀얼코어 이상의 cpu 와 4gb 이상의 램 원활한 실행을 위해 필요하며 필수는 아닙 velog.io [Kibana 설치] https://www.elastic.co/guide/kr/kibana/current/deb.html Debian 패키지로 ..

Last but not least, choosing the filesystem is a critical part of designing an Elasticsearch cluster. With small datasets on your disks, Ext4 is a fast, reliable option that does not need tuning. If you plan to store lots of indexes and more than 1TB of data per node, prefer a well tuned XFS for better performances. 마지막으로, 파일 시스템을 선택하는 것은 Elasticsearch 클러스터를 설계하는 데 있어 매우 중요한 부분입니다. Disk에 작은 데이터 ..

[ElasticSearch vs RDB 개념비교] Elasticsearch Relational DB Index Database Type Table Document Row Field Column Mapping Schema Elasticsearch Relational DB GET SELECT PUT UPDATE POST INSERT DELETE DELETE ElasticSearch는 REST API를 사용해서 CRUD를 수행할 수 있다.

목차 [Logstash란?] 데이터 파이프라인 구조에서 데이터의 집계, 변환, 저장 역할을 수행함. Logstash는 형식이나 복잡성과 관계 없이 데이터를 동적으로 수집, 전환, 전송할 수 있다고 한다. grok을 이용해 비구조적 데이터에서 구조를 도출하여 IP 주소에서 위치 정보 좌표를 해독하고, 민감한 필드를 익명화하거나 제외시키며, 전반적인 처리를 손쉽게 해주는 역할을 한다. Components Source : 모든 형태, 크기, 소스의 데이터 수집 데이터의 매우 다양한 시스템에 매우 다양한 형태로 보관되어 있다. Logstash는 이같이 다양한 시스템에서 데이터를 가져오는 다양한 소스를 지원한다. Filter : 데이터 이동 과정에서의 구문 분석 및 변환 Logstash의 필터는 데이터가 소스에서..