잼의 이것저것

  • 홈
  • 태그
  • 방명록

Data Pipeline/Streaming 1

Streaming?

[Why Streaming?] 데이터를 처리하는 역사를 따라가보면 Data Warehouse - Batching - Streaming 순으로 발전해왔다. Data Warehouse 클라우드 이전 시절에는 Data Warehouse만을 사용하였고, 이 공간 자체는 한정적이지 엄격한 schema를 기반으로 분석을 위한 데이터만 추출하여 저장하는 방식으로 사용하였다. 그리고 데이터를 실제로 사용하는 시점은 데이터가 모두 이관된 이후 BI툴을 이용한 접근만이 가능하였다. Batch 하둡의 Batch 시스템이 나오고나서 다양한 schema를 사용할 수 있었지만 여전히 배치가 끝난 후 데이터에 접근할 수 있었다. Streaming 다양한 schema 뿐만 아니라 Ingestion (데이터를 빼오는 시점)에 바로 데..

Data Pipeline/Streaming 2022.10.29
이전
1
다음
더보기
프로필사진

  • 분류 전체보기 (364)
    • 개발환경 세팅 (4)
      • Intellij (2)
    • 개발 (1)
      • Git 브랜치 전략 (1)
    • Java (19)
      • Spring Framework (4)
      • JPA (1)
      • Thread (1)
    • Kotlin (5)
    • Reactive Programmming (7)
    • 잡동사니 (1)
    • 이것저것 (8)
    • Computer Science (4)
    • Database (1)
    • Algorithm (1)
    • Data Pipeline (14)
      • Streaming (1)
      • ETL Tools (1)
      • Fluentd (4)
      • Apache Flink (2)
      • Logstash (4)
    • Kafka (46)
      • Broker (5)
      • Producer (6)
      • Consumer (6)
      • Schema-Registry (6)
      • Connect (6)
      • Kafka Local One Node 구성 (1)
      • Spring Kafka (3)
    • Ubuntu (2)
    • Jenkins (3)
    • Docker (3)
    • Elasticsearch (4)
    • Kubernetes (5)
    • Linux (5)
      • System Performance Tuning (1)
    • 인프런 강의 수강 (124)
      • 자바 개발자를 위한 코틀린 입문(Java to KotlinStarter) (6)
      • 대세는 쿠버네티스 [초급~중급] (6)
      • 대세는 쿠버네티스 [Helm편] (5)
      • 더 자바8 (8)
      • 그림으로 쉽게 배우는 자료구조와 알고리즘 (기본편) (4)
      • 자바(Java) 알고리즘 문제풀이 입문 (11)
      • 자바 코딩테스트 - it 대기업 유제 (10)
      • 문과생도 이해하는 DFS 알고리즘! - 입문편 (1)
      • 자바 개발자를 위한 코틀린 입문(Java to Kotlin Starter (5)
      • 실전! 코틀린과 스프링 부트로 도서관리 애플리케이션 개발하기 (8)
      • 자바 동시성 프로그래밍 [리액티브 프로그래밍 Part.1] (13)
      • Kevin의 Spring Reactive Web 1부 (12)
      • Kevin의 Spring Reactive Web 2부 (10)
      • 1시간만에 끝내는 virtual thread in spring boot (7)
      • 처음하는 MongoDB(몽고DB) 와 NoSQL(빅데이터) 데이터베이스 (11)
      • Node.js 교과서 - 기본부터 프로젝트 실습까지 (7)
      • temp (0)
    • 인프런 - 스프링 완전 정복 시리즈 (85)
      • 스프링 입문 - 코드로 배우는 스프링 부트, 웹 MVC, DB 접근 기술 (7)
      • 스프링 핵심 원리 - 기본편 (9)
      • 모든 개발자를 위한 HTTP 웹 기본 지식 (8)
      • 스프링 MVC 1편 - 백엔드 웹 개발 핵심 기술 (7)
      • 스프링 MVC 2편 - 백엔드 웹 개발 활용 기술 (11)
      • 스프링 DB 1편 - 데이터 접근 핵심 원리 (6)
      • 스프링 DB 2편 - 데이터 접근 활용 기술 (11)
      • 스프링 핵심 원리 - 고급편 (13)
      • 자바 ORM 표준 JPA 프로그래밍 - 기본편 (12)
    • 패스트캠퍼스 강의 수강 (18)
      • 25개 백엔드 개발 필수 현업 예제를 통해 마스터하는 JavaStream (10)
      • Spring Webflux 완전 정복 : 코루틴부터 리액티브 MSA 프로 (8)
    • 스터디 (3)
      • HackerRank 문제 풀이 (3)

Tag

Kafka, web, Schema-Registry, consumer, MongoDB, WebFlux, node.js, springframework, MVC, Kotlin, Spring, elasticsearch, Algorithm, HTTP, Producer, springboot, JPA, Kubernetes, java, Helm,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/09   »
일 월 화 수 목 금 토
1 2 3 4 5 6
7 8 9 10 11 12 13
14 15 16 17 18 19 20
21 22 23 24 25 26 27
28 29 30

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바