AWS Kinesis Stream - I

 

kinesis is a managed alternative to Apache Kafka.
  - Data is automatically replicated synchronously to 3AZ
 

Kinesis Stream, Analytics and Firehose

 

Kinesis Data Flow

 

AWS Kinesis Stream Overview

- Stream은 Shard와 Partitions으로 나뉨

- Data Retention is 24 hours by default(7일까지 보관 가능)
- 여러 애플리케이션이 동일한 Stream을 소비할 수 있음
- 한번 Kinesis로 들어온 데이터는 삭제할 수 없음 (Immutability)

 

Shard

샤드는 스트림에서 고유하게 식별되는 데이터 레코드 시퀀스입니다. 스트림은 하나 이상의 샤드로 구성되며 각 샤드는 고정된 용량 단위를 제공합니다.

 

 

Kinesis Stream Records

  - Data Blob : 전송되는 데이터, bytes로 직렬화됨. (up to 1MB)
  - Record Key : records가 gouping되는 것을 도와줌. (Same key = Same Shard)
  - Sequence number : 각 Records의 고유 식별자. 데이터 섭취(Ingestion) 이후 할당됨

 

Kinesis Producer

1. Kinesis SDK
2. Kinesis Producer Library (KPL)
3. Kinesis Agent
4. third party libraries (Spake, Log4j, ...)

 

출처

https://www.youtube.com/watch?v=07iZOEl0knc

https://www.youtube.com/watch?v=9WFCQ9xBGVY