Kinesis Firehose

Firehose 생성

1 . AWS Console에서 Kinesis 창에 Delivery Streams로 이동합니다. Create delivery stream 버튼을 클릭해 Firehose stream 생성 작업을 시작합니다.

2. Firehose의 input은 이전에 생성한 Kinesis Data Stream으로 설정하고 output은 parquet 파일이 저장된 S3로 설정합니다.

3. Record format을 이전에 생성한 glue database와 table으로 설정합니다.

4. Parquet 파일이 저장된 S3 Bucket으로 Firehose stream을 구축합니다. Create delivery stream을 클릭해 Delivery Stream을 생성합니다.

Logging Test

1. Sample JSON Logger에서 초당 5 record를 10분 동안 전송합니다.

2. AWS Console에서 Kinesis Data Stream과 Kinesis Firehose를 모니터링 할 수 있습니다.

3. S3에 저장된 parquet 파일도 확인합니다.