Amazon Kinesis Data Streams의 소스 설정 구성 - Amazon Data Firehose

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon Kinesis Data Streams의 소스 설정 구성

다음과 같이 Firehose 스트림으로 정보를 전송하도록 Amazon Kinesis Data Streams의 소스 설정을 구성합니다.

중요

Kinesis Producer Library(KPL)를 사용하여 Kinesis 데이터 스트림에 데이터를 쓰는 경우, 집계를 사용하여 해당 Kinesis 데이터 스트림에 쓰는 레코드를 결합할 수 있습니다. 그런 다음 해당 데이터 스트림을 Firehose 스트림의 원본으로 사용하면 Amazon Data Firehose가 레코드를 분해한 후 대상으로 전송합니다. 데이터를 변환하도록 Firehose 스트림을 구성한 경우, Amazon Data Firehose Firehose는 레코드를 분해한 후 AWS Lambda로 전송합니다. 자세한 내용은 Kinesis Producer Library를 사용하여 Amazon Kinesis Data Streams 생산자 개발집계 섹션을 참조하세요.

소스 설정에서 Kinesis 데이터 스트림 목록에서 기존 스트림을 선택하거나 arn:aws:kinesis:[Region]:[AccountId]:stream/[StreamName] 형식으로 데이터 스트림 ARN을 입력합니다.

기존 데이터 스트림이 없는 경우 생성을 선택하여 Amazon Kinesis 콘솔에서 새 스트림을 생성합니다. Kinesis 스트림에 필요한 권한이 있는 IAM 역할이 필요할 수 있습니다. 자세한 내용은 Firehose에 Amazon S3 대상에 대한 액세스 권한 부여 섹션을 참조하세요. 새로운 스트림을 만든 후 새로 고침 아이콘을 선택하여 Kinesis 스트림 목록을 업데이트합니다. 스트림 개수가 많을 경우, [Filter by name]을 사용해 목록을 필터링합니다.

참고

Kinesis 데이터 스트림을 Firehose 스트림의 소스로 구성하는 경우, Amazon Data Firehose PutRecordPutRecordBatch 작업이 비활성화됩니다. 이 경우 Firehose 스트림에 데이터를 추가하려면 Kinesis Data Streams PutRecordPutRecords 작업을 사용합니다.

Amazon Data Firehose는 Kinesis 스트림의 LATEST 위치에서 데이터를 읽기 시작합니다. Kinesis Data Streams 위치에 대한 자세한 내용은 GetSharditerator를 참조하세요.

Amazon Data Firehose는 각 샤드에 대해 1초당 한 번씩 Kinesis Data Streams GetRecords 작업을 호출합니다. 그러나 전체 백업이 활성화되면 Firehose는 각 샤드에 대해 초당 두 번 Kinesis Data Streams GetRecords 작업을 호출합니다. 하나는 기본 전송 대상용이고 다른 하나는 전체 백업용입니다.

한 개 이상의 Firehose 스트림이 동일한 Kinesis 스트림에서 읽을 수 있습니다. 다른 Kinesis 애플리케이션(소비자)도 동일한 스트림에서 읽을 수 있습니다. Firehose 스트림이나 다른 소비자 애플리케이션의 각 호출 수는 샤드에 대한 전체 조절 한도를 기준으로 계산됩니다. 조절되지 않도록 하려면 애플리케이션을 신중하게 계획하세요. Kinesis Data Streams 제한에 대한 자세한 내용은 Amazon Kinesis Streams 제한을 참조하세요.

다음 단계로 진행하여 레코드 변환 및 형식 변환을 구성합니다.