Amazon Data Firehose 스트림을 Amazon S3의 Apache Iceberg Table로 전송하는 작업은 미리 보기 중이며 변경될 수 있습니다.
기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
Amazon 데이터 파이어호스란 무엇입니까?
Amazon Data Firehose는 Amazon Simple Storage Service (Amazon S3), Amazon Redshift, Amazon 서비스, 아마존 서비스, OpenSearch 아마존 서버리스, 스플렁크, 아파치 아이스버그 테이블 및 Datadog, Dynatrace, MongoDB, 뉴렐리스를 비롯한 지원되는 타사 서비스 제공업체가 소유한 HTTP 모든 사용자 지정 HTTP 엔드포인트 또는 엔드포인트와 같은 대상으로 실시간 스트리밍 데이터를
AWS 빅 데이터 솔루션에 대한 자세한 내용은 빅 데이터 온을 AWS
참고
주요 개념에 대해 알아보십시오.
Amazon Data Firehose를 시작하면서 다음과 같은 개념을 이해함으로써 이점을 얻을 수 있습니다.
- Firehose 스트림
-
Amazon Data Firehose의 기본 엔티티입니다. Firehose 스트림을 생성한 다음 이 스트림으로 데이터를 전송하는 방식으로 Amazon Data Firehose를 사용합니다. 자세한 내용은 튜토리얼: 콘솔에서 Firehose 스트림 생성하기 및 Firehose 스트림으로 데이터 보내기 단원을 참조하세요.
- 레코딩
-
데이터 생산자가 Firehose 스트림에 보내는 관심 데이터입니다. 레코드는 최대 1000KB가 될 수 있습니다.
- 데이터 프로듀서
-
프로듀서가 Firehose 스트림으로 레코드를 전송합니다. 예를 들어 Firehose 스트림으로 로그 데이터를 보내는 웹 서버는 데이터 생산자입니다. 또한 기존 Kinesis 데이터 스트림에서 데이터를 자동으로 읽고 대상에 로드하도록 Firehose 스트림을 구성할 수 있습니다. 자세한 내용은 Firehose 스트림으로 데이터 보내기 단원을 참조하십시오.
- 버퍼 크기 및 버퍼 간격
-
Amazon Data Firehose는 수신되는 스트리밍 데이터를 목적지로 전송하기 전에 특정 크기 또는 일정 기간 동안 버퍼링합니다. Buffer Size단위는 초 MBs 단위이며 Buffer Interval 단위입니다.
Amazon Data Firehose의 데이터 흐름에 대한 이해
Amazon S3 대상인 경우, 스트리밍 데이터가 S3 버킷으로 전송됩니다. 데이터 변환이 활성화된 경우, 선택적으로 소스 데이터를 다른 Amazon S3 버킷으로 백업할 수 있습니다.
Amazon Redshift 대상인 경우, 스트리밍 데이터가 먼저 S3 버킷으로 전송됩니다. 그러면 Amazon Data Firehose가 Amazon COPY Redshift 명령을 실행하여 S3 버킷에서 Amazon Redshift 클러스터로 데이터를 로드합니다. 데이터 변환이 활성화된 경우, 선택적으로 소스 데이터를 다른 Amazon S3 버킷으로 백업할 수 있습니다.
OpenSearch 서비스 대상의 경우 스트리밍 데이터가 OpenSearch 서비스 클러스터로 전송되며 선택적으로 S3 버킷에 동시에 백업할 수 있습니다.
Splunk 대상인 경우 스트리밍 데이터가 Splunk 클러스터로 전송되며, 동시에 선택적으로 S3 버킷에 백업할 수 있습니다.
