Amazon의 소스 설정 구성 MSK - Amazon Data Firehose

Amazon Data Firehose 스트림을 Amazon S3의 Apache Iceberg Table로 전송하는 작업은 미리 보기 중이며 변경될 수 있습니다.

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon의 소스 설정 구성 MSK

Amazon에서 Firehose 스트림으로 정보를 MSK 전송하도록 선택하면 MSK 프로비저닝된 클러스터와 -서버리스 클러스터 중에서 선택할 수 있습니다. MSK 그러면 Firehose를 사용하여 특정 Amazon MSK 클러스터 및 주제에서 데이터를 쉽게 읽고 지정된 S3 대상으로 로드할 수 있습니다.

페이지의 소스 설정 섹션에서 다음 필드에 값을 제공하십시오.

아마존 MSK 클러스터 연결

클러스터 구성에 따라 프라이빗 부트스트랩 브로커(권장) 또는 퍼블릭 부트스트랩 브로커 옵션을 선택합니다. 부트스트랩 브로커는 Apache Kafka 클라이언트가 클러스터에 연결하기 위한 시작 지점으로 사용하는 브로커입니다. 퍼블릭 부트스트랩 브로커는 외부에서 퍼블릭 액세스를 위한 것입니다. AWS반면 사설 부트스트랩 브로커는 내부에서 액세스할 수 있도록 설계되었습니다. AWS. 아마존에 대한 자세한 내용은 Apache MSK Kafka용 아마존 매니지드 스트리밍을 참조하십시오.

프라이빗 부트스트랩 브로커를 통해 프로비저닝된 Amazon 클러스터 또는 서버리스 MSK Amazon 클러스터에 연결하려면 클러스터가 다음 요구 사항을 모두 충족해야 합니다.

  • 클러스터는 활성 상태여야 합니다.

  • 클러스터에는 액세스 제어 방법 IAM 중 하나가 있어야 합니다.

  • IAM액세스 제어 방법에 대해 다중 VPC 개인 연결을 활성화해야 합니다.

  • Firehose 서비스 주체에게 Amazon 작업을 호출할 권한을 부여하는 리소스 기반 정책을 이 클러스터에 추가해야 합니다. MSK CreateVpcConnection API

퍼블릭 부트스트랩 브로커를 통해 프로비저닝된 Amazon MSK 클러스터에 연결하려면 클러스터가 다음 요구 사항을 모두 충족해야 합니다.

  • 클러스터는 활성 상태여야 합니다.

  • 클러스터에는 액세스 제어 방법 IAM 중 하나가 있어야 합니다.

  • 클러스터는 공개적으로 액세스할 수 있어야 합니다.

MSK클러스터 계정

Amazon MSK 클러스터가 있는 계정을 선택할 수 있습니다. 이는 다음 중 하나일 수 있습니다.

  • 현재 계정 - 현재 MSK 클러스터의 데이터를 수집할 수 있습니다. AWS 계정. 이를 위해서는 Firehose 스트림이 데이터를 읽을 Amazon MSK 클러스터를 지정해야 합니다. ARN

  • 교차 계정 — 한 클러스터의 데이터를 다른 클러스터에서 수집할 수 MSK 있습니다. AWS 계정. 자세한 내용은 Amazon에서 계정 간 배송 MSK 단원을 참조하십시오.

주제

Firehose 스트림에서 데이터를 수집하려는 Apache Kafka 주제를 지정합니다. Firehose 스트림 생성이 완료된 후에는 이 주제를 업데이트할 수 없습니다.