Die Bereitstellung von Amazon Data Firehose-Streams an Apache Iceberg Tables in Amazon S3 befindet sich in der Vorschauversion und kann sich ändern.
Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Quelleinstellungen für Amazon Kinesis Data Streams konfigurieren
Konfigurieren Sie die Quelleinstellungen für Amazon Kinesis Data Streams, um Informationen an einen Firehose-Stream zu senden, wie folgt.
Wichtig
Wenn Sie die Kinesis Producer Library (KPL) verwenden, um Daten in einen Kinesis-Datenstream zu schreiben, können Sie die Datensätze, die Sie in diesen Kinesis-Datenstream schreiben, mithilfe der Aggregation kombinieren. Wenn Sie diesen Datenstream dann als Quelle für Ihren Firehose-Stream verwenden, deaggregiert Amazon Data Firehose die Datensätze, bevor es sie an das Ziel übermittelt. Wenn Sie Ihren Firehose-Stream so konfigurieren, dass er die Daten transformiert, deaggregiert Amazon Data Firehose die Datensätze, bevor sie an AWS Lambda. Weitere Informationen finden Sie unter Entwickeln von Amazon Kinesis Data Streams Streams-Produzenten mithilfe der Kinesis Producer-Bibliothek und Aggregation.
Wählen Sie unter den Quelleinstellungen einen vorhandenen Stream in der Kinesis-Datenstream-Liste aus, oder geben Sie einen Datenstrom ARN im Format arn:aws:kinesis:[Region]:[AccountId]:stream/[StreamName] ein.
Wenn Sie noch keinen Datenstream haben, wählen Sie Create, um über die Amazon Kinesis Kinesis-Konsole einen neuen zu erstellen. Möglicherweise benötigen Sie eine IAM Rolle, die über die erforderlichen Berechtigungen für den Kinesis-Stream verfügt. Weitere Informationen finden Sie unter Firehose Zugriff auf ein Amazon S3 S3-Ziel gewähren. Nachdem Sie einen neuen Stream erstellt haben, wählen Sie das Aktualisierungssymbol, um die Kinesis-Stream-Liste zu aktualisieren. Wenn Sie eine große Anzahl an Streams haben, können Sie die Liste mit Filter by name (Nach Namen filtern) filtern.
Anmerkung
Wenn Sie einen Kinesis-Datenstream als Quelle für einen Firehose-Stream konfigurieren, sind Amazon Data Firehose PutRecord und der PutRecordBatch Betrieb deaktiviert. Verwenden Sie in diesem Fall die Kinesis Data Streams PutRecord and PutRecords Operations, um Ihrem Firehose-Stream Daten hinzuzufügen.
Amazon Data Firehose beginnt mit dem Lesen von Daten von der LATEST Position Ihres Kinesis-Streams. Weitere Informationen zu den Positionen von Kinesis Data Streams finden Sie unter GetShardIterator.
Amazon Data Firehose ruft den Kinesis Data Streams GetRecordsStreams-Vorgang einmal pro Sekunde für jeden Shard auf. Wenn jedoch die vollständige Sicherung aktiviert ist, ruft Firehose den Kinesis Data Streams GetRecords Streams-Vorgang zweimal pro Sekunde für jeden Shard auf, einen für das primäre Lieferziel und einen weiteren für ein vollständiges Backup.
Mehr als ein Firehose-Stream kann aus demselben Kinesis-Stream lesen. Andere Kinesis-Anwendungen (Konsumenten) können ebenfalls Daten aus demselben Stream lesen. Jeder Anruf von einem Firehose-Stream oder einer anderen Verbraucheranwendung wird auf das allgemeine Drosselungslimit für den Shard angerechnet. Planen Sie Ihre Anwendungen mit Bedacht, um eine Drosselung zu vermeiden. Weitere Informationen zu den Volume-Limits bei Kinesis Data Streams finden Sie unter Amazon Kinesis Streams Limits.
Fahren Sie mit dem nächsten Schritt fort, um die Datensatztransformation und die Formatkonvertierung zu konfigurieren.
