Liefern Sie Daten mit Amazon Data Firehose an Apache Iceberg Tables - Amazon Data Firehose

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Liefern Sie Daten mit Amazon Data Firehose an Apache Iceberg Tables

Apache Iceberg ist ein leistungsstarkes Open-Source-Tabellenformat für die Durchführung von Big-Data-Analysen. Apache Iceberg bringt die Zuverlässigkeit und Einfachheit von SQL Tabellen in Amazon S3 S3-Data Lakes und ermöglicht es Open-Source-Analyse-Engines wie Spark, Flink, Trino, Hive und Impala, gleichzeitig mit denselben Daten zu arbeiten. Weitere Informationen zu Apache Iceberg finden Sie unter. https://iceberg.apache.org/

Sie können Firehose verwenden, um Streaming-Daten direkt an Apache Iceberg Tables in Amazon S3 zu übermitteln. Mit dieser Funktion können Sie Datensätze aus einem einzelnen Stream in verschiedene Apache Iceberg-Tabellen weiterleiten und automatisch Einfüge-, Aktualisierungs- und Löschvorgänge auf Datensätze in den Apache Iceberg-Tabellen anwenden. Firehose garantiert die Lieferung genau einmal an Iceberg Tables. Diese Funktion erfordert die Verwendung von. AWS Glue Data Catalog

Firehose kann Streaming-Daten auch direkt an Amazon S3-Tabellen liefern. Amazon S3 S3-Tabellen bieten Speicher, der für umfangreiche Analyse-Workloads optimiert ist, mit Funktionen, die die Abfrageleistung kontinuierlich verbessern und die Speicherkosten für Tabellendaten senken. Dank der integrierten Unterstützung für Apache Iceberg können Sie Tabellendaten in Amazon S3 mit gängigen Abfrage-Engines wie Amazon Athena, Amazon Redshift und Apache Spark abfragen. Weitere Informationen zu Amazon S3 S3-Tabellen finden Sie unter Amazon S3 S3-Tabellen. Die Firehose-Integration mit Amazon S3 Tables befindet sich in der Vorschauphase in allen Regionen, in denen Amazon S3 Tables verfügbar ist. Verwenden Sie es nicht für Ihre Produktionsworkloads.