Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Arbeiten mit Apache Iceberg V3

Apache Iceberg Version 3 (V3) ist die neueste Version der Apache Iceberg-Tabellenformat-Spezifikation. Sie bietet erweiterte Funktionen für den Aufbau von Data Lakes im Petabyte-Bereich mit verbesserter Leistung und reduziertem Betriebsaufwand. V3 behebt häufig auftretende Leistungsengpässe, die bei Version 2 (V2) auftreten, insbesondere im Zusammenhang mit Batch-Updates und Compliance-Löschungen.

AWS bietet Unterstützung für Löschvektoren, Zeilenherkunft und den Variantendatentyp, wie in der Apache Iceberg Version 3 (V3) -Spezifikation definiert. Sie können diese Funktionen mit Apache Spark auf Amazon EMR, AWS Glue ETL, Amazon SageMaker Unified Studio Notebooks und Apache Iceberg-Tabellen im AWS Glue Data Catalog verwenden, einschließlich Amazon S3-Tabellen. https://aws.amazon.com/s3/features/tables/ Der Variantendatentyp ist spezifisch für S3-Tabellen.

Die wichtigsten Funktionen in V3

Versionskompatibilität

V3 behält die Abwärtskompatibilität mit V2-Tabellen bei. AWS Dienste unterstützen sowohl V2- als auch V3-Tabellen gleichzeitig, sodass Sie:

Erste Schritte mit V3

Voraussetzungen

Bevor Sie mit V3-Tabellen arbeiten, stellen Sie sicher, dass Sie über Folgendes verfügen:

V3-Tabellen erstellen

Neue V3-Tabellen erstellen

Um eine neue Iceberg V3-Tabelle zu erstellen, setzen Sie die Tabelleneigenschaft format-version auf 3.

Verwenden von Spark SQL:

CREATE TABLE IF NOT EXISTS myns.orders_v3 (  
    order_id bigint,  
    customer_id string,  
    order_date date,  
    total_amount decimal(10,2),  
    status string,  
    created_at timestamp  
)  
USING iceberg  
TBLPROPERTIES (  
    'format-version' = '3'  
)
                

Aktualisierung von V2-Tabellen auf V3

Sie können vorhandene V2-Tabellen atomar auf V3 aktualisieren, ohne Daten neu schreiben zu müssen.

Verwenden von Spark SQL:

ALTER TABLE myns.existing_table  
SET TBLPROPERTIES ('format-version' = '3')
                

Was passiert beim Upgrade:

Löschvektoren aktivieren

Um die Vorteile der Löschvektoren für Aktualisierungen, Löschungen und Zusammenführungen zu nutzen, konfigurieren Sie Ihren Schreibmodus.

Verwenden von Spark SQL:

ALTER TABLE myns.orders_v3  
SET TBLPROPERTIES ('format-version' = '3',  
                   'write.delete.mode' = 'merge-on-read',  
                   'write.update.mode' = 'merge-on-read',  
                   'write.merge.mode' = 'merge-on-read'  
                  )
            

Diese Einstellungen stellen sicher, dass bei Aktualisierungs-, Lösch- und Zusammenführungsvorgängen Löschvektordateien erstellt werden, anstatt ganze Datendateien neu zu schreiben.

Nutzung Row-lineage für die Nachverfolgung von Änderungen

V3 fügt automatisch zeilenspezifische Metadatenfelder hinzu, um Änderungen nachzuverfolgen.

Verwendung von Spark SQL:

# Query with parameter value provided  
last_processed_sequence = 47  
  
SELECT   
    id,  
    data,  
    _row_id,  
    _last_updated_sequence_number  
FROM myns.orders_v3  
WHERE _last_updated_sequence_number > :last_processed_sequence
            

Das Feld _row_id identifiziert jede Zeile eindeutig, während _last_updated_sequence_number verfolgt, wann die Zeile zuletzt geändert wurde. Verwenden Sie diese Felder, um:

Verwenden des Variant-Datentyps

Mit dem Variant-Datentyp können Sie halbstrukturierte Daten wie JSON direkt in Ihre Iceberg-Tabellen schreiben, ohne im Voraus ein festes Schema definieren zu müssen. Sie können Daten schneller schreiben und erhalten dennoch eine effiziente analytische Abfrageleistung. Iceberg V3-kompatible Engines zerkleinern Ihre halbstrukturierten Daten beim Schreiben in versteckte Spalten. Diese versteckten Spalten generieren Parquet-Spaltenstatistiken, die Abfrage-Engines für Optimierungen wie das Bereinigen von Dateien verwenden.

Erstellen einer Tabelle mit einer Variantenspalte mit Spark SQL:

CREATE TABLE IF NOT EXISTS myns.events (
    event_id bigint,
    event_timestamp timestamp,
    source string,
    event_data VARIANT
)
USING iceberg
TBLPROPERTIES (
    'format-version' = '3'
)
            

Einfügen halbstrukturierter Daten in die Variantenspalte:

INSERT INTO myns.events VALUES (
    1,
    current_timestamp(),
    'web-app',
    PARSE_JSON('{"user_id": "u-1234", "action": "page_view", "page": "/products", "duration_ms": 350}')
);

INSERT INTO myns.events VALUES (
    2,
    current_timestamp(),
    'mobile-app',
    PARSE_JSON('{"user_id": "u-5678", "action": "purchase", "items": [{"sku": "A100", "qty": 2}], "total": 49.99}')
);
            

Bei S3-Tabellen läuft die Tabellenpflege für Variantenspalten, einschließlich der Komprimierung, automatisch. Die Komprimierung konsolidiert Daten aus halbstrukturierten Quellen aus kleinen Dateien in größeren Dateien, die Iceberg-Engines effizienter lesen können, wodurch die Abfrageleistung im Laufe der Zeit verbessert wird.

Bewährte Methoden für V3

Wann sollte V3 verwendet werden

Erwägen Sie, auf V3 zu aktualisieren oder mit V3 zu beginnen, wenn:

Optimierung der Schreibleistung

Optimierung der Leseleistung

Strategie für die Migration

Bei der Migration von V2 auf V3:

Überlegungen zur Kompatibilität

Überlegungen zur Komprimierung

Compaction schreibt standardmäßig geschredderte Parquet-Dateien. Ältere Lesegeräte, die das Schreddern nicht unterstützen, können komprimierte Dateien möglicherweise nicht lesen. Sie können das Schreddern deaktivieren, indem Sie die Tabelleneigenschaft festlegen. write.variant.shredding.enabled=false

Fehlerbehebung

Häufige Fehler

Abrufen von Hilfe

Preisgestaltung

Verfügbarkeit

Apache Iceberg V3-Unterstützung für Löschvektoren und Zeilenabstammung ist in allen AWS Regionen verfügbar, in denen Amazon EMR, AWS Glue Data Catalog, AWS Glue ETL und S3 Tables eingesetzt werden.

Der Variantendatentyp in S3-Tabellen ist in den folgenden AWS Regionen verfügbar: USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Oregon), Asien-Pazifik (Mumbai), Asien-Pazifik (Seoul), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Asien-Pazifik (Tokio), Kanada (Zentral), Europa (Frankfurt), Europa (Irland), Europa (London), Europa (Paris) und Süd Amerika (São Paulo).

Weitere Ressourcen