Einschränkungen - AWS Glue
Einschränkungen für Tabellen im Data-Lake-Format, die mit Lake-Formation-Berechtigungen verwaltet werden

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Einschränkungen

Beachten Sie die folgenden Einschränkungen, bevor Sie Data Lake-Frameworks mit verwenden. AWS Glue

  • Die folgenden AWS Glue GlueContext Methoden für unterstützen das Lesen und Schreiben von Data Lake-Framework-Tabellen DynamicFrame nicht. Verwenden Sie DataFrame API stattdessen die GlueContext Methoden für DataFrame oder Spark.

    • create_dynamic_frame.from_catalog

    • write_dynamic_frame.from_catalog

    • getDynamicFrame

    • writeDynamicFrame

  • Die folgenden GlueContext Methoden für DataFrame werden von Lake Formation Permission Control unterstützt:

    • create_data_frame.from_catalog

    • write_data_frame.from_catalog

    • getDataFrame

    • writeDataFrame

  • Das Gruppieren kleiner Dateien wird nicht unterstützt.

  • Auftragslesezeichen werden nicht unterstützt.

  • Apache Hudi 0.10.1 für AWS Glue 3.0 unterstützt keine Hudi Merge on Read (MoR) -Tabellen.

  • ALTER TABLE … RENAME TOist für Apache Iceberg 0.13.1 für 3.0 nicht verfügbar. AWS Glue

Einschränkungen für Tabellen im Data-Lake-Format, die mit Lake-Formation-Berechtigungen verwaltet werden

Die Data-Lake-Formate sind AWS Glue ETL über Lake Formation Formation-Berechtigungen integriert. Das Erstellen einer DynamicFrame Verwendung create_dynamic_frame wird nicht unterstützt. Weitere Informationen finden Sie in den folgenden Beispielen:

Anmerkung

Die Integration mit AWS Glue ETL via Lake Formation Formation-Berechtigungen für Apache Hudi, Apache Iceberg und Delta Lake wird nur in AWS Glue Version 4.0 unterstützt.

Apache Iceberg bietet die beste Integration mit den Berechtigungen von AWS Glue ETL via Lake Formation. Es unterstützt fast alle Operationen und beinhaltet SQL Unterstützung.

Hudi unterstützt die meisten grundlegenden Operationen mit Ausnahme von Verwaltungsoperationen. Dies liegt daran, dass diese Optionen im Allgemeinen durch das Schreiben von DataFrames erfolgen und über additional_options spezifiziert werden. Sie müssen es verwenden, AWS Glue APIs um DataFrames für Ihre Operationen zu erstellen, da Spark SQL nicht unterstützt wird.

Delta Lake unterstützt nur das Lesen, Anhängen und Überschreiben von Tabellendaten. Delta Lake erfordert die Verwendung eigener Bibliotheken, um verschiedene Aufgaben wie Aktualisierungen ausführen zu können.

Die folgenden Funktionen sind für Iceberg-Tabellen, die mit Lake-Formation-Berechtigungen verwaltet werden, nicht verfügbar.

  • Verdichtung mit AWS Glue ETL

  • SQLSpark-Unterstützung über AWS Glue ETL

Im Folgenden sind die Einschränkungen von Hudi-Tabellen aufgeführt, die mit Lake-Formation-Berechtigungen verwaltet werden:

  • Entfernen verwaister Dateien

Im Folgenden sind die Einschränkungen von Delta-Lake-Tabellen aufgeführt, die mit Lake-Formation-Berechtigungen verwaltet werden:

  • Alle Features außer dem Einfügen und Lesen von Delta-Lake-Tabellen.