Verwenden mit AWS Lake FormationAWS Glue - AWS Lake Formation
Support für TransaktionstabellentypenWeitere Ressourcen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verwenden mit AWS Lake FormationAWS Glue

Dateningenieure und DevOps Experten verwenden AWS Glue Extract, Transform and Load (ETL) mit Apache Spark, um Transformationen an ihren Datensätzen in Amazon S3 durchzuführen und die transformierten Daten für Analysen, maschinelles Lernen und Anwendungsentwicklung in Data Lakes und Data Warehouses zu laden. Da verschiedene Teams auf denselben Datensatz in Amazon S3 zugreifen, ist es unerlässlich, Berechtigungen basierend auf ihren Rollen zu gewähren und einzuschränken.

AWS Lake Formation ist darauf aufgebaut AWS Glue, und die Dienste interagieren auf folgende Weise:

  • Lake Formation und AWS Glue teilen sich denselben Datenkatalog.

  • Die folgenden Funktionen der Lake Formation Formation-Konsole rufen den AWS Glue Konsole:

  • Die Workflows, die generiert werden, wenn Sie einen Lake Formation-Blueprint verwenden, sind AWS Glue Workflows. Sie können diese Workflows sowohl in der Lake Formation Formation-Konsole als auch in der AWS Glue console.

  • Transformationen für maschinelles Lernen werden mit Lake Formation bereitgestellt und basieren auf AWS Glue APIOperationen. Sie erstellen und verwalten Transformationen für maschinelles Lernen auf der AWS Glue console. Weitere Informationen finden Sie unter Machine Learning Transforms im AWS Glue Developer Guide.

Sie können die detaillierte Zugriffskontrolle von Lake Formation verwenden, um Ihre vorhandenen Datenkatalogressourcen und Amazon S3 S3-Datenstandorte zu verwalten.

Anmerkung

AWS Glue ETLerfordert vollen Zugriff auf die gesamte Tabelle beim Abrufen von Daten vom zugrunde liegenden Amazon S3 S3-Standort. AWS Glue ETLDer Job schlägt fehl, wenn Sie Berechtigungen auf Spaltenebene auf eine Tabelle anwenden.

Support für Transaktionstabellentypen

Durch die Anwendung Lake Formation Formation-Berechtigungen können Sie Ihre Transaktionsdaten in Ihren Amazon S3 S3-basierten Data Lakes sichern. In der folgenden Tabelle sind die in unterstützten Transaktionstabellenformate AWS Glue und die Lake Formation Formation-Berechtigungen aufgeführt. Lake Formation setzt diese AWS Glue Betriebsgenehmigungen durch.

Unterstützte Tabellenformate
Tabellenformat Beschreibung und zulässige Operationen Lake Formation Formation-Berechtigungen werden unterstützt in AWS Glue

Apache Hudi

Ein offenes Tabellenformat, das zur Vereinfachung der inkrementellen Datenverarbeitung und der Entwicklung von Datenpipelines verwendet wird.

Beispiele finden Sie unter Verwenden des Hudi-Frameworks in. AWS Glue

Für Hudi-Tabellen sind Berechtigungen auf Tabellenebene verfügbar.

Weitere Informationen finden Sie unter Limitations.

Apache Iceberg

Ein offenes Tabellenformat, das große Sammlungen von Dateien als Tabellen verwaltet.

Beispiele finden Sie unter Verwenden des Iceberg-Frameworks in AWS Glue.

Für Iceberg-Tabellen sind Berechtigungen auf Tabellenebene verfügbar.

Weitere Informationen finden Sie unter Limitations.

Linux Foundation Delta Lake

Delta Lake ist ein Open-Source-Projekt, das bei der Implementierung moderner Data-Lake-Architekturen hilft, die üblicherweise auf Amazon S3 oder Hadoop Distributed File System () basieren. HDFS

Beispiele finden Sie unter Verwenden des Delta Lake-Frameworks in. AWS Glue

Für Delta Lake-Tabellen sind Berechtigungen auf Tabellenebene verfügbar.

Weitere Informationen finden Sie unter Limitations.

Weitere Ressourcen

Blogbeiträge und Repositorien