Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Verwenden mit AWS Lake FormationAWS Glue
Dateningenieure und DevOps Experten verwenden AWS Glue Extract, Transform and Load (ETL) mit Apache Spark, um Transformationen an ihren Datensätzen in Amazon S3 durchzuführen und die transformierten Daten für Analysen, maschinelles Lernen und Anwendungsentwicklung in Data Lakes und Data Warehouses zu laden. Da verschiedene Teams auf denselben Datensatz in Amazon S3 zugreifen, ist es unerlässlich, Berechtigungen basierend auf ihren Rollen zu gewähren und einzuschränken.
AWS Lake Formation ist darauf aufgebaut AWS Glue, und die Dienste interagieren auf folgende Weise:
-
Lake Formation und AWS Glue teilen sich denselben Datenkatalog.
-
Die folgenden Funktionen der Lake Formation Formation-Konsole rufen den AWS Glue Konsole:
-
Jobs — Weitere Informationen finden Sie unter Jobs hinzufügen im AWS Glue Developer Guide.
-
Crawler — Weitere Informationen finden Sie unter Katalogisieren von Tabellen mit einem Crawler im AWS Glue Entwicklerhandbuch.
-
-
Die Workflows, die generiert werden, wenn Sie einen Lake Formation-Blueprint verwenden, sind AWS Glue Workflows. Sie können diese Workflows sowohl in der Lake Formation Formation-Konsole als auch in der AWS Glue console.
-
Transformationen für maschinelles Lernen werden mit Lake Formation bereitgestellt und basieren auf AWS Glue APIOperationen. Sie erstellen und verwalten Transformationen für maschinelles Lernen auf der AWS Glue console. Weitere Informationen finden Sie unter Machine Learning Transforms im AWS Glue Developer Guide.
Sie können die detaillierte Zugriffskontrolle von Lake Formation verwenden, um Ihre vorhandenen Datenkatalogressourcen und Amazon S3 S3-Datenstandorte zu verwalten.
Anmerkung
AWS Glue ETLerfordert vollen Zugriff auf die gesamte Tabelle beim Abrufen von Daten vom zugrunde liegenden Amazon S3 S3-Standort. AWS Glue ETLDer Job schlägt fehl, wenn Sie Berechtigungen auf Spaltenebene auf eine Tabelle anwenden.
Support für Transaktionstabellentypen
Durch die Anwendung Lake Formation Formation-Berechtigungen können Sie Ihre Transaktionsdaten in Ihren Amazon S3 S3-basierten Data Lakes sichern. In der folgenden Tabelle sind die in unterstützten Transaktionstabellenformate AWS Glue und die Lake Formation Formation-Berechtigungen aufgeführt. Lake Formation setzt diese AWS Glue Betriebsgenehmigungen durch.
Unterstützte Tabellenformate | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Tabellenformat | Beschreibung und zulässige Operationen | Lake Formation Formation-Berechtigungen werden unterstützt in AWS Glue | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Apache Hudi |
Ein offenes Tabellenformat, das zur Vereinfachung der inkrementellen Datenverarbeitung und der Entwicklung von Datenpipelines verwendet wird. Beispiele finden Sie unter Verwenden des Hudi-Frameworks in. AWS Glue |
Für Hudi-Tabellen sind Berechtigungen auf Tabellenebene verfügbar. Weitere Informationen finden Sie unter Limitations. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Apache Iceberg |
Ein offenes Tabellenformat, das große Sammlungen von Dateien als Tabellen verwaltet. Beispiele finden Sie unter Verwenden des Iceberg-Frameworks in AWS Glue. |
Für Iceberg-Tabellen sind Berechtigungen auf Tabellenebene verfügbar. Weitere Informationen finden Sie unter Limitations. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Linux Foundation Delta Lake |
Delta Lake ist ein Open-Source-Projekt, das bei der Implementierung moderner Data-Lake-Architekturen hilft, die üblicherweise auf Amazon S3 oder Hadoop Distributed File System () basieren. HDFS Beispiele finden Sie unter Verwenden des Delta Lake-Frameworks in. AWS Glue |
Für Delta Lake-Tabellen sind Berechtigungen auf Tabellenebene verfügbar. Weitere Informationen finden Sie unter Limitations. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Weitere Ressourcen
Blogbeiträge und Repositorien
-
Schreiben in Apache Hudi-Tabellen mithilfe eines benutzerdefinierten Connectors AWS Glue
-
AWS Repository mit Cloudformation-Vorlage und Pyspark-Codebeispiel
zur Analyse von Streaming-Daten mit AWS Glue Apache Hudi und Amazon S3.
