Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Verwenden des Parquet-Formats in AWS-Glue
AWS-Glue ruft Daten aus Quellen ab und schreibt Daten an Ziele, die in verschiedenen Datenformaten gespeichert und transportiert werden. Wenn Ihre Daten im Parquet-Datenformat gespeichert oder transportiert werden, stellt Ihnen dieses Dokument die verfügbaren Features zur Verwendung Ihrer Daten in AWS-Glue vor.
AWS-Glue unterstützt die Verwendung des Parquet-Formats. Dieses Format ist ein leistungsorientiertes, spaltenbasiertes Datenformat. Eine Einführung in das Format durch die Standardautorität finden Sie unter Dokumentationsübersicht zu Apache-Parquet
Sie können AWS-Glue verwenden, um Parquet-Dateien aus Amazon S3 und aus Streaming-Quellen zu lesen und um Parquet-Dateien in Amazon S3 zu schreiben. Sie können bzip
- und gzip
-Archive mit Parquet-Dateien aus S3 lesen und schreiben. Sie konfigurieren das Komprimierungsverhalten auf S3-Verbindungsparameter statt in der auf dieser Seite besprochenen Konfiguration.
Die folgende Tabelle zeigt, welche gängigen AWS-Glue-Features die Parquet-Formatoption unterstützen.
Lesen | Write (Schreiben) | Streaming gelesen | Gruppieren von kleinen Dateien | Auftrags-Lesezeichen |
---|---|---|---|---|
Unterstützt | Unterstützt | Unterstützt | Nicht unterstützt | Unterstützt* |
* Unterstützt in AWS-Glue-Version 1.0+
Beispiel: Lesen von Parquet-Dateien oder -Ordnern aus S3
Voraussetzungen: Sie benötigen die S3-Pfade (s3path
) zu den Parquet-Dateien oder -Ordnern, die Sie lesen möchten.
Konfiguration: Geben Sie in Ihren Funktionsoptionen format="parquet"
an. Verwenden Sie in Ihrem connection_options
den paths
-Schlüssel, um Ihren s3path
anzugeben.
Sie können konfigurieren, wie der Reader mit S3 in der connection_options
interagiert. Einzelheiten finden Sie unter Verbindungstypen und Optionen für ETL in AWS Glue: S3-Verbindungsparameter.
Sie können konfigurieren, wie der Reader Parquet-Dateien in Ihrem format_options
interpretiert. Details dazu finden Sie unter Parquet-Konfigurationsreferenz.
Das folgende AWS-Glue-ETL-Skript zeigt den Prozess des Lesens von Parquet-Dateien oder -Ordnern aus S3:
Beispiel: Schreiben von Parquet-Dateien und -Ordnern nach S3
Voraussetzungen: Sie benötigen einen initialisierten DataFrame (dataFrame
) oder DynamicFrame (dynamicFrame
). Sie benötigen auch Ihren erwarteten S3-Ausgabepfad, s3path
.
Konfiguration: Geben Sie in Ihren Funktionsoptionen format="parquet"
an. Verwenden Sie in Ihrem connection_options
den paths
-Schlüssel, um s3path
anzugeben.
Sie können die Art und Weise, wie der Writer mit S3 in connection_options
interagiert, weiter verändern. Einzelheiten finden Sie unter Verbindungstypen und Optionen für ETL in AWS Glue: S3-Verbindungsparameter. Sie können konfigurieren, wie Ihre Operation den Inhalt Ihrer Dateien in format_options
schreibt. Details dazu finden Sie unter Parquet-Konfigurationsreferenz.
Das folgende AWS-Glue-ETL-Skript zeigt den Prozess des Schreibens von Parquet-Dateien und -Ordnern in S3.
Wir bieten einen benutzerdefinierten Parquet-Writer mit Leistungsoptimierungen für DynamicFrames über den useGlueParquetWriter
-Konfigurationsschlüssel. Um festzustellen, ob dieser Writer für Ihren Workload geeignet ist, lesen Sie Glue-Parquet-Writer.
Parquet-Konfigurationsreferenz
Sie können die folgenden format_options
überall verwenden, wo AWS-Glue-Bibliotheken format="parquet"
angibt:
-
useGlueParquetWriter
– Gibt die Verwendung eines benutzerdefinierten Parquet-Writers an, der über Leistungsoptimierungen für DynamicFrame-Workflows verfügt. Einzelheiten zur Verwendung finden Sie unter Glue-Parquet-Writer.-
Typ: Boolesch, Standard:
false
-
-
compression
– Gibt den verwendeten Komprimierungs-Codec an. Werte sind voll kompatibel mitorg.apache.parquet.hadoop.metadata.CompressionCodecName
.-
Typ: Aufzählungstext, Standard:
"snappy"
-
Werte:
"uncompressed"
,"snappy"
,"gzip"
und"lzo"
-
-
blockSize
– Gibt die Größe einer im Arbeitsspeicher gepufferten Zeilengruppe in Bytes an. Sie verwenden dies, um die Leistung zu optimieren. Die Größe sollte sich genau in eine Anzahl von Megabyte teilen.-
Typ: Numerisch, Standard:
134217728
-
Der Standardwert ist gleich 128 MB.
-
-
pageSize
– Gibt die Größe einer Seite in Byte an. Sie verwenden dies, um die Leistung zu optimieren. Eine Seite ist die kleinste Einheit, die vollständig gelesen werden muss, um auf einen einzelnen Datensatz zugreifen zu können.-
Typ: Numerisch, Standard:
1048576
-
Der Standardwert ist gleich 1 MB.
-
Anmerkung
Es können zusätzlich alle Optionen, die vom zugrunde liegenden SparkSQL-Code akzeptiert werden, im Rahmen des connection_options
-Map-Parameters in dieses Format übergeben werden. Zum Beispiel kann eine Spark-Konfiguration wie mergeSchema
Optimieren der Schreibleistung mit AWS-Glue-Parquet-Writer
Anmerkung
Der Zugriff auf den AWS-Glue-Parquet-Writer erfolgte in der Vergangenheit über den glueparquet
-Formattyp. Dieses Zugriffsmuster wird nicht mehr befürwortet. Verwenden Sie stattdessen den parquet
-Typ mit aktiviertem useGlueParquetWriter
.
Der AWS-Glue-Parquet-Writer verfügt über Leistungsverbesserungen, die ein schnelleres Schreiben von Parquet-Dateien ermöglichen. Der traditionelle Writer berechnet vor dem Schreiben ein Schema. Das Parquet-Format speichert das Schema nicht in einer schnell abrufbaren Form, daher kann dies einige Zeit dauern. Mit dem AWS-Glue-Parquet-Writer ist ein vorab berechnetes Schema nicht erforderlich. Der Writer berechnet und modifiziert das Schema dynamisch, sobald Daten eingehen.
Beachten Sie die folgenden Einschränkungen, wenn Sie useGlueParquetWriter
angeben:
-
Der Writer unterstützt nur die Schemaentwicklung (z. B. das Hinzufügen oder Entfernen von Spalten), aber nicht das Ändern von Spaltentypen, wie bei
ResolveChoice
. -
Der Writer unterstützt nicht das Schreiben von leeren DataFrames – zum Beispiel, um eine reine Schema-Datei zu schreiben. Bei der Integration mit dem AWS Glue Data Catalog durch die Einstellung
enableUpdateCatalog=True
wird der Datenkatalog nicht aktualisiert, wenn Sie versuchen, einen leeren DataFrame zu schreiben. Dies führt dazu, dass im Datenkatalog eine Tabelle ohne Schema erstellt wird.
Wenn Ihre Transformation diese Einschränkungen nicht erfordert, sollte das Aktivieren des AWS-Glue-Parquet-Writers die Leistung steigern.