Wählen Sie Ihre Cookie-Einstellungen aus

Wir verwenden essentielle Cookies und ähnliche Tools, die für die Bereitstellung unserer Website und Services erforderlich sind. Wir verwenden Performance-Cookies, um anonyme Statistiken zu sammeln, damit wir verstehen können, wie Kunden unsere Website nutzen, und Verbesserungen vornehmen können. Essentielle Cookies können nicht deaktiviert werden, aber Sie können auf „Anpassen“ oder „Ablehnen“ klicken, um Performance-Cookies abzulehnen.

Wenn Sie damit einverstanden sind, verwenden AWS und zugelassene Drittanbieter auch Cookies, um nützliche Features der Website bereitzustellen, Ihre Präferenzen zu speichern und relevante Inhalte, einschließlich relevanter Werbung, anzuzeigen. Um alle nicht notwendigen Cookies zu akzeptieren oder abzulehnen, klicken Sie auf „Akzeptieren“ oder „Ablehnen“. Um detailliertere Entscheidungen zu treffen, klicken Sie auf „Anpassen“.

AWS Glue Versionen

Fokusmodus
AWS Glue Versionen - AWS Glue

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Sie können den AWS Glue Versionsparameter konfigurieren, wenn Sie einen Job hinzufügen oder aktualisieren. Die AWS Glue Version bestimmt, welche Versionen von Apache Spark und Python AWS Glue unterstützt werden. Die Python-Version gibt die Version an, die für Aufträge des Typs Spark unterstützt wird. In der folgenden Tabelle sind die verfügbaren AWS Glue -Versionen, die entsprechenden Spark- und Python-Versionen sowie andere Änderungen der Funktionalität aufgeführt.

AWS Glue Versionen

AWS Glue Version Unterstützte Versionen der Laufzeitumgebung Unterstützte Java-Version Änderungen der Funktionalität
AWS Glue 5.0
  • Spark 3.5.4

  • Python 3.11

  • Skala 2.12.18

Java 17

Zusätzlich zu den Framework-Updates sind in diese AWS Glue Version Optimierungen und Upgrades integriert, wie zum Beispiel:

  • Unterstützung für Amazon SageMaker Unified Studio

  • Amazon SageMaker Lakehouse-Unterstützung

  • Open Table Formats (OTF) wurde auf Hudi 0.15.0, Iceberg 1.7.1 und Delta Lake 3.3.0 aktualisiert

  • Spark-native, feinkörnative Zugriffskontrolle mit Lake Formation.

  • Access Grants unterstützt

  • requirements.txtUnterstützung für die Installation zusätzlicher Python-Bibliotheken

  • Unterstützung von Data Lineage in Amazon DataZone

  • Unterstützung für Amazon S3 Table Bucket

  • AWS Glue Unterstützung für die Ansicht mehrerer Dialekte im Datenkatalog

Einschränkungen

In Version 5.0 gibt es folgende Einschränkungen: AWS Glue

  • Glue Dynamic GlueContext Frame/-basierte Zugriffskontrolle auf Tabellenebene mit AWS Lake Formation Berechtigungen, die in Glue 4.0 oder früher unterstützt wurden, wird in Glue 5.0 nicht unterstützt. Verwenden Sie die neue native Fine-Grained Access Control (FGAC) von Spark in Glue 5.0.

Weitere Informationen zur Migration auf Version 5.0 finden Sie AWS Glue unter. Migration AWS Glue für Spark-Jobs auf AWS Glue Version 5.0

AWS Glue 4.0 Versionen der Spark-Umgebung
  • Spark 3.3.0

  • Python 3.10

Java 8

AWS Glue 4.0 enthält eine Reihe von Optimierungen und Upgrades, die in diese AWS Glue Version integriert sind, wie zum Beispiel:

  • Viele Upgrades der Spark-Funktionalität von Spark 3.1 auf Spark 3.3:

    • Verschiedene Funktionsverbesserungen bei Kopplung mit Pandas. Weitere Informationen finden Sie unter Neuerungen für Python 3.3.

    • Zusätzliche Optimierungen, die auf Amazon EMR entwickelt wurden.

    • Führen Sie ein Upgrade auf EMR File System (EMRFS, EMR-Dateisystem) 2.53 durch.

  • Log4j2-Migration von Log4j1.x

  • Verschiedene Python-Modul-Aktualisierungen von AWS Glue 3.0, wie z. B. eine aktualisierte Version von Boto.

  • Upgrade mehrerer Konnektoren, einschließlich des standardmäßigen Amazon-Redshift-Konnektors. Siehe Anhang C: Konnektor-Upgrades.

  • Upgrade mehrerer JDBC-Treiber. Siehe Anhang B: Aktualisierungen von JDBC-Treibern.

  • Aktualisiert mit einem neuen Amazon-Redshift-Konnektor und JDBC-Treiber.

  • Native Unterstützung für Open-Data-Lake-Frameworks mit Apache Hudi, Delta Lake und Apache Iceberg.

  • Native Unterstützung für das Amazon-S3-basierte Cloud-Shuffle-Speicher-Plugin (ein Apache-Spark-Plugin) zur Verwendung von Amazon S3 für Shuffling und elastische Speicherkapazität.

Einschränkungen

Dies sind die Einschränkungen für AWS Glue 4.0:

  • AWS Glue Maschinelles Lernen und Transformationen personenbezogener Daten (PII) sind in Version 4.0 noch nicht verfügbar. AWS Glue

Weitere Informationen zur Migration auf AWS Glue Version 4.0 finden Sie unter Migration AWS Glue für Spark-Jobs auf AWS Glue Version 4.0.

Versionen für Ray-Umgebungen
  • Ray 2.4.0

    Python 3.9

N/A

Erstellen und führen Sie verteilte Python-Anwendungen mit AWS Glue for Ray aus.

Einschränkungen für Ray-Aufträge in AWS Glue 4.0

  • AWS Glue interaktive Sessions für Ray sind in dieser Version weiterhin als Vorschauversion verfügbar.

  • AWS Glue für Ray ist die Integration mit Amazon VPC derzeit nicht verfügbar. Ressourcen in einer VPC sind ohne eine öffentliche Route nicht zugänglich. AWS Weitere Informationen zur Verwendung AWS Glue mit Amazon VPC finden Sie unterKonfiguration von Schnittstellen-VPC-Endpunkten ()AWS PrivateLink für AWS Glue (AWS PrivateLink).

  • AWS Glue for Ray ist in den Ländern USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Oregon), Asien-Pazifik (Tokio) und Europa (Irland) verfügbar.

AWS Glue 3.0
  • Spark 3.1.1

  • Python 3.7

Java 8

Zusätzlich zum Upgrade der Spark-Engine auf Version 3.0 gibt es Optimierungen und Upgrades in diesem AWS Glue Release, zum Beispiel:

  • Erstellt die AWS Glue ETL-Bibliothek auf Grundlage von Spark 3.0, einer Hauptversion für Spark.

  • Streaming-Aufträge werden in AWS Glue 3.0 unterstützt

  • Beinhaltet neue AWS Glue Spark-Laufzeitoptimierungen für Leistung und Zuverlässigkeit:

    • Schnellere spaltenweise Verarbeitung im Speicher basierend auf Apache Arrow zum Lesen von CSV-Daten.

    • SIMD-basierte Ausführung für vektorisierte Lesevorgänge mit CSV-Daten.

    • Das Spark-Upgrade umfasst weitere Optimierungen, die auf Amazon EMR entwickelt wurden.

    • Ein Upgrade von EMRFS 2.38 auf 2.46 bietet neue Features und Fehlerbehebungen für den Zugriff auf Amazon S3.

  • Aktualisierung verschiedener Abhängigkeiten, die für die neue Spark-Version erforderlich waren.

  • Aktualisierte JDBC-Treiber für unsere nativ unterstützten Datenquellen.

Einschränkungen

Dies sind die Einschränkungen für AWS Glue 3.0:

  • AWS Glue Transformationen für maschinelles Lernen sind in AWS Glue 3.0 noch nicht verfügbar.

  • Einige benutzerdefinierte Spark-Konnektors funktionieren nicht für AWS Glue 3.0, wenn sie von Spark 2.4 abhängen und nicht mit Spark 3.1 kompatibel sind.

AWS Glue 2.0 (Ende der Nutzungsdauer am 1. April 2026)
  • Spark 2.4.3

  • Python 3.7

N/A

Zusätzlich zu den in AWS Glue Version 1.0 bereitgestellten Funktionen bietet AWS Glue Version 2.0 auch:

  • Eine verbesserte Infrastruktur für die Ausführung von Apache Spark ETL-Jobs AWS Glue mit kürzeren Startzeiten.

  • Die Standardprotokollierung erfolgt jetzt in Echtzeit, mit separaten Streams für Treiber und Ausführende sowie Ausgaben und Fehler.

  • Support für die Angabe zusätzlicher Python-Module oder verschiedener Versionen auf Auftragsebene.

Anmerkung

AWS Glue Version 2.0 unterscheidet sich von AWS Glue Version 1.0 in einigen Abhängigkeiten und Versionen aufgrund der zugrunde liegenden architektonischen Änderungen. Validieren Sie Ihre AWS Glue -Aufträge vor der Migration auf die AWS Glue -Hauptversionen.

AWS Glue 1.0 (Ende der Nutzungsdauer am 1. April 2026)
  • Spark 2.4.3

  • Python 2.7

  • Python 3.6

N/A

Sie können Auftragslesezeichen für Parquet- und ORC-Formate in AWS Glue -ETL-Aufträgen verwalten (unter Verwendung von AWS Glue Version 1.0). Bisher konnten Sie in AWS Glue ETL-Jobs nur gängige Amazon S3 S3-Quellformate wie JSON, CSV, Apache Avro und XML als Lesezeichen speichern.

Bei der Festlegung der Formatoptionen für ETL-Eingaben und -Ausgaben können Sie angeben, dass das Apache Avro Reader/Writer-Format 1.8 verwendet werden soll, um das Lesen und Schreiben von logischen Avro-Typen zu unterstützen (mit Version 1.0). AWS Glue Zuvor wurde nur Version 1.7 des Avro-Reader-/Writer-Formats unterstützt.

Der DynamoDB-Verbindungstyp unterstützt eine Writer-Option (mit AWS Glue -Version 1.0).

Einschränkungen

Die folgenden sind die Einschränkungen für AWS Glue 1.0:

  • AWS Glue Die Versionen 0.9 und 1.0 sind in Zukunft nicht in den Regionen Asien-Pazifik (Jakarta) (ap-southeast-3), Naher Osten (VAE) (me-central-1) oder anderen neuen Regionen verfügbar.

AWS Glue 0.9 (Ende der Lebensdauer am 1. April 2026)
  • Spark 2.2.1

  • Python 2.7

N/A

Jobs, die ohne Angabe einer AWS Glue Version erstellt wurden, sind standardmäßig AWS Glue 0.9.

Einschränkungen

Die folgenden sind die Einschränkungen für AWS Glue 0.9:

  • AWS Glue Die Versionen 0.9 und 1.0 sind in Zukunft nicht mehr in den Regionen Asien-Pazifik (Jakartaap-southeast-3) (), Naher Osten (VAEme-central-1) () oder anderen neuen Regionen verfügbar.

Anmerkung

Die folgenden Glue-Versionen unterstützen diese Versionen von PythonShell:

  • PythonShell v3.6 wird in Glue Version 1.0 unterstützt.

  • PythonShell v3.9 wird in Glue Version 3.0 unterstützt.

Darüber hinaus werden Entwicklungsendpunkte nur in den Glue-Versionen 1.0 und 0.9 unterstützt.

DatenschutzNutzungsbedingungen für die WebsiteCookie-Einstellungen
© 2025, Amazon Web Services, Inc. oder Tochtergesellschaften. Alle Rechte vorbehalten.