Wählen Sie Ihre Cookie-Einstellungen aus

Wir verwenden essentielle Cookies und ähnliche Tools, die für die Bereitstellung unserer Website und Services erforderlich sind. Wir verwenden Performance-Cookies, um anonyme Statistiken zu sammeln, damit wir verstehen können, wie Kunden unsere Website nutzen, und Verbesserungen vornehmen können. Essentielle Cookies können nicht deaktiviert werden, aber Sie können auf „Anpassen“ oder „Ablehnen“ klicken, um Performance-Cookies abzulehnen.

Wenn Sie damit einverstanden sind, verwenden AWS und zugelassene Drittanbieter auch Cookies, um nützliche Features der Website bereitzustellen, Ihre Präferenzen zu speichern und relevante Inhalte, einschließlich relevanter Werbung, anzuzeigen. Um alle nicht notwendigen Cookies zu akzeptieren oder abzulehnen, klicken Sie auf „Akzeptieren“ oder „Ablehnen“. Um detailliertere Entscheidungen zu treffen, klicken Sie auf „Anpassen“.

Geschichte der Dokumentation für AWS Glue

Fokusmodus
Geschichte der Dokumentation für AWS Glue - AWS Glue

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

ÄnderungBeschreibungDatum

Support für 14 weitere neue native SaaS-Konnektoren für AWS Glue

Vierzehn weitere native SaaS-Konnektoren wurden hinzugefügt AWS Glue. Weitere Informationen finden Sie unter AWS Glue Verbindung hinzufügen.

30. Januar 2025

Support für 16 weitere neue native SaaS-Konnektoren für AWS Glue

Sechzehn weitere native SaaS-Konnektoren wurden hinzugefügt AWS Glue. Weitere Informationen finden Sie unter AWS Glue Verbindung hinzufügen.

17. Dezember 2024

Automatische Generierung von Spaltenstatistiken

AWS Glue Data Quality unterstützt jetzt Amazon SageMaker AI LakeHouse Tabellen und AWS Lake Formation verwaltete Iceberg-, Delta- und HUDI-Tabellen in Data Catalog und ETL. Weitere Informationen finden Sie unter AWS Glue Datenqualität.

6. Dezember 2024

Support für Zero-ETL-Integrationen

Zero-ETL ist eine Reihe vollständig verwalteter Integrationen, mit AWS denen der Bedarf an ETL-Datenpipelines minimiert wird. Weitere Informationen finden Sie unter Zero-ETL-Integrationen.

3. Dezember 2024

Support für wiederverwendbare Verbindungen

Ein neues AWS Glue Verbindungsschema bietet eine einheitliche Methode zur Verwaltung von Datenverbindungen zwischen AWS Diensten und Anwendungen wie AWS Glue Amazon Athena und Amazon SageMaker Unified Studio. Weitere Informationen finden Sie unter Verbindung zu Daten herstellen.

3. Dezember 2024

Support für AWS Glue Version 5.0.

Es wurden Informationen zur Unterstützung für AWS Glue Version 5.0 hinzugefügt. Zu den Funktionen gehören ein Apache Spark-Update auf 3.52, ein Java-Update auf 17, Aktualisierungen des Open-Table-Formats, eine native, fein abgestufte Zugriffskontrolle von Sagemaker, Lakehouse- und Data Warehouse-Abstraktionsintegration, Unterstützung in Sagemaker Unified Studio und vieles mehr. Weitere Informationen finden Sie unter Versionshinweise und Migration von Jobs auf Version 5.0 AWS Glue . AWS GlueAWS Glue

3. Dezember 2024

Es wird eine Verbindung zum AWS Glue Iceberg-REST-Endpunkt AWS Glue Data Catalog hergestellt

AWS Glue Der Iceberg-REST-Endpunkt unterstützt API-Operationen, die in der Apache Iceberg REST-Spezifikation spezifiziert sind. Mithilfe eines Iceberg-REST-Clients können Sie Ihre Anwendung, die auf einer Analytics-Engine ausgeführt wird, mit dem im Datenkatalog gehosteten REST-Katalog verbinden. Weitere Informationen finden Sie unter Zugreifen auf den Datenkatalog.

3. Dezember 2024

Automatische Generierung von Spaltenstatistiken

Generieren Sie automatisch Spaltenstatistiken für neue Tabellen in der AWS Glue Data Catalog. Weitere Informationen finden Sie unter Automatische Generierung von Spaltenstatistiken.

3. Dezember 2024

Support für generative KI-Upgrades für Apache Spark in AWS Glue

AWS Glue Mit Spark Upgrades in können Dateningenieure und Entwickler ihre vorhandenen AWS Glue Spark-Jobs mithilfe generativer KI aktualisieren und migrieren, aktualisieren und auf die neuesten Spark-Versionen migrieren. Weitere Informationen finden Sie unter Upgrade-Analyse mit KI.

22. November 2024

Support für generative KI-Fehlerbehebung für Apache Spark in AWS Glue

Generative KI-Fehlerbehebung für Apache Spark-Jobs in AWS Glue hilft Dateningenieuren und Wissenschaftlern dabei, Probleme in ihren Spark-Anwendungen mühelos zu diagnostizieren und zu beheben. Weitere Informationen finden Sie unter Problembehandlung bei Spark-Jobs mit KI.

22. November 2024

Support für Iceberg-Optimierer für den Zugriff auf Amazon S3 S3-Buckets in einer VPC

AWS Glue Data Catalog unterstützt Iceberg-Tabellenoptimierer für den Zugriff auf Amazon S3 S3-Buckets von einer bestimmten Virtual Private Cloud (VPC) über eine Netzwerkverbindung. AWS Glue Weitere Informationen finden Sie unter Optimieren von Iceberg-Tabellen.

20. November 2024

Support für neun weitere neue native SaaS-Konnektoren für AWS Glue

Neun weitere native SaaS-Konnektoren wurden hinzugefügt AWS Glue. Weitere Informationen finden Sie unter AWS Glue Verbindung hinzufügen.

19. November 2024

Support für zehn neue native SaaS-Konnektoren für AWS Glue

Zehn native SaaS-Konnektoren wurden hinzugefügt AWS Glue. Weitere Informationen finden Sie unter AWS Glue Verbindung hinzufügen.

15. November 2024

Support für Job Run Queuing für AWS Glue ETL-Jobs

Sie können die Warteschlange für die Ausführung von Jobs aktivieren, um Jobs zu einem späteren Zeitpunkt auszuführen, wenn sie aufgrund von Servicequotas nicht sofort ausgeführt werden können. Weitere Informationen finden Sie unter Konfiguration der Auftragseigenschaften für Spark-Jobs in AWS Glue.

3. September 2024

Aktualisierte Richtlinienänderungen

Dokumentierte Änderungen an den AwsGlueSessionUserRestrictedNotebookServiceRoleRichtlinien AwsGlueSessionUserRestrictedNotebookPolicyund, die für die Unterstützung von Sitzungen mit dem tag-on-create Eigentümer-Tag-Schlüssel erforderlich sind. Weitere Informationen finden Sie unter AWS Glue Aktualisierungen der AWS verwalteten Richtlinien.

30. August 2024

Anomalieerkennung und dynamische Regeln sind jetzt allgemein verfügbar

AWS Glue Data Quality nutzt einen Algorithmus für maschinelles Lernen, um aus vergangenen Trends zu lernen und dann future Werte vorherzusagen, um Anomalien zu erkennen. Mit dynamischen Regeln können Sie dynamische Schwellenwerte angeben. Weitere Informationen finden Sie unter Optimieren der Abfrageleistung für Iceberg-Tabellen.

7. August 2024

Aktualisierte Richtlinienänderungen

Dokumentierte Änderungen an den AwsGlueSessionUserRestrictedServiceRoleRichtlinien AwsGlueSessionUserRestrictedPolicyund, die für die Unterstützung von Sitzungen mit dem tag-on-create Eigentümer-Tag-Schlüssel erforderlich sind. Weitere Informationen finden Sie unter AWS Glue Aktualisierungen der AWS verwalteten Richtlinien.

5. August 2024

Das Generieren von Spaltenstatistiken für Iceberg-Tabellen ist jetzt allgemein verfügbar

AWS Glue unterstützt die Berechnung und Aktualisierung der Anzahl unterschiedlicher Werte (NDVs) für jede Spalte in Eisberg-Tabellen. Weitere Informationen finden Sie unter Erkennung von Anomalien in den Bereichen AWS Glue Datenqualität und dynamische Regeln.

9. Juli 2024

Support für AWS Glue Nutzungsprofile

Administratoren können AWS Glue Nutzungsprofile für verschiedene Benutzerklassen innerhalb des Kontos erstellen, z. B. für Entwickler, Tester und Produktteams. Diese Flexibilität ermöglicht es Administratoren, für jede Benutzerklasse unterschiedliche Nutzungs- und Kostenkontrollen anzuwenden. Weitere Informationen finden Sie unter AWS Glue Nutzungsprofile einrichten.

18. Juni 2024

Support für einen Salesforce-Konnektor AWS Glue für Spark

Es wurden Informationen über einen neuen AWS Glue Connector für Salesforce hinzugefügt. Mit dieser Funktion können Sie Spark verwenden AWS Glue , um in Version AWS Glue 4.0 und späteren Versionen aus Salesforce zu lesen und in Salesforce zu schreiben. Weitere Informationen finden Sie unter Verbindung zu Salesforce herstellen.

22. Mai 2024

Amazon Q-Datenintegration in AWS Glue (GA)

Amazon Q Data Integration in AWS Glue ist eine neue generative KI-Funktion AWS Glue , die es Dateningenieuren und ETL-Entwicklern ermöglicht, Datenintegrationsjobs in natürlicher Sprache zu erstellen. Ingenieure und Entwickler können Q bitten, Jobs zu verfassen, Probleme zu beheben AWS Glue und Fragen zur Datenintegration zu beantworten. Weitere Informationen erhalten Sie unter Amazon-Q-Datenintegration in AWS Glue. Diese Funktion beinhaltet eine Aktualisierung der Richtlinien AwsGlueSessionUserRestrictedPolicyAwsGlueSessionUserRestrictedNotebookServiceRole, und AwsGlueSessionUserRestrictedServiceRole AWS verwaltete Richtlinien. Weitere Informationen finden Sie unter AWS Glue Aktualisierungen der AWS verwalteten Richtlinien.

30. April 2024

Amazon Q-Datenintegration in AWS Glue (Vorschau)

Amazon Q Data Integration in AWS Glue ist eine neue generative KI-Funktion AWS Glue , die es Dateningenieuren und ETL-Entwicklern ermöglicht, Datenintegrationsjobs in natürlicher Sprache zu erstellen. Ingenieure und Entwickler können Q bitten, Jobs zu verfassen, Probleme zu beheben AWS Glue und Fragen zur Datenintegration zu beantworten. Weitere Informationen erhalten Sie unter Amazon-Q-Datenintegration in AWS Glue. Diese Funktion beinhaltet eine Aktualisierung der AwsGlueSessionUserRestrictedNotebookPolicy AWS verwalteten Richtlinie. Weitere Informationen finden Sie unter AWS Glue Aktualisierungen der AWS verwalteten Richtlinien.

30. Januar 2024

Aktualisierung der Dokumentation für AWS Glue Streaming

Es wurde ein neues Kapitel mit neuen und neu organisierten Inhalten für AWS Glue Streaming hinzugefügt. In diesem Inhalt wird beschrieben, wie Streaming funktioniert AWS Glue, welche Eigenschaften die Datenverarbeitung in Echtzeit hat und wie Sie Ihre Streaming-Jobs überwachen können. Weitere Informationen finden Sie unter AWS Glue -Streaming.

27. Dezember 2023

Unterstützung der detaillierten Erkennung von sensiblen Daten

Mit der Transformation „Detect Sensitive Data“ lassen sich Entitäten erkennen, maskieren oder entfernen, die Sie definieren oder die von AWS Glue vordefiniert werden. Mithilfe detaillierter Aktionen können Sie außerdem eine bestimmte Aktion pro Entität anwenden. Weitere Informationen finden Sie unter Verwenden der detaillierten Erkennung sensibler Daten.

26. November 2023

Support für die Überwachung von Jobs mit AWS Glue Observability-Metriken

Verwenden Sie AWS Glue Observability-Metriken, um Erkenntnisse darüber zu gewinnen, was in Ihren AWS Glue Apache Spark-Jobs passiert, und verbessern Sie so die Triaging und Analyse von Problemen. Weitere Informationen finden Sie unter Überwachung mit AWS Glue Observability-Metriken.

26. November 2023

Support für die Erkennung von Anomalien in der AWS Glue Datenqualität

AWS Glue Bei der Erkennung von Datenqualitätsanomalien werden Algorithmen für maschinelles Lernen (ML) auf Datenstatistiken im Laufe der Zeit angewendet, um abnormale Muster und versteckte Datenqualitätsprobleme zu erkennen, die durch Regeln schwer zu erkennen sind. Weitere Informationen finden Sie unter Erkennung von Anomalien im Bereich AWS Glue Datenqualität.

26. November 2023

Update auf das standardmäßige Protokollierungsverhalten der Spark-Benutzeroberfläche

Spark-Jobs, die Spark-UI-Logs generieren, schreiben jetzt mit einem anderen Dateinamenmuster, um die Spark-Benutzeroberfläche in der AWS Glue Konsole zu unterstützen. Dadurch wird das Verhalten der CloudWatch Protokolle nicht geändert. Sie können das alte Verhalten wiederherstellen, indem Sie die Auftragskonfiguration aktualisieren. Weitere Informationen finden Sie unter Überwachen von Aufträgen über die Web-UI von Apache Spark.

17. November 2023

Support für neue Datenquellen in AWS Glue Spark

Verbindungen zu Amazon OpenSearch Service, Azure SQL, Azure Cosmos for NoSQL, SAP HANA, Teradata Vantage und Vertica werden jetzt nativ unterstützt. AWS Glue Darüber hinaus sind Verbindungen zu diesen Datenquellen zusammen mit MongoDB jetzt für die Verwendung im Visual Editor von AWS Glue Studio verfügbar. Weitere Informationen zur Spark-Unterstützung finden Sie unter Verbindungstypen und Optionen AWS Glue für ETL in AWS Glue für Spark und unter AWS Glue Verbindung hinzufügen für Informationen zur Verwendung im visuellen Editor von AWS Glue Studio.

17. November 2023

Support für die Generierung von Spaltenstatistiken

Sie können Statistiken auf Spaltenebene für AWS Glue Data Catalog Tabellen in Datenformaten wie Parquet, ORC, JSON, ION, CSV und XML berechnen, ohne zusätzliche Daten-Pipelines einrichten zu müssen. Weitere Informationen finden Sie unter Arbeiten mit Spaltenstatistiken.

16. November 2023

Support für die Datenkomprimierung von Iceberg-Tabellen

Um die Leseleistung von AWS Analysediensten wie Amazon Athena und Amazon EMR sowie AWS Glue ETL-Jobs zu verbessern, bietet Data Catalog verwaltete Komprimierung (ein Prozess, der kleine Amazon S3 S3-Objekte zu größeren Objekten komprimiert) für Eisberg-Tabellen im Datenkatalog. Weitere Informationen finden Sie unter Optimieren von Iceberg-Tabellen.

13. November 2023

Aktualisieren des Warteverhaltens bei der Auftragsausführung

Ausführungen von standardmäßigen Spark- und Python-Shell-Aufträgen werden jetzt in bestimmten Situationen zu WAITING wechseln, anstatt sofort zu FAILED zu wechseln. Weitere Informationen finden Sie unter Status von AWS Glue -Auftragsausführungen.

8. November 2023

AWS Glue Studio Das Benutzerhandbuch wurde im Entwicklerhandbuch zusammengefasst AWS Glue

Das AWS Glue Studio Benutzerhandbuch wurde in das Entwicklerhandbuch verschoben, um ein einheitliches Benutzerhandbuch für AWS Glue Studio die AWS Glue Konsole und den AWS Glue Studio programmatischen Zugriff zu schaffen.

25. Oktober 2023

Aktualisierung der AWSGlue ServiceNotebookRole AWS verwalteten Richtlinie

Es wurden Informationen über ein geringfügiges Update der AWSGlue ServiceNotebookRole AWS verwalteten Richtlinie hinzugefügt. Weitere Informationen finden Sie unter AWS Glue Aktualisierungen der AWS verwalteten Richtlinien.

09. Oktober 2023

AWS Glue Studio unterstützt fünf neue integrierte Transformationen

AWS Glue Studio unterstützt die folgenden fünf neuen integrierten Transformationen: Datensatzabgleich, Nullzeilen entfernen, JSON-Spalte analysieren, JSON-Pfad extrahieren und Regex-Extraktor. Weitere Informationen finden Sie unter Transformationsknoten für verwaltete Daten bearbeiten AWS Glue.

11. August 2023

Aktualisierung der AWSGlue ServiceRole AWS verwalteten Richtlinie

Es wurden Informationen über ein geringfügiges Update der AWSGlue ServiceRole AWS verwalteten Richtlinie hinzugefügt. Weitere Informationen finden Sie unter AWS Glue Aktualisierungen der AWS verwalteten Richtlinien.

4. August 2023

Unterstützung für das Crawling von Apache-Hudi-Tabellen

Es wurden Informationen zur Verwendung AWS Glue zum Crawlen von Hudi-Tabellen in Amazon S3 S3-Buckets und zur Registrierung der Hudi-Tabellen im hinzugefügt. AWS Glue Data Catalog Weitere Informationen finden Sie unter Welche Datenspeicher kann ich crawlen? und Crawler-Eigenschaften.

21. Juli 2023

Aktualisierung der verwalteten Richtlinie AWSGlue ConsoleFullAccess AWS

Es wurden Informationen über ein geringfügiges Update der AWSGlue ConsoleFullAccess AWS verwalteten Richtlinie hinzugefügt. Weitere Informationen finden Sie unter AWS Glue Aktualisierungen der AWS verwalteten Richtlinien.

14. Juli 2023

Unterstützung für das Crawling von Apache-Iceberg-Tabellen

Es wurden Informationen zur Verwendung AWS Glue zum Crawlen von Iceberg-Tabellen in Amazon S3 S3-Buckets und zur Registrierung der Iceberg-Tabellen im hinzugefügt. AWS Glue Data Catalog Weitere Informationen finden Sie unter Welche Datenspeicher kann ich crawlen? und Crawler-Eigenschaften.

07. Juli 2023

Support für AWS Glue mit Ray

Es wurden Informationen über AWS Glue with Ray hinzugefügt, eine neue Engine, die AWS Glue Jobs unterstützen kann. Bestehende Inhalte wurden AWS Glue mit Spark-Inhalten neu organisiert, um sie eindeutig zu verstehen.

30. Mai 2023

Support für AWS Glue Datenqualität (GA)

AWS Glue Data Quality ist jetzt allgemein verfügbar. AWS Glue Data Quality hilft Ihnen, die Qualität Ihrer Daten zu bewerten und zu überwachen. Informationen zur Verwendung von AWS Glue Data Quality mit Data Catalog finden Sie unter AWS Glue Datenqualität. Weitere Informationen zur AWS Glue Datenqualität für AWS Glue Studio finden Sie unter Evaluieren der Datenqualität mit AWS Glue Studio.

24. Mai 2023

Unterstützung für größere Worker-Typen für Apache Spark-Aufträge

Die Nutzung der G.4X- und G.8X-Worker-Typen für Apache Spark-Aufträge wird jetzt unterstützt. Diese Worker-Typen sind für Aufträge geeignet, deren Workloads Ihre anspruchsvollsten Transformationen, Aggregationen, Zusammenführungen und Abfragen enthalten. Weitere Informationen finden Sie unter Jobs hinzufügen in AWS Glue.

8. Mai 2023

Unterstützung für die Erstellung von Partitionsindizes beim Crawling von Tabellen

Es wurden Informationen darüber hinzugefügt, wie Crawler die Erstellung von Partitionsindizes für Tabellen unterstützen, die der Crawler erkennt. Weitere Informationen finden Sie unter Festlegen der Partitionsindex-Crawler-Konfigurationsoption.

24. April 2023

Unterstützung für Metriken zur Ressourcennutzung

Es wurden Informationen zur Anzeige der Ressourcennutzung des Dienstes und zur Konfiguration von Alarmen in Amazon hinzugefügt CloudWatch. Weitere Informationen finden Sie unter AWS Glue -Ressourcenüberwachung.

7. April 2023

Aktualisierung der AWSGlue ConsoleFullAccess AWS verwalteten Richtlinie

Es wurden Informationen über ein geringfügiges Update der AWSGlue ConsoleFullAccess AWS verwalteten Richtlinie hinzugefügt. Weitere Informationen finden Sie unter AWS Glue Aktualisierungen der AWS verwalteten Richtlinien.

28. März 2023

Es wurde eine Anleitung zur Verwendung AWS Glue mit einem AWS SDK mit Beispielen hinzugefügt

Das AWS Glue Entwicklerhandbuch enthält zwei neue Abschnitte, die Informationen zur Verwendung AWS Glue mit einem AWS SDK enthalten. Weitere Informationen finden Sie unter AWS Glue Mit einem AWS SDK verwenden und unter Codebeispielen zur AWS Glue Verwendung AWS SDKs.

23. Februar 2023

Aktualisierung der Dokumentation für IAM mit AWS Glue

Informationen zur Verwendung von IAM mit wurden neu organisiert und hinzugefügt. AWS Glue Weitere Informationen finden Sie unter Identitäts- und Zugriffsverwaltung für AWS Glue.

15. Februar 2023

Support für die Ausführung von Streaming-ETL-Jobs in AWS Glue Version 4.0

Es wurden Informationen zur Unterstützung der Ausführung von Streaming-ETL-Aufträgen in Glue Version 4.0 und zu neuen Optionen für die Verbindung mit einem Kafka-Cluster oder einem Cluster von Amazon Managed Streaming für Apache Kafka und Amazon Kinesis Data Streams hinzugefügt. Weitere Informationen finden Sie unter Hinzufügen von Streaming-ETL-Aufträgen in AWS Glue und Verbindungstypen und Optionen für ETL in AWS Glue.

8. Februar 2023

Unterstützung für das Crawling von MongoDB-Atlas-Datenquellen

Es wurden Informationen zur Verwendung AWS Glue zum Crawlen von MongoDB Atlas-Datenquellen hinzugefügt. Weitere Informationen finden Sie unter Welche Datenspeicher kann ich crawlen? , Verbindungseigenschaften von MongoDB und MongoDB Atlas und Verwenden einer MongoDB- oder MongoDB Atlas-Verbindung.

06. Februar 2023

Support für das Crawling von Delta-Lake-Tabellen mit einem nativen Delta-Lake-Konnektor

Es wurden Informationen zur Verwendung AWS Glue zum Crawlen von Delta Lake-Tabellen mithilfe eines nativen Delta Lake-Connectors hinzugefügt. Mit dieser Funktion können Sie AWS Abfrage-Engines verwenden, um das Delta-Transaktionsprotokoll direkt abzufragen und Funktionen wie Zeitreisen und ACID-Garantien zu nutzen und Ihre Delta Lake-Metadaten aus Amazon S3 S3-Transaktionsdateien mit dem Datenkatalog zu synchronisieren, um Spaltenberechtigungen für Ihre Abfragen in Lake Formation zu aktivieren. Weitere Informationen finden Sie unter So geben Sie Konfigurationsoptionen für einen Delta Lake-Datenspeicher an und Abfragen von Delta-Lake-Tabellen.

15. Dezember 2022

Support für AWS Glue Datenqualität (Vorschau)

Support für AWS Glue Datenqualität (Vorschau) ist jetzt verfügbar. AWS Glue Data Quality hilft Ihnen, die Qualität Ihrer Daten zu bewerten und zu überwachen, wenn Sie AWS Glue 3.0 verwenden. Informationen zur Verwendung von AWS Glue Data Quality mit Data Catalog finden Sie unter AWS Glue Datenqualität (Vorschau). Weitere Informationen zur AWS Glue Datenqualität für AWS Glue Studio finden Sie unter Evaluieren der Datenqualität mit AWS Glue Studio.

30. November 2022

Support für einen neuen Amazon-Redshift-Spark-Konnektor mit neuen Features und Leistungsverbesserungen

Support ist jetzt verfügbar für einen neuen Amazon Redshift Spark-Connector mit einem neuen JDBC-Treiber zur Verwendung mit AWS Glue ETL-Jobs zur Erstellung von Apache Spark-Anwendungen, die als Teil Ihrer Datenaufnahme- und Transformationspipelines Daten in Amazon Redshift lesen und darauf schreiben. Weitere Informationen finden Sie unter Verschieben von Daten zu und von Amazon Redshift.

29. November 2022

Support für AWS Glue Version 4.0.

Es wurden Informationen zur Unterstützung für AWS Glue Version 4.0 hinzugefügt. Zu den Features gehören native Unterstützung für Open-Data-Lake-Frameworks mit Apache Hudi, Delta Lake und Apache Iceberg sowie native Unterstützung für das Amazon-S3-basierte Cloud-Shuffle-Speicher-Plugin (ein Apache-Spark-Plugin) zur Verwendung von Amazon S3 für Shuffling und elastische Speicherkapazität. Weitere Informationen finden Sie unter AWS Glue Versionshinweise und Migration von AWS Glue Jobs auf AWS Glue Version 4.0.

28. November 2022

AWS Glue Studio bietet jetzt benutzerdefinierte visuelle Transformationen

Mit benutzerdefinierten visuellen Transformationen können Kunden geschäftsspezifische ETL-Logik definieren, wiederverwenden und in ihren Teams freigeben. Weitere Informationen finden Sie unter Benutzerdefinierte visuelle Transformationen .

28. November 2022

Support für die Verwendung des AWS Glue Crawlers zum Veröffentlichen von Metadaten für JDBC-Datenspeicher

Die Verwendung des AWS Glue Crawlers zum Veröffentlichen von Metadaten wie Kommentaren und Rohtypen im Datenkatalog für JDBC-Datenspeicher ist jetzt verfügbar. Weitere Informationen finden Sie unter Nach Crawler in Datenkatalogtabellen festgelegte Parameter, Crawler-Eigenschaften und Struktur. JdbcTarget

18. November 2022

Support für das Crawling von Snowflake-Datenspeichern

Support für das Crawlen von AWS Glue Snowflake-Tabellen und -Ansichten und für die Veröffentlichung der Metadaten im Datenkatalog als Tabelleneintrag ist jetzt verfügbar. Bei externen Snowflake-Tabellen in Amazon S3 durchsucht der Crawler auch den Amazon-S3-Speicherort und den Dateiformattyp der externen Tabelle und füllt sie als Tabellenparameter aus. Weitere Informationen finden Sie unter Welche Datenspeicher kann ich crawlen?, AWS Glue -Verbindungseigenschaften und Vom Crawler für Data-Catalog-Tabellen festgelegte Parameter.

18. November 2022

Support für eine verbesserte Shuffle-Verwaltung Ihrer Spark-Anwendungen

Support für ein neues Cloud-Shuffle-Speicher-Plugin für Apache Spark ist jetzt verfügbar. Weitere Informationen finden Sie unter AWS Glue -Spark-Shuffle-Plugin mit Amazon S3 und Cloud-Shuffle-Speicher-Plugin für Apache Spark.

15. November 2022

Unterstützung für Datenkatalogziele bei beschleunigten Crawls hinzugefügt, Amazon S3 S3-Ereignisbenachrichtigungen

Zusätzlich zur bestehenden Unterstützung für Amazon S3 S3-Ziele ist jetzt Unterstützung für beschleunigte Crawls für Datenkatalogziele mithilfe von Amazon S3 S3-Ereignisbenachrichtigungen verfügbar. Weitere Informationen finden Sie unter Beschleunigung von Crawls mithilfe von Amazon S3-Ereignisbenachrichtigungen.

13. Oktober 2022

Support für die Angabe der maximalen Anzahl von Tabellen, die ein Crawler erstellen kann

Ab sofort erhalten Sie Support für die Angabe der maximalen Anzahl von Tabellen, die der Crawler erstellen darf. Weitere Informationen erhalten Sie unter So geben Sie die maximale Anzahl von Tabellen an, die der Crawler erstellen darf.

6. September 2022

Support für Python 3.9 in Python-Shell-Jobs in AWS Glue

Support ist jetzt verfügbar für die Ausführung von Skripten, die mit Python 3.9 kompatibel sind AWS Glue, in Python-Shell-Jobs in und für die Auswahl der Verwendung vorgefertigter Bibliothekssätze. Weitere Informationen finden Sie unter Python-Shell-Aufträge in AWS Glue.

11. August 2022

Support für die Ausführung nicht dringender oder nicht zeitkritischer AWS Glue Aufträge auf freier Kapazität

Die Konfiguration flexibler Ausführungen von Aufträgen für nicht dringende Aufträge, wie z. B. Vorproduktionsaufträge, Tests und einmalige Datenübertragungen, wird jetzt unterstützt. Weitere Informationen finden Sie unter Jobs hinzufügen in. AWS Glue

09. August 2022

Support für einen neuen Workertyp für Streaming-Aufträgen

Support für den Einsatz von G.025X-Worker-Typ für Streaming-Aufträgen mit geringem Volumen ist jetzt verfügbar. Weitere Informationen finden Sie unter Jobs hinzufügen in AWS Glue.

14. Juli 2022

Support für die Verwendung von Kafka SASL in Verbindungen AWS Glue

Support ist jetzt für die Verwendung von Kafka SASL in AWS Glue Verbindungen verfügbar. Weitere Informationen finden Sie unter AWS Glue Kafka-Verbindungseigenschaften für die Client-Authentifizierung.

5. Juli 2022

Unterstützung von Apache Kafka Connector für Protobuf-Schemas

Die Unterstützung von Apache Kafka Connector für Protobuf-Schemas ist jetzt verfügbar. Weitere Informationen finden Sie unter AWS Glue Schema Registry.

9. Juni 2022

Support für Auto Scaling for AWS Glue Jobs (GA)

Es wurden Informationen zur Verwendung von Auto Scaling für Jobs in AWS Glue Version 3.0 hinzugefügt, um Rechenressourcen dynamisch zu skalieren. Weitere Informationen finden Sie unter Auto Scaling für AWS Glue verwenden.

14. April 2022

Aktualisierung der Dokumentation zum AWS Glue Entwickeln und Testen von AWS Glue Jobskripten

Informationen zu den verfügbaren Entwicklungs- und Testmethoden für AWS Glue, einschließlich Anweisungen für die Entwicklung mit Docker, wurden neu organisiert und hinzugefügt. Weitere Informationen finden Sie unter AWS Glue Jobskripte entwickeln und testen.

14. März 2022

Hinzufügung von Protokollpuffern (protobuf) als unterstütztes Datenformat für die Schemaregistrierung AWS Glue

Informationen über Protobuf als unterstütztes Datenformat (zusätzlich zu AVRO und JSON) hinzugefügt. Weitere Informationen finden Sie unter AWS Glue Schema Registry.

25. Februar 2022

Support für das Crawling von Delta Lake-Tabellen

Es wurden Informationen zur Verwendung zum Crawlen von AWS Glue Delta Lake-Tabellen hinzugefügt. Weitere Informationen finden Sie unter So geben Sie Konfigurationsoptionen für einen Delta-Lake-Datenspeicher an.

24. Februar 2022

Support für AWS Glue berufliche Einblicke

Es wurden Informationen zur Verwendung von AWS Glue Job Insights hinzugefügt, um das Debuggen und die Optimierung von Jobs für Ihre AWS Glue Jobs zu vereinfachen. Weitere Informationen finden Sie unter Überwachung mit AWS Glue Job Insights.

8. Februar 2022

Support für das Crawling von Amazon-S3-gestützten Datenkatalog-Tabellen mit einem VPC-Endpunkt

Zusätzlich zu Amazon-S3-Datenspeichern können Sie Ihre Amazon-S3-gestützten Datenkatalog-Tabellen so konfigurieren, dass sie nur von einer Amazon-Virtual-Private-Cloud-Umgebung (Amazon VPC) zu Sicherheits-, Prüfungs- oder Kontrollzwecken aufgerufen werden. Weitere Informationen finden Sie untern Crawling eines Amazon-S3-Datenspeichers oder Amazon-S3-gestützten Datenkatalogs mit einem VPC-Endpunkt.

3. Februar 2022

Support für von Lake Formation verwaltete Tabellen

Es wurden Informationen zur AWS Glue Unterstützung für von Lake Formation verwaltete Tabellen hinzugefügt, die ACID-Transaktionen, automatische Datenkomprimierung und Zeitreiseabfragen unterstützen. Weitere Informationen finden Sie unter AWS Glue -API und im AWS Lake Formation -Entwicklerhandbuch.

30. November 2021

Neue AWS verwaltete Richtlinien für interaktive Sitzungen und Notizbücher hinzugefügt

Neue verwaltete Richtlinien für IAM sorgten für mehr Sicherheit bei der Verwendung AWS Glue mit interaktiven Sitzungen und Notizbüchern. Weitere Informationen finden Sie unter AWS -verwaltete Richtlinien für AWS Glue.

30. November 2021

Glue Schema Registry wird jetzt mit Streaming-Aufträgen unterstützt

Sie können Streaming-Aufträge erstellen, die auf Tabellen zugreifen, die Teil des Glue Schema Registry sind. Weitere Informationen finden Sie unter AWS Glue Schema Registry und Hinzufügen von Streaming-ETL-Aufträgen in AWS Glue.

15. November 2021

Support für neue Machine-Learning-Features

Es wurden Informationen über neue Features für die „Find matches“-Machine-Learning-Transformation hinzugefügt, einschließlich inkrementeller Übereinstimmung und Match-Scoring. Weitere Informationen finden Sie unter Inkrementelle Übereinstimmungen und Schätzen der Qualität von Übereinstimmungen mithilfe von Match-Konfidenzwerten.

31. Oktober 2021

(Private Vorschau) Support für AWS Glue Flex-Jobs

Es wurden Informationen zur Konfiguration von AWS Glue Spark-Jobs mit einer flexiblen Ausführungsklasse hinzugefügt, die sich für zeitunabhängige Jobs eignet, deren Start- und Abschlusszeiten variieren können. Weitere Informationen finden Sie unter Jobs hinzufügen in. AWS Glue

29. Oktober 2021

Unterstützung von beschleunigten Crawls mithilfe von Amazon S3-Ereignisbenachrichtigungen

Es wurden Informationen zur Beschleunigung von Crawls mithilfe von Amazon S3-Ereignisbenachrichtigungen hinzugefügt. Weitere Informationen finden Sie unter Beschleunigung von Crawls mithilfe von Amazon S3-Ereignisbenachrichtigungen.

15. Oktober 2021

Zusätzliche Sicherheitskonfigurationsoptionen im Zusammenhang mit der Zugriffskontrolle und VPCs

Es wurden Informationen zur Konfiguration neuer Zugriffsberechtigungen für AWS Glue und zur Konfiguration von hinzugefügt. VPCs Weitere Informationen finden Sie unter AWS Tags in AWS Glue, Identitätsbasierte Richtlinien (IAM-Richtlinien), die Einstellungen mithilfe von Bedingungsschlüsseln oder Kontextschlüsseln steuern und Alle AWS Aufrufe für Ihre VPC konfigurieren.

13. Oktober 2021

Unterstützung für VPC-Endpunktrichtlinien

Es wurden Informationen zur Unterstützung von Virtual Private Cloud (VPC)-Endpunktrichtlinien in hinzugefügt AWS Glue. Weitere Informationen finden Sie unter AWS Glue und Schnittstellen-VPC-Endpunkte (AWS PrivateLink).

11. Oktober 2021

Glue Studio ist jetzt in China verfügbar

AWS Glue Studio ist jetzt in den Regionen China, Peking und Ningxia verfügbar.

11. Oktober 2021

AWS Glue Studio bietet Notizbuch-Authoring für die interaktive Bearbeitung von Jobs

Notebooks unterstützen Sie beim Schreiben und Ausführen von Code, bei der Visualisierung der Ergebnisse und beim Austausch von Erkenntnissen. In der Regel verwenden Datenwissenschaftler Notebooks für Experimente und Aufgaben der Datenexploration. Weitere Informationen finden Sie unter Verwenden von Notebooks.

1. Oktober 2021

Direkter Zugriff auf Streaming-Quellen jetzt verfügbar

Wenn Sie Ihrem ETL-Auftrag im visuellen Editor Datenquellen hinzufügen, können Sie Informationen für den Zugriff auf den Datenstrom angeben, anstatt eine Data Catalog-Datenbank und -Tabelle verwenden zu müssen.

30. September 2021

Die Richtlinie zur AWS Glue Versionsunterstützung wurde dokumentiert

Es wurden Informationen zur AWS Glue Versionsunterstützungsrichtlinie und zum Ende der Lebenszyklusphasen für bestimmte AWS Glue Versionen hinzugefügt. Weitere Informationen finden Sie unter Richtlinie zur AWS Glue -Versionsunterstützung.

24. September 2021

Benutzerdefinierte Konnektoren können jetzt mit Datenvorschauen verwendet werden

Wenn Sie den Datenquellenknoten mit einem benutzerdefinierten Konnektor bearbeiten, können Sie eine Vorschau des Datasets anzeigen, indem Sie die Registerkarte Dat-Vorschau wählen. Weitere Informationen finden Sie unter Benutzerdefinierte Konnektoren

24. September 2021

Support für AWS Glue interaktive Sitzungen (private Vorschau)

(Private Vorschau) Es wurden Informationen zur Verwendung AWS Glue interaktiver Sitzungen hinzugefügt, um Spark-Workloads in der Cloud von einem beliebigen Jupyter-Notebook aus auszuführen. Interaktive Sitzungen sind die bevorzugte Methode für die Entwicklung Ihres ETL-Codes ( AWS Glue Extrahieren, Transformieren und Laden), wenn Sie 2.0 oder höher verwenden AWS Glue . Weitere Informationen finden Sie unter AWS Glue Interaktive Sitzungen für Jupyter Notebook einrichten und ausführen.

24. August 2021

Unterstützung für das Erstellen von Workflows aus Vorlagen (GA)

Es wurden Informationen zum Programmieren allgemeiner Extract, Transform, Load (ETL)-Anwendungsfälle in Blueprints und dann zum Erstellen von Workflows aus Blueprints hinzugefügt. Ermöglicht Datenanalysten ein einfaches Erstellen und Ausführen komplexer ETL-Prozesse. Weitere Informationen finden Sie unter Ausführen von komplexen ETL-Aktivitäten mithilfe von Blueprints und Workflows in AWS Glue.

23. August 2021

Support für AWS Glue Version 3.0.

Es wurden Informationen zur Unterstützung von AWS Glue Version 3.0 hinzugefügt, die das Apache Spark 3.0-Engine-Upgrade zur Ausführung von Apache Spark-ETL-Jobs sowie andere Optimierungen und Upgrades unterstützt. Weitere Informationen finden Sie unter AWS Glue Versionshinweise und Migration von AWS Glue Jobs auf AWS Glue Version 3.0. Zu den weiteren Funktionen dieser Version gehören der AWS Glue Shuffle-Manager, ein vektorisierter SIMD-CSV-Reader und Katalogpartitionsprädikate. Weitere Informationen finden Sie unter AWS Glue Spark Shuffle Manager mit Amazon S3, Formatoptionen für ETL-Eingaben und -Ausgaben in AWS Glue und Serverseitiges Filtern mithilfe von Katalogpartitionsprädikaten.

18. August 2021

AWS GovCloud (US) Region

AWS Glue Studio ist jetzt verfügbar in AWS GovCloud (US) Region

18. August 2021

Python-Shell-Authoring verfügbar in AWS Glue Studio

Beim Erstellen eines neuen Auftrags können Sie nun einen Python-Shell-Auftrag erstellen. Weitere Informationen finden Sie unter Starten der Auftragserstellung und Bearbeiten von Python-Shell-Aufträgen in AWS Glue Studio.

13. August 2021

Support beim Starten eines Workflows mit einem EventBridge Amazon-Event

Es wurden Informationen darüber hinzugefügt, wie AWS Glue Sie in einer ereignisgesteuerten Architektur ein Event-Nutzer sein können. Weitere Informationen finden Sie unter Einen AWS Glue Workflow mit einem EventBridge Amazon-Ereignis starten und EventBridge Ereignisse anzeigen, die einen Workflow gestartet haben.

14. Juli 2021

Hinzufügen von JSON als unterstütztes Datenformat für die AWS Glue Schemaregistrierung

Informationen über JSON als unterstütztes Datenformat (zusätzlich zu AVRO) hinzugefügt. Weitere Informationen finden Sie unter AWS Glue Schema Registry.

30. Juni 2021

Erstellen Sie AWS Glue Streaming-Jobs ohne Datenkatalogtabelle

Die create_data_frame_from_options-Python-Funktion oder getSource für Scala-Skripte unterstützen das Erstellen von Streaming-ETL-Aufträgen, die direkt auf die Datenströme anstatt auf eine Data-Catalog-Tabelle verweisen.

15. Juni 2021

AWS Glue Transformationen für maschinelles Lernen unterstützen jetzt Schlüssel AWS Key Management Service

Sie können eine Sicherheitskonfiguration oder einen AWS KMS Schlüssel angeben, wenn Sie AWS Glue Machine Learning Learning-Transformationen mit der Konsole, der CLI oder dem AWS Glue APIs konfigurieren. Weitere Informationen finden Sie unter Verwenden der Datenverschlüsselung mit Machine Learning-Transformationen und AWS Glue -Machine-Learning-API.

15. Juni 2021

Aktualisierung der AWSGlue ConsoleFullAccess AWS verwalteten Richtlinie

Es wurden Informationen über ein geringfügiges Update der AWSGlue ConsoleFullAccess AWS verwalteten Richtlinie hinzugefügt. Weitere Informationen finden Sie unter AWS Glue Aktualisierungen der AWS verwalteten Richtlinien.

10. Juni 2021

Anzeigen des Datensatzes Ihres Auftrags beim Bearbeiten und Erstellen von Aufträgen

Sie können die neue Registerkarte Data preview (Datenvorschau) für einen Knoten in Ihrem Auftragsdiagramm verwenden, um einen Auszug der von diesem Knoten verwendeten Daten anzusehen. Weitere Informationen finden Sie unter Verwenden von Datenvorschauen im visuellen Auftragseditor.

7. Juni 2021

Unterstützung für das Festlegen eines Werts, der den Speicherort der Tabelle für die Crawler-Ausgabe angibt.

Es wurden Informationen zum Festlegen eines Wertes hinzugefügt, der bei der Konfiguration der Crawler-Ausgabe den Speicherort der Tabelle angibt.. Weitere Informationen finden Sie unter Den Tabellenspeicherort festlegen.

4. Juni 2021

Unterstützung für das Crawling von Probedateien in einem Datensatz beim Crawling eines Amazon-S3-Datenspeichers

Informationen zum Crawling von Probedateien beim Crawling von Amazon S3 wurden hinzugefügt. Weitere Informationen finden Sie unter Crawler-Eigenschaften.

10. Mai 2021

Support für den AWS Glue optimierten Parkettschreiber

Es wurden Informationen zur Verwendung des AWS Glue optimierten Parquet Writers hinzugefügt DynamicFrames , um Tabellen mit der parquet Klassifizierung zu erstellen oder zu aktualisieren. Weitere Informationen finden Sie unter Erstellen von Tabellen, Aktualisieren des Schemas und Hinzufügen neuer Partitionen im Datenkatalog aus AWS Glue ETL-Jobs und Formatierungsoptionen für ETL-Eingaben und -Ausgaben in AWS Glue.

4. Mai 2021

Unterstützung für Kafka-Client-Authentifizierungspasswörter

Es wurden Informationen darüber hinzugefügt, wie Streaming-ETL-Jobs die SSL-Client-Zertifikatsauthentifizierung mit Apache Kafka-Stream-Producern AWS Glue unterstützen. Sie können jetzt ein benutzerdefiniertes Zertifikat angeben und gleichzeitig eine AWS Glue Verbindung zu einem Apache Kafka-Cluster definieren, das bei der Authentifizierung verwendet AWS Glue wird. Weitere Informationen finden Sie unter AWS Glue -Verbindungseigenschaften und Verbindungs-API.

28. April 2021

Unterstützung für die Verarbeitung von Daten aus Amazon Kinesis Data Streams in einem anderen Konto bei Streaming-ETL-Aufträgen

Informationen zum Erstellen eines ETL-Streaming-Auftrags zum Konsumieren von Daten aus Amazon Kinesis Data Streams in einem anderen Konto hinzugefügt. Weitere Informationen finden Sie unter Hinzufügen von Streaming-ETL-Jobs in. AWS Glue

30. März 2021

SQL-Transformation verfügbar

Sie können mit einem SQL-Transformationsknoten Ihre eigene Transformation in Form einer SQL-Abfrage schreiben. Weitere Informationen finden Sie unter Verwenden einer SQL-Abfrage zum Transformieren von Daten.

23. März 2021

Unterstützung für das Erstellen von Workflows aus Vorlagen (öffentliche Vorschau)

(Öffentliche Vorschau) Es wurden Informationen zum Programmieren allgemeiner Extract, Transform, Load (ETL)-Anwendungsfälle in Blueprints und dann zum Erstellen von Workflows aus Blueprints hinzugefügt. Ermöglicht Datenanalysten ein einfaches Erstellen und Ausführen komplexer ETL-Prozesse. Weitere Informationen finden Sie unter Ausführen von komplexen ETL-Aktivitäten mithilfe von Blueprints und Workflows in AWS Glue.

22. März 2021

Konnektoren können für Datenziele verwendet werden

Die Verwendung eines benutzerdefinierten AWS Marketplace Connectors oder Connectors für Ihr Datenziel wird jetzt unterstützt. Weitere Informationen finden Sie unter Erstellen von Aufträgen mit benutzerdefinierten Konnektoren.

15. März 2021

Support von Metriken zur Bedeutung von Spalten für AWS Glue Machine-Learning-Transformationen

Es wurden Informationen zur Anzeige von Metriken zur Spaltenwichtigkeit bei der Arbeit mit Transformationen für AWS Glue maschinelles Lernen hinzugefügt. Weitere Informationen finden Sie unter Arbeiten mit Machine-Learning-Transformationen auf der AWS Glue Konsole.

5. Februar 2021

Jobplanung jetzt verfügbar in AWS Glue Studio

Sie können einen Zeitplan für Ihre Auftragsläufe in AWS Glue Studio definieren. Sie können die Konsole verwenden, um einen einfachen Zeitplan zu erstellen oder einen komplexeren Zeitplan mit der UNIX-ähnlichen cron-Syntax definieren. Weitere Informationen finden Sie unter Planen von Auftragsausführungen.

21. Dezember 2020

AWS Glue Custom Connectors veröffentlicht

AWS Glue Mit Custom Connectors können Sie Connectors in entdecken und abonnieren AWS Marketplace. Wir haben auch AWS Glue Spark-Laufzeitschnittstellen zum Anschließen von Konnektoren veröffentlicht, die für Apache Spark Datasource, Athena Federated Query und JDBC entwickelt wurden. APIs Weitere Informationen finden Sie unter Konnektoren und Verbindungen mit verwenden. AWS Glue Studio

21. Dezember 2020

Support für die Ausführung von Streaming-ETL-Jobs in AWS Glue Version 2.0

Es wurden Informationen zum Support für das Ausführen von Streaming-ETL-Aufträgen in Glue Version 2.0 hinzugefügt. Weitere Informationen finden Sie unter Hinzufügen von Streaming-ETL-Jobs in AWS Glue.

18. Dezember 2020

Unterstützung für die Workload-Partitionierung mit begrenzter Ausführung

Informationen zum Aktivieren der Workload-Partitionierung, um die oberen Grenzen für die Datensatzgröße oder die Anzahl der Dateien zu konfigurieren, die bei ETL-Auftragsläufen verarbeitet werden. Weitere Informationen finden Sie unter Workload-Partitionierung mit begrenzter Ausführung.

23. November 2020

Unterstützung für die erweiterte Partitionsverwaltung

Es wurden Informationen zur Verwendung von new hinzugefügt APIs , um einen Partitionsindex zu einer vorhandenen Tabelle hinzuzufügen oder daraus zu löschen. Weitere Informationen finden Sie unter Arbeiten mit Indizes.

23. November 2020

Support für die AWS Glue Schemaregistrierung

Es wurden Informationen zur Verwendung der AWS Glue Schemaregistry hinzugefügt, um Schemas zentral zu erkennen, zu steuern und weiterzuentwickeln. Weitere Informationen finden Sie unter AWS Glue Schema Registry.

19. November 2020

Unterstützung für das Grok-Eingabeformat in Streaming-ETL-Aufträgen

Informationen zum Anwenden von Grok-Mustern auf Streaming-Quellen wie Protokolldateien wurden hinzugefügt. Weitere Informationen finden Sie unter Anwenden von Grok-Mustern auf Streaming-Quellen.

17. November 2020

Support für das Hinzufügen von Tags zu Workflows auf der AWS Glue Konsole

Informationen zum Hinzufügen von Tags beim Erstellen eines Workflows mit der AWS Glue -Konsole. Weitere Informationen finden Sie unter Erstellen und Ausarbeiten eines Workflows mithilfe der AWS Glue Konsole.

27. Oktober 2020

Unterstützung für inkrementelles Ausführen von Crawlern

Es wurden Informationen zur Unterstützung des inkrementellen Ausführens von Crawlern hinzugefügt, bei denen das Crawling nur für Amazon-S3-Ordner ausgeführt wird, die seit der letzten Ausführung hinzugefügt wurden. Weitere Informationen finden Sie unter inkrementelles Crawling.

21. Oktober 2020

Support für die Schemaerkennung für Streaming-ETL-Datenquellen. Support für Avro Streaming-ETL-Datenquellen und selbstverwaltetes Kafka

Streaming-Aufträge zum Extrahieren, Transformieren und Laden (ETL) AWS Glue können jetzt automatisch das Schema eingehender Datensätze erkennen und Schemaänderungen pro Datensatz verarbeiten. Selbstverwaltete Kafka-Datenquellen werden jetzt unterstützt. Streaming-ETL-Aufträge unterstützen jetzt in Datenquellen das Avro-Format. Weitere Informationen finden Sie unter Streaming-ETL in AWS Glue, Definieren von Jobeigenschaften für einen Streaming-ETL-Job und Hinweise und Einschränkungen für Avro-Streaming-Quellen.

7. Oktober 2020

Unterstützung für das Crawling von MongoDB- und DocumentDB-Datenquellen

Es wurden Informationen zur Unterstützung für das Crawling MongoDB- und Amazon-DocumentDB-Datenquellen (mit MongoDB-Kompatibilität) hinzugefügt. Weitere Informationen finden Sie unter Definieren von Crawlern.

5. Oktober 2020

Unterstützung für FIPS-Compliance

Es wurden Informationen zu FIPS-Endpunkten für Kunden hinzugefügt, die für den Zugriff auf Daten mit AWS Glue FIPS 140-2-validierte kryptographische Module benötigen. Weitere Informationen finden Sie unter FIPS-Compliance.

23. September 2020

AWS Glue Studio bietet eine benutzerfreundliche visuelle Oberfläche zum Erstellen und Überwachen von Jobs

Sie können jetzt eine einfache grafikbasierte Schnittstelle verwenden, um Aufträge zu erstellen, die Daten verschieben, transformieren und auf AWS Glue ausführen. Mit dem Dashboard zum Auführen von Aufträgen in AWS Glue Studio können Sie die ETL-Ausführungen überwachen und dafür sorgen, dass die Aufträge wie vorgesehen laufen. Weitere Informationen finden Sie unter AWS Glue Studio Benutzerleitfaden.

23. September 2020

Unterstützung für das Erstellen von Tabellenindizes zur Verbesserung der Abfrageleistung

Es wurden Informationen zum Erstellen von Tabellenindizes hinzugefügt, mit denen Sie eine Teilmenge der Partitionen aus einer Tabelle abrufen können. Weitere Informationen finden Sie unter Arbeiten mit Indizes.

9. September 2020

Unterstützung für kürzere Startupzeiten bei der Ausführung von Apache-Spark-ETL-Aufträgen in AWS Glue Version 2.0

Es wurden Informationen zur Unterstützung für AWS Glue Version 2.0 hinzugefügt, die eine verbesserte Infrastruktur für die Ausführung von Apache Spark-ETL-Jobs mit kürzeren Startzeiten, Änderungen in der Protokollierung und Unterstützung für die Angabe zusätzlicher Python-Module auf Jobebene bietet. Weitere Informationen finden Sie unter AWS Glue -Versionshinweise und Ausführen von Spark-ETL-Aufträgen mit verkürzten Startupzeiten

10. August 2020

Unterstützung für die Begrenzung der Anzahl gleichzeitiger Workflow-Ausführungen

Es wurden Informationen zur Begrenzung der Anzahl gleichzeitiger Workflow-Ausführungen für einen bestimmten Workflow hinzugefügt. Weitere Informationen finden Sie unter Erstellen und Ausarbeiten eines Workflows mithilfe der AWS Glue Konsole.

10. August 2020

Unterstützung für das Crawling eines Amazon-S3-Datenspeichers mit einem VPC-Endpunkt

Es wurden Informationen zur Konfiguration Ihres Amazon-S3-Datenspeichers für den Zugriff über eine Amazon Virtual Private Cloud (Amazon VPC)-Umgebung zu Sicherheits-, Überwachungs- oder Kontrollzwecken hinzugefügt. Weitere Informationen finden Sie untern Crawling eines Amazon-S3-Datenspeichers mit einem VPC-Endpunkt.

7. August 2020

Unterstützung für die Fortsetzung der Workflow-Ausführung

Es wurden Informationen zum Fortsetzen von Workflow-Ausführungen hinzugefügt, die nur teilweise abgeschlossen wurden, da ein oder mehrere Knoten (Aufträge oder Crawler) nicht erfolgreich abgeschlossen wurden. Weitere Informationen finden Sie unter Reparieren und Fortsetzen einer Workflow-Ausführung.

27. Juli 2020

Unterstützung für das Aktivieren privater CA-Zertifikate in Kafka-Verbindungen in AWS Glue.

Es wurden Informationen zu neuen Verbindungsoptionen hinzugefügt, die das Aktivieren privater CA-Zertifikate für Kafka-Verbindungen in AWS Glue unterstützen. Weitere Informationen finden Sie unter Verbindungstypen und Optionen für ETL in AWS Glue und Spezielle Parameter, die von verwendet werden AWS Glue.

20. Juli 2020

Unterstützung für das Lesen von DynamoDB-Daten in einem anderen Konto

Es wurden Informationen zur AWS Glue Unterstützung für das Lesen von Daten aus der DynamoDB-Tabelle eines anderen AWS Kontos hinzugefügt. Weitere Informationen finden Sie unter Aus DynamoDB-Daten in einem anderen Konto lesen.

17. Juli 2020

Support für eine DynamoDB-Writer-Verbindung in AWS Glue Version 1.0 oder höher

Informationen zur Unterstützung von DynamoDB-Writer sowie neue oder aktualisierte Verbindungsoptionen für DynamoDB zum Lesen oder Schreiben hinzugefügt. Weitere Informationen finden Sie unter Verbindungstypen und Optionen für ETL in AWS Glue.

17. Juli 2020

Unterstützung für Ressourcen-Links und kontoübergreifende Zugriffskontrolle mithilfe von AWS Glue und Lake Formation

Es wurden Inhalte zu neuen Datenkatalogobjekten hinzugefügt, die als Ressourcenlinks bezeichnet werden, und darüber, wie die gemeinsame Nutzung von Datenkatalogressourcen zwischen Konten sowohl mit als auch AWS Glue verwaltet werden kann. AWS Lake Formation Weitere Informationen finden Sie unter Gewährung von kontenübergreifendem Zugriff und Ressourcen-Links zu Tabellen.

7. Juli 2020

Unterstützung für das beispielhafte Abfragen von Datensätzen beim Crawling von DynamoDB-Datenspeichern

Es wurden Informationen zu neuen Eigenschaften hinzugefügt, die Sie beim Crawling eines DynamoDB-Datenspeichers konfigurieren können. Weitere Informationen finden Sie unter Crawler-Eigenschaften.

12. Juni 2020

Unterstützung für das Anhalten einer Workflow-Ausführung

Es wurden Informationen zum Beenden einer Workflow-Ausführung für einen bestimmten Workflow hinzugefügt. Weitere Informationen finden Sie unter Anhalten einer Workflow-Ausführung.

14. Mai 2020

Unterstützung für Spark-Streaming-ETL-Aufträge

Es wurden Informationen zum Erstellen von ETL-Aufträgen (Extrahieren, Transformieren und Laden) mit Streaming-Datenquellen hinzugefügt. Weitere Informationen finden Sie unter Hinzufügen von Streaming-ETL-Aufträgen in AWS Glue.

27. April 2020

Unterstützung für Erstellen von Tabellen, Aktualisieren des Schemas und Hinzufügen neuer Partitionen zum Data Catalog nach Ausführung eines ETL-Auftrags

Es wurden Informationen hinzugefügt, die das Erstellen von Tabellen, das Aktualisieren des Schemas und das Hinzufügen neuer Partitionen erläutern, damit die Ergebnisse des ETL-Auftrags im Data Catalog angezeigt werden. Weitere Informationen finden Sie unter Erstellen von Tabellen, Aktualisieren des Schemas und Hinzufügen neuer Partitionen im Datenkatalog aus AWS Glue ETL-Jobs.

2. April 2020

Support für die Angabe einer Version für das Apache Avro-Datenformat als ETL-Eingabe und -Ausgabe in AWS Glue

Es wurden Informationen zum Angeben einer Version für das Apache Avro-Datenformat als ETL-Eingabe und -Ausgabe in AWS Glue hinzugefügt. Die Standardversion: 1.7. Mit der Formatoption version können Sie Avro Version 1.8 angeben, um das Lesen/Schreiben logischer Typen zu aktivieren. Weitere Informationen finden Sie unter Formatoptionen für ETL-Eingaben und -Ausgaben in AWS Glue.

31. März 2020

Unterstützung für den S3-optimierten EMRFS-Committer zum Schreiben von Parquet-Daten in Amazon S3

Es wurden Informationen zum Setzen eines neuen Flags hinzugefügt, um den S3-optimierten EMRFR-Committer für das Schreiben von Parquet-Daten nach Amazon S3 beim Erstellen oder Aktualisieren eines AWS Glue -Auftrags zu aktivieren. Weitere Informationen finden Sie unter Spezielle Parameter, die von verwendet werden AWS Glue.

30. März 2020

Die Support für maschinelles Lernen wird zu einer Ressource, die durch AWS Ressourcen-Tags verwaltet wird

Es wurden Informationen zur Verwendung von AWS Ressourcen-Tags zur Verwaltung und Steuerung des Zugriffs auf Ihre maschinellen Lerntransformationen in hinzugefügt. AWS Glue Sie können Jobs, Triggern, Endpunkten, Crawlern und Transformationen für maschinelles Lernen AWS Ressourcen-Tags zuweisen. AWS GlueWeitere Informationen finden Sie unter Tags AWS in. AWS Glue

2. März 2020

Unterstützung für nicht überschreibbare Auftragsargumente

Es wurden Informationen zur Unterstützung spezieller Aufgabenparameter hinzugefügt, die weder in Auslösern noch beim Ausführen der Aufgabe überschrieben werden können. Weitere Informationen finden Sie unter Hinzufügen von Aufträgen in AWS Glue.

12. Februar 2020

Unterstützung für neue Transformationen für die Arbeit mit Datensätzen in Amazon S3

Es wurden Informationen zu neuen Transformationen (Merge, Purge und Transition) und Amazon-S3-Speicherklassenausschlüssen hinzugefügt, damit Apache-Spark-Anwendungen mit Datensätzen in Amazon S3 arbeiten können. Weitere Informationen zur Unterstützung dieser Transformationen für Python finden Sie unter mergeDynamicFrameund Working with Datasets in Amazon S3. Informationen zu Scala finden Sie unter mergeDynamicFramesund Scala.AWS Glue GlueContext APIs

16. Januar 2020

Unterstützung für das Aktualisieren von Data Catalog mit neuen Partitionsinformationen aus einem ETL-Auftrag

Es wurden Informationen zum Codieren eines ETL-Skripts (Extrahieren, Transformieren und Laden) hinzugefügt, um es AWS Glue Data Catalog mit neuen Partitionsinformationen zu aktualisieren. Mit diesem Feature müssen Sie den Crawler nach Abschluss des Auftrags nicht mehr erneut ausführen, um die neuen Partitionen anzuzeigen. Weitere Informationen finden Sie unter Aktualisieren von Data Catalog mit neuen Partitionen.

15. Januar 2020

Neues Tutorial: Verwenden eines SageMaker KI-Notebooks

Es wurde ein Tutorial hinzugefügt, das zeigt, wie Sie ein SageMaker Amazon-Notizbuch verwenden können, um Ihre ETL- und Machine-Learning-Skripte zu entwickeln. Siehe Tutorial: Verwenden Sie ein SageMaker Amazon-Notebook mit Ihrem Entwicklungsendpunkt.

3. Januar 2020

Unterstützung für das Lesen aus MongoDB und Amazon DocumentDB (mit MongoDB-Kompatibilität)

Es wurden Informationen über neue Verbindungstypen und Verbindungsoptionen zum Lesen aus und Schreiben in MongoDB und Amazon DocumentDB (mit MongoDB-Kompatibilität) hinzugefügt. Weitere Informationen finden Sie unter Verbindungstypen und Optionen für ETL in AWS Glue.

17. Dezember 2019

Verschiedene Korrekturen und Klärungen

Überall wurden Korrekturen und Klärungen hinzugefügt. Einträge aus dem Kapitel „Bekannte Probleme“ wurden entfernt. Es wurden Warnungen hinzugefügt, die nur symmetrische Kundenhauptschlüssel (CMKs) AWS Glue unterstützen, wenn Verschlüsselungseinstellungen für den Datenkatalog angegeben und Sicherheitskonfigurationen erstellt werden. Es wurde ein Hinweis hinzugefügt, der das Schreiben in Amazon DynamoDB AWS Glue nicht unterstützt.

9. 2019. Dezember 2019

Unterstützung für benutzerdefinierte JDBC-Treiber

Es wurden Informationen zur Verbindung mit Datenquellen und Zielen mit JDBC-Treibern hinzugefügt, die AWS Glue nicht nativ unterstützt werden, wie MySQL Version 8 und Oracle Database Version 18. Weitere Informationen finden Sie unter JDBC-connectionType-Werte.

25. November 2019

Support für die Verbindung von SageMaker KI-Notebooks mit verschiedenen Entwicklungsendpunkten

Es wurden Informationen darüber hinzugefügt, wie Sie ein SageMaker KI-Notebook mit verschiedenen Entwicklungsendpunkten verbinden können. Aktualisierungen zur Beschreibung der neuen Konsolenaktion für den Wechsel zu einem neuen Entwicklungsendpunkt und der neuen SageMaker KI-IAM-Richtlinie. Weitere Informationen finden Sie unter Arbeiten mit Notebooks auf der AWS Glue Konsole und Erstellen einer IAM-Richtlinie für Amazon SageMaker AI-Notebooks.

21. November 2019

Support für AWS Glue Versionen in Transformationen für maschinelles Lernen

Es wurden Informationen zur Definition der AWS Glue Version in einer Transformation für maschinelles Lernen hinzugefügt, um anzugeben, mit welcher Version AWS Glue einer Transformation für maschinelles Lernen kompatibel ist. Weitere Informationen finden Sie unter Arbeiten mit Machine-Learning-Transformationen auf der AWS Glue Konsole.

21. November 2019

Unterstützung für das Zurückspulen Ihrer Auftragslesezeichen

Es wurden Informationen zum Zurückspulen Ihrer Auftragslesezeichen zu jeder beliebigen vorherigen Auftragsausführung hinzugefügt, was dazu führt, dass die nachfolgende Auftragsausführung nur Daten aus der mit dem Lesezeichen versehenen Auftragsausführung neu verarbeitet. Beschrieben werden zwei neue Unteroptionen für die job-bookmark-pause-Option, mit denen Sie einen Auftrag zwischen zwei Lesezeichen ausführen können. Weitere Informationen finden Sie unter Verfolgen verarbeiteter Daten mithilfe von Job-Lesezeichen und speziellen Parametern, die von verwendet werden AWS Glue.

22. Oktober 2019

Unterstützung für benutzerdefinierte JDBC-Zertifikate für die Verbindung mit einem Datenspeicher

Es wurden Informationen zur AWS Glue Unterstützung von benutzerdefinierten JDBC-Zertifikaten für SSL-Verbindungen zu AWS Glue Datenquellen oder Zielen hinzugefügt. Weitere Informationen finden Sie unter Arbeiten mit Verbindungen in der AWS Glue -Konsole.

10. Oktober 2019

Unterstützung für Python Wheel

Es wurden Informationen zur AWS Glue Unterstützung von Wheel-Dateien (zusammen mit EGG-Dateien) als Abhängigkeiten für Python-Shell-Jobs hinzugefügt. Weitere Informationen finden Sie unter Bereitstellen Ihrer eigenen Python-Bibliothek.

26. September 2019

Support für die Versionierung von Entwicklungsendpunkten in AWS Glue

Es wurden Informationen zur Definition der Glue version in der Entwicklung befindlichen Endpunkte hinzugefügt. Glue versionbestimmt die Versionen von Apache Spark und Python, die AWS Glue unterstützt werden. Weitere Informationen finden Sie unter Hinzufügen eines Entwicklungsendpunkts.

19. September 2019

Support für die Überwachung AWS Glue mithilfe der Spark-Benutzeroberfläche

Es wurden Informationen zur Verwendung der Apache Spark-Benutzeroberfläche zum Überwachen und Debuggen von AWS Glue ETL-Jobs, die auf dem AWS Glue Jobsystem ausgeführt werden, und von Spark-Anwendungen auf AWS Glue Entwicklungsendpunkten hinzugefügt. Weitere Informationen finden Sie unter Überwachung AWS Glue mithilfe der Spark-Benutzeroberfläche.

19. September 2019

Verbesserte Unterstützung für die lokale ETL-Skriptentwicklung mithilfe der öffentlichen AWS Glue -ETL-Bibliothek

Der Inhalt der AWS Glue ETL-Bibliothek wurde aktualisiert, um widerzuspiegeln, dass AWS Glue Version 1.0 jetzt unterstützt wird. Weitere Informationen finden Sie unter Lokales Entwickeln und Testen von ETL-Skripts mithilfe der AWS Glue ETL-Bibliothek.

18. September 2019

Unterstützung für das Ausschließen von Amazon-S3-Speicherklassen bei der Ausführung von Aufträgen

Es wurden Informationen zum Ausschluss von Amazon S3-Speicherklassen bei der Ausführung von AWS Glue ETL-Jobs hinzugefügt, die Dateien oder Partitionen aus Amazon S3 lesen. Weitere Informationen finden Sie unter Ausschließen von Amazon-S3-Speicherklassen.

29. August 2019

Support für die lokale ETL-Skriptentwicklung mithilfe der öffentlichen AWS Glue ETL-Bibliothek

Es wurden Informationen zum lokalen Entwickeln und Testen von Python und Scala ETL-Skripts hinzugefügt, ohne dass eine Netzwerkverbindung erforderlich ist. Weitere Informationen finden Sie unter Lokales Entwickeln und Testen von ETL-Skripts mithilfe der AWS Glue ETL-Bibliothek.

28. August 2019

Bekannte Probleme

Es wurden Informationen zu bekannten Problemen in AWS Glue hinzugefügt. Weitere Informationen finden Sie unter Bekannte Probleme für AWS Glue.

28. August 2019

Die Support für maschinelles Lernen transformiert sich in AWS Glue

Es wurden Informationen zu den Funktionen für maschinelles Lernen hinzugefügt, die von AWS Glue zur Erstellung benutzerdefinierter Transformationen bereitgestellt werden. Sie können diese Transformationen erstellen, wenn Sie einen Auftrag erstellen. Weitere Informationen finden Sie unter Transformationen durch Machine Learning in AWS Glue.

8. August 2019

Unterstützung für gemeinsam genutzte Amazon Virtual Private Clouds

Es wurden Informationen zur AWS Glue Unterstützung der gemeinsam genutzten Amazon Virtual Private Cloud hinzugefügt. Weitere Informationen finden Sie unter Shared Amazon VPCs.

6. August 2019

Support für Versionierung in AWS Glue

Es wurden Informationen zur Definition der Glue version In-Job-Eigenschaften hinzugefügt. AWS Glue Version bestimmt die Versionen von Apache Spark und Python, die AWS Glue unterstützt werden. Weitere Informationen finden Sie unter Jobs hinzufügen in AWS Glue.

24. Juli 2019

Unterstützung für zusätzliche Konfigurationsoptionen für Entwicklungsendpunkte

Es wurden Informationen zu Konfigurationsoptionen für Entwicklungsendpunkte mit speicherintensiven Workloads hinzugefügt. Sie haben die Wahl zwischen zwei neuen Konfigurationen, die mehr Speicher pro Executor bieten. Weitere Informationen finden Sie unter Arbeiten mit Entwicklungsendpunkten auf der AWS Glue Konsole.

24. Juli 2019

Unterstützung von Aktivitäten zum Extrahieren, Transformieren und Laden von Daten (ETL) mithilfe von Workflows

Es wurden Informationen zur Verwendung eines neuen Konstrukts hinzugefügt, das als Workflow bezeichnet wird, um eine komplexe ETL-Aktivität (Extrahieren, Transformieren und Laden) mit mehreren Jobs zu entwerfen, die als eine Einheit ausgeführt und verfolgt werden AWS Glue kann. Weitere Informationen finden Sie unter Durchführen komplexer ETL-Aktivitäten mithilfe von Workflows in AWS Glue.

20. Juni 2019

Unterstützung für Python 3.6 in Python-Shell-Aufträgen

Informationen zur Unterstützung für Python 3.6 in Python-Shell-Aufträgen hinzugefügt. Sie können entweder Python 2.7 oder Python 3.6 als Auftragseigenschaft angeben. Weitere Informationen finden Sie unter Hinzufügen von Python-Shell-Aufträgen in AWS Glue.

5. Juni 2019

Unterstützung für Virtual Private Cloud (VPC)-Endpunkte

Es wurden Informationen zur direkten Verbindung AWS Glue über einen Schnittstellenendpunkt in Ihrer VPC hinzugefügt. Wenn Sie einen VPC-Schnittstellenendpunkt verwenden, AWS Glue erfolgt die Kommunikation zwischen Ihrer VPC und der VPC vollständig und sicher innerhalb des AWS Netzwerks. Weitere Informationen finden Sie unter Verwenden AWS Glue mit VPC-Endpunkten.

4. Juni 2019

Support für die kontinuierliche Protokollierung von AWS Glue Jobs in Echtzeit.

Es wurden Informationen zur Aktivierung und Anzeige von Apache Spark-Jobprotokollen in Echtzeit hinzugefügt, CloudWatch einschließlich der Treiberprotokolle, der einzelnen Executor-Protokolle und eines Spark-Job-Fortschrittsbalkens. Weitere Informationen finden Sie unter Continuous Logging for AWS Glue Jobs.

28. Mai 2019

Unterstützung für vorhandene Data-Catalog-Tabellen als Crawler-Quellen

Es wurden Informationen zum Angeben einer Liste von vorhandenen Data-Catalog-Tabellen als Crawler-Quellen hinzugefügt. Crawler können dann Änderungen an Tabellen-Schemata erkennen, Tabellendefinitionen aktualisieren und neue Partitionen registrieren, wenn neue Daten verfügbar werden. Weitere Informationen finden Sie unter Crawler-Eigenschaften.

10. Mai 2019

Unterstützung für zusätzliche Konfigurationsoptionen für speicherintensive Aufträge

Zusätzliche Informationen zu den Konfigurationsoptionen für Apache-Spark-Aufgaben mit speicherintensiven Workloads. Sie haben die Wahl zwischen zwei neuen Konfigurationen, die mehr Speicher pro Executor bieten. Weitere Informationen finden Sie unter Jobs hinzufügen in. AWS Glue

5. April 2019

Unterstützung für benutzerdefinierte CSV-Classifier

Zusätzliche Informationen zur Verwendung eines benutzerdefinierten CSV-Classifier zum Ableiten des Schemas verschiedener Typen von CSV-Daten. Weitere Informationen finden Sie unter Schreiben benutzerdefinierter Classifier.

26. März 2019

Support für AWS Ressourcen-Tags

Es wurden Informationen zur Verwendung von AWS Ressourcen-Tags hinzugefügt, mit denen Sie den Zugriff auf Ihre AWS Glue Ressourcen verwalten und kontrollieren können. In können Sie Jobs, Triggern, Endpunkten und Crawlern AWS Ressourcen-Tags zuweisen. AWS Glue Weitere Informationen finden Sie unter AWS Tags in. AWS Glue

20. März 2019

Unterstützung von Data Catalog für Spark-SQL-Aufträge

Es wurden Informationen zur Konfiguration Ihrer AWS Glue Jobs und Entwicklungsendpunkte hinzugefügt, um den AWS Glue Data Catalog als externen Apache Hive Metastore zu verwenden. Auf diese Weise können Aufträge und Entwicklungsendpunkte direkt Apache-Spark-SQL-Abfragen für im AWS Glue Data Catalog gespeicherte Tabellen ausführen. Weitere Informationen finden Sie unter AWS Glue Data Catalog -Unterstützung für Spark-SQL-Aufträge.

14. März 2019

Unterstützung für Python-Shell-Aufträge

Hinzufügung von Informationen zu Python-Shell-Aufträgen und zum neuen Feld Maximum capacity (Maximale Kapazität). Weitere Informationen finden Sie unter Hinzufügen von Python-Shell-Aufträgen in AWS Glue.

18. Januar 2019

Unterstützung für Benachrichtigungen zu Änderungen bei Datenbanken und Tabellen

Hinzufügung von Informationen zu Ereignissen, die bei Änderungen von Datenbank-, Tabellen- und Partitions-API-Aufrufen generiert werden. Sie können unter Ereignisse Aktionen konfigurieren, um auf diese CloudWatch Ereignisse zu reagieren. Weitere Informationen finden Sie unter Automatisieren AWS Glue mit CloudWatch Ereignissen.

16. Januar 2019

Unterstützung für die Verschlüsselung von Verbindungspasswörtern

Es wurden zusätzliche Informationen zum Verschlüsseln von Passwörtern, die in Verbindungsobjekten verwendet werden, hinzugefügt. Weitere Informationen finden Sie unter Verbindungspasswörter.

11. Dezember 2018

Unterstützung für Berechtigungen auf Ressourcenebene und ressourcenbasierte Richtlinien

Es wurden Informationen zur Verwendung von Berechtigungen auf Ressourcenebene und ressourcenbasierten Richtlinien mit hinzugefügt. AWS Glue Weitere Informationen finden Sie in den Themen unter Sicherheit in AWS Glue.

15. Oktober 2018

Support für SageMaker KI-Notebooks

Es wurden Informationen zur Verwendung von SageMaker KI-Notebooks mit AWS Glue Entwicklungsendpunkten hinzugefügt. Weitere Informationen finden Sie unter Verwalten von Notebooks.

5. Oktober 2018

Unterstützung für Verschlüsselung

Es wurden Informationen zur Verwendung von Verschlüsselung mit AWS Glue hinzugefügt. Weitere Informationen finden Sie unter Verschlüsselung im Ruhezustand, Verschlüsselung während der Übertragung und Einrichten der Verschlüsselung in AWS Glue.

24. August 2018

Unterstützung für Apache-Spark-Auftragsmetriken

Informationen über die Verwendung von Apache-Spark-Metriken zum besseren Debuggen und Profilieren von ETL-Aufträgen hinzugefügt. Von der Konsole aus können Sie auf einfache Weise Laufzeitmetriken wie gelesene und geschriebene Byte, Speicherauslastung und CPU-Last des Treibers und der Executoren sowie Datenaustausch zwischen Executoren verfolgen. AWS Glue Weitere Informationen finden Sie unter Überwachung AWS Glue mithilfe von CloudWatch Metriken, Job-Überwachung und Debugging und Arbeiten mit Jobs auf der AWS Glue Konsole.

13. Juli 2018

Unterstützung von DynamoDB als Datenquelle

Zusätzliche Informationen zum Crawling von DynamoDB und ihre Verwendung als Datenquelle von ETL-Aufträgen. Weitere Informationen finden Sie unter Katalogisieren von Tabellen mit einem Crawler und Verbindungsparameter.

10. Juli 2018

Aktualisierungen zum Verfahren für das Erstellen des Notebook-Servers

Aktualisierte Informationen zum Erstellen eines Notebook-Servers auf einer EC2 Amazon-Instance, die mit einem Entwicklungsendpunkt verknüpft ist. Weitere Informationen finden Sie unter Erstellen eines Notebook-Servers, der einem Entwicklungsendpunkt zugeordnet ist.

9. Juli 2018

Updates jetzt über RSS verfügbar

Sie können jetzt einen RSS-Feed abonnieren, um Benachrichtigungen über Aktualisierungen im AWS Glue -Entwicklerhandbuch zu erhalten.

25. Juni 2018

Unterstützung für Benachrichtigungen zu Auftragsverzögerungen

Informationen zum Konfigurieren eines Verzögerungsschwellenwerts beim Ausführen eines Auftrags hinzugefügt. Weitere Informationen finden Sie unter Hinzufügen von Aufträgen in AWS Glue.

25. Mai 2018

Konfigurieren eines Crawlers zum Anhängen neuer Spalten

Es wurden Informationen zur neuen Konfigurationsoption für Crawler hinzugefügt, MergeNewColumns. Weitere Informationen finden Sie unter Konfigurieren eines Crawlers.

7. Mai 2018

Unterstützung der Zeitüberschreitung bei Aufträgen

Informationen zum Einrichten eines Timeout-Schwellenwerts beim Ausführen eines Auftrags hinzugefügt. Weitere Informationen finden Sie unter Hinzufügen von Aufträgen in AWS Glue.

10. April 2018

Unterstützung von Scala-ETL-Skripts und Auslösen von Aufträgen basierend auf zusätzlichen Ausführungszuständen

Informationen zur Verwendung von Scala als ETL-Programmiersprache wurden hinzugefügt. Darüber hinaus unterstützt die Auslöser-API jetzt das Auslösen, wenn beliebige Bedingungen erfüllt sind (zusätzlich zu allen Bedingungen). Außerdem können Aufträge basierend auf einer "fehlerhaften" oder "angehaltenen" Auftragsausführung ausgelöst werden (zusätzlich zu einer "erfolgreichen" Auftragsausführung).

12. Januar 2018

Frühere Aktualisierungen

In der folgenden Tabelle sind die wichtigen Änderungen in jeder Version des AWS Glue -Entwicklerhandbuchs vor Januar 2018 beschrieben.

Änderung Beschreibung Datum
Support von XML-Datenquellen und eine neue Option für die Crawler-Konfiguration Informationen zur Klassifizierung von XML-Datenquellen und einer neuen Crawler-Option für Partitionsänderungen wurden hinzugefügt. 16. November 2017
Neue Transformationen, Unterstützung für zusätzliche Amazon-RDS-Datenbank-Engines und Erweiterungen für Entwicklungsendpunkte Informationen zu den Transformationen Zuordnung und Filter, Unterstützung für Amazon RDS Microsoft SQL Server und Amazon RDS Oracle und neuen Features für Entwicklungsendpunkte wurden hinzugefügt. 29. September 2017
AWS Glue erste Veröffentlichung Dies ist die erste Version des AWS Glue -Entwicklerhandbuchs. 14. August 2017
DatenschutzNutzungsbedingungen für die WebsiteCookie-Einstellungen
© 2025, Amazon Web Services, Inc. oder Tochtergesellschaften. Alle Rechte vorbehalten.