Aufträge - AWS Glue

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Aufträge

Die Jobs-API beschreibt die Datentypen und die API für das Erstellen, Aktualisieren, Löschen oder Anzeigen von Jobs in AWS Glue.

Datentypen

Auftrags-Struktur

Gibt eine Auftragsdefinition an.

Felder
  • Name – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

    Der Name, den Sie dieser Auftragsdefinition zuweisen.

  • JobMode – UTF-8-Zeichenfolge (zulässige Werte: SCRIPT="" | VISUAL="" | NOTEBOOK="").

    Ein Modus, der beschreibt, wie ein Job erstellt wurde. Gültige Werte für sind:

    • SCRIPT- Der Job wurde mit dem AWS Glue Studio-Skripteditor erstellt.

    • VISUAL- Der Job wurde mit dem Visual Editor von AWS Glue Studio erstellt.

    • NOTEBOOK- Der Job wurde mit einem interaktiven Sitzungsnotizbuch erstellt.

    Wenn das JobMode Feld fehlt oder Null SCRIPT ist, wird es als Standardwert zugewiesen.

  • Description – Beschreibende Zeichenfolge, nicht mehr als 2048 Bytes lang, passend zum URI address multi-line string pattern.

    Eine Beschreibung der Aufgabe.

  • LogUri – UTF-8-Zeichenfolge.

    Dieses Feld ist für zukünftige Zwecke reserviert.

  • Role – UTF-8-Zeichenfolge.

    Der Name oder der Amazon-Ressourcenname (ARN) der IAM-Rolle, die diesem Auftrag zugeordnet ist.

  • CreatedOn – Zeitstempel.

    Datum und Uhrzeit der Erstellung dieser Auftragsdefinition.

  • LastModifiedOn – Zeitstempel.

    Der letzte Zeitpunkt, zu dem diese Auftragsdefinition geändert wurde.

  • ExecutionProperty – Ein ExecutionProperty-Objekt.

    Eine ExecutionProperty, die die maximale Anzahl der gleichzeitigen Ausführungen angibt, die für diesen Auftrag zulässig sind.

  • Command – Ein JobCommand-Objekt.

    Der JobCommand, der diesen Auftrag ausführt.

  • DefaultArguments – Ein Map-Array von Schlüssel-Wert-Paaren.

    Jeder Schlüssel ist eine UTF-8-Zeichenfolge.

    Jeder Wert ist eine UTF-8-Zeichenfolge.

    Die Standardargumente für jede Ausführung dieses Auftrags, angegeben als Name-Wert-Paare.

    Sie können hier Argumente angeben, die Ihr eigenes Jobausführungsskript verwendet, sowie Argumente, die AWS Glue selbst verwendet werden.

    Auftragsargumente können protokolliert werden. Übergeben Sie keine Klartext-Geheimnisse als Argumente. Rufen Sie Geheimnisse aus einer AWS Glue Verbindung AWS Secrets Manager oder einem anderen geheimen Verwaltungsmechanismus ab, wenn Sie beabsichtigen, sie innerhalb des Job zu behalten.

    Weitere Informationen zum Angeben und Nutzen Ihrer eigenen Auftragsargumente finden Sie im Thema Aufrufen von AWS Glue -APIs in Python im Entwicklerhandbuch.

    Informationen zu den Argumenten, die Sie für dieses Feld beim Konfigurieren von Spark-Aufträgen angeben können, finden Sie im Thema Spezielle Parameter, die von AWS Glue verwendet werden im Entwicklerhandbuch.

    Informationen zu den Argumenten, die Sie für dieses Feld beim Konfigurieren von Ray-Aufträgen angeben können, finden Sie unter Verwenden von Auftragsparametern in Ray-Aufträgen im Entwicklerhandbuch.

  • NonOverridableArguments – Ein Map-Array von Schlüssel-Wert-Paaren.

    Jeder Schlüssel ist eine UTF-8-Zeichenfolge.

    Jeder Wert ist eine UTF-8-Zeichenfolge.

    Argumente für diesen Auftrag, die beim Bereitstellen von Auftragsargumenten in einer Auftragsausführung nicht überschrieben werden und als Name-Wert-Paare angegeben werden.

  • Connections – Ein ConnectionsList-Objekt.

    Die Verbindungen, die für diesen Auftrag verwendet werden.

  • MaxRetries – Zahl (Ganzzahl).

    Gibt an, wie oft dieser Job nach einem JobRun Fehlschlag maximal wiederholt werden soll.

  • AllocatedCapacity – Zahl (Ganzzahl).

    Diese Feld ist als veraltet gekennzeichnet. Verwenden Sie stattdessen MaxCapacity.

    Die Anzahl der AWS Glue Datenverarbeitungseinheiten (DPUs), die den Ausführungen dieses Jobs zugewiesen sind. Sie können ab 2 DPUs zuweisen. Der Standardwert ist 10. Bei einer DPU handelt es sich um ein relatives Maß der Rechenleistung, die aus 4 vCPUs Rechenkapazität und 16 GB Arbeitsspeicher besteht. Weitere Informationen finden Sie in der AWS Glue Preisliste.

  • Timeout – Zahl (ganze Zahl), mindestens 1.

    Die Auftrag-Zeitüberschreitung in Minuten. Dies ist die maximale Zeitspanne, in der eine Auftragsausführung Ressourcen verbrauchen kann, ehe sie beendet wird und in den TIMEOUT-Status wechselt. Die Standardeinstellung für Batch-Jobs ist 2.880 Minuten (48 Stunden).

    Streaming-Jobs müssen Timeout-Werte von weniger als 7 Tagen oder 10080 Minuten haben. Wenn der Wert leer gelassen wird, wird der Job nach 7 Tagen neu gestartet, sofern Sie kein Wartungsfenster eingerichtet haben. Wenn Sie ein Wartungsfenster eingerichtet haben, wird es während des Wartungsfensters nach 7 Tagen neu gestartet.

  • MaxCapacity – Nummer (doppelt).

    Für Glue-Jobs der Version 1.0 oder früher unter Verwendung des Standard-Worker-Typs die Anzahl der AWS Glue Datenverarbeitungseinheiten (DPUs), die zugewiesen werden können, wenn dieser Job ausgeführt wird. Bei einer DPU handelt es sich um ein relatives Maß der Rechenleistung, die aus 4 vCPUs Rechenkapazität und 16 GB Arbeitsspeicher besteht. Weitere Informationen finden Sie in der AWS Glue Preisliste.

    Für Aufträge der Glue-Version 2.0 oder höher können Sie keine Maximum capacity angeben. Stattdessen sollten Sie einen Worker type und die Number of workers festlegen.

    Setzen Sie nicht MaxCapacity, wenn Sie WorkerType und NumberOfWorkers verwenden.

    Der Wert, der MaxCapacity zugewiesen werden kann, ist davon abhängig, ob Sie eine Python-Shell-Aufgabe, eine Apache-Spark-ETL-Aufgabe oder eine Apache-Spark-Streaming-ETL-Aufgabe ausführen:

    • Wenn Sie einen Python-Shell-Auftrag (JobCommand.Name="pythonshell") angeben, können Sie entweder 0,0625 oder 1 DPU zuweisen. Der Standardwert ist 0,0625 DPU.

    • Wenn Sie eine Apache Spark ETL-Aufgabe (JobCommand.Name=“glueetl“) oder eine Apache-Spark-Streaming-ETL-Aufgabe (JobCommand.Name="gluestreaming“) angeben, können Sie 2 bis 100 DPUs zuweisen. Der Standardwert ist 10 DPUs. Diesem Auftragstyp dürfen keine DPU-Bruchteile zugeteilt werden.

  • WorkerType – UTF-8-Zeichenfolge (zulässige Werte: Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" | Z.2X="").

    Der Typ der vordefinierten Worker, der zugeordnet wird, wenn ein Auftrag ausgeführt wird. Akzeptiert einen Wert von G.1X, G.2X, G.4X, G.8X oder G.025X für Spark-Aufträge. Akzeptiert den Wert Z.2X für Ray-Aufträge.

    • Für den G.1X-Worker-Typ ist jedem Worker einer DPU (4 vCPUs, 16 GB Arbeitsspeicher) mit 84 GB Festplatte (ca. 34 GB frei) zugeordnet und stellt 1 Ausführer pro Worker bereit. Wir empfehlen diesen Worker-Typ für Workloads wie Datentransformationen, Zusammenführungen und Abfragen. Er bietet eine skalierbare und kostengünstige Möglichkeit, die meisten Aufträge auszuführen.

    • Für den G.2X-Worker-Typ ist jedem Worker 2 DPUs (8 vCPUs, 32 GB Arbeitsspeicher) mit 128 GB Festplatte (ca. 77 GB frei) zugeordnet und stellt 1 Ausführer pro Worker bereit. Wir empfehlen diesen Worker-Typ für Workloads wie Datentransformationen, Zusammenführungen und Abfragen. Er bietet eine skalierbare und kostengünstige Möglichkeit, die meisten Aufträge auszuführen.

    • Für den G.4X-Worker-Typ ist jedem Worker 4 DPUs (16 vCPUs, 64 GB Arbeitsspeicher) mit 256 GB Festplatte (ca. 235 GB frei) zugeordnet und stellt 1 Ausführer pro Worker bereit. Wir empfehlen diesen Worker-Typ für Aufträge, deren Workloads Ihre anspruchsvollsten Transformationen, Aggregationen, Verknüpfungen und Abfragen enthalten. Dieser Workertyp ist nur für Spark ETL-Jobs der AWS Glue Version 3.0 oder höher in den folgenden AWS Regionen verfügbar: USA Ost (Ohio), USA Ost (Nord-Virginia), USA West (Oregon), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Asien-Pazifik (Tokio), Kanada (Zentral), Europa (Frankfurt), Europa (Irland) und Europa (Stockholm).

    • Für den G.8X-Worker-Typ ist jedem Worker 8 DPUs (32 vCPUs, 128 GB Arbeitsspeicher) mit 512 GB Festplatte (ca. 487 GB frei) zugeordnet und stellt 1 Ausführer pro Worker bereit. Wir empfehlen diesen Worker-Typ für Aufträge, deren Workloads Ihre anspruchsvollsten Transformationen, Aggregationen, Verknüpfungen und Abfragen enthalten. Dieser Worker-Typ ist nur für Spark-ETL-Jobs der AWS Glue Version 3.0 oder höher in denselben AWS Regionen verfügbar, die für den G.4X Worker-Typ unterstützt werden.

    • Für den G.025X-Worker-Typ ist jedem Worker 0,25 DPU (2  vCPUs, 4 GB Arbeitsspeicher) mit 84 GB Festplattenspeicher (ca. 34 GB frei) zugeordnet, und es wird 1 Ausführer pro Worker bereitgestellt. Wir empfehlen diesen Worker-Typ für Streaming-Aufträge mit geringem Volumen. Dieser Worker-Typ ist nur für Streaming-Jobs der AWS Glue Version 3.0 verfügbar.

    • Für den Z.2X-Worker-Typ wird jeder Worker 2 M-DPU (8 vCPUs, 64 GB Arbeitsspeicher) mit 128 GB Festplatte (ca. 120 GB frei) zugeordnet und stellt basierend auf dem Autoscaler bis zu 8 Ray-Worker bereit.

  • NumberOfWorkers – Zahl (Ganzzahl).

    Die Anzahl der Worker eines definierten workerType die zugewiesenj werden, wenn ein Auftrag ausgeführt wird.

  • SecurityConfiguration – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

    Der Name der SecurityConfiguration-Struktur, die mit diesem Auftrag verwendet werden soll.

  • NotificationProperty – Ein NotificationProperty-Objekt.

    Gibt die Konfigurationseigenschaften einer Auftragsbenachrichtigung an.

  • Running – Boolesch.

    Dieses Feld ist für zukünftige Zwecke reserviert.

  • GlueVersion – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Custom string pattern #20.

    GlueVersionErmittelt in Spark-Jobs die Versionen von Apache Spark und Python, die in einem Job AWS Glue verfügbar sind. Die Python-Version gibt die Version an, die für Aufträge vom Typ Spark unterstützt wird.

    In Ray-Aufträge sollte die GlueVersion auf 4.0 oder höher eingestellt sein. Welche Versionen von Ray, Python und zusätzlichen Bibliotheken in Ihrem Ray-Auftrag verfügbar sind, wird jedoch durch die Runtime-Parameter des Auftragsbefehls bestimmt.

    Weitere Informationen zu den verfügbaren AWS Glue Versionen und den entsprechenden Spark- und Python-Versionen finden Sie unter Glue-Version im Entwicklerhandbuch.

    Für Aufträge, die ohne Angabe einer Glue-Version erstellt werden, gilt standardmäßig Glue 0.9.

  • CodeGenConfigurationNodes – Ein Map-Array von Schlüssel-Wert-Paaren.

    Jeder Schlüssel ist eine UTF-8-Zeichenfolge, die Custom string pattern #39 entspricht.

    Jeder Wert ist ein A CodeGenConfigurationNode-Objekt.

    Die Darstellung eines gerichteten azyklischen Grafiken, auf dem sowohl die visuelle Komponente von Glue Studio als auch die Codegenerierung von Glue Studio basieren.

  • ExecutionClass – UTF-8-Zeichenfolge, nicht länger als 16 Bytes (gültige Werte: FLEX="" | STANDARD="").

    Gibt an, ob der Auftrag mit einer Standard- oder einer flexiblen Ausführungsklasse ausgeführt wird. Die Standardausführungsklasse ist optimal für zeitkritische Workloads, die einen schnellen Auftragsstart und dedizierte Ressourcen erfordern.

    Die flexible Ausführungsklasse ist geeignet für zeitunabhängige Aufträge, deren Start- und Abschlusszeiten variieren können.

    Nur Jobs mit AWS Glue Version 3.0 und höher und dem Befehlstyp dürfen ExecutionClass auf gesetzt glueetl werdenFLEX. Die flexible Ausführungsklasse ist für Spark-Aufträge verfügbar.

  • SourceControlDetails – Ein SourceControlDetails-Objekt.

    Die Details für eine Quellcodeverwaltungskonfiguration für einen Auftrag, die die Synchronisation von Auftragsartefakten zu oder von einem Remote-Repository ermöglichen.

  • MaintenanceWindow – UTF-8-Zeichenfolge, die Custom string pattern #30 entspricht.

    Dieses Feld gibt einen Wochentag und eine Stunde für ein Wartungsfenster für Streaming-Jobs an. AWS Glue führt regelmäßig Wartungsarbeiten durch. Während dieser Wartungsfenster müssen AWS Glue Sie Ihre Streaming-Jobs neu starten.

    AWS Glue wird den Job innerhalb von 3 Stunden nach Ablauf des angegebenen Wartungsfensters neu starten. Wenn Sie beispielsweise das Wartungsfenster für Montag um 10:00 Uhr GMT einrichten, werden Ihre Jobs zwischen 10:00 Uhr GMT und 13:00 Uhr GMT neu gestartet.

  • ProfileName – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

    Der Name eines mit dem Job verknüpften AWS Glue Nutzungsprofils.

ExecutionProperty Struktur

Eine Ausführungseigenschaft eines Auftrags.

Felder
  • MaxConcurrentRuns – Zahl (Ganzzahl).

    Die maximale Anzahl der gleichzeitigen Ausführungen, die für diesen Auftrag zulässig sind. Der Standardwert ist 1. Bei Erreichen dieser Schwelle wird ein Fehler zurückgegeben. Der Höchstwert, den Sie angeben können, wird durch ein Service Limit gesteuert.

NotificationProperty Struktur

Gibt die Konfigurationseigenschaften einer Benachrichtigung an.

Felder
  • NotifyDelayAfter – Zahl (ganze Zahl), mindestens 1.

    Nach dem Start eines Auftragslaufs gibt dies die Anzahl der Minuten an, die gewartet werden muss, bevor eine Benachrichtigung über die Verzögerung eines Auftragslaufs gesendet wird.

JobCommand Struktur

Gibt den Code an, der während einer Auftragsausführung ausgeführt wird.

Felder
  • Name – UTF-8-Zeichenfolge.

    Der Name des Auftragsbefehls. Für einen Apache-Spark-ETL-Auftrag muss dies glueetl sein. Bei einem Python-Shell-Auftrag muss dies pythonshell sein. Für eine Apache-Spark-Streaming-ETL-Aufgabe muss dies sein gluestreaming. Für einen Ray-Auftrag muss dies glueray sein.

  • ScriptLocation – UTF-8-Zeichenfolge, nicht mehr als 400.000 Bytes lang.

    Gibt den Amazon Simple Storage Service (Amazon S3)-Pfad zu einem Skript zum Ausführen eines Auftrags an.

  • PythonVersion – UTF-8-Zeichenfolge, die Custom string pattern #21 entspricht.

    Die zum Ausführen eines Python-Shell-Auftrags verwendete Python-Version. Zulässige Werte sind 2 und 3.

  • Runtime – UTF-8-Zeichenfolge, nicht mehr als 64 Bytes lang, passend zum Custom string pattern #29.

    In Ray-Aufträgen wird Runtime verwendet, um die in Ihrer Umgebung verfügbaren Versionen von Ray, Python und zusätzlichen Bibliotheken anzugeben. Dieses Feld wird in anderen Auftragsarten nicht verwendet. Die Werte der unterstützten Laufzeitumgebung finden Sie unter Unterstützte Ray-Laufzeitumgebungen im AWS Glue Entwicklerhandbuch.

ConnectionsList Struktur

Gibt die Verbindungen an, die von einem Auftrag verwendet werden.

Felder
  • Connections – Ein UTF-8-Zeichenfolgen-Array.

    Eine Liste der Verbindungen, die vom Auftrag verwendet werden.

JobUpdate Struktur

Gibt Informationen zum Aktualisieren einer vorhandenen Auftragsdefinition an. Die vorherige Auftragsdefinition wird von diesen Informationen vollständig überschrieben.

Felder
  • JobMode – UTF-8-Zeichenfolge (zulässige Werte: SCRIPT="" | VISUAL="" | NOTEBOOK="").

    Ein Modus, der beschreibt, wie ein Job erstellt wurde. Gültige Werte für sind:

    • SCRIPT- Der Job wurde mit dem AWS Glue Studio-Skripteditor erstellt.

    • VISUAL- Der Job wurde mit dem Visual Editor von AWS Glue Studio erstellt.

    • NOTEBOOK- Der Job wurde mit einem interaktiven Sitzungsnotizbuch erstellt.

    Wenn das JobMode Feld fehlt oder Null SCRIPT ist, wird es als Standardwert zugewiesen.

  • Description – Beschreibende Zeichenfolge, nicht mehr als 2048 Bytes lang, passend zum URI address multi-line string pattern.

    Beschreibung des Auftrags, der definiert wird.

  • LogUri – UTF-8-Zeichenfolge.

    Dieses Feld ist für zukünftige Zwecke reserviert.

  • Role – UTF-8-Zeichenfolge.

    Der Name oder Amazon-Ressourcenname (ARN) der IAM-Rolle, die diesem Auftrag zugeordnet ist (erforderlich).

  • ExecutionProperty – Ein ExecutionProperty-Objekt.

    Eine ExecutionProperty, die die maximale Anzahl der gleichzeitigen Ausführungen angibt, die für diesen Auftrag zulässig sind.

  • Command – Ein JobCommand-Objekt.

    Der JobCommand, der diesen Auftrag ausführt (erforderlich).

  • DefaultArguments – Ein Map-Array von Schlüssel-Wert-Paaren.

    Jeder Schlüssel ist eine UTF-8-Zeichenfolge.

    Jeder Wert ist eine UTF-8-Zeichenfolge.

    Die Standardargumente für jede Ausführung dieses Auftrags, angegeben als Name-Wert-Paare.

    Sie können hier Argumente angeben, die Ihr eigenes Jobausführungsskript verwendet, sowie Argumente, die AWS Glue selbst verwendet werden.

    Auftragsargumente können protokolliert werden. Übergeben Sie keine Klartext-Geheimnisse als Argumente. Rufen Sie Geheimnisse aus einer AWS Glue Verbindung AWS Secrets Manager oder einem anderen geheimen Verwaltungsmechanismus ab, wenn Sie beabsichtigen, sie innerhalb des Job zu behalten.

    Weitere Informationen zum Angeben und Nutzen Ihrer eigenen Auftragsargumente finden Sie im Thema Aufrufen von AWS Glue -APIs in Python im Entwicklerhandbuch.

    Informationen zu den Argumenten, die Sie für dieses Feld beim Konfigurieren von Spark-Aufträgen angeben können, finden Sie im Thema Spezielle Parameter, die von AWS Glue verwendet werden im Entwicklerhandbuch.

    Informationen zu den Argumenten, die Sie für dieses Feld beim Konfigurieren von Ray-Aufträgen angeben können, finden Sie unter Verwenden von Auftragsparametern in Ray-Aufträgen im Entwicklerhandbuch.

  • NonOverridableArguments – Ein Map-Array von Schlüssel-Wert-Paaren.

    Jeder Schlüssel ist eine UTF-8-Zeichenfolge.

    Jeder Wert ist eine UTF-8-Zeichenfolge.

    Argumente für diesen Auftrag, die beim Bereitstellen von Auftragsargumenten in einer Auftragsausführung nicht überschrieben werden und als Name-Wert-Paare angegeben werden.

  • Connections – Ein ConnectionsList-Objekt.

    Die Verbindungen, die für diesen Auftrag verwendet werden.

  • MaxRetries – Zahl (Ganzzahl).

    Die maximale Anzahl der Wiederholungsversuche für diesen Auftrag, wenn er fehlschlägt.

  • AllocatedCapacity – Zahl (Ganzzahl).

    Diese Feld ist als veraltet gekennzeichnet. Verwenden Sie stattdessen MaxCapacity.

    Die Anzahl der AWS Glue Datenverarbeitungseinheiten (DPUs), die diesem Job zugewiesen werden sollen. Sie können ab 2 DPUs zuweisen. Der Standardwert ist 10. Bei einer DPU handelt es sich um ein relatives Maß der Rechenleistung, die aus 4 vCPUs Rechenkapazität und 16 GB Arbeitsspeicher besteht. Weitere Informationen finden Sie in der AWS Glue Preisliste.

  • Timeout – Zahl (ganze Zahl), mindestens 1.

    Die Auftrag-Zeitüberschreitung in Minuten. Dies ist die maximale Zeitspanne, in der eine Auftragsausführung Ressourcen verbrauchen kann, ehe sie beendet wird und in den TIMEOUT-Status wechselt. Die Standardeinstellung für Batch-Jobs ist 2.880 Minuten (48 Stunden).

    Streaming-Jobs müssen Timeout-Werte von weniger als 7 Tagen oder 10080 Minuten haben. Wenn der Wert leer gelassen wird, wird der Job nach 7 Tagen neu gestartet, sofern Sie kein Wartungsfenster eingerichtet haben. Wenn Sie ein Wartungsfenster eingerichtet haben, wird es während des Wartungsfensters nach 7 Tagen neu gestartet.

  • MaxCapacity – Nummer (doppelt).

    Für Glue-Jobs der Version 1.0 oder früher unter Verwendung des Standard-Worker-Typs die Anzahl der AWS Glue Datenverarbeitungseinheiten (DPUs), die zugewiesen werden können, wenn dieser Job ausgeführt wird. Bei einer DPU handelt es sich um ein relatives Maß der Rechenleistung, die aus 4 vCPUs Rechenkapazität und 16 GB Arbeitsspeicher besteht. Weitere Informationen finden Sie in der AWS Glue Preisliste.

    Bei Aufträgen ab Glue-Version 2.0 können Sie keine Maximum capacity angeben. Stattdessen sollten Sie einen Worker type und die Number of workers festlegen.

    Setzen Sie nicht MaxCapacity, wenn Sie WorkerType und NumberOfWorkers verwenden.

    Der Wert, der MaxCapacity zugewiesen werden kann, ist davon abhängig, ob Sie eine Python-Shell-Aufgabe, eine Apache-Spark-ETL-Aufgabe oder eine Apache-Spark-Streaming-ETL-Aufgabe ausführen:

    • Wenn Sie einen Python-Shell-Auftrag (JobCommand.Name="pythonshell") angeben, können Sie entweder 0,0625 oder 1 DPU zuweisen. Der Standardwert ist 0,0625 DPU.

    • Wenn Sie eine Apache Spark ETL-Aufgabe (JobCommand.Name=“glueetl“) oder eine Apache-Spark-Streaming-ETL-Aufgabe (JobCommand.Name="gluestreaming“) angeben, können Sie 2 bis 100 DPUs zuweisen. Der Standardwert ist 10 DPUs. Diesem Auftragstyp dürfen keine DPU-Bruchteile zugeteilt werden.

  • WorkerType – UTF-8-Zeichenfolge (zulässige Werte: Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" | Z.2X="").

    Der Typ der vordefinierten Worker, der zugeordnet wird, wenn ein Auftrag ausgeführt wird. Akzeptiert einen Wert von G.1X, G.2X, G.4X, G.8X oder G.025X für Spark-Aufträge. Akzeptiert den Wert Z.2X für Ray-Aufträge.

    • Für den G.1X-Worker-Typ ist jedem Worker einer DPU (4 vCPUs, 16 GB Arbeitsspeicher) mit 84 GB Festplatte (ca. 34 GB frei) zugeordnet und stellt 1 Ausführer pro Worker bereit. Wir empfehlen diesen Worker-Typ für Workloads wie Datentransformationen, Zusammenführungen und Abfragen. Er bietet eine skalierbare und kostengünstige Möglichkeit, die meisten Aufträge auszuführen.

    • Für den G.2X-Worker-Typ ist jedem Worker 2 DPUs (8 vCPUs, 32 GB Arbeitsspeicher) mit 128 GB Festplatte (ca. 77 GB frei) zugeordnet und stellt 1 Ausführer pro Worker bereit. Wir empfehlen diesen Worker-Typ für Workloads wie Datentransformationen, Zusammenführungen und Abfragen. Er bietet eine skalierbare und kostengünstige Möglichkeit, die meisten Aufträge auszuführen.

    • Für den G.4X-Worker-Typ ist jedem Worker 4 DPUs (16 vCPUs, 64 GB Arbeitsspeicher) mit 256 GB Festplatte (ca. 235 GB frei) zugeordnet und stellt 1 Ausführer pro Worker bereit. Wir empfehlen diesen Worker-Typ für Aufträge, deren Workloads Ihre anspruchsvollsten Transformationen, Aggregationen, Verknüpfungen und Abfragen enthalten. Dieser Workertyp ist nur für Spark ETL-Jobs der AWS Glue Version 3.0 oder höher in den folgenden AWS Regionen verfügbar: USA Ost (Ohio), USA Ost (Nord-Virginia), USA West (Oregon), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Asien-Pazifik (Tokio), Kanada (Zentral), Europa (Frankfurt), Europa (Irland) und Europa (Stockholm).

    • Für den G.8X-Worker-Typ ist jedem Worker 8 DPUs (32 vCPUs, 128 GB Arbeitsspeicher) mit 512 GB Festplatte (ca. 487 GB frei) zugeordnet und stellt 1 Ausführer pro Worker bereit. Wir empfehlen diesen Worker-Typ für Aufträge, deren Workloads Ihre anspruchsvollsten Transformationen, Aggregationen, Verknüpfungen und Abfragen enthalten. Dieser Worker-Typ ist nur für Spark-ETL-Jobs der AWS Glue Version 3.0 oder höher in denselben AWS Regionen verfügbar, die für den G.4X Worker-Typ unterstützt werden.

    • Für den G.025X-Worker-Typ ist jedem Worker 0,25 DPU (2  vCPUs, 4 GB Arbeitsspeicher) mit 84 GB Festplattenspeicher (ca. 34 GB frei) zugeordnet, und es wird 1 Ausführer pro Worker bereitgestellt. Wir empfehlen diesen Worker-Typ für Streaming-Aufträge mit geringem Volumen. Dieser Worker-Typ ist nur für Streaming-Jobs der AWS Glue Version 3.0 verfügbar.

    • Für den Z.2X-Worker-Typ wird jeder Worker 2 M-DPU (8 vCPUs, 64 GB Arbeitsspeicher) mit 128 GB Festplatte (ca. 120 GB frei) zugeordnet und stellt basierend auf dem Autoscaler bis zu 8 Ray-Worker bereit.

  • NumberOfWorkers – Zahl (Ganzzahl).

    Die Anzahl der Worker eines definierten workerType die zugewiesenj werden, wenn ein Auftrag ausgeführt wird.

  • SecurityConfiguration – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

    Der Name der SecurityConfiguration-Struktur, die mit diesem Auftrag verwendet werden soll.

  • NotificationProperty – Ein NotificationProperty-Objekt.

    Gibt die Konfigurationseigenschaften einer Auftragsbenachrichtigung an.

  • GlueVersion – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Custom string pattern #20.

    GlueVersionErmittelt in Spark-Jobs die Versionen von Apache Spark und Python, die in einem Job AWS Glue verfügbar sind. Die Python-Version gibt die Version an, die für Aufträge vom Typ Spark unterstützt wird.

    In Ray-Aufträge sollte die GlueVersion auf 4.0 oder höher eingestellt sein. Welche Versionen von Ray, Python und zusätzlichen Bibliotheken in Ihrem Ray-Auftrag verfügbar sind, wird jedoch durch die Runtime-Parameter des Auftragsbefehls bestimmt.

    Weitere Informationen zu den verfügbaren AWS Glue Versionen und den entsprechenden Spark- und Python-Versionen finden Sie unter Glue-Version im Entwicklerhandbuch.

    Für Aufträge, die ohne Angabe einer Glue-Version erstellt werden, gilt standardmäßig Glue 0.9.

  • CodeGenConfigurationNodes – Ein Map-Array von Schlüssel-Wert-Paaren.

    Jeder Schlüssel ist eine UTF-8-Zeichenfolge, die Custom string pattern #39 entspricht.

    Jeder Wert ist ein A CodeGenConfigurationNode-Objekt.

    Die Darstellung eines gerichteten azyklischen Grafiken, auf dem sowohl die visuelle Komponente von Glue Studio als auch die Codegenerierung von Glue Studio basieren.

  • ExecutionClass – UTF-8-Zeichenfolge, nicht länger als 16 Bytes (gültige Werte: FLEX="" | STANDARD="").

    Gibt an, ob der Auftrag mit einer Standard- oder einer flexiblen Ausführungsklasse ausgeführt wird. Die Standardausführungsklasse ist ideal für zeitkritische Workloads, die einen schnellen Auftragsstart und dedizierte Ressourcen erfordern.

    Die flexible Ausführungsklasse ist geeignet für zeitunabhängige Aufträge, deren Start- und Abschlusszeiten variieren können.

    Nur Jobs mit AWS Glue Version 3.0 und höher und dem Befehlstyp dürfen ExecutionClass auf gesetzt glueetl werdenFLEX. Die flexible Ausführungsklasse ist für Spark-Aufträge verfügbar.

  • SourceControlDetails – Ein SourceControlDetails-Objekt.

    Die Details für eine Quellcodeverwaltungskonfiguration für einen Auftrag, die die Synchronisation von Auftragsartefakten zu oder von einem Remote-Repository ermöglichen.

  • MaintenanceWindow – UTF-8-Zeichenfolge, die Custom string pattern #30 entspricht.

    Dieses Feld gibt einen Wochentag und eine Stunde für ein Wartungsfenster für Streaming-Jobs an. AWS Glue führt regelmäßig Wartungsarbeiten durch. Während dieser Wartungsfenster müssen AWS Glue Sie Ihre Streaming-Jobs neu starten.

    AWS Glue wird den Job innerhalb von 3 Stunden nach Ablauf des angegebenen Wartungsfensters neu starten. Wenn Sie beispielsweise das Wartungsfenster für Montag um 10:00 Uhr GMT einrichten, werden Ihre Jobs zwischen 10:00 Uhr GMT und 13:00 Uhr GMT neu gestartet.

  • ProfileName – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

    Der Name eines mit dem Job verknüpften AWS Glue Nutzungsprofils.

SourceControlDetails Struktur

Die Details für eine Quellcodeverwaltungskonfiguration für einen Auftrag, die die Synchronisation von Auftragsartefakten zu oder von einem Remote-Repository ermöglichen.

Felder
  • Provider – UTF-8-Zeichenfolge.

    Der Anbieter für das Remote-Repository.

  • Repository – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 512 Bytes lang.

    Der Name des Remote-Repositorys, das die Auftragsartefakte enthält.

  • Owner – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 512 Bytes lang.

    Der Besitzer des Remote-Repositorys, das die Auftragsartefakte enthält.

  • Branch – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 512 Bytes lang.

    Eine optionale Verzweigung im Remote-Repository.

  • Folder – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 512 Bytes lang.

    Ein optionaler Ordner im Remote-Repository.

  • LastCommitId – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 512 Bytes lang.

    Die letzte Commit-ID für ein Commit im Remote-Repository.

  • LastSyncTimestamp – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 512 Bytes lang.

    Das Datum und die Uhrzeit, an denen die letzte Auftragssynchronisierung durchgeführt wurde.

  • AuthStrategy – UTF-8-Zeichenfolge.

    Die Art der Authentifizierung, bei der es sich um ein in AWS Secrets Manager gespeichertes Authentifizierungstoken oder um ein persönliches Zugriffstoken handeln kann.

  • AuthToken – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 512 Bytes lang.

    Der Wert eines Autorisierungstokens.

Operationen

CreateJob Aktion (Python: create_job)

Erstellt eine neue Auftragsdefinition

Anforderung
  • NameErforderlich: UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

    Der Name, den Sie dieser Auftragsdefinition zuweisen. Er muss in Ihrem -Konto eindeutig sein.

  • JobMode – UTF-8-Zeichenfolge (zulässige Werte: SCRIPT="" | VISUAL="" | NOTEBOOK="").

    Ein Modus, der beschreibt, wie ein Job erstellt wurde. Gültige Werte für sind:

    • SCRIPT- Der Job wurde mit dem AWS Glue Studio-Skripteditor erstellt.

    • VISUAL- Der Job wurde mit dem Visual Editor von AWS Glue Studio erstellt.

    • NOTEBOOK- Der Job wurde mit einem interaktiven Sitzungsnotizbuch erstellt.

    Wenn das JobMode Feld fehlt oder Null SCRIPT ist, wird es als Standardwert zugewiesen.

  • Description – Beschreibende Zeichenfolge, nicht mehr als 2048 Bytes lang, passend zum URI address multi-line string pattern.

    Beschreibung des Auftrags, der definiert wird.

  • LogUri – UTF-8-Zeichenfolge.

    Dieses Feld ist für zukünftige Zwecke reserviert.

  • RoleErforderlich: UTF-8-Zeichenfolge.

    Der Name oder der Amazon-Ressourcenname (ARN) der IAM-Rolle, die diesem Auftrag zugeordnet ist.

  • ExecutionProperty – Ein ExecutionProperty-Objekt.

    Eine ExecutionProperty, die die maximale Anzahl der gleichzeitigen Ausführungen angibt, die für diesen Auftrag zulässig sind.

  • CommandErforderlich: Ein JobCommand-Objekt.

    Der JobCommand, der diesen Auftrag ausführt.

  • DefaultArguments – Ein Map-Array von Schlüssel-Wert-Paaren.

    Jeder Schlüssel ist eine UTF-8-Zeichenfolge.

    Jeder Wert ist eine UTF-8-Zeichenfolge.

    Die Standardargumente für jede Ausführung dieses Auftrags, angegeben als Name-Wert-Paare.

    Sie können hier Argumente angeben, die Ihr eigenes Jobausführungsskript verwendet, sowie Argumente, die AWS Glue selbst verwendet werden.

    Auftragsargumente können protokolliert werden. Übergeben Sie keine Klartext-Geheimnisse als Argumente. Rufen Sie Geheimnisse aus einer AWS Glue Verbindung AWS Secrets Manager oder einem anderen geheimen Verwaltungsmechanismus ab, wenn Sie beabsichtigen, sie innerhalb des Job zu behalten.

    Weitere Informationen zum Angeben und Nutzen Ihrer eigenen Auftragsargumente finden Sie im Thema Aufrufen von AWS Glue -APIs in Python im Entwicklerhandbuch.

    Informationen zu den Argumenten, die Sie für dieses Feld beim Konfigurieren von Spark-Aufträgen angeben können, finden Sie im Thema Spezielle Parameter, die von AWS Glue verwendet werden im Entwicklerhandbuch.

    Informationen zu den Argumenten, die Sie für dieses Feld beim Konfigurieren von Ray-Aufträgen angeben können, finden Sie unter Verwenden von Auftragsparametern in Ray-Aufträgen im Entwicklerhandbuch.

  • NonOverridableArguments – Ein Map-Array von Schlüssel-Wert-Paaren.

    Jeder Schlüssel ist eine UTF-8-Zeichenfolge.

    Jeder Wert ist eine UTF-8-Zeichenfolge.

    Argumente für diesen Auftrag, die beim Bereitstellen von Auftragsargumenten in einer Auftragsausführung nicht überschrieben werden und als Name-Wert-Paare angegeben werden.

  • Connections – Ein ConnectionsList-Objekt.

    Die Verbindungen, die für diesen Auftrag verwendet werden.

  • MaxRetries – Zahl (Ganzzahl).

    Die maximale Anzahl der Wiederholungsversuche für diesen Auftrag, wenn er fehlschlägt.

  • AllocatedCapacity – Zahl (Ganzzahl).

    Dieser Parameter ist veraltet. Verwenden Sie stattdessen MaxCapacity.

    Die Anzahl der AWS Glue Datenverarbeitungseinheiten (DPUs), die diesem Job zugewiesen werden sollen. Sie können ab 2 DPUs zuweisen. Der Standardwert ist 10. Bei einer DPU handelt es sich um ein relatives Maß der Rechenleistung, die aus 4 vCPUs Rechenkapazität und 16 GB Arbeitsspeicher besteht. Weitere Informationen finden Sie in der AWS Glue Preisliste.

  • Timeout – Zahl (ganze Zahl), mindestens 1.

    Die Auftrag-Zeitüberschreitung in Minuten. Dies ist die maximale Zeitspanne, in der eine Auftragsausführung Ressourcen verbrauchen kann, ehe sie beendet wird und in den TIMEOUT-Status wechselt. Die Standardeinstellung für Batch-Jobs ist 2.880 Minuten (48 Stunden).

    Streaming-Jobs müssen Timeout-Werte von weniger als 7 Tagen oder 10080 Minuten haben. Wenn der Wert leer gelassen wird, wird der Job nach 7 Tagen neu gestartet, sofern Sie kein Wartungsfenster eingerichtet haben. Wenn Sie ein Wartungsfenster eingerichtet haben, wird es während des Wartungsfensters nach 7 Tagen neu gestartet.

  • MaxCapacity – Nummer (doppelt).

    Für Glue-Jobs der Version 1.0 oder früher unter Verwendung des Standard-Worker-Typs die Anzahl der AWS Glue Datenverarbeitungseinheiten (DPUs), die zugewiesen werden können, wenn dieser Job ausgeführt wird. Bei einer DPU handelt es sich um ein relatives Maß der Rechenleistung, die aus 4 vCPUs Rechenkapazität und 16 GB Arbeitsspeicher besteht. Weitere Informationen finden Sie in der AWS Glue Preisliste.

    Bei Aufträgen ab Glue-Version 2.0 können Sie keine Maximum capacity angeben. Stattdessen sollten Sie einen Worker type und die Number of workers festlegen.

    Setzen Sie nicht MaxCapacity, wenn Sie WorkerType und NumberOfWorkers verwenden.

    Der Wert, der MaxCapacity zugewiesen werden kann, ist davon abhängig, ob Sie eine Python-Shell-Aufgabe, eine Apache-Spark-ETL-Aufgabe oder eine Apache-Spark-Streaming-ETL-Aufgabe ausführen:

    • Wenn Sie einen Python-Shell-Auftrag (JobCommand.Name="pythonshell") angeben, können Sie entweder 0,0625 oder 1 DPU zuweisen. Der Standardwert ist 0,0625 DPU.

    • Wenn Sie eine Apache Spark ETL-Aufgabe (JobCommand.Name=“glueetl“) oder eine Apache-Spark-Streaming-ETL-Aufgabe (JobCommand.Name="gluestreaming“) angeben, können Sie 2 bis 100 DPUs zuweisen. Der Standardwert ist 10 DPUs. Diesem Auftragstyp dürfen keine DPU-Bruchteile zugeteilt werden.

  • SecurityConfiguration – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

    Der Name der SecurityConfiguration-Struktur, die mit diesem Auftrag verwendet werden soll.

  • Tags – Ein Map-Array von Schlüssel-Wert-Paaren, nicht mehr als 50 Paare.

    Jeder Schlüssel ist eine UTF-8-Zeichenfolge, die nicht weniger als 1 oder mehr als 128 Bytes lang ist.

    Jeder Wert ist eine UTF-8-Zeichenfolge, die nicht mehr als 256 Bytes lang ist.

    Die mit diesem Auftrag zu verwendenden Tags. Sie können Tags verwenden, um den Zugriff auf den Auftrag einzuschränken. Weitere Informationen zu Tags in AWS Glue finden Sie unter AWS Tags in AWS Glue im Entwicklerhandbuch.

  • NotificationProperty – Ein NotificationProperty-Objekt.

    Gibt die Konfigurationseigenschaften einer Auftragsbenachrichtigung an.

  • GlueVersion – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Custom string pattern #20.

    GlueVersionErmittelt in Spark-Jobs die Versionen von Apache Spark und Python, die in einem Job AWS Glue verfügbar sind. Die Python-Version gibt die Version an, die für Aufträge vom Typ Spark unterstützt wird.

    In Ray-Aufträge sollte die GlueVersion auf 4.0 oder höher eingestellt sein. Welche Versionen von Ray, Python und zusätzlichen Bibliotheken in Ihrem Ray-Auftrag verfügbar sind, wird jedoch durch die Runtime-Parameter des Auftragsbefehls bestimmt.

    Weitere Informationen zu den verfügbaren AWS Glue Versionen und den entsprechenden Spark- und Python-Versionen finden Sie unter Glue-Version im Entwicklerhandbuch.

    Für Aufträge, die ohne Angabe einer Glue-Version erstellt werden, gilt standardmäßig Glue 0.9.

  • NumberOfWorkers – Zahl (Ganzzahl).

    Die Anzahl der Worker eines definierten workerType die zugewiesenj werden, wenn ein Auftrag ausgeführt wird.

  • WorkerType – UTF-8-Zeichenfolge (zulässige Werte: Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" | Z.2X="").

    Der Typ der vordefinierten Worker, der zugeordnet wird, wenn ein Auftrag ausgeführt wird. Akzeptiert einen Wert von G.1X, G.2X, G.4X, G.8X oder G.025X für Spark-Aufträge. Akzeptiert den Wert Z.2X für Ray-Aufträge.

    • Für den G.1X-Worker-Typ ist jedem Worker einer DPU (4 vCPUs, 16 GB Arbeitsspeicher) mit 84 GB Festplatte (ca. 34 GB frei) zugeordnet und stellt 1 Ausführer pro Worker bereit. Wir empfehlen diesen Worker-Typ für Workloads wie Datentransformationen, Zusammenführungen und Abfragen. Er bietet eine skalierbare und kostengünstige Möglichkeit, die meisten Aufträge auszuführen.

    • Für den G.2X-Worker-Typ ist jedem Worker 2 DPUs (8 vCPUs, 32 GB Arbeitsspeicher) mit 128 GB Festplatte (ca. 77 GB frei) zugeordnet und stellt 1 Ausführer pro Worker bereit. Wir empfehlen diesen Worker-Typ für Workloads wie Datentransformationen, Zusammenführungen und Abfragen. Er bietet eine skalierbare und kostengünstige Möglichkeit, die meisten Aufträge auszuführen.

    • Für den G.4X-Worker-Typ ist jedem Worker 4 DPUs (16 vCPUs, 64 GB Arbeitsspeicher) mit 256 GB Festplatte (ca. 235 GB frei) zugeordnet und stellt 1 Ausführer pro Worker bereit. Wir empfehlen diesen Worker-Typ für Aufträge, deren Workloads Ihre anspruchsvollsten Transformationen, Aggregationen, Verknüpfungen und Abfragen enthalten. Dieser Workertyp ist nur für Spark ETL-Jobs der AWS Glue Version 3.0 oder höher in den folgenden AWS Regionen verfügbar: USA Ost (Ohio), USA Ost (Nord-Virginia), USA West (Oregon), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Asien-Pazifik (Tokio), Kanada (Zentral), Europa (Frankfurt), Europa (Irland) und Europa (Stockholm).

    • Für den G.8X-Worker-Typ ist jedem Worker 8 DPUs (32 vCPUs, 128 GB Arbeitsspeicher) mit 512 GB Festplatte (ca. 487 GB frei) zugeordnet und stellt 1 Ausführer pro Worker bereit. Wir empfehlen diesen Worker-Typ für Aufträge, deren Workloads Ihre anspruchsvollsten Transformationen, Aggregationen, Verknüpfungen und Abfragen enthalten. Dieser Worker-Typ ist nur für Spark-ETL-Jobs der AWS Glue Version 3.0 oder höher in denselben AWS Regionen verfügbar, die für den G.4X Worker-Typ unterstützt werden.

    • Für den G.025X-Worker-Typ ist jedem Worker 0,25 DPU (2  vCPUs, 4 GB Arbeitsspeicher) mit 84 GB Festplattenspeicher (ca. 34 GB frei) zugeordnet, und es wird 1 Ausführer pro Worker bereitgestellt. Wir empfehlen diesen Worker-Typ für Streaming-Aufträge mit geringem Volumen. Dieser Worker-Typ ist nur für Streaming-Jobs der AWS Glue Version 3.0 verfügbar.

    • Für den Z.2X-Worker-Typ wird jeder Worker 2 M-DPU (8 vCPUs, 64 GB Arbeitsspeicher) mit 128 GB Festplatte (ca. 120 GB frei) zugeordnet und stellt basierend auf dem Autoscaler bis zu 8 Ray-Worker bereit.

  • CodeGenConfigurationNodes – Ein Map-Array von Schlüssel-Wert-Paaren.

    Jeder Schlüssel ist eine UTF-8-Zeichenfolge, die Custom string pattern #39 entspricht.

    Jeder Wert ist ein A CodeGenConfigurationNode-Objekt.

    Die Darstellung eines gerichteten azyklischen Grafiken, auf dem sowohl die visuelle Komponente von Glue Studio als auch die Codegenerierung von Glue Studio basieren.

  • ExecutionClass – UTF-8-Zeichenfolge, nicht länger als 16 Bytes (gültige Werte: FLEX="" | STANDARD="").

    Gibt an, ob der Auftrag mit einer Standard- oder einer flexiblen Ausführungsklasse ausgeführt wird. Die Standardausführungsklasse ist ideal für zeitkritische Workloads, die einen schnellen Auftragsstart und dedizierte Ressourcen erfordern.

    Die flexible Ausführungsklasse ist geeignet für zeitunabhängige Aufträge, deren Start- und Abschlusszeiten variieren können.

    Nur Jobs mit AWS Glue Version 3.0 und höher und dem Befehlstyp dürfen ExecutionClass auf gesetzt glueetl werdenFLEX. Die flexible Ausführungsklasse ist für Spark-Aufträge verfügbar.

  • SourceControlDetails – Ein SourceControlDetails-Objekt.

    Die Details für eine Quellcodeverwaltungskonfiguration für einen Auftrag, die die Synchronisation von Auftragsartefakten zu oder von einem Remote-Repository ermöglichen.

  • MaintenanceWindow – UTF-8-Zeichenfolge, die Custom string pattern #30 entspricht.

    Dieses Feld gibt einen Wochentag und eine Stunde für ein Wartungsfenster für Streaming-Jobs an. AWS Glue führt regelmäßig Wartungsarbeiten durch. Während dieser Wartungsfenster müssen AWS Glue Sie Ihre Streaming-Jobs neu starten.

    AWS Glue wird den Job innerhalb von 3 Stunden nach Ablauf des angegebenen Wartungsfensters neu starten. Wenn Sie beispielsweise das Wartungsfenster für Montag um 10:00 Uhr GMT einrichten, werden Ihre Jobs zwischen 10:00 Uhr GMT und 13:00 Uhr GMT neu gestartet.

  • ProfileName – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

    Der Name eines mit dem Job verknüpften AWS Glue Nutzungsprofils.

Antwort
  • Name – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

    Der eindeutige Name, der für diese Auftragsdefinition angegeben wurde.

Fehler
  • InvalidInputException

  • IdempotentParameterMismatchException

  • AlreadyExistsException

  • InternalServiceException

  • OperationTimeoutException

  • ResourceNumberLimitExceededException

  • ConcurrentModificationException

UpdateJob Aktion (Python: update_job)

Aktualisiert eine vorhandene Auftragsdefinition. Die vorherige Auftragsdefinition wird von diesen Informationen vollständig überschrieben.

Anforderung
  • JobNameErforderlich: UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

    Der Name der Auftragsdefinition, die aktualisiert werden soll.

  • JobUpdateErforderlich: Ein JobUpdate-Objekt.

    Gibt die Werte zum Aktualisieren der Auftragsdefinition an. Eine nicht angegebene Konfiguration wird entfernt oder auf Standardwerte zurückgesetzt.

  • ProfileName – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

    Der Name eines mit dem Job verknüpften AWS Glue Nutzungsprofils.

Antwort
  • JobName – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

    Gibt den Namen der aktualisierten Auftragsdefinition an.

Fehler
  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

  • ConcurrentModificationException

GetJob Aktion (Python: get_job)

Ruft eine vorhandene Auftragsdefinition ab.

Anforderung
  • JobNameErforderlich: UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

    Der Name der abzurufenden Auftragsdefinition.

Antwort
  • Job – Ein Aufgabe-Objekt.

    Die angeforderte Auftragsdefinition.

Fehler
  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

GetJobs Aktion (Python: get_jobs)

Ruft alle aktuellen Auftragsdefinitionen ab.

Anforderung
  • NextToken – UTF-8-Zeichenfolge.

    Ein Fortsetzungs-Token, wenn dies ein Fortsetzungsaufruf ist.

  • MaxResults – Zahl (Ganzzahl), nicht kleiner als 1 oder größer als 1000.

    Die maximale Größe der Antwort.

Antwort
  • Jobs – Ein Array mit Aufgabe-Objekten.

    Eine Liste der Auftragsdefinitionen.

  • NextToken – UTF-8-Zeichenfolge.

    Ein Fortsetzungstoken, falls noch nicht alle Auftragsdefinitionen zurückgegeben wurden.

Fehler
  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

DeleteJob Aktion (Python: delete_job)

Löscht eine angegebene Auftragsdefinition. Wenn die Auftragsdefinition nicht gefunden wird, wird keine Ausnahme ausgelöst.

Anforderung
  • JobNameErforderlich: UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

    Der Name der zu löschenden Auftragsdefinition.

Antwort
  • JobName – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

    Der Name der Auftragsdefinition, die gelöscht wurde.

Fehler
  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException

ListJobs Aktion (Python: list_jobs)

Ruft die Namen aller Jobressourcen in diesem AWS Konto oder der Ressourcen mit dem angegebenen Tag ab. Mit dieser Operation können Sie sehen, welche Ressourcen in Ihrem Konto verfügbar sind, sowie deren Namen.

Diese Operation akzeptiert das optionale Tags-Feld, das Sie als Filter für die Antwort verwenden können, so dass markierte Ressourcen als Gruppe abgerufen werden können. Wenn Sie die Tag-Filterung verwenden, werden nur Ressourcen mit dem Tag abgerufen.

Anforderung
  • NextToken – UTF-8-Zeichenfolge.

    Ein Fortsetzungs-Token, wenn dies eine Fortsetzungsanforderung ist.

  • MaxResults – Zahl (Ganzzahl), nicht kleiner als 1 oder größer als 1000.

    Die maximale Größe der auszugebenden Liste.

  • Tags – Ein Map-Array von Schlüssel-Wert-Paaren, nicht mehr als 50 Paare.

    Jeder Schlüssel ist eine UTF-8-Zeichenfolge, die nicht weniger als 1 oder mehr als 128 Bytes lang ist.

    Jeder Wert ist eine UTF-8-Zeichenfolge, die nicht mehr als 256 Bytes lang ist.

    Gibt an, das nur diese markierten Ressourcen zurückgegeben werden sollen.

Antwort
  • JobNames – Ein UTF-8-Zeichenfolgen-Array.

    Die Namen aller Aufträge im Konto oder der Aufträge mit den angegebenen Tags.

  • NextToken – UTF-8-Zeichenfolge.

    Ein Fortsetzungs-Token, wenn die zurückgegebene Liste die letzte verfügbare Metrik nicht enthält.

Fehler
  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

BatchGetJobs Aktion (Python: batch_get_jobs)

Gibt eine Liste von Ressourcen-Metadaten für eine bestimmte Liste von Auftragsnamen zurück. Nach dem Aufrufen der ListJobs-Operation können Sie diese Operation aufrufen, um auf die Daten zuzugreifen, für die Ihnen Berechtigungen erteilt wurden. Dieser Vorgang unterstützt alle IAM-Berechtigungen, einschließlich Berechtigungsbedingungen, die Tags verwenden.

Anforderung
  • JobNamesErforderlich: Ein Array von UTF-8-Zeichenketten.

    Eine Liste von Auftragsnamen, die von der ListJobs-Operation als Namen zurückgegeben werden können.

Antwort
  • Jobs – Ein Array mit Aufgabe-Objekten.

    Eine Liste der Auftragsdefinitionen.

  • JobsNotFound – Ein UTF-8-Zeichenfolgen-Array.

    Eine Liste der Namen nicht gefundener Aufträgen.

Fehler
  • InternalServiceException

  • OperationTimeoutException

  • InvalidInputException