Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Interaktive Sitzungs-API
Die API für interaktive Sitzungen beschreibt die AWS Glue API im Zusammenhang mit der Verwendung AWS Glue interaktiver Sitzungen zum Erstellen und Testen von ETL-Skripts (Extrahieren, Transformieren und Laden) für die Datenintegration.
Datentypen
Sitzungsstruktur
Der Zeitraum, in dem eine Remote-Spark-Laufzeitumgebung ausgeführt wird.
Felder
-
Id– UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.Die ID der Sitzung.
-
CreatedOn– Zeitstempel.Die Uhrzeit und das Datum, an dem die Sitzung erstellt wurde.
-
Status– UTF-8-Zeichenfolge (zulässige Werte:PROVISIONING|READY|FAILED|TIMEOUT|STOPPING|STOPPED).Der Sitzungsstatus.
-
ErrorMessage– Beschreibende Zeichenfolge, nicht mehr als 2048 Bytes lang, passend zum URI address multi-line string pattern.Die während der Sitzung angezeigten Fehlermeldung.
-
Description– Beschreibende Zeichenfolge, nicht mehr als 2048 Bytes lang, passend zum URI address multi-line string pattern.Die Beschreibung der Sitzung.
-
Role– UTF-8-Zeichenfolge, nicht weniger als 20 oder mehr als 2 048 Bytes lang, passend zum Custom string pattern #26.Der Name oder der Amazon-Ressourcenname (ARN) der IAM-Rolle, die diesem Vortrag zugeordnet ist.
-
Command– Ein SessionCommand-Objekt.Der Befehl Object.see. SessionCommand
-
DefaultArguments– Ein Map-Array von Schlüssel-Wert-Paaren, nicht mehr als 75 Paare.Jeder Schlüssel ist eine UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 128 Bytes lang, und entspricht dem Custom string pattern #27.
Jeder Wert ist eine UTF-8-Zeichenfolge, nicht mehr als 4096 Bytes lang, und entspricht dem URI address multi-line string pattern.
Ein Map-Array von Schlüssel-Wert-Paaren. Maximal 75 Paare.
-
Connections– Ein ConnectionsList-Objekt.Die Anzahl der Verbindungen, die für die Sitzung verwendet werden.
-
Progress– Nummer (doppelt).Der Fortschritt der Codeausführung der Sitzung.
-
MaxCapacity– Nummer (doppelt).Die Anzahl der AWS Glue Datenverarbeitungseinheiten (DPUs), die zugewiesen werden können, wenn der Job ausgeführt wird. Bei einer DPU handelt es sich um ein relatives Maß der Rechenleistung, die aus 4 vCPUs Rechenkapazität und 16 GB Arbeitsspeicher besteht.
-
SecurityConfiguration– UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.Der Name der SecurityConfiguration Struktur, die für die Sitzung verwendet werden soll.
-
GlueVersion– UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Custom string pattern #20.Die AWS Glue Version bestimmt, welche Versionen von Apache Spark und Python AWS Glue unterstützt werden. Der GlueVersion muss größer als 2,0 sein.
-
DataAccessId– UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 36 Bytes lang.Die Datenzugriffs-ID der Sitzung.
-
PartitionId– UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 36 Bytes lang.Die Partitions-ID der Sitzung.
-
NumberOfWorkers– Zahl (Ganzzahl).Die Anzahl der Worker eines definierten
WorkerType, die für die Sitzung verwendet werden sollen. -
WorkerType– UTF-8-Zeichenfolge (zulässige Werte:Standard=""|G.1X=""|G.2X=""|G.025X=""|G.4X=""|G.8X=""|Z.2X="").Der Typ des vordefinierten Workers, der bei der Ausführung einer Sitzung zugewiesen wird. Akzeptiert einen Wert von
G.1X,G.2X,G.4XoderG.8Xfür Spark-Sitzungen. Akzeptiert den WertZ.2Xfür Ray-Sitzungen. -
CompletedOn– Zeitstempel.Datum und Uhrzeit des Abschlusses dieser Sitzung.
-
ExecutionTime– Nummer (doppelt).Die Gesamtzeit, in der die Sitzung ausgeführt wurde.
-
DPUSeconds– Nummer (doppelt).Die von der Sitzung verbrauchten DPUs (Formel: ExecutionTime * MaxCapacity).
-
IdleTimeout– Zahl (Ganzzahl).Die Anzahl der Minuten im Leerlauf, bevor die Sitzung das Zeitlimit überschreitet.
-
ProfileName– UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.Der Name eines mit der Sitzung verknüpften AWS Glue Nutzungsprofils.
SessionCommand Struktur
Der SessionCommand, der den Auftrag ausführt.
Felder
-
Name– UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.Gibt den Namen der an SessionCommand. Kann „glueetl“ oder „gluestreaming“ sein.
-
PythonVersion– UTF-8-Zeichenfolge, die Custom string pattern #21 entspricht.Gibt die Version von Python an. Die Python-Version gibt die Version an, die für Aufträge vom Typ Spark unterstützt wird.
Statement-Struktur
Die Anweisung oder Aufforderung, dass eine bestimmte Aktion in einer Sitzung ausgeführt wird.
Felder
-
Id– Zahl (Ganzzahl).Die ID der Anweisung.
-
Code– UTF-8-Zeichenfolge.Der Ausführungscode der Anweisung.
-
State– UTF-8-Zeichenfolge (zulässige Werte:WAITING|RUNNING|AVAILABLE|CANCELLING|CANCELLED|ERROR).Der Status, während die Anfrage bearbeitet wird.
-
Output– Ein StatementOutput-Objekt.Die Ausgabe in JSON.
-
Progress– Nummer (doppelt).Der Fortschritt der Codeausführung.
-
StartedOn– Zahl (lang).Datum und Datum der Unix-Version, an der die Auftragsdefinition gestartet wurde.
-
CompletedOn– Zahl (lang).Datum und Uhrzeit der Unix-Version, an der die Auftragsdefinition abgeschlossen wurde.
StatementOutput Struktur
Die Ausgabe der Codeausführung im JSON-Format.
Felder
-
Data– Ein StatementOutputData-Objekt.Ausgabe der Codeausführung.
-
ExecutionCount– Zahl (Ganzzahl).Die Ausführungszahl der Ausgabe.
-
Status– UTF-8-Zeichenfolge (zulässige Werte:WAITING|RUNNING|AVAILABLE|CANCELLING|CANCELLED|ERROR).Der Status der Codeausführungs-Ausgabe.
-
ErrorName– UTF-8-Zeichenfolge.Der Name des Fehlers in der Ausgabe.
-
ErrorValue– UTF-8-Zeichenfolge.Der Fehlerwert der Ausgabe.
-
Traceback– Ein UTF-8-Zeichenfolgen-Array.Das Traceback der Ausgabe.
StatementOutputData Struktur
Die Ausgabe der Codeausführung im JSON-Format.
Felder
-
TextPlain– UTF-8-Zeichenfolge.Die Ausgabe der Codeausführung im Textformat.
ConnectionsList Struktur
Gibt die Verbindungen an, die von einem Auftrag verwendet werden.
Felder
-
Connections– Ein UTF-8-Zeichenfolgen-Array.Eine Liste der Verbindungen, die vom Auftrag verwendet werden.
Operationen
CreateSession Aktion (Python: create_session)
Erstellt eine neue Sitzung.
Anforderung
Anforderung, eine neue Sitzung zu erstellen.
-
Id– Erforderlich: UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.Die ID der Sitzungs-Anforderung.
-
Description– Beschreibende Zeichenfolge, nicht mehr als 2048 Bytes lang, passend zum URI address multi-line string pattern.Die Beschreibung der Sitzung.
-
Role– Erforderlich: UTF-8-Zeichenfolge, nicht weniger als 20 oder mehr als 2 048 Bytes lang, passend zum Custom string pattern #26.Der IAM-Rollen-ARN
-
Command– Erforderlich: Ein SessionCommand-Objekt.Der
SessionCommand, der den Auftrag ausführt. -
Timeout– Zahl (ganze Zahl), mindestens 1.Die Anzahl der Minuten, bevor eine Zeitüberschreitung für die Sitzung auftritt. Die Standardeinstellung für Spark-ETL-Aufträge ist 48 Stunden (2 880 Minuten), die maximale Sitzungslebensdauer für diesen Auftragstyp. Konsultieren Sie die Dokumentation für andere Auftragstypen.
-
IdleTimeout– Zahl (ganze Zahl), mindestens 1.Die Anzahl der untätigen Minuten, bevor eine Zeitüberschreitung für die Sitzung auftritt. Die Standardeinstellung für Spark-ETL-Aufträge ist der Wert der Zeitüberschreitung. Konsultieren Sie die Dokumentation für andere Auftragstypen.
-
DefaultArguments– Ein Map-Array von Schlüssel-Wert-Paaren, nicht mehr als 75 Paare.Jeder Schlüssel ist eine UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 128 Bytes lang, und entspricht dem Custom string pattern #27.
Jeder Wert ist eine UTF-8-Zeichenfolge, nicht mehr als 4096 Bytes lang, und entspricht dem URI address multi-line string pattern.
Ein Map-Array von Schlüssel-Wert-Paaren. Maximal 75 Paare.
-
Connections– Ein ConnectionsList-Objekt.Die Anzahl der Verbindungen, die für die Sitzung verwendet werden sollen.
-
MaxCapacity– Nummer (doppelt).Die Anzahl der AWS Glue Datenverarbeitungseinheiten (DPUs), die zugewiesen werden können, wenn der Job ausgeführt wird. Bei einer DPU handelt es sich um ein relatives Maß der Rechenleistung, die aus 4 vCPUs Rechenkapazität und 16 GB Arbeitsspeicher besteht.
-
NumberOfWorkers– Zahl (Ganzzahl).Die Anzahl der Worker eines definierten
WorkerType, die für die Sitzung verwendet werden sollen. -
WorkerType– UTF-8-Zeichenfolge (zulässige Werte:Standard=""|G.1X=""|G.2X=""|G.025X=""|G.4X=""|G.8X=""|Z.2X="").Der Typ der vordefinierten Worker, der zugeordnet wird, wenn ein Auftrag ausgeführt wird. Akzeptiert einen Wert von G.1X, G.2X, G.4X oder G.8X für Spark-Aufträge. Akzeptiert den Wert Z.2X für Ray-Notebooks.
-
Für den
G.1X-Worker-Typ ist jedem Worker einer DPU (4 vCPUs, 16 GB Arbeitsspeicher) mit 84 GB Festplatte (ca. 34 GB frei) zugeordnet und stellt 1 Ausführer pro Worker bereit. Wir empfehlen diesen Worker-Typ für Workloads wie Datentransformationen, Zusammenführungen und Abfragen. Er bietet eine skalierbare und kostengünstige Möglichkeit, die meisten Aufträge auszuführen. -
Für den
G.2X-Worker-Typ ist jedem Worker 2 DPUs (8 vCPUs, 32 GB Arbeitsspeicher) mit 128 GB Festplatte (ca. 77 GB frei) zugeordnet und stellt 1 Ausführer pro Worker bereit. Wir empfehlen diesen Worker-Typ für Workloads wie Datentransformationen, Zusammenführungen und Abfragen. Er bietet eine skalierbare und kostengünstige Möglichkeit, die meisten Aufträge auszuführen. -
Für den
G.4X-Worker-Typ ist jedem Worker 4 DPUs (16 vCPUs, 64 GB Arbeitsspeicher) mit 256 GB Festplatte (ca. 235 GB frei) zugeordnet und stellt 1 Ausführer pro Worker bereit. Wir empfehlen diesen Worker-Typ für Aufträge, deren Workloads Ihre anspruchsvollsten Transformationen, Aggregationen, Verknüpfungen und Abfragen enthalten. Dieser Workertyp ist nur für Spark ETL-Jobs der AWS Glue Version 3.0 oder höher in den folgenden AWS Regionen verfügbar: USA Ost (Ohio), USA Ost (Nord-Virginia), USA West (Oregon), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Asien-Pazifik (Tokio), Kanada (Zentral), Europa (Frankfurt), Europa (Irland) und Europa (Stockholm). -
Für den
G.8X-Worker-Typ ist jedem Worker 8 DPUs (32 vCPUs, 128 GB Arbeitsspeicher) mit 512 GB Festplatte (ca. 487 GB frei) zugeordnet und stellt 1 Ausführer pro Worker bereit. Wir empfehlen diesen Worker-Typ für Aufträge, deren Workloads Ihre anspruchsvollsten Transformationen, Aggregationen, Verknüpfungen und Abfragen enthalten. Dieser Worker-Typ ist nur für Spark-ETL-Jobs der AWS Glue Version 3.0 oder höher in denselben AWS Regionen verfügbar, die für denG.4XWorker-Typ unterstützt werden. -
Für den
Z.2X-Worker-Typ wird jeder Worker 2 M-DPU (8 vCPUs, 64 GB Arbeitsspeicher) mit 128 GB Festplatte (ca. 120 GB frei) zugeordnet und stellt basierend auf dem Autoscaler bis zu 8 Ray-Worker bereit.
-
-
SecurityConfiguration– UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.Der Name der SecurityConfiguration Struktur, die mit der Sitzung verwendet werden soll
-
GlueVersion– UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Custom string pattern #20.Die AWS Glue Version bestimmt, welche Versionen von Apache Spark und Python AWS Glue unterstützt werden. Der GlueVersion muss größer als 2,0 sein.
-
DataAccessId– UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 36 Bytes lang.Die Datenzugriffs-ID der Sitzung.
-
PartitionId– UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 36 Bytes lang.Die Partitions-ID der Sitzung.
-
Tags– Ein Map-Array von Schlüssel-Wert-Paaren, nicht mehr als 50 Paare.Jeder Schlüssel ist eine UTF-8-Zeichenfolge, die nicht weniger als 1 oder mehr als 128 Bytes lang ist.
Jeder Wert ist eine UTF-8-Zeichenfolge, die nicht mehr als 256 Bytes lang ist.
Die Zuordnung der Schlüsselwertpaare (Tags), die zur Sitzung gehören.
-
RequestOrigin– UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 128 Bytes lang, passend zum Custom string pattern #27.Der Ursprung der Anforderung.
-
ProfileName– UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.Der Name eines mit der Sitzung verknüpften AWS Glue Nutzungsprofils.
Antwort
-
Session– Ein Sitzung-Objekt.Gibt das Sitzungsobjekt in der Antwort zurück.
Fehler
AccessDeniedExceptionIdempotentParameterMismatchExceptionInternalServiceExceptionOperationTimeoutExceptionInvalidInputExceptionValidationExceptionAlreadyExistsExceptionResourceNumberLimitExceededException
StopSession Aktion (Python: stop_session)
Hält die Sitzung an.
Anforderung
-
Id– Erforderlich: UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.Die ID der Sitzung, die angehalten werden soll.
-
RequestOrigin– UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 128 Bytes lang, passend zum Custom string pattern #27.Der Ursprung der Anforderung.
Antwort
-
Id– UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.Gibt die ID der angehaltenen Sitzung zurück.
Fehler
AccessDeniedExceptionInternalServiceExceptionOperationTimeoutExceptionInvalidInputExceptionIllegalSessionStateExceptionConcurrentModificationException
DeleteSession Aktion (Python: delete_session)
Löscht die Sitzung.
Anforderung
-
Id– Erforderlich: UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.Die ID der zu löschenden Sitzung.
-
RequestOrigin– UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 128 Bytes lang, passend zum Custom string pattern #27.Der Name des Ursprungs der Löschsitzungsanforderung.
Antwort
-
Id– UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.Gibt die ID der gelöschten Sitzung zurück.
Fehler
AccessDeniedExceptionInternalServiceExceptionOperationTimeoutExceptionInvalidInputExceptionIllegalSessionStateExceptionConcurrentModificationException
GetSession Aktion (Python: get_session)
Ruft die Sitzung ab.
Anforderung
-
Id– Erforderlich: UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.Die ID der Sitzung.
-
RequestOrigin– UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 128 Bytes lang, passend zum Custom string pattern #27.Der Ursprung der Anforderung.
Antwort
-
Session– Ein Sitzung-Objekt.Das Sitzungsobjekt wird in der Antwort zurückgegeben.
Fehler
AccessDeniedExceptionEntityNotFoundExceptionInternalServiceExceptionOperationTimeoutExceptionInvalidInputException
ListSessions Aktion (Python: list_sessions)
Abrufen einer Liste von Sitzungen.
Anforderung
-
NextToken– UTF-8-Zeichenfolge, nicht mehr als 400.000 Bytes lang.Das Token für den nächsten Ergebnissatz bzw. Null, wenn keine weiteren Ergebnisse vorliegen.
-
MaxResults– Zahl (Ganzzahl), nicht kleiner als 1 oder größer als 1000.Die maximale Anzahl von Ergebnissen.
-
Tags– Ein Map-Array von Schlüssel-Wert-Paaren, nicht mehr als 50 Paare.Jeder Schlüssel ist eine UTF-8-Zeichenfolge, die nicht weniger als 1 oder mehr als 128 Bytes lang ist.
Jeder Wert ist eine UTF-8-Zeichenfolge, die nicht mehr als 256 Bytes lang ist.
Tags, die zur Sitzung gehören.
-
RequestOrigin– UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 128 Bytes lang, passend zum Custom string pattern #27.Der Ursprung der Anforderung.
Antwort
-
Ids– Ein UTF-8-Zeichenfolgen-Array.Gibt die ID der Sitzungs-Anforderung zurück.
-
Sessions– Ein Array mit Sitzung-Objekten.Gibt das Sitzungs-Objekt zurück.
-
NextToken– UTF-8-Zeichenfolge, nicht mehr als 400.000 Bytes lang.Das Token für den nächsten Ergebnissatz bzw. Null, wenn keine weiteren Ergebnisse vorliegen.
Fehler
AccessDeniedExceptionInvalidInputExceptionInternalServiceExceptionOperationTimeoutException
RunStatement Aktion (Python: run_statement)
Führt die Anweisung aus.
Anforderung
-
SessionId– Erforderlich: UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.Die Sitzungs-ID der auszuführenden Anweisung.
-
Code– Erforderlich: UTF-8-Zeichenfolge, nicht länger als 68 000 Bytes.Der auszuführende Anweisungscode.
-
RequestOrigin– UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 128 Bytes lang, passend zum Custom string pattern #27.Der Ursprung der Anforderung.
Antwort
-
Id– Zahl (Ganzzahl).Gibt die ID der ausgeführten Anweisung zurück.
Fehler
EntityNotFoundExceptionAccessDeniedExceptionInternalServiceExceptionOperationTimeoutExceptionInvalidInputExceptionValidationExceptionResourceNumberLimitExceededExceptionIllegalSessionStateException
CancelStatement Aktion (Python: cancel_statement)
Bricht die Anweisung ab.
Anforderung
-
SessionId– Erforderlich: UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.Die Sitzungs-ID der Anweisung, die abgebrochen werden soll.
-
Id– Erforderlich: Zahl (Ganzzahl).Die ID der Anweisung, die abgebrochen werde soll.
-
RequestOrigin– UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 128 Bytes lang, passend zum Custom string pattern #27.Der Ursprung der Anforderung, die Anweisung abzubrechen.
Antwort
Keine Antwortparameter.
Fehler
AccessDeniedExceptionEntityNotFoundExceptionInternalServiceExceptionOperationTimeoutExceptionInvalidInputExceptionIllegalSessionStateException
GetStatement Aktion (Python: get_statement)
Ruft die Anweisung ab.
Anforderung
-
SessionId– Erforderlich: UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.Die Sitzungs-ID der Anweisung.
-
Id– Erforderlich: Zahl (Ganzzahl).Die ID der Anweisung.
-
RequestOrigin– UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 128 Bytes lang, passend zum Custom string pattern #27.Der Ursprung der Anforderung.
Antwort
-
Statement– Ein Statement-Objekt.Gibt die Anweisung zurück.
Fehler
AccessDeniedExceptionEntityNotFoundExceptionInternalServiceExceptionOperationTimeoutExceptionInvalidInputExceptionIllegalSessionStateException
ListStatements Aktion (Python: list_statements)
Listet Anweisungen für die Sitzung auf.
Anforderung
-
SessionId– Erforderlich: UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.Die Sitzungs-ID der Anweisungen.
-
RequestOrigin– UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 128 Bytes lang, passend zum Custom string pattern #27.Der Ursprung der Anforderung, Anweisungen aufzulisten.
-
NextToken– UTF-8-Zeichenfolge, nicht mehr als 400.000 Bytes lang.Ein Fortsetzungs-Token, wenn dies ein Fortsetzungsaufruf ist.
Antwort
-
Statements– Ein Array mit Statement-Objekten.Gibt die Liste der Anweisungen zurück.
-
NextToken– UTF-8-Zeichenfolge, nicht mehr als 400.000 Bytes lang.Ein Fortsetzungstoken, wenn noch nicht alle Anweisungen zurückgegeben wurden.
Fehler
AccessDeniedExceptionEntityNotFoundExceptionInternalServiceExceptionOperationTimeoutExceptionInvalidInputExceptionIllegalSessionStateException
