Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
AWS Glue-Auftragsparameter
Beim Erstellen eines AWS Glue-Jobs legen Sie einige Standardfelder fest, z. B. Role
undWorkerType
. Über die Argument
-Felder (Auftragsparameter in der Konsole) können Sie zusätzliche Konfigurationsinformationen bereitstellen. In diesen Feldern können Sie AWS Glue-Jobs mit den in diesem Thema aufgelisteten Argumenten (Parametern) versehen. Weitere Informationen zur AWS Glue Job API finden Sie unterAufträge.
Festlegen der Auftragsparameter
Sie können einen Auftrag über die Konsole auf der Registerkarte Job details (Details zur Auftragsausführung) unter der Kopfzeile Job Parameters (Auftragsparameter) konfigurieren. Sie können einen Job auch über die Einstellung AWS CLI by DefaultArguments
oder NonOverridableArguments
on a job oder setting Arguments
on a job run konfigurieren. Für den Auftrag festgelegte Argumente werden bei jeder Ausführung des Auftrags übergeben, während bei der Auftragsausführung festgelegte Argumente nur für diese einzelne Ausführung übergeben werden.
Im Folgenden finden Sie beispielsweise die Syntax zum Ausführen eines Auftrags mit --arguments
zum Festlegen eines Auftragsparameters.
$ aws glue start-job-run --job-name "CSV to CSV" --arguments='--scriptLocation="s3://my_glue/libraries/test_lib.py"'
Zugreifen auf Auftragsparameter
Beim Schreiben von AWS Glue-Skripten möchten Sie möglicherweise auf Job-Parameterwerte zugreifen, um das Verhalten Ihres eigenen Codes zu ändern. In unseren Bibliotheken stellen wir hierfür Hilfsmethoden zur Verfügung. Diese Methoden lösen Parameterwerte der Auftragsausführung auf, die die Parameterwerte des Auftrags überschreiben. Bei der Auflösung von Parametern, die an mehreren Stellen festgelegt wurden, überschreibt Auftrag NonOverridableArguments
die Auftragsausführung Arguments
, die wiederum Auftrag DefaultArguments
überschreibt.
In Python:
In Python-Aufträgen stellen wir eine Funktion mit dem Namen getResolvedParameters
bereit. Weitere Informationen finden Sie unter Zugriff auf Parameter mit getResolvedOptions. Die Auftragsparameter sind in der Variablen sys.argv
verfügbar.
In Scala:
In Scala-Aufträgen stellen wir ein Objekt mit dem Namen GlueArgParser
bereit. Weitere Informationen finden Sie unter AWS Glue Scala GlueArgParser-APIs. Die Auftragsparameter sind in der Variablen sysArgs
verfügbar.
Referenz der Auftragsparameter
AWS Glue erkennt mehrere Argumentnamen, mit denen Sie die Skriptumgebung für Ihre Aufgaben und Aufgabenausführungen einrichten können:
--additional-python-modules
-
Eine durch Kommas getrennte Liste, die eine Reihe von Python-Paketen darstellt, die installiert werden sollen. Sie können Pakete von PyPI installieren oder eine benutzerdefinierte Verteilung bereitstellen. Ein PyPI-Paketeintrag liegt im Format
vor und enthält den PyPI-Namen und die Version Ihres Zielpakets. Ein benutzerdefinierter Verteilungseintrag ist der S3-Pfad zur Verteilung.package
==version
Einträge verwenden einen Python-Versionsabgleich, um Paket und Version abzugleichen. Dies bedeutet, dass Sie zwei Gleichheitszeichen verwenden müssen, z. B.
==
. Es gibt andere Operatoren für den Versionsabgleich. Weitere Informationen dazu finden Sie unter PEP 440. Um Optionen für die Modulinstallation an
pip3
zu übergeben, verwenden Sie den --python-modules-installer-option-Parameter. --auto-scale-within-microbatch
-
Der Standardwert ist "false". Dieser Parameter kann nur für AWS Glue-Streaming-Jobs verwendet werden, bei denen die Streaming-Daten in einer Reihe von Mikrobatches verarbeitet werden. Auto Scaling muss aktiviert sein. Wenn dieser Wert auf falsch gesetzt ist, wird der exponentielle gleitende Durchschnitt der Batch-Dauer für abgeschlossene Micro-Batches berechnet. Dieser Wert wird mit der Fenstergröße verglichen, um festzulegen, ob die Anzahl der Ausführer hoch- oder herunterskaliert werden soll. Die Skalierung erfolgt erst, wenn ein Mikro-Batch abgeschlossen ist. Wenn dieser Wert während eines Mikro-Batches auf wahr gesetzt ist, wird er hochskaliert, wenn die Anzahl der Spark-Aufgaben 30 Sekunden lang gleich bleibt oder die aktuelle Batch-Verarbeitung größer als die Fenstergröße ist. Die Anzahl der Ausführer sinkt, wenn ein Ausführer länger als 60 Sekunden im Leerlauf war oder der exponentielle gleitende Durchschnitt der Batch-Dauer niedrig ist.
--class
-
Die Scala-Klasse, die als Einstiegspunkt für Ihr Scala-Skript dient. Dies gilt nur, wenn die
--job-language
aufscala
eingestellt ist. --continuous-log-conversionPattern
-
Gibt ein benutzerdefiniertes Konvertierungsprotokollmuster für einen Auftrag an, der für die kontinuierliche Protokollierung aktiviert ist. Das Konvertierungsmuster gilt nur für Treiberprotokolle und Executor-Protokolle. Dies wirkt sich nicht auf die AWS Glue-Fortschrittsleiste aus.
--continuous-log-logGroup
-
Gibt einen benutzerdefinierten CloudWatch Amazon-Protokollgruppennamen für einen Job an, der für die kontinuierliche Protokollierung aktiviert ist.
--continuous-log-logStreamPrefix
-
Gibt ein benutzerdefiniertes CloudWatch Logstream-Präfix für einen Job an, der für die kontinuierliche Protokollierung aktiviert ist.
--customer-driver-env-vars
und--customer-executor-env-vars
-
Mit diesen Parametern werden Umgebungsvariablen auf dem Betriebssystem für jeden Worker (Treiber oder Executor) festgelegt. Sie können diese Parameter verwenden, wenn Sie Plattformen und benutzerdefinierte Frameworks auf AWS Glue aufbauen, damit Ihre Benutzer Jobs darauf schreiben können. Wenn Sie diese beiden Flags aktivieren, können Sie unterschiedliche Umgebungsvariablen für den Treiber bzw. den Executor festlegen, ohne dieselbe Logik in das Job-Skript selbst einfügen zu müssen.
Beispielverwendung
Im Folgenden finden Sie ein Beispiel für die Verwendung dieser Parameter:
"—customer-driver-env-vars", "CUSTOMER_KEY1=VAL1,CUSTOMER_KEY2=\"val2,val2 val2\"", "—customer-executor-env-vars", "CUSTOMER_KEY3=VAL3,KEY4=VAL4"
Das Setzen dieser Werte im Jobrun-Argument entspricht der Ausführung der folgenden Befehle:
Im Treiber:
exportiere CUSTOMER_KEY1=VAL1
exportiere CUSTOMER_KEY2="VAL2, VAL2 VAL2"
Im Executor:
exportiere CUSTOMER_KEY3=VAL3
Anschließend können Sie im Job-Skript selbst die Umgebungsvariablen mit oder abrufen.
os.environ.get("CUSTOMER_KEY1")
System.getenv("CUSTOMER_KEY1")
Erzwungene Syntax
Beachten Sie bei der Definition von Umgebungsvariablen die folgenden Standards:
Jeder Schlüssel muss den haben
CUSTOMER_ prefix
.Zum Beispiel: for
"CUSTOMER_KEY3=VAL3,KEY4=VAL4"
,KEY4=VAL4
wird ignoriert und nicht gesetzt.Jedes Schlüssel- und Wertepaar muss durch ein einzelnes Komma abgegrenzt werden.
Beispiel:
"CUSTOMER_KEY3=VAL3,CUSTOMER_KEY4=VAL4"
Wenn der „Wert“ Leerzeichen oder Kommas enthält, muss er in Anführungszeichen definiert werden.
Beispiel:
CUSTOMER_KEY2=\"val2,val2 val2\"
Diese Syntax ist den Standards für das Setzen von Bash-Umgebungsvariablen sehr ähnlich.
--datalake-formats
-
Wird in AWS Glue 3.0 und späteren Versionen unterstützt.
Gibt das zu verwendende Data Lake-Framework an. AWS Glue fügt die erforderlichen JAR-Dateien für die von Ihnen angegebenen Frameworks in die ein
classpath
. Weitere Informationen finden Sie unter Verwendung von Data-Lake-Frameworks mit AWS Glue-ETL-Aufträgen.Sie können einen oder mehrere der folgenden Werte durch Komma getrennt angeben:
-
hudi
-
delta
-
iceberg
Übergeben Sie beispielsweise das folgende Argument, um alle drei Frameworks anzugeben.
'--datalake-formats': 'hudi,delta,iceberg'
-
--disable-proxy-v2
-
Deaktivieren Sie den Service-Proxy, um AWS Serviceanrufe an Amazon S3 und CloudWatch, die von Ihrem Skript AWS Glue ausgehen, über Ihre VPC zuzulassen. Weitere Informationen finden Sie unter Konfigurieren von AWS -Aufrufen, um Ihre VPC durchlaufen . Um den Service-Proxy zu deaktivieren, legen Sie den Wert dieses Parameters auf
true
fest. --enable-auto-scaling
-
Aktiviert Auto Scaling und die Abrechnung pro Worker, wenn der Wert auf
true
eingestellt wird. --enable-continuous-cloudwatch-log
-
Aktiviert die kontinuierliche Echtzeitprotokollierung für AWS Glue-Aufträge. Sie können sich die Apache Spark-Job-Logs in CloudWatch Echtzeit ansehen.
--enable-continuous-log-filter
-
Gibt einen Standardfilter (
true
) oder keinen Filter (false
) an, wenn Sie eine Aufgabe erstellen oder bearbeiten, die für die kontinuierliche Protokollierung aktiviert ist. Die Auswahl des Standardfilters beseitigt nicht nützliche Meldungen von Apache-Spark-Treibern/Executors sowie Apache Hadoop YARN-Heartbeat-Protokollmeldungen. Wenn Sie keinen Filter auswählen, erhalten Sie alle Protokollmeldungen. --enable-glue-datacatalog
-
Ermöglicht es Ihnen, den AWS Glue-Datenkatalog als Apache Spark Hive-Metastore zu verwenden. Um dieses Feature zu aktivieren, setzen Sie den Wert auf
true
. --enable-job-insights
-
Ermöglicht zusätzliche Fehleranalyseüberwachung mit AWS Glue Job Run Insights. Details hierzu finden Sie unter Überwachung mit Erkenntnissen in die AWS Glue-Auftragsausführung. Der Wert ist standardmäßig auf
true
festgelegt und Auftragsausführungs-Insights sind aktiviert.Diese Option ist für AWS Glue-Version 2.0 und 3.0 verfügbar.
--enable-metrics
-
Aktiviert die Erfassung von Metriken für die Erstellung von Auftragsprofilen für diese Auftragsausführung. Diese Metriken sind auf der AWS Glue Konsole und der CloudWatch Amazon-Konsole verfügbar. Der Wert dieses Parameters ist nicht relevant. Um dieses Feature zu aktivieren, können Sie für diesen Parameter einen beliebigen Wert angeben. Aus Gründen der Übersichtlichkeit wird jedoch
true
empfohlen. Um dieses Feature zu deaktivieren, entfernen Sie diesen Parameter aus Ihrer Auftragskonfiguration. --enable-observability-metrics
-
Ermöglicht eine Reihe von Observability-Metriken, um Erkenntnisse darüber zu gewinnen, was in jedem Job passiert, der auf der Seite Job Runs Monitoring unter der AWS Glue Konsole und der Amazon CloudWatch Konsole ausgeführt wird. Um dieses Feature zu aktivieren, setzen Sie den Wert dieses Parameters auf „true“. Um dieses Feature zu deaktivieren, setzen Sie ihn auf
false
oder entfernen Sie den Parameter aus der Auftragskonfiguration. --enable-rename-algorithm-v2
-
Setzt die Version des EMRFS-Umbenennungsalgorithmus auf Version 2. Wenn ein Spark-Auftrag den dynamischen Partitionsüberschreibungsmodus verwendet, besteht die Möglichkeit, dass eine doppelte Partition erstellt wird. Zum Beispiel können Sie eine doppelte Partition wie
s3://bucket/table/location/p1=1/p1=1
erhalten. Hier ist P1 die Partition, die überschrieben wird. Das Umbenennen des Algorithmus Version 2 behebt dieses Problem.Diese Option ist nur in der AWS Glue Version 1.0 verfügbar.
--enable-s3-parquet-optimized-committer
-
Aktiviert den EMRFS-S3-optimierten Committer zum Schreiben von Parquet-Daten in Amazon S3. Sie können das Parameter-Wert-Paar über die AWS Glue-Konsole bereitstellen, wenn Sie einen AWS Glue-Auftrag erstellen oder aktualisieren. Durch Festlegen des Werts
true
wird der Committer aktiviert. Standardmäßig ist die Flagge in AWS Glue 3.0 aktiviert und in AWS Glue 2.0 ausgeschaltet.Weitere Informationen finden Sie unter Verwenden der EMRFS S3-optimierten Committer-Klasse.
--enable-spark-ui
-
Bei Einstellung auf
true
wird das Feature zur Verwendung der Spark-Benutzeroberfläche zum Überwachen und Debuggen von AWS Glue-ETL-Aufträgen aktiviert. --executor-cores
-
Anzahl der Spark-Aufgaben, die parallel ausgeführt werden können. Diese Option wird auf AWS Glue 3.0+ unterstützt. Der Wert sollte das Zweifache der Anzahl der vCPUs auf dem Worker-Typ nicht überschreiten, also 8 auf
G.1X
, 16 aufG.2X
, 32 aufG.4X
und 64 aufG.8X
. Sie sollten bei der Aktualisierung dieser Konfiguration vorsichtig sein, da sie sich auf die Leistung des Auftrags auswirken könnte. Eine erhöhte Parallelität der Aufgaben führt nämlich zu Speicher- und Festplattendruck sowie zu einer Drosselung der Quell- und Zielsysteme (z. B. würde dies zu mehr gleichzeitigen Verbindungen in Amazon RDS führen). --extra-files
-
Die Amazon-S3-Pfade zu zusätzlichen Dateien, z. B. Konfigurationsdateien, die AWS Glue vor der Ausführung in das Arbeitsverzeichnis Ihres Skripts kopiert. Mehrere Werte müssen vollständige Pfade sein, die durch Kommas (
,
) getrennt werden. Es werden nur einzelne Dateien unterstützt, kein Verzeichnispfad. Diese Option wird für Python-Shell-Auftragstypen nicht unterstützt. --extra-jars
-
Die Amazon-S3-Pfade zu zusätzlichen Java-
.jar
-Dateien, die AWS Glue vor der Ausführung Ihres Skripts zum Java-Klassenpfad hinzufügt. Mehrere Werte müssen vollständige Pfade sein, die durch Kommas (,
) getrennt werden. --extra-py-files
-
Die Amazon-S3-Pfade zu zusätzlichen Python-Modulen, die AWS Glue vor der Ausführung Ihres Skripts zum Python-Pfad hinzufügt. Mehrere Werte müssen vollständige Pfade sein, die durch Kommas (
,
) getrennt werden. Es werden nur einzelne Dateien unterstützt, kein Verzeichnispfad. --job-bookmark-option
-
Steuert die Darstellung eines Auftrags-Lesezeichens. Die folgenden Optionswerte können festgelegt werden:
‑‑job‑bookmark‑option-Wert Beschreibung job-bookmark-enable
Bereits verarbeitete Daten nachverfolgen. Wenn ein Auftrag ausgeführt wird, werden neue Daten seit dem letzten Checkpoint verarbeitet. job-bookmark-disable
Immer das gesamte Dataset verarbeiten. Sie sind für die Verwaltung der Ausgaben aus früheren Auftragsausführungen verantwortlich. job-bookmark-pause
Verarbeiten inkrementeller Daten seit der letzten erfolgreichen Ausführung oder der Daten in dem durch die folgenden Unteroptionen identifizierten Bereich, ohne den Status des letzten Lesezeichens zu aktualisieren. Sie sind für die Verwaltung der Ausgaben aus früheren Auftragsausführungen verantwortlich. Die beiden Unteroptionen lauten wie folgt: -
job-bookmark-from
<from-value>
ist die Ausführungs-ID, die alle Eingaben darstellt, die bis zur letzten erfolgreichen Ausführung vor und einschließlich der angegebenen Ausführungs-ID verarbeitet wurden. Die entsprechende Eingabe wird ignoriert. -
job-bookmark-to
<to-value>
ist die Ausführungs-ID, die alle Eingaben darstellt, die bis zur letzten erfolgreichen Ausführung vor und einschließlich der angegebenen Ausführungs-ID verarbeitet wurden. Die entsprechende Eingabe ohne die Eingabe, die durch den<from-value>
identifiziert wird, wird von der Aufgabe verarbeitet. Jede Eingabe, die später als diese Eingabe ist, wird auch aus der Verarbeitung ausgeschlossen.
Der Auftrags-Lesezeichenstatus wird nicht aktualisiert, wenn dieser Optionssatz angegeben wird.
Die Unteroptionen sind optional. Bei ihrer Verwendung müssen jedoch beide Unteroptionen angegeben werden.
Um beispielsweise ein Aufgabenlesezeichen zu aktivieren, übergeben Sie das folgende Argument:
'--job-bookmark-option': 'job-bookmark-enable'
-
--job-language
-
Die Skript-Programmiersprache. Dieser Wert muss entweder
scala
oderpython
sein. Wenn dieser Parameter nicht vorhanden ist, ist der Standardwertpython
. --python-modules-installer-option
-
Eine Klartextzeichenfolge, die Optionen definiert, die an
pip3
übergeben werden, wenn Module mit --additional-python-modules installiert werden. Stellen Sie Optionen wie in der Befehlszeile bereit, getrennt durch Leerzeichen und mit vorangestellten Bindestrichen. Weitere Informationen zur Verwendung finden Sie unter Installieren zusätzlicher Python-Module in AWS Glue 2.0+ mit pip.Anmerkung
Diese Option wird für AWS Glue-Jobs nicht unterstützt, wenn Sie Python 3.9 verwenden.
--scriptLocation
-
Der Amazon Simple Storage Service (Amazon S3)-Speicherort, an dem Ihr ETL-Skript abgelegt ist (im Format
s3://path/to/my/script.py
). Dieser Parameter überschreibt einen Skript-Speicherort imJobCommand
-Objekt. --spark-event-logs-path
-
Gibt einen Amazon-S3-Pfad an. Wenn Sie das Spark-UI-Überwachungs-Feature verwenden, bereinigt AWS Glue die Spark-Ereignisprotokolle alle 30 Sekunden in diesem Amazon-S3-Pfad über einen Bucket, der als temporäres Verzeichnis zum Speichern von Spark-UI-Ereignissen verwendet werden kann.
--TempDir
-
Gibt einen Amazon-S3-Pfad zu einem Bucket an, der als temporäres Verzeichnis für den Auftrag verwendet werden kann.
Um beispielsweise ein temporäres Verzeichnis zu setzen, übergeben Sie das Argument:
'--TempDir': '
s3-path-to-directory
'Anmerkung
AWS Glue erstellt einen temporären Bucket für Aufträge, wenn in einer Region noch kein Bucket vorhanden ist. Dieser Bucket erlaubt möglicherweise den öffentlichen Zugriff. Sie können entweder den Bucket in Amazon S3 ändern, um die öffentliche Zugriffssperre festzulegen, oder den Bucket später löschen, nachdem alle Aufträge in dieser Region abgeschlossen sind.
--use-postgres-driver
-
Wenn Sie diesen Wert auf
true
setzen, wird der Postgres-JDBC-Treiber im Klassenpfad priorisiert, um einen Konflikt mit dem Amazon-Redshift-JDBC-Treiber zu vermeiden. Diese Option ist nur in AWS Glue Version 2.0 verfügbar. --user-jars-first
-
Wenn Sie diesen Wert auf
true
setzen, werden die zusätzlichen JAR-Dateien des Kunden im Klassenpfad priorisiert. Diese Option ist nur ab AWS Glue 2.0 verfügbar. --conf
-
Sie steuert die Spark-Konfigurationsparameter. Sie ist für fortschrittliche Anwendungsfälle.
--encryption-type
-
Legacy-Parameter. Das entsprechende Verhalten sollte über Sicherheitskonfigurationen konfiguriert werden. Weitere Informationen zu Sicherheitskonfigurationen finden Sie unter Verschlüsseln von Daten, die von AWS Glue geschrieben werden.
AWS Glue verwendet intern die folgenden Argumente und Sie sollten sie niemals verwenden:
-
--debug
: AWS Glue-intern. Nicht einstellen. -
--mode
: AWS Glue-intern. Nicht einstellen. -
--JOB_NAME
: AWS Glue-intern. Nicht einstellen. -
--endpoint
: AWS Glue-intern. Nicht einstellen.
AWS Glue unterstützt das Bootstrapping einer Umgebung mit dem site
-Modul von Python unter Verwendung von sitecustomize
, um standortspezifische Anpassungen durchzuführen. Das Bootstrapping Ihrer eigenen Initialisierungsfunktionen wird nur für fortgeschrittene Anwendungsfälle empfohlen und wird mithilfe von AWS Glue 4.0 nach bestem Wissen und Gewissen unterstützt.
Das Präfix der Umgebungsvariablen, GLUE_CUSTOMER
, ist für die Verwendung durch Kunden reserviert.