Esecuzioni di processi - AWS Glue

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Esecuzioni di processi

L'API Jobs Runs descrive i tipi di dati e l'API relativi all'avvio, all'arresto o alla visualizzazione delle esecuzioni di job e alla reimpostazione dei segnalibri dei processi, in. AWS Glue La cronologia di esecuzione dei lavori è accessibile per 90 giorni per il flusso di lavoro e l'esecuzione dei lavori.

Tipi di dati

JobRun struttura

Contiene informazioni su una esecuzione di processo.

Campi
  • Id: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

    L'ID di questa esecuzione di processo.

  • Attempt: numero (intero).

    Il numero di tentativi di esecuzione di questo processo.

  • PreviousRunId: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

    L'ID dell'esecuzione precedente di questo processo. Ad esempio, il JobRunId specificato nell'operazione StartJobRun.

  • TriggerName: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

    Il nome del trigger che ha avviato questa esecuzione progetto.

  • JobName: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

    Nome della definizione di processo in uso in questa esecuzione.

  • JobMode: stringa UTF-8 (valori validi: SCRIPT="" | VISUAL="" | NOTEBOOK="").

    Una modalità che descrive come è stato creato un lavoro. I valori validi sono:

    • SCRIPT- Il lavoro è stato creato utilizzando l'editor di script di AWS Glue Studio.

    • VISUAL- Il lavoro è stato creato utilizzando l'editor visivo di AWS Glue Studio.

    • NOTEBOOK- Il lavoro è stato creato utilizzando un taccuino con sessioni interattive.

    Quando il JobMode campo è mancante o nullo, SCRIPT viene assegnato come valore predefinito.

  • StartedOn: timestamp.

    La data e ora in cui questa esecuzione di processo è stata avviata.

  • LastModifiedOn: timestamp.

    L'ultima volta in cui questa esecuzione di processo è stata modificata.

  • CompletedOn: timestamp.

    La data e ora in cui questa elaborazione di processo è stata completata.

  • JobRunState— Stringa UTF-8 (valori validi: STARTING | | RUNNING | STOPPING | | STOPPED | SUCCEEDED | FAILED | TIMEOUT ERROR |WAITING). EXPIRED

    Lo stato attuale del processo eseguito. Per ulteriori informazioni sugli stati dei processi terminati in modo anomalo, consulta AWS Glue Stati di esecuzione dei processi di .

  • Arguments: una matrice della mappa di coppie chiave-valore.

    Ogni chiave è una stringa UTF-8.

    Ogni valore è una stringa UTF-8.

    Gli argomenti del processo associati a questa esecuzione. Per questa esecuzione di processo, sostituiscono gli argomenti predefiniti impostati nella definizione del processo stessa.

    Qui è possibile specificare gli argomenti utilizzati dal proprio script di esecuzione del lavoro, nonché gli argomenti utilizzati dal proprio script di esecuzione del lavoro. AWS Glue

    Gli argomenti del processo potrebbero essere registrati. Non passare segreti in testo chiaro come argomenti. Recupera i segreti da una AWS Glue connessione AWS Secrets Manager o da un altro meccanismo di gestione dei segreti se intendi mantenerli all'interno del Job.

    Per informazioni su come specificare e utilizzare gli argomenti del proprio processo, fai riferimento a Chiamare le API AWS Glue in Python nella guida per gli sviluppatori.

    Per informazioni sugli argomenti che puoi fornire a questo campo durante la configurazione dei processi Spark, consulta la pagina Special Parameters Used by AWS Glue nella Guida per gli sviluppatori.

    Per informazioni sugli argomenti che puoi fornire a questo campo durante la configurazione dei processi Ray, consulta la pagina Using job parameters in Ray jobs nella Guida per gli sviluppatori.

  • ErrorMessage: stringa UTF-8.

    Un messaggio di errore associato a questa esecuzione di processo.

  • PredecessorRuns: una matrice di oggetti Predecessor.

    Un elenco di predecessori di questa esecuzione di processo.

  • AllocatedCapacity: numero (intero).

    in quanto obsoleto. Usare invece MaxCapacity.

    Il numero di unità di elaborazione AWS Glue dati (DPU) assegnate a questo scopo. JobRun Si possono allocare da 2 a 100 DPU; il valore di default è 10. Una DPU è una misura relativa della potenza di elaborazione ed è costituita da 4 vCPU di capacità di elaborazione e 16 GB di memoria. Per ulteriori informazioni, consulta la pagina dei prezzi di AWS Glue.

  • ExecutionTime: numero (intero).

    Quantità di tempo (in secondi) durante cui l'esecuzione del processo ha utilizzato le risorse.

  • Timeout: numero (intero), almeno 1.

    Timeout di JobRun (in minuti). Indica il tempo massimo durante cui l'esecuzione di un processo può utilizzare le risorse prima di essere terminata e passare allo stato TIMEOUT. Questo valore sostituisce il valore di timeout impostato nel processo padre.

    I lavori di streaming devono avere valori di timeout inferiori a 7 giorni o 10080 minuti. Se il valore viene lasciato vuoto, il processo verrà riavviato dopo 7 giorni, a seconda che non sia stata impostata una finestra di manutenzione. Se si dispone di una finestra di manutenzione di configurazione, questa verrà riavviata durante la finestra di manutenzione dopo 7 giorni.

  • MaxCapacity: numero (doppio).

    Per i lavori di Glue versione 1.0 o precedente, utilizzando il tipo di worker standard, il numero di unità di elaborazione AWS Glue dati (DPU) che possono essere allocate durante l'esecuzione di questo lavoro. Una DPU è una misura relativa della potenza di elaborazione ed è costituita da 4 vCPU di capacità di elaborazione e 16 GB di memoria. Per ulteriori informazioni, consulta la pagina dei prezzi di AWS Glue.

    Per i processi Glue versione 2.0 e successive, non è possibile specificare il valore Maximum capacity. Si deve invece specificare un Worker type e un Number of workers.

    Non impostare MaxCapacity se usi WorkerType e NumberOfWorkers.

    Il valore che è possibile allocare per MaxCapacity varia a seconda che si esegua un processo shell di Python, un processo ETL di Apache Spark o un processo ETL di streaming di Apache Spark:

    • Quando si specifica un processo shell di Python (JobCommand.Name="pythonshell"), è possibile allocare 0,0625 o 1 DPU. Il valore di default è 0,0625 DPU.

    • Quando si specifica un processo ETL Apache Spark (JobCommand.Name="glueetl”) o un processo ETL di streaming Apache Spark (JobCommand.Name="gluestreaming”), è possibile allocare da 2 a 100 DPU. Il valore di default è 10 DPU. Questo tipo di processo non può avere un'allocazione DPU frazionata.

  • WorkerType: stringa UTF-8 (valori validi: Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" | Z.2X="").

    Il tipo di worker predefinito allocato quando viene eseguito un processo. Accetta un valore di G.1X, G.2X, G.4X, G.8X o G.025X per i processi Spark. Accetta il valore Z.2X per i processi Ray.

    • Per il tipo di worker G.1X, ciascun worker esegue la mappatura su 1 DPU (4 vCPU, 16 GB di memoria) con disco da 84 GB (circa 34 GB liberi) e fornisce 1 esecutore. Questi tipi di worker sono raccomandati per carichi di lavoro come trasformazioni di dati, join e query, in quanto offrono un modo scalabile ed economico per eseguire la maggior parte dei processi.

    • Per il tipo di worker G.2X, ciascun worker esegue la mappatura su 2 DPU (8 vCPU, 32 GB di memoria) con disco da 128 GB (circa 77 GB liberi) e fornisce 1 esecutore. Questi tipi di worker sono raccomandati per carichi di lavoro come trasformazioni di dati, join e query, in quanto offrono un modo scalabile ed economico per eseguire la maggior parte dei processi.

    • Per il tipo di worker G.4X, ciascun worker esegue la mappatura su 4 DPU (16 vCPU, 64 GB di memoria) con disco da 256 GB (circa 235 GB liberi) e fornisce 1 esecutore. Questi tipi di worker sono raccomandati per i processi i cui carichi di lavoro contengono trasformazioni, aggregazioni, join e query con i requisiti più elevati. Questo tipo di lavoratore è disponibile solo per i lavori Spark ETL AWS Glue versione 3.0 o successiva AWS nelle seguenti regioni: Stati Uniti orientali (Ohio), Stati Uniti orientali (Virginia settentrionale), Stati Uniti occidentali (Oregon), Asia Pacifico (Singapore), Asia Pacifico (Sydney), Asia Pacifico (Tokyo), Canada (Centrale), Europa (Francoforte), Europa (Irlanda) ed Europa (Stoccolma).

    • Per il tipo di worker G.8X, ciascun worker esegue la mappatura su 8 DPU (32 vCPU, 128 GB di memoria) con disco da 512 GB (circa 487 GB liberi) e fornisce 1 esecutore. Questi tipi di worker sono raccomandati per i processi i cui carichi di lavoro contengono trasformazioni, aggregazioni, join e query con i requisiti più elevati. Questo tipo di worker è disponibile solo per i job Spark ETL AWS Glue versione 3.0 o successiva, nelle stesse AWS regioni supportate per il tipo di G.4X lavoratore.

    • Per il tipo di worker G.025X, ciascun worker esegue la mappatura su 0,25 DPU (2 vCPU, 4 GB di memoria) con disco da 84 GB (circa 34 GB liberi) e fornisce 1 esecutore. Consigliamo questo tipo di worker per i processi di streaming a basso volume. Questo tipo di worker è disponibile solo per i lavori di streaming della AWS Glue versione 3.0.

    • Per il tipo di worker Z.2X, ciascun worker esegue la mappatura su 2 M-DPU (8 vCPU, 64 GB di memoria) con disco da 128 GB (circa 120 GB liberi) e fornisce un massimo di 8 worker Ray in base all'autoscaler.

  • NumberOfWorkers: numero (intero).

    Il numero di worker di un workerType specifico allocati quando viene eseguito un processo.

  • SecurityConfiguration: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

    Nome della struttura SecurityConfiguration da usare con questa esecuzione del processo.

  • LogGroupName: stringa UTF-8.

    Il nome del gruppo di log per la registrazione sicura che può essere crittografato lato server in Amazon utilizzando. CloudWatch AWS KMS Questo nome può essere /aws-glue/jobs/ e in questo caso la crittografia di default è NONE. Se si aggiunge un nome di ruolo e il nome SecurityConfiguration (in altre parole, /aws-glue/jobs-yourRoleName-yourSecurityConfigurationName/), la configurazione di sicurezza viene utilizzata per crittografare il gruppo di log.

  • NotificationProperty: un oggetto NotificationProperty.

    Specifica le proprietà di configurazione di una notifica di esecuzione di un processo.

  • GlueVersion: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Custom string pattern #20.

    Nei job Spark, GlueVersion determina le versioni di Apache Spark e Python disponibili in un job. AWS Glue La versione Python indica la versione supportata per i processi di tipo Spark.

    I processi Ray devono impostare il valore di GlueVersion su 4.0 o superiore. Tuttavia, le versioni di Ray, Python e le librerie aggiuntive disponibili nel processo Ray sono determinate dal parametro Runtime del comando del processo.

    Per ulteriori informazioni sulle AWS Glue versioni disponibili e sulle versioni corrispondenti di Spark e Python, consulta la versione Glue nella guida per sviluppatori.

    Processi creati senza specificare una versione Glue utilizzano Glue 0.9 per impostazione predefinita.

  • DPUSeconds: numero (doppio).

    Questo campo può essere impostato per i job eseguiti con la classe di esecuzione FLEX o quando Auto Scaling è abilitato e rappresenta il tempo totale di esecuzione di ogni executor durante il ciclo di vita di un job, espresso in secondi, moltiplicato per un fattore DPU (1 perG.1X, 2 per o 0,25 per i lavoratori). G.2X G.025X Questo valore potrebbe essere diverso da quello executionEngineRuntime * MaxCapacity come nel caso dei processi di Auto Scaling, poiché il numero di esecutori in esecuzione in un determinato momento potrebbe essere inferiore a MaxCapacity. Pertanto, è possibile che il valore di DPUSeconds sia minore di executionEngineRuntime * MaxCapacity.

  • ExecutionClass: una stringa UTF-8, non superiore a 16 byte di lunghezza (valori validi: FLEX="" | STANDARD="").

    Indica se il processo viene eseguito con una classe di esecuzione standard o flessibile. La classe di esecuzione standard è ideale per carichi di lavoro sensibili al tempo che richiedono un avvio rapido dei processi e risorse dedicate.

    La classe di esecuzione flessibile è appropriata per i processi non sensibili al tempo i cui tempi di inizio e completamento possono variare.

    Solo i lavori con AWS Glue versione 3.0 e successive e il tipo glueetl di comando potranno essere impostati su. ExecutionClass FLEX La classe di esecuzione flessibile è disponibile per i processi Spark.

  • MaintenanceWindow: stringa UTF-8, corrispondente a Custom string pattern #30.

    Questo campo specifica un giorno della settimana e un'ora per una finestra di manutenzione per i lavori di streaming. AWS Glue esegue periodicamente attività di manutenzione. Durante queste finestre di manutenzione, AWS Glue sarà necessario riavviare i processi di streaming.

    AWS Glue riavvierà il lavoro entro 3 ore dalla finestra di manutenzione specificata. Ad esempio, se imposti la finestra di manutenzione per lunedì alle 10:00 GMT, i lavori verranno riavviati tra le 10:00 GMT e le 13:00 GMT.

  • ProfileName: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

    Il nome di un profilo di AWS Glue utilizzo associato all'esecuzione del processo.

Struttura Predecessor

Un'esecuzione di processo che è stata usata nel predicato di un trigger condizionale che ha attivato l'esecuzione di processo corrente.

Campi
  • JobName: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

    Nome della definizione di processo usata dall'esecuzione del processo predecessore.

  • RunId: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

    L'ID dell'esecuzione di processo dell'esecuzione processo predecessore.

JobBookmarkEntry struttura

Definisce un punto nel quale un processo può riprendere l'elaborazione.

Campi
  • JobName: stringa UTF-8.

    Il nome del processo in questione.

  • Version: numero (intero).

    Versione del processo.

  • Run: numero (intero).

    Il numero di ID dell'esecuzione.

  • Attempt: numero (intero).

    Il numero di ID del tentativo.

  • PreviousRunId: stringa UTF-8.

    Identificatore di esecuzione univoco associato all'esecuzione del processo precedente.

  • RunId: stringa UTF-8.

    Il numero di ID dell'esecuzione.

  • JobBookmark: stringa UTF-8.

    Il segnalibro stesso.

BatchStopJobRunSuccessfulSubmission struttura

Registra una richiesta di arresto riuscita per un JobRun specificato.

Campi
  • JobName: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

    Nome della definizione di processo usata nell'esecuzione del processo che è stata arrestata.

  • JobRunId: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

    Oggetto JobRunId dell'esecuzione del processo arrestata.

BatchStopJobRunError struttura

Registra un errore che si è verificato durante il tentativo di arrestare un'esecuzione di un processo specifica.

Campi
  • JobName: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

    Nome della definizione di processo usata nell'esecuzione del processo in questione.

  • JobRunId: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

    JobRunId dell'esecuzione del processo in questione.

  • ErrorDetail: un oggetto ErrorDetail.

    Specifica dettagli relativi all'errore che si è verificato.

NotificationProperty struttura

Specifica le proprietà di configurazione di una notifica.

Campi
  • NotifyDelayAfter: numero (intero), almeno 1.

    Dopo l'inizio dell'esecuzione di un processo, la quantità di minuti da attendere prima di inviare una notifica di ritardo dell'esecuzione di un processo.

Operazioni

StartJobRun azione (Python: start_job_run)

Avvia un'esecuzione di un processo usando una definizione di processo.

Richiesta
  • JobName: obbligatorio: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

    Nome della definizione di processo da usare.

  • JobRunId: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

    L'ID di un precedente JobRun da ripetere.

  • Arguments: una matrice della mappa di coppie chiave-valore.

    Ogni chiave è una stringa UTF-8.

    Ogni valore è una stringa UTF-8.

    Gli argomenti del processo associati a questa esecuzione. Per questa esecuzione di processo, sostituiscono gli argomenti predefiniti impostati nella definizione del processo stessa.

    Qui è possibile specificare gli argomenti utilizzati dal proprio script di esecuzione del lavoro, nonché gli argomenti utilizzati dal proprio script di esecuzione del lavoro. AWS Glue

    Gli argomenti del processo potrebbero essere registrati. Non passare segreti in testo chiaro come argomenti. Recupera i segreti da una AWS Glue connessione AWS Secrets Manager o da un altro meccanismo di gestione dei segreti se intendi mantenerli all'interno del Job.

    Per informazioni su come specificare e utilizzare gli argomenti del proprio processo, fai riferimento a Chiamare le API AWS Glue in Python nella guida per gli sviluppatori.

    Per informazioni sugli argomenti che puoi fornire a questo campo durante la configurazione dei processi Spark, consulta la pagina Special Parameters Used by AWS Glue nella Guida per gli sviluppatori.

    Per informazioni sugli argomenti che puoi fornire a questo campo durante la configurazione dei processi Ray, consulta la pagina Using job parameters in Ray jobs nella Guida per gli sviluppatori.

  • AllocatedCapacity: numero (intero).

    in quanto obsoleto. Usare invece MaxCapacity.

    Il numero di unità di elaborazione AWS Glue dati (DPU) da assegnare a questo. JobRun È possibile allocare un minimo di 2 DPU; l'impostazione di default è 10. Una DPU è una misura relativa della potenza di elaborazione ed è costituita da 4 vCPU di capacità di elaborazione e 16 GB di memoria. Per ulteriori informazioni, consulta la pagina dei prezzi di AWS Glue.

  • Timeout: numero (intero), almeno 1.

    Timeout di JobRun (in minuti). Indica il tempo massimo durante cui l'esecuzione di un processo può utilizzare le risorse prima di essere terminata e passare allo stato TIMEOUT. Questo valore sostituisce il valore di timeout impostato nel processo padre.

    I lavori di streaming devono avere valori di timeout inferiori a 7 giorni o 10080 minuti. Se il valore viene lasciato vuoto, il processo verrà riavviato dopo 7 giorni, a seconda che non sia stata impostata una finestra di manutenzione. Se si dispone di una finestra di manutenzione di configurazione, questa verrà riavviata durante la finestra di manutenzione dopo 7 giorni.

  • MaxCapacity: numero (doppio).

    Per i lavori di Glue versione 1.0 o precedente, utilizzando il tipo di worker standard, il numero di unità di elaborazione AWS Glue dati (DPU) che possono essere allocate durante l'esecuzione di questo lavoro. Una DPU è una misura relativa della potenza di elaborazione ed è costituita da 4 vCPU di capacità di elaborazione e 16 GB di memoria. Per ulteriori informazioni, consulta la pagina dei prezzi di AWS Glue.

    Per i processi Glue versione 2.0 e successive, non è possibile specificare il valore Maximum capacity. Si deve invece specificare un Worker type e un Number of workers.

    Non impostare MaxCapacity se usi WorkerType e NumberOfWorkers.

    Il valore che è possibile allocare per MaxCapacity varia a seconda che si esegua un processo shell di Python, un processo ETL di Apache Spark o un processo ETL di streaming di Apache Spark:

    • Quando si specifica un processo shell di Python (JobCommand.Name="pythonshell"), è possibile allocare 0,0625 o 1 DPU. Il valore di default è 0,0625 DPU.

    • Quando si specifica un processo ETL Apache Spark (JobCommand.Name="glueetl”) o un processo ETL di streaming Apache Spark (JobCommand.Name="gluestreaming”), è possibile allocare da 2 a 100 DPU. Il valore di default è 10 DPU. Questo tipo di processo non può avere un'allocazione DPU frazionata.

  • SecurityConfiguration: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

    Nome della struttura SecurityConfiguration da usare con questa esecuzione del processo.

  • NotificationProperty: un oggetto NotificationProperty.

    Specifica le proprietà di configurazione di una notifica di esecuzione di un processo.

  • WorkerType: stringa UTF-8 (valori validi: Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" | Z.2X="").

    Il tipo di worker predefinito allocato quando viene eseguito un processo. Accetta un valore di G.1X, G.2X, G.4X, G.8X o G.025X per i processi Spark. Accetta il valore Z.2X per i processi Ray.

    • Per il tipo di worker G.1X, ciascun worker esegue la mappatura su 1 DPU (4 vCPU, 16 GB di memoria) con disco da 84 GB (circa 34 GB liberi) e fornisce 1 esecutore. Questi tipi di worker sono raccomandati per carichi di lavoro come trasformazioni di dati, join e query, in quanto offrono un modo scalabile ed economico per eseguire la maggior parte dei processi.

    • Per il tipo di worker G.2X, ciascun worker esegue la mappatura su 2 DPU (8 vCPU, 32 GB di memoria) con disco da 128 GB (circa 77 GB liberi) e fornisce 1 esecutore. Questi tipi di worker sono raccomandati per carichi di lavoro come trasformazioni di dati, join e query, in quanto offrono un modo scalabile ed economico per eseguire la maggior parte dei processi.

    • Per il tipo di worker G.4X, ciascun worker esegue la mappatura su 4 DPU (16 vCPU, 64 GB di memoria) con disco da 256 GB (circa 235 GB liberi) e fornisce 1 esecutore. Questi tipi di worker sono raccomandati per i processi i cui carichi di lavoro contengono trasformazioni, aggregazioni, join e query con i requisiti più elevati. Questo tipo di lavoratore è disponibile solo per i lavori Spark ETL AWS Glue versione 3.0 o successiva AWS nelle seguenti regioni: Stati Uniti orientali (Ohio), Stati Uniti orientali (Virginia settentrionale), Stati Uniti occidentali (Oregon), Asia Pacifico (Singapore), Asia Pacifico (Sydney), Asia Pacifico (Tokyo), Canada (Centrale), Europa (Francoforte), Europa (Irlanda) ed Europa (Stoccolma).

    • Per il tipo di worker G.8X, ciascun worker esegue la mappatura su 8 DPU (32 vCPU, 128 GB di memoria) con disco da 512 GB (circa 487 GB liberi) e fornisce 1 esecutore. Questi tipi di worker sono raccomandati per i processi i cui carichi di lavoro contengono trasformazioni, aggregazioni, join e query con i requisiti più elevati. Questo tipo di worker è disponibile solo per i job Spark ETL AWS Glue versione 3.0 o successiva, nelle stesse AWS regioni supportate per il tipo di G.4X lavoratore.

    • Per il tipo di worker G.025X, ciascun worker esegue la mappatura su 0,25 DPU (2 vCPU, 4 GB di memoria) con disco da 84 GB (circa 34 GB liberi) e fornisce 1 esecutore. Consigliamo questo tipo di worker per i processi di streaming a basso volume. Questo tipo di worker è disponibile solo per i lavori di streaming della AWS Glue versione 3.0.

    • Per il tipo di worker Z.2X, ciascun worker esegue la mappatura su 2 M-DPU (8 vCPU, 64 GB di memoria) con disco da 128 GB (circa 120 GB liberi) e fornisce un massimo di 8 worker Ray in base all'autoscaler.

  • NumberOfWorkers: numero (intero).

    Il numero di worker di un workerType specifico allocati quando viene eseguito un processo.

  • ExecutionClass: una stringa UTF-8, non superiore a 16 byte di lunghezza (valori validi: FLEX="" | STANDARD="").

    Indica se il processo viene eseguito con una classe di esecuzione standard o flessibile. La classe di esecuzione standard è ideale per carichi di lavoro sensibili al tempo che richiedono un avvio rapido dei processi e risorse dedicate.

    La classe di esecuzione flessibile è appropriata per i processi non sensibili al tempo i cui tempi di inizio e completamento possono variare.

    Solo i lavori con AWS Glue la versione 3.0 e successive e il tipo di comando glueetl potranno essere ExecutionClass impostati suFLEX. La classe di esecuzione flessibile è disponibile per i processi Spark.

  • ProfileName: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

    Il nome di un profilo di AWS Glue utilizzo associato all'esecuzione del processo.

Risposta
  • JobRunId: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

    L'ID assegnato a questa esecuzione processo.

Errori
  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

  • ResourceNumberLimitExceededException

  • ConcurrentRunsExceededException

BatchStopJobRun azione (Python: batch_stop_job_run)

Arresta una o più esecuzioni del processo per una definizione di processo specificata.

Richiesta
  • JobName: obbligatorio: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

    Nome della definizione di processo per cui arrestare le esecuzioni del processo.

  • JobRunIds obbligatorio: una matrice di stringhe UTF-8, non inferiore a 1 o superiore a 25 stringhe.

    Elenco degli oggetti JobRunIds che dovrebbero essere arrestati per la definizione di processo.

Risposta
  • SuccessfulSubmissions: una matrice di oggetti BatchStopJobRunSuccessfulSubmission.

    Un elenco di quelli che sono stati inviati correttamente per l'interruzione. JobRuns

  • Errors: una matrice di oggetti BatchStopJobRunError.

    Un elenco degli errori rilevati nel tentativo di arrestare JobRuns, incluso il JobRunId per il quale si è verificato ciascun errore e i dettagli sull'errore stesso.

Errori
  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException

GetJobRun azione (Python: get_job_run)

Recupera i metadati per una determinata esecuzione di processo. La cronologia di esecuzione dei lavori è accessibile per 90 giorni per il flusso di lavoro e l'esecuzione dei lavori.

Richiesta
  • JobName: obbligatorio: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

    Nome della definizione di processo in esecuzione.

  • RunId: obbligatorio: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

    L'ID dell'esecuzione processo.

  • PredecessorsIncluded: booleano.

    True se un elenco delle esecuzioni predecessore deve essere restituito.

Risposta
  • JobRun: un oggetto JobRun.

    I metadati di esecuzione del processo richiesti.

Errori
  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

GetJobRuns azione (Python: get_job_runs)

Recupera i metadati per tutte le esecuzioni di una definizione di processo specifica.

Richiesta
  • JobName: obbligatorio: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

    Nome della definizione di processo per cui recuperare tutte le esecuzioni del processo.

  • NextToken: stringa UTF-8.

    Un token di continuazione, se si tratta di una chiamata di continuazione.

  • MaxResults— Numero (intero), non inferiore a 1 o superiore a 200.

    La dimensione massima della risposta.

Risposta
  • JobRuns: una matrice di oggetti JobRun.

    Un elenco di oggetti metadati esecuzione processo.

  • NextToken: stringa UTF-8.

    Un token di continuazione, se non tutte le esecuzioni di processo richieste sono state restituite.

Errori
  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

GetJobBookmark azione (Python: get_job_bookmark)

Restituisce informazioni su una voce del segnalibro di processo.

Per ulteriori informazioni sull’abilitazione e l’utilizzo dei segnalibri di processo, consulta:

Richiesta
  • JobName. Obbligatorio: stringa UTF-8.

    Il nome del processo in questione.

  • Version: numero (intero).

    Versione del processo.

  • RunId: stringa UTF-8.

    L'identificatore univoco dell'esecuzione associato a questa esecuzione di processo.

Risposta
  • JobBookmarkEntry: un oggetto JobBookmarkEntry.

    Struttura che definisce un punto in cui un processo può riprendere l'elaborazione.

Errori
  • EntityNotFoundException

  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException

  • ValidationException

GetJobBookmarks azione (Python: get_job_bookmarks)

Restituisce informazioni sulle voci del segnalibro di processo. L'elenco è ordinato sui numeri di versione decrescenti.

Per ulteriori informazioni sull’abilitazione e l’utilizzo dei segnalibri di processo, consulta:

Richiesta
  • JobName. Obbligatorio: stringa UTF-8.

    Il nome del processo in questione.

  • MaxResults: numero (intero).

    La dimensione massima della risposta.

  • NextToken: numero (intero).

    Un token di continuazione, se si tratta di una chiamata di continuazione.

Risposta
  • JobBookmarkEntries: una matrice di oggetti JobBookmarkEntry.

    Elenco di voci del segnalibro di processo che definisce un punto in cui un processo può riprendere l'elaborazione.

  • NextToken: numero (intero).

    Un token di continuazione, che ha un valore pari a 1 se vengono restituite tutte le voci, oppure > 1 se non vengono restituite tutte le esecuzioni di processo richieste.

Errori
  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

ResetJobBookmark azione (Python: reset_job_bookmark)

Ripristina una voce segnalibro.

Per ulteriori informazioni sull’abilitazione e l’utilizzo dei segnalibri di processo, consulta:

Richiesta
  • JobName. Obbligatorio: stringa UTF-8.

    Il nome del processo in questione.

  • RunId: stringa UTF-8.

    L'identificatore univoco dell'esecuzione associato a questa esecuzione di processo.

Risposta
  • JobBookmarkEntry: un oggetto JobBookmarkEntry.

    La voce di ripristino del segnalibro.

Errori
  • EntityNotFoundException

  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException