Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Stati di esecuzione dei processi AWS Glue sulla console
È possibile visualizzare lo stato di un processo di AWS Glue estrazione, trasformazione e caricamento (ETL) mentre è in esecuzione o dopo l'interruzione. Puoi visualizzare lo stato tramite console AWS Glue. Per ulteriori informazioni sullo stato dei processi di esecuzione, consulta AWS Glue stati di esecuzione del processo.
Accesso al pannello di controllo di monitoraggio dei processi
Puoi accedere alla dashboard di monitoraggio dei lavori scegliendo il link Job run monitoring nel riquadro AWS Glue di navigazione sotto ETL Job.
Panoramica del pannello di controllo di monitoraggio dei processi
Il pannello di controllo di monitoraggio dei processi fornisce un riepilogo generale delle esecuzioni del processo, con i totali per i processi con lo stato di Running (In esecuzione), Canceled (Annullato), Success (Riuscito) oppure Failed (Non riuscito). I riquadri aggiuntivi forniscono la percentuale complessiva di successo dell'esecuzione dei lavori, l'DPUutilizzo stimato per i lavori, una suddivisione dei conteggi relativi allo stato del lavoro per tipo di lavoro, tipo di lavoratore e per giorno.
I grafici nei riquadri sono interattivi. È possibile scegliere qualsiasi blocco in un grafico per eseguire un filtro che visualizzi solo quei processi nella tabella Job runs (Esecuzioni del processo) nella parte inferiore della pagina.
Per modificare l'intervallo di date delle informazioni visualizzate in questa pagina, utilizza il selettore Date range (Intervallo date). Quando si modifica l'intervallo di date, i riquadri delle informazioni vengono adattati per visualizzare i valori per il numero di giorni specificato prima della data corrente. Puoi anche usare un intervallo di date specifico scegliendo Custom (Personalizzato) dal selettore dell'intervallo di date.
Visualizzazione esecuzioni dei processi
Nota
La cronologia di esecuzione dei lavori è accessibile per 90 giorni per il flusso di lavoro e l'esecuzione dei lavori.
L'elenco delle risorse Job runs (Esecuzioni dei processi) mostra i processi per l'intervallo di date specificato e i filtri.
È possibile filtrare i processi in base a criteri aggiuntivi, ad esempio lo stato, il tipo di worker, il tipo di processo e il nome del processo. Nella casella filtro nella parte superiore della tabella è possibile inserire il testo da utilizzare come filtro. Durante l'inserimento del testo, i risultati della tabella vengono aggiornati con righe contenenti testo corrispondente.
È possibile visualizzare un sottoinsieme dei processi scegliendo gli elementi dai grafici nel pannello di controllo di monitoraggio del processo. Ad esempio, se si sceglie il numero di processi in esecuzione nella finestra Job runs summary (Riepilogo delle esecuzioni), l'elenco Job runs (Esecuzioni dei processi) visualizza solo i processi che hanno attualmente lo stato Running
. Se si sceglie una delle barre nel grafico a barre Worker type breakdown (Analisi del tipo di worker), nell'elenco Job runs (Esecuzioni dei processi) vengono mostrate solo le esecuzioni del processo con il tipo e lo stato corrispondenti.
L'elenco delle risorse Job runs (Esecuzioni dei processi) mostra i dettagli delle esecuzioni del processo. È possibile ordinare le righe nella tabella scegliendo un'intestazione di colonna. La tabella contiene le informazioni seguenti:
Proprietà | Descrizione |
---|---|
Nome processo | Il nome del processo . |
Type |
Il tipo di ambiente per il processo:
|
Ora di inizio |
La data e ora in cui questa esecuzione di processo è stata avviata. |
Ora di fine |
La data e ora in cui questa elaborazione di processo è stata completata. |
Stato di esecuzione |
Lo stato attuale del processo eseguito. I valori possono essere:
|
Tempo di esecuzione | Quantità di tempo durante la quale l'esecuzione dell'attività ha utilizzato le risorse. |
Capacità |
Il numero di unità di elaborazione AWS Glue dati (DPUs) che sono state allocate per questa esecuzione del processo. Per ulteriori informazioni sulla pianificazione della capacità, vedere Monitoring for DPU Capacity Planning nella AWS GlueDeveloper Guide. |
Tipo di worker |
Il tipo di worker predefinito allocato quando è stato eseguito il processo. I valori possono essere
|
DPUore |
Il numero stimato di dati DPUs utilizzati per l'esecuzione del lavoro. A DPU è una misura relativa della potenza di elaborazione. DPUsvengono utilizzati per determinare il costo di esecuzione del lavoro. Per ulteriori informazioni, consulta la pagina dei prezzi di AWS Glue |
È possibile scegliere qualsiasi processo eseguito nell'elenco e visualizzare informazioni aggiuntive. Scegli un'esecuzione del processo, quindi esegui una delle operazioni seguenti:
-
Scegli il menu Actions (Operazioni) e l'opzione View job (Visualizza processo) per visualizzare il processo nell'editor visivo.
-
Scegli il menu Actions (Operazioni) e l'opzione Stop run (Interrompi esecuzione) per interrompere l'esecuzione corrente del processo.
-
Scegli il pulsante Visualizza CloudWatch registri per visualizzare i registri di esecuzione del processo per quel processo.
-
Scegli Visualizza dettagli per visualizzare la pagina dei dettagli dell'esecuzione.
Visualizzazione dei log di esecuzione del processo
Puoi visualizzare i log del processo in diversi modi:
-
Nella pagina Monitoraggio, nella tabella Job run, scegli un job run, quindi scegli View CloudWatch logs.
-
Nell'editor visivo dei processi, nella scheda Runs (Esecuzioni) per un processo, scegli i collegamenti ipertestuali per visualizzare i log:
-
Log: collega ai log dei processi di Apache Spark scritti quando la registrazione continua è abilitata per l'esecuzione di un processo. Quando si sceglie questo collegamento, si accede ai Amazon CloudWatch log del gruppo di
/aws-glue/jobs/logs-v2
log. Per impostazione predefinita, i log escludono i messaggi di log non utili del driver o dell'esecutore di Apache Hadoop YARN e Apache Spark. Per ulteriori informazioni sulla registrazione continua, consulta Registrazione continua per processi di AWS Glue nella Guida per gli sviluppatori di AWS Glue. -
Log di errore: collega ai log scritti in
stderr
per questa esecuzione di processo. Quando si sceglie questo collegamento, si accede ai log Amazon CloudWatch nel gruppo di log/aws-glue/jobs/error
. Questi log possono essere utilizzati per visualizzare i dettagli su tutti gli errori riscontrati durante l'esecuzione del processo. -
Log di output: collega ai log scritti in
stdout
per questa esecuzione del processo. Quando si sceglie questo collegamento, si accede ai log Amazon CloudWatch nel gruppo di log/aws-glue/jobs/output
. Qui è possibile visualizzare i log per vedere tutti i dettagli sulle tabelle create in AWS Glue Data Catalog ed eventuali errori riscontrati.
-
Visualizzazione dei dettagli di un'esecuzione di un processo
È possibile scegliere un processo nell'elenco Job runs (Esecuzioni dei processi) nella pagina Monitoring (Monitoraggio), quindi scegliere View run details (Visualizza dettagli dell'esecuzione) per visualizzare informazioni dettagliate sull'esecuzione del processo.
Le informazioni visualizzate nella scheda dei dettagli dell'esecuzione del processo includono:
Proprietà | Descrizione |
---|---|
Nome processo | Il nome del processo . |
Stato di esecuzione |
Lo stato attuale del processo eseguito. I valori possono essere:
|
Versione Glue | La versione di AWS Glue utilizzata dall'esecuzione del processo. |
Tentativo recente | Il numero di tentativi automatici per l'esecuzione di questo processo. |
Ora di inizio |
La data e ora in cui questa esecuzione di processo è stata avviata. |
Ora di fine |
La data e ora in cui questa elaborazione di processo è stata completata. |
Ora di inizio |
La quantità di tempo impiegato per la preparazione dell'esecuzione del processo. |
Ora di esecuzione |
La quantità di tempo impiegato per l'esecuzione dello script del processo. |
Nome trigger |
Il nome del trigger associato al processo. |
Ora ultima modifica |
La data dell'ultima modifica apportata al processo. |
Configurazione di sicurezza |
La configurazione di sicurezza per il processo, che include le impostazioni di crittografia, CloudWatch crittografia e crittografia dei segnalibri di lavoro di Amazon S3. |
Timeout | Il valore della soglia di timeout per l'esecuzione del processo. |
Capacità allocata |
Il numero di unità di elaborazione AWS Glue dati (DPUs) allocate per questa esecuzione del processo. Per ulteriori informazioni sulla pianificazione della capacità, vedere Monitoring for DPU Capacity Planning nella AWS GlueDeveloper Guide. |
Capacità massima |
La capacità massima disponibile per l'esecuzione del processo. |
Numero di worker | Il numero di worker utilizzati per l'esecuzione del processo. |
Tipo di worker |
Il tipo di worker predefiniti allocati per l'esecuzione del processo. I valori possono essere
|
Log | Un collegamento ai log del processo per la registrazione continua (/aws-glue/jobs/logs-v2 ). |
Log di output | Un collegamento ai file di log di output del processo (/aws-glue/jobs/output ). |
Log di errore | Un collegamento ai file di log degli errori del processo (/aws-glue/jobs/error ). |
È inoltre possibile visualizzare i seguenti elementi aggiuntivi, disponibili anche quando si visualizzano le informazioni relative alle esecuzioni recenti dei processi. Per ulteriori informazioni, consulta Visualizzare le informazioni sulle esecuzioni dei processi recenti.
Inserimento di argomenti
Log continui
Parametri: puoi visualizzare le visualizzazioni dei parametri di base. Per ulteriori informazioni sui parametri inclusi, consulta Visualizzazione delle Amazon CloudWatch metriche relative all'esecuzione di un job Spark.
Interfaccia utente Spark: puoi visualizzare i log di Spark relativi al processo nell'interfaccia utente di Spark. Per ulteriori informazioni sull'utilizzo dell'interfaccia utente di Spark, consulta Monitoraggio dei processi tramite l'interfaccia utente Web di Apache Spark. Abilita questa funzionalità seguendo la procedura in Abilitazione dell'interfaccia utente Web di Apache Spark per processi AWS Glue.
Visualizzazione delle Amazon CloudWatch metriche relative all'esecuzione di un job Spark
Nella pagina dei dettagli dell'esecuzione di un lavoro, sotto la sezione Dettagli dell'esecuzione, puoi visualizzare le metriche del processo. AWS Glue Studioinvia le metriche dei job a Amazon CloudWatch per ogni job eseguito.
AWS Glue riporta le metriche Amazon CloudWatch ogni 30 secondi. I parametri AWS Glue rappresentano i valori delta rispetto ai valori segnalati in precedenza. Se appropriato, i pannelli di controllo dei parametri aggregano (sommano) i valori inviati ogni 30 secondi per ottenere un valore per l'intero ultimo minuto. Tuttavia, le metriche di Apache Spark AWS Glue trasmesse a Amazon CloudWatch sono generalmente valori assoluti che rappresentano lo stato corrente nel momento in cui vengono segnalate.
Nota
Devi configurare il tuo account per accedere a,. Amazon CloudWatch
I parametri forniscono informazioni sull'esecuzione del processo, ad esempio:
-
ETLSpostamento dei dati: il numero di byte letti o scritti su Amazon S3.
-
Profilo di memoria: heap utilizzato: il numero di byte di memoria utilizzati dall'heap della macchina virtuale Java (). JVM
-
Profilo di memoria: utilizzo dell'heap: la frazione di memoria (scala: 0—1), espressa in percentuale, utilizzata dall'heap. JVM
-
CPUCarico: la frazione di carico di CPU sistema utilizzata (scala: 0—1), espressa in percentuale.
Visualizzazione delle Amazon CloudWatch metriche per l'esecuzione di un job Ray
Nella pagina dei dettagli dell'esecuzione di un processo, sotto la sezione Dettagli dell'esecuzione, puoi visualizzare le metriche del processo. AWS Glue Studioinvia le metriche dei job a Amazon CloudWatch per ogni job eseguito.
AWS Glue riporta le metriche Amazon CloudWatch ogni 30 secondi. I parametri AWS Glue rappresentano i valori delta rispetto ai valori segnalati in precedenza. Se appropriato, i pannelli di controllo dei parametri aggregano (sommano) i valori inviati ogni 30 secondi per ottenere un valore per l'intero ultimo minuto. Tuttavia, le metriche di Apache Spark AWS Glue trasmesse a Amazon CloudWatch sono generalmente valori assoluti che rappresentano lo stato corrente nel momento in cui vengono segnalate.
Nota
È necessario configurare l'account per accedere Amazon CloudWatch, come descritto in.
Nei processi Ray, è possibile visualizzare i seguenti grafici di parametri aggregati. Con questi, è possibile creare un profilo del cluster e delle attività, nonché accedere a informazioni dettagliate su ciascun nodo. I dati delle serie temporali che supportano questi grafici sono disponibili CloudWatch per ulteriori analisi.
- Profilo dell'attività: stato dell'attività
-
Mostra il numero di attività Ray nel sistema. A ogni ciclo di vita delle attività viene assegnata una serie temporale.
- Profilo dell'attività: nome dell'attività
-
Mostra il numero di attività Ray nel sistema. Vengono mostrate solo le attività in sospeso e quelle attive. A ogni tipo di attività (in base al nome) viene assegnata una serie temporale distinta.
- Profilo del cluster: CPUs in uso
-
Mostra il numero di CPU core utilizzati. A ogni nodo viene assegnata una serie temporale. I nodi sono identificati da indirizzi IP, che sono effimeri e vengono utilizzati solo per l'identificazione.
- Profilo del cluster: utilizzo della memoria dell'archivio di oggetti
-
Mostra l'utilizzo della memoria da parte della cache degli oggetti Ray. A ogni posizione di memoria (memoria fisica, memorizzata nella cache su disco e riversata in Amazon S3) viene assegnata una serie temporale distinta. L'archivio oggetti gestisce l'archiviazione di dati su tutti i nodi del cluster. Per ulteriori informazioni, consulta la pagina Objects
nella documentazione di Ray. - Profilo del cluster: conteggio dei nodi
-
Mostra il numero di nodi forniti per il cluster.
- Dettaglio del nodo: uso CPU
-
Mostra CPU l'utilizzo su ciascun nodo in percentuale. Ogni serie mostra una percentuale aggregata di CPU utilizzo su tutti i core del nodo.
- Dettaglio del nodo: utilizzo della memoria
-
Mostra l'utilizzo della memoria su ogni nodo in GB. Ogni serie mostra la memoria aggregata tra tutti i processi sul nodo, incluse le attività Ray e il processo di archiviazione di Plasma. Ciò non rifletterà gli oggetti archiviati su disco o riversati su Amazon S3.
- Dettaglio del nodo: utilizzo del disco
-
Mostra l'utilizzo del disco su ogni nodo in GB.
- Dettaglio del nodo: velocità di I/O del disco
-
Mostra l'I/O del disco su ogni nodo in KB/s.
- Dettaglio del nodo: velocità di trasmissione effettiva di I/O di rete
-
Mostra l'I/O di rete su ogni nodo in KB/s.
- Dettaglio del nodo: CPU utilizzo tramite componente Ray
-
Mostra CPU l'uso nelle frazioni di un nucleo. A ogni componente Ray su ogni nodo viene assegnata una serie temporale.
- Dettaglio del nodo: utilizzo della memoria da parte del componente Ray
-
Mostra l'utilizzo della memoria in GiB. A ogni componente Ray su ogni nodo viene assegnata una serie temporale.