Monitoraggio AWS Glue Offerte di lavoro Spark - AWS Glue

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Monitoraggio AWS Glue Offerte di lavoro Spark

Spark Metrics è disponibile in AWS Glue Studio

La scheda Metrics (Parametri) mostra i parametri raccolti quando un processo viene eseguito ed è attivata la profilatura. Nei processi Spark vengono visualizzati i grafici seguenti:

  • Spostamento di dati ETL

  • Profilo di memoria: driver ed executor

Scegli View additional metrics (Visualizza parametri aggiuntivi) per visualizzare i grafici relativi agli elementi seguenti:

  • Spostamento di dati ETL

  • Profilo di memoria: driver ed executor

  • Distribuzione casuale dei dati tra executor

  • Carico CPU: driver ed executor

  • Esecuzione del processo: executor attivi, fasi completate e numero massimo di executor necessari

I dati di questi grafici vengono inseriti nelle CloudWatch metriche se il job è configurato per raccogliere metriche. Per ulteriori informazioni su come abilitare i parametri e interpretare i grafici, consulta Monitoraggio e debug dei processi.

Esempio Grafico relativo allo spostamento di dati ETL

Il grafico relativo allo spostamento di dati ETL mostra i parametri seguenti:

Il grafico per ETL Data Movement nella scheda Metriche di AWS Glue console.
Esempio Grafico relativo al profilo di memoria

Il grafico relativo al profilo di memoria mostra i parametri seguenti:

Il grafico per Memory Profile nella scheda Metriche del AWS Glue console.
Esempio Grafico relativo alla distribuzione casuale dei dati tra executor

Il grafico relativo alla distribuzione casuale dei dati tra executor mostra i parametri seguenti:

Il grafico per Data Shuffle Across Executors nella scheda Metriche di AWS Glue console.
Esempio Grafico relativo al carico CPU

Il grafico relativo al carico CPU mostra i parametri seguenti:

Il grafico del carico della CPU nella scheda Metriche del AWS Glue console.
Esempio Grafico relativo all'esecuzione del processo

Il grafico relativo all'esecuzione del processo mostra i parametri seguenti:

Il grafico per Job Execution nella scheda Metrics del AWS Glue console.