Aggiornamenti delle metriche di monitoraggio Application-level monitoraggio Job-level monitoraggio Monitoraggio a livello di lavoratore

Monitoraggio delle applicazioni e dei job EMR Serverless

Con Amazon CloudWatch metrics for EMR Serverless, puoi ricevere CloudWatch metriche in 1 minuto e accedere a CloudWatch dashboard per accedere alle operazioni e alle prestazioni quasi in tempo reale delle tue applicazioni EMR Serverless.

EMR CloudWatch Serverless invia metriche ogni minuto. EMR Serverless emette queste metriche a livello di applicazione, nonché a livello di mansione, tipo di lavoratore e tipo di allocazione della capacità.

Per iniziare, utilizza il modello di dashboard EMR Serverless fornito nel repository EMR Serverless e implementalo. CloudWatch GitHub

Nota

I carichi di lavoro interattivi EMR Serverless hanno solo il monitoraggio a livello di applicazione abilitato e hanno una nuova dimensione del tipo di lavoratore. Spark_Kernel Per monitorare ed eseguire il debug dei carichi di lavoro interattivi, accedete ai log e all'interfaccia utente di Apache Spark dall'interno di EMR Studio Workspace. https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-studio-debug.html#emr-studio-debug-serverless

Monitoraggio delle metriche

Importante

Stiamo ristrutturando la visualizzazione delle metriche per aggiungere ApplicationName e JobName come dimensioni. Nella versione 7.10 e successive, le metriche precedenti non verranno più aggiornate. Per le versioni EMR precedenti alla 7.10, le metriche precedenti sono ancora disponibili.

Dimensioni attuali

La tabella seguente descrive le dimensioni EMR Serverless disponibili nel namespace. AWS/EMR Serverless

Dimensioni per le metriche EMR Serverless
Dimensione	Description
`ApplicationId`	Filtri per tutte le metriche di un'applicazione EMR Serverless utilizzando l'ID dell'applicazione.
`ApplicationName`	Filtri per tutte le metriche di un'applicazione EMR Serverless utilizzando il nome. Se il nome non viene fornito o contiene caratteri non ASCII, viene pubblicato come [Non specificato].
`JobId`	Filtra per tutte le metriche di un EMR Serverless l'ID di esecuzione del lavoro.
`JobName`	Filtri per tutte le metriche di un job EMR Serverless eseguito utilizzando il nome. Se il nome non viene fornito o contiene caratteri non ASCII, viene pubblicato come [Non specificato].
`WorkerType`	Filtri per tutte le metriche di un determinato tipo di lavoratore. Ad esempio, puoi filtrare per `SPARK_DRIVER` e `SPARK_EXECUTORS` per i lavori Spark.
`CapacityAllocationType`	Filtri per tutte le metriche di un determinato tipo di allocazione della capacità. Ad esempio, puoi filtrare per capacità preinizializzata e `PreInitCapacity` `OnDemandCapacity` per tutto il resto.

Application-level monitoraggio

Puoi monitorare l'utilizzo della capacità a livello di applicazione EMR Serverless con le metriche Amazon CloudWatch . Puoi anche configurare un singolo display per monitorare l'utilizzo della capacità delle applicazioni in una dashboard. CloudWatch

Metriche delle applicazioni EMR Serverless
Metrica	Description	Unità	Dimensione
`MaxCPUAllowed`	La CPU massima consentita per l'applicazione.	VPCU	`ApplicationId`, `ApplicationName`
`MaxMemoryAllowed`	La memoria massima in GB consentita per l'applicazione.	Gigabyte (GB)	`ApplicationId`, `ApplicationName`
`MaxStorageAllowed`	La memoria massima in GB consentita per l'applicazione.	Gigabyte (GB)	`ApplicationId`, `ApplicationName`
`CPUAllocated`	Il numero totale di vCPU allocate.	VPCU	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`IdleWorkerCount`	Il numero totale di lavoratori inattivi.	Conteggio	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`MemoryAllocated`	La memoria totale in GB allocata.	Gigabyte (GB)	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`PendingCreationWorkerCount`	Il numero totale di lavoratori in attesa di creazione.	Conteggio	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`RunningWorkerCount`	Il numero totale di lavoratori utilizzati dall'applicazione.	Conteggio	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`StorageAllocated`	Lo spazio di archiviazione totale su disco in GB allocato.	Gigabyte (GB)	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`TotalWorkerCount`	Il numero totale di lavoratori disponibili.	Conteggio	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`

Job-level monitoraggio

Amazon EMR Serverless invia le seguenti metriche a livello di lavoro ogni minuto. Amazon CloudWatch Puoi accedere ai valori delle metriche per le esecuzioni aggregate dei job in base allo stato di esecuzione del job. L'unità per ciascuna metrica è il conteggio.

Metriche EMR Serverless a livello di lavoro
Metrica	Description	Dimensione
`SubmittedJobs`	Il numero di lavori in uno stato Inviato.	`ApplicationId`, `ApplicationName`
`PendingJobs`	Il numero di lavori in uno stato In sospeso.	`ApplicationId`, `ApplicationName`
`ScheduledJobs`	Il numero di lavori in uno stato Pianificato.	`ApplicationId`, `ApplicationName`
`RunningJobs`	Il numero di lavori in uno stato In esecuzione.	`ApplicationId`, `ApplicationName`
`SuccessJobs`	Il numero di lavori in uno stato di successo.	`ApplicationId`, `ApplicationName`
`FailedJobs`	Il numero di lavori in stato Fallito.	`ApplicationId`, `ApplicationName`
`CancellingJobs`	Il numero di lavori in stato di Annullamento.	`ApplicationId`, `ApplicationName`
`CancelledJobs`	Il numero di lavori in stato Annullato.	`ApplicationId`, `ApplicationName`

È possibile monitorare le metriche specifiche del motore per i job EMR Serverless in esecuzione e completati con le interfacce utente delle applicazioni specifiche del motore. Quando si accede all'interfaccia utente per un processo in esecuzione, l'interfaccia utente dell'applicazione live viene visualizzata con aggiornamenti in tempo reale. Quando si accede all'interfaccia utente per un lavoro completato, viene visualizzata l'interfaccia utente persistente dell'app.

Esecuzione di processi

Per eseguire lavori EMR Serverless, accedete a un'interfaccia in tempo reale che fornisce metriche specifiche del motore. Puoi utilizzare l'interfaccia utente di Apache Spark o l'interfaccia utente di Hive Tez per monitorare ed eseguire il debug dei tuoi lavori. Per accedere a queste interfacce utente, utilizzate la console EMR Studio o richiedete un endpoint URL sicuro con. AWS Command Line Interface

Lavori completati

Per i job EMR Serverless completati, utilizzate lo Spark History Server o l'interfaccia utente Persistent Hive Tez per accedere ai dettagli, alle fasi, alle attività e alle metriche per l'esecuzione dei job di Spark o Hive. Per accedere a queste interfacce utente, utilizzate la console EMR Studio o richiedete un endpoint URL sicuro con. AWS Command Line Interface

Monitoraggio a livello di lavoratore

Amazon EMR Serverless invia ad Amazon le seguenti metriche a livello di lavoratore, disponibili nel AWS/EMRServerless namespace e nel gruppo di metriche. Job Worker Metrics CloudWatch EMR Serverless raccoglie dati dai singoli lavoratori durante le esecuzioni dei lavori a livello di mansione, tipo di lavoratore e tipo di allocazione della capacità. È possibile utilizzarla ApplicationId come dimensione per monitorare più lavori che appartengono alla stessa applicazione.

Nota

Per visualizzare la CPU e la memoria totali utilizzate da un job EMR Serverless durante la visualizzazione delle metriche nella CloudWatch console Amazon, utilizza la statistica come somma e il periodo come 1 minuto.

Metriche EMR Serverless a livello di lavoratore
Metrica	Description	Unità	Dimensione
`WorkerCpuAllocated`	Il numero totale di core vCPU assegnati ai lavoratori in un'esecuzione di un lavoro.	VPCU	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType` e `CapacityAllocationType`
`WorkerCpuUsed`	Il numero totale di core vCPU utilizzati dai lavoratori in un'esecuzione di un job.	VPCU	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType` e `CapacityAllocationType`
`WorkerMemoryAllocated`	La memoria totale in GB allocata per i lavoratori in un'esecuzione di un lavoro.	Gigabyte (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType` e `CapacityAllocationType`
`WorkerMemoryUsed`	La memoria totale in GB utilizzata dai lavoratori in un'esecuzione di un lavoro.	Gigabyte (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType` e `CapacityAllocationType`
`WorkerEphemeralStorageAllocated`	Il numero di byte di storage temporaneo allocati ai lavoratori in un'esecuzione di un lavoro.	Gigabyte (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType` e `CapacityAllocationType`
`WorkerEphemeralStorageUsed`	Il numero di byte di storage temporaneo utilizzati dai lavoratori in un'esecuzione di un processo.	Gigabyte (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType` e `CapacityAllocationType`
`WorkerStorageReadBytes`	Il numero di byte letti dallo storage dai lavoratori in un'esecuzione di un processo.	Byte	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType` e `CapacityAllocationType`
`WorkerStorageWriteBytes`	Il numero di byte scritti nello storage dai lavoratori durante un'esecuzione di un processo.	Byte	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType` e `CapacityAllocationType`

I passaggi seguenti descrivono come accedere ai vari tipi di metriche.

Console

Per accedere all'interfaccia utente dell'applicazione con la console

Accedere all'applicazione EMR Serverless su EMR Studio seguendo le istruzioni in Guida introduttiva dalla console.
Per accedere alle interfacce utente e ai log delle applicazioni specifici del motore per un processo in esecuzione:
1. Scegli un lavoro con uno status. RUNNING
2. Seleziona il lavoro nella pagina dei dettagli della candidatura o vai alla pagina dei dettagli del lavoro per il tuo lavoro.
3. Nel menu a discesa Display UI, scegli Spark UI o Hive Tez UI per accedere all'interfaccia utente dell'applicazione per il tuo tipo di lavoro.
4. Per accedere ai log del motore di Spark, vai alla scheda Executors nell'interfaccia utente di Spark e scegli il link Logs per il driver. Per accedere ai log del motore di Hive, scegli il link Logs per il DAG appropriato nell'interfaccia utente di Hive Tez.
Per accedere alle interfacce utente e ai log delle applicazioni specifiche del motore per un lavoro completato:
1. Scegli un lavoro con uno status. SUCCESS
2. Seleziona il lavoro nella pagina dei dettagli della candidatura o vai alla pagina dei dettagli del lavoro.
3. Nel menu a discesa Display UI, scegli Spark History Server o Persistent Hive Tez UI per accedere all'interfaccia utente dell'applicazione per il tuo tipo di lavoro.
4. Per accedere ai log del motore di Spark, vai alla scheda Executors nell'interfaccia utente di Spark e scegli il link Logs per il driver. Per accedere ai log del motore di Hive, scegli il link Logs per il DAG appropriato nell'interfaccia utente di Hive Tez.

AWS CLI

Per accedere all'interfaccia utente dell'applicazione con AWS CLI

Per generare un URL da utilizzare per accedere all'interfaccia utente dell'applicazione per i processi in esecuzione e completati, chiama l'GetDashboardForJobRunAPI.
```
aws emr-serverless get-dashboard-for-job-run /
--application-id <application-id> /
--job-run-id <job-id> 
```
L'URL generato è valido per un'ora.

Avvertimento JavaScript è disabilitato o non è disponibile nel tuo browser.

Per usare la documentazione AWS, JavaScript deve essere abilitato. Consulta le pagine della guida del browser per le istruzioni.

Convenzioni dei documenti

Monitoraggio

Metriche del motore Spark