Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Monitoraggio delle applicazioni e dei lavori EMR Serverless
Con Amazon CloudWatch Metrics for EMR Serverless, puoi ricevere parametri in CloudWatch 1 minuto e CloudWatch accedere a dashboard per visualizzare near-real-time le operazioni e le prestazioni delle tue applicazioni EMR Serverless.
EMR Serverless invia metriche a ogni minuto. CloudWatch EMR Serverless emette queste metriche a livello di applicazione, nonché di mansione, tipo di lavoratore e livelli. capacity-allocation-type
Per iniziare, utilizza il modello di CloudWatch dashboard EMR Serverless fornito nell'archivio EMR GitHub Serverless
Nota
I carichi di lavoro interattivi EMR Serverless hanno solo il monitoraggio a livello di applicazione abilitato e hanno una nuova dimensione di tipo di lavoratore,. Spark_Kernel Per monitorare ed eseguire il debug dei carichi di lavoro interattivi, è possibile visualizzare i log e l'interfaccia utente di Apache Spark direttamente dall'area di lavoro di EMR Studio.
La tabella seguente descrive le dimensioni EMR Serverless disponibili all'interno dello spazio dei nomi. AWS/EMRServerless
| Dimensione | Descrizione |
|---|---|
ApplicationId |
Filtri per tutte le metriche di un'applicazione EMR Serverless. |
JobId |
Filtri per tutte le metriche dell'esecuzione di un job EMR Serverless. |
WorkerType |
Filtri per tutte le metriche di un determinato tipo di lavoratore. Ad esempio, puoi filtrare per |
CapacityAllocationType |
Filtri per tutte le metriche di un determinato tipo di allocazione della capacità. Ad esempio, puoi filtrare per la capacità preinizializzata e |
Monitoraggio a livello di applicazione
Puoi monitorare l'utilizzo della capacità a livello di applicazione EMR Serverless con i parametri di Amazon. CloudWatch Puoi anche configurare una vista singola per monitorare l'utilizzo della capacità delle applicazioni in una dashboard. CloudWatch
| Parametro | Descrizione | Dimensione principale | Dimensione secondaria |
|---|---|---|---|
CPUAllocated |
I numeri totali di v CPUs assegnati. |
ApplicationId |
ApplicationId, WorkerType,
CapacityAllocationType |
IdleWorkerCount |
Il numero totale di lavoratori inattivi. |
ApplicationId |
ApplicationId, WorkerType,
CapacityAllocationType |
MaxCPUAllowed |
La CPU massima consentita per l'applicazione. |
ApplicationId |
N/D |
MaxMemoryAllowed |
La memoria massima in GB consentita per l'applicazione. |
ApplicationId |
N/D |
MaxStorageAllowed |
La capacità massima di archiviazione in GB consentita per l'applicazione. |
ApplicationId |
N/D |
MemoryAllocated |
Memoria totale in GB allocata. |
ApplicationId |
ApplicationId, WorkerType,
CapacityAllocationType |
PendingCreationWorkerCount |
Il numero totale di lavoratori in attesa di creazione. |
ApplicationId |
ApplicationId, WorkerType,
CapacityAllocationType |
RunningWorkerCount |
Il numero totale di lavoratori utilizzati dall'applicazione. |
ApplicationId |
ApplicationId, WorkerType,
CapacityAllocationType |
StorageAllocated |
Lo spazio di archiviazione totale su disco in GB allocato. |
ApplicationId |
ApplicationId, WorkerType,
CapacityAllocationType |
TotalWorkerCount |
Il numero totale di lavoratori disponibili. |
ApplicationId |
ApplicationId, WorkerType,
CapacityAllocationType |
Monitoraggio a livello di mansione
Amazon EMR Serverless invia i seguenti parametri a livello di processo ogni minuto. Amazon CloudWatch Puoi visualizzare i valori delle metriche per le esecuzioni aggregate dei processi in base allo stato di esecuzione del processo. L'unità per ciascuna metrica è il conteggio.
| Parametro | Descrizione | Dimensione principale |
|---|---|---|
SubmittedJobs |
Il numero di lavori in uno stato Inviato. |
ApplicationId |
PendingJobs |
Il numero di lavori in uno stato In sospeso. |
ApplicationId |
ScheduledJobs |
Il numero di lavori in uno stato pianificato. |
ApplicationId |
RunningJobs |
Il numero di lavori in uno stato In esecuzione. |
ApplicationId |
SuccessJobs |
Il numero di lavori in uno stato di successo. |
ApplicationId |
FailedJobs |
Il numero di lavori in uno stato Non riuscito. |
ApplicationId |
CancellingJobs |
Il numero di lavori in uno stato di annullamento. |
ApplicationId |
CancelledJobs |
Il numero di lavori in uno stato annullato. |
ApplicationId |
È possibile monitorare le metriche specifiche del motore sia per i lavori EMR Serverless in esecuzione che per quelli completati con un'applicazione specifica del motore. UIs Quando si visualizza l'interfaccia utente per un processo in esecuzione, viene visualizzata l'interfaccia utente dell'applicazione in tempo reale con aggiornamenti in tempo reale. Quando si visualizza l'interfaccia utente di un lavoro completato, viene visualizzata l'interfaccia utente persistente dell'app.
Esecuzione di processi
Per eseguire i job EMR Serverless, è possibile visualizzare un'interfaccia in tempo reale che fornisce metriche specifiche del motore. Puoi utilizzare l'interfaccia utente di Apache Spark o l'interfaccia utente di Hive Tez per monitorare ed eseguire il debug dei lavori. Per accedervi UIs, usa la console EMR Studio o richiedi un endpoint URL sicuro con. AWS Command Line Interface
Lavori completati
Per i job EMR Serverless completati, puoi utilizzare lo Spark History Server o l'interfaccia utente Persistent Hive Tez per visualizzare i dettagli, le fasi, le attività e le metriche dei job Spark o Hive eseguiti. Per accedervi UIs, usa la console EMR Studio o richiedi un endpoint URL sicuro con. AWS Command Line Interface
Monitoraggio a livello di Job Worker
Amazon EMR Serverless invia ad Amazon i seguenti parametri a livello di job worker disponibili nel AWS/EMRServerless namespace e nel gruppo di metrici. Job Worker Metrics CloudWatch EMR Serverless raccoglie punti dati dai singoli lavoratori durante le esecuzioni dei lavori a livello di mansione, tipo di lavoratore e livello. capacity-allocation-type È possibile utilizzarlo ApplicationId come dimensione per monitorare più lavori che appartengono alla stessa applicazione.
| Parametro | Descrizione | Unità | Dimensione principale | Dimensione secondaria |
|---|---|---|---|---|
WorkerCpuAllocated |
Il numero totale di core vCPU allocati per i lavoratori in un job run. |
Nessuno | JobId |
ApplicationId, WorkerType e CapacityAllocationType |
WorkerCpuUsed |
Il numero totale di core vCPU utilizzati dai lavoratori in un job run. |
Nessuno | JobId |
ApplicationId, WorkerType e CapacityAllocationType |
WorkerMemoryAllocated |
Memoria totale in GB allocata per i lavoratori durante l'esecuzione di un processo. |
Gigabyte (GB) | JobId |
ApplicationId, WorkerType e CapacityAllocationType |
WorkerMemoryUsed |
Memoria totale in GB utilizzata dai lavoratori durante l'esecuzione di un processo. |
Gigabyte (GB) | JobId |
ApplicationId, WorkerType e CapacityAllocationType |
WorkerEphemeralStorageAllocated |
Il numero di byte di storage temporaneo allocato ai lavoratori durante l'esecuzione di un job. |
Gigabyte (GB) | JobId |
ApplicationId, WorkerType e CapacityAllocationType |
WorkerEphemeralStorageUsed |
Il numero di byte di storage temporaneo utilizzati dai lavoratori durante l'esecuzione di un processo. |
Gigabyte (GB) | JobId |
ApplicationId, WorkerType e CapacityAllocationType |
WorkerStorageReadBytes |
Il numero di byte letti dallo storage dai lavoratori durante l'esecuzione di un job. |
Byte | JobId |
ApplicationId, WorkerType e CapacityAllocationType |
WorkerStorageWriteBytes |
Il numero di byte scritti nello storage dai lavoratori durante l'esecuzione di un job. |
Byte | JobId |
ApplicationId, WorkerType e CapacityAllocationType |
I passaggi seguenti descrivono come visualizzare i vari tipi di metriche.
