Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Le seguenti sezioni presentano elenchi completi di metriche esportate da SageMaker HyperPod Amazon Managed Service for Prometheus dopo la corretta configurazione dello stack per l'osservabilità. AWS CloudFormation SageMaker HyperPod Puoi iniziare a monitorare queste metriche visualizzate nelle dashboard di Amazon Managed Grafana.
Dashboard di Slurm Exporter
Fornisce informazioni visualizzate sui cluster Slurm su. SageMaker HyperPod
Tipi di metriche
-
Panoramica del cluster: visualizzazione del numero totale di nodi, job e relativi stati.
-
Job Metrics: visualizzazione del numero e dello stato dei lavori nel tempo.
-
Metriche dei nodi: visualizzazione degli stati dei nodi, dell'allocazione e delle risorse disponibili.
-
Metriche delle partizioni: monitoraggio di metriche specifiche della partizione come l'utilizzo di CPU, memoria e GPU.
-
Job Efficiency: calcolo dell'efficienza del lavoro in base alle risorse utilizzate.
Elenco delle metriche
| Nome parametro | Descrizione |
|---|---|
slurm_job_count |
Numero totale di lavori nel cluster Slurm |
slurm_job_state_count |
Numero di lavori in ogni stato (ad esempio, in esecuzione, in sospeso, completati) |
slurm_node_count
|
Numero totale di nodi nel cluster Slurm |
slurm_node_state_count
|
Numero di nodi in ogni stato (ad es. idle, alloc, mix) |
slurm_partition_node_count
|
Numero di nodi in ogni partizione |
slurm_partition_job_count
|
Numero di lavori in ogni partizione |
slurm_partition_alloc_cpus
|
Numero totale di risorse allocate CPUs in ogni partizione |
slurm_partition_free_cpus
|
Numero totale di elementi disponibili CPUs in ogni partizione |
slurm_partition_alloc_memory
|
Memoria totale allocata in ogni partizione |
slurm_partition_free_memory
|
Memoria totale disponibile in ogni partizione |
slurm_partition_alloc_gpus
|
Totale allocato GPUs in ogni partizione |
slurm_partition_free_gpus
|
Totale disponibile GPUs in ogni partizione |
Dashboard di Node Exporter
Fornisce informazioni visualizzate sulle metriche di sistema raccolte dall'esportatore di nodi Prometheus dai nodi del cluster
Tipi di metriche
-
Panoramica del sistema: visualizzazione delle medie di carico della CPU e dell'utilizzo della memoria.
-
Metriche della memoria: visualizzazione dell'utilizzo della memoria, tra cui memoria totale, memoria libera e spazio di swap.
-
Utilizzo del disco: monitoraggio dell'utilizzo e della disponibilità dello spazio su disco.
-
Traffico di rete: visualizzazione dei byte di rete ricevuti e trasmessi nel tempo.
-
Metriche del file system: analisi dell'utilizzo e della disponibilità del file system.
-
Metriche di I/O del disco: visualizzazione dell'attività di lettura e scrittura del disco.
Elenco di metriche
Per un elenco completo delle metriche esportate, consultate i repository Node exporter
| Nome parametro | Descrizione |
|---|---|
node_load1
|
Caricamento medio di 1 minuto |
node_load5
|
Carico medio in 5 minuti |
node_load15
|
Carico medio di 15 minuti |
node_memory_MemTotal
|
Memoria totale del sistema |
node_memory_MemFree
|
Memoria di sistema libera |
node_memory_MemAvailable
|
Memoria disponibile per l'allocazione ai processi |
node_memory_Buffers
|
Memoria utilizzata dal kernel per il buffering |
node_memory_Cached
|
Memoria utilizzata dal kernel per la memorizzazione nella cache dei dati del file system |
node_memory_SwapTotal
|
Spazio di swap totale disponibile |
node_memory_SwapFree
|
Spazio di swap gratuito |
node_memory_SwapCached
|
La memoria che una volta era stata scambiata, viene reinserita ma è ancora in modalità swap |
node_filesystem_avail_bytes
|
Spazio disponibile su disco in byte |
node_filesystem_size_bytes
|
Spazio totale su disco in byte |
node_filesystem_free_bytes
|
Spazio libero su disco in byte |
node_network_receive_bytes
|
Byte di rete ricevuti |
node_network_transmit_bytes
|
Byte di rete trasmessi |
node_disk_read_bytes
|
Byte del disco letti |
node_disk_written_bytes
|
Byte del disco scritti |
Dashboard di esportazione NVIDIA DCGM
Tipi di metriche
-
Panoramica della GPU: visualizzazione dell'utilizzo della GPU, delle temperature, del consumo energetico e della memoria.
-
Metriche di temperatura: visualizzazione delle temperature della GPU nel tempo.
-
Consumo energetico: monitoraggio dell'assorbimento energetico della GPU e delle tendenze del consumo energetico.
-
Utilizzo della memoria: analisi dell'utilizzo della memoria della GPU, inclusa la memoria utilizzata, quella gratuita e quella totale.
-
Velocità della ventola: mostra le velocità e le variazioni delle ventole della GPU.
-
Errori ECC: monitoraggio degli errori ECC della memoria GPU e degli errori in sospeso.
Elenco delle metriche
La tabella seguente mostra un elenco di metriche che forniscono informazioni sullo stato e le prestazioni della GPU NVIDIA, tra cui frequenze di clock, temperature, consumo energetico, utilizzo della memoria, velocità delle ventole e metriche di errore.
| Nome parametro | Descrizione |
|---|---|
DCGM_FI_DEV_SM_CLOCK
|
Frequenza di clock SM (in) MHz |
DCGM_FI_DEV_MEM_CLOCK
|
Frequenza di clock della memoria (in MHz) |
DCGM_FI_DEV_MEMORY_TEMP
|
Temperatura della memoria (in °C) |
DCGM_FI_DEV_GPU_TEMP
|
Temperatura della GPU (in °C) |
DCGM_FI_DEV_POWER_USAGE
|
Potenza assorbita (in W) |
DCGM_FI_DEV_TOTAL_ENERGY_CONSUMPTION
|
Consumo energetico totale dall'avvio (in mJ) |
DCGM_FI_DEV_PCIE_REPLAY_COUNTER
|
Numero totale di tentativi PCIe |
DCGM_FI_DEV_MEM_COPY_UTIL
|
Utilizzo della memoria (in%) |
DCGM_FI_DEV_ENC_UTIL
|
Utilizzo dell'encoder (in%) |
DCGM_FI_DEV_DEC_UTIL
|
Utilizzo del decoder (in%) |
DCGM_FI_DEV_XID_ERRORS
|
Valore dell'ultimo errore XID rilevato |
DCGM_FI_DEV_FB_FREE
|
Memoria frame buffer libera (in MiB) |
DCGM_FI_DEV_FB_USED
|
Memoria frame buffer utilizzata (in MiB) |
DCGM_FI_DEV_NVLINK_BANDWIDTH_TOTAL
|
Numero totale di contatori della NVLink larghezza di banda per tutte le corsie |
DCGM_FI_DEV_VGPU_LICENSE_STATUS
|
Stato della licenza vGPU |
DCGM_FI_DEV_UNCORRECTABLE_REMAPPED_ROWS
|
Numero di righe rimappate per errori non correggibili |
DCGM_FI_DEV_CORRECTABLE_REMAPPED_ROWS
|
Numero di righe rimappate per errori correggibili |
DCGM_FI_DEV_ROW_REMAP_FAILURE
|
Se la rimappatura delle righe non è riuscita |
Dashboard delle metriche EFA
Fornisce informazioni visualizzate sulle metriche di Amazon Elastic Fabric Adapter (EFA) equipaggiato su istanze P raccolte dall'esportatore di nodi EFA.
Tipi di metriche
-
Metriche degli errori EFA: visualizzazione di errori come errori di allocazione, errori di comando ed errori di mappe di memoria.
-
Traffico di rete EFA: monitoraggio di byte, pacchetti e richieste di lavoro ricevuti e trasmessi.
-
Prestazioni EFA RDMA: analisi delle operazioni di lettura e scrittura RDMA, inclusi i byte trasferiti e i tassi di errore.
-
Durata di vita delle porte EFA: visualizzazione della durata delle porte EFA nel tempo.
-
Pacchetti keep-alive EFA: monitoraggio del numero di pacchetti keep-alive ricevuti.
Elenco delle metriche
La tabella seguente mostra un elenco di metriche che forniscono informazioni su vari aspetti del funzionamento di EFA, tra cui errori, comandi completati, traffico di rete e utilizzo delle risorse.
| Nome parametro | Descrizione |
|---|---|
node_amazonefa_info
|
Dati non numericifrom /sys/class/infiniband/, il valore è sempre 1. |
node_amazonefa_lifespan
|
Durata della porta |
node_amazonefa_rdma_read_bytes
|
Numero di byte letti con RDMA |
node_amazonefa_rdma_read_resp_bytes
|
Numero di byte di risposta in lettura con RDMA |
node_amazonefa_rdma_read_wr_err
|
Numero di errori di lettura e scrittura con RDMA |
node_amazonefa_rdma_read_wrs
|
Numero di r di lettura con RDMA |
node_amazonefa_rdma_write_bytes
|
Numero di byte scritti con RDMA |
node_amazonefa_rdma_write_recv_bytes
|
Numero di byte scritti e ricevuti con RDMA |
node_amazonefa_rdma_write_wr_err
|
Numero di byte scritti con errore RDMA |
node_amazonefa_rdma_write_wrs
|
Numero di byte scritti rispetto a RDMA |
node_amazonefa_recv_bytes
|
Numero di byte ricevuti |
node_amazonefa_recv_wrs
|
Numero di byte ricevuti wrs |
node_amazonefa_rx_bytes
|
Numero di byte ricevuti |
node_amazonefa_rx_drops
|
Numero di pacchetti eliminati |
node_amazonefa_rx_pkts
|
Numero di pacchetti ricevuti |
node_amazonefa_send_bytes
|
Numero di byte inviati |
node_amazonefa_send_wrs
|
Numero di wrs inviati |
node_amazonefa_tx_bytes
|
Numero di byte trasmessi |
node_amazonefa_tx_pkts
|
Numero di pacchetti trasmessi |
FSx per la dashboard delle metriche di Lustre
Fornisce informazioni visualizzate sulle metriche del file system Amazon FSx for Lustre raccolte da Amazon. CloudWatch
Nota
La dashboard Grafana FSx for Lustre utilizza Amazon CloudWatch come fonte di dati, che si differenzia dalle altre dashboard configurate per utilizzare Amazon Managed Service for Prometheus. Per garantire un monitoraggio e una visualizzazione accurati delle metriche relative al file system FSx for Lustre, configura la dashboard FSx for Lustre per utilizzare Amazon CloudWatch come fonte di dati, specificando lo stesso Regione AWS luogo in cui viene distribuito il file system FSx for Lustre.
Tipi di metriche
-
DataReadBytes: Il numero di byte per le operazioni di lettura del file system.
-
DataWriteBytes: il numero di byte per le operazioni di scrittura del file system.
-
DataReadOperations: Il numero di operazioni di lettura.
-
DataWriteOperations: Il numero di operazioni di scrittura.
-
MetadataOperations: Il numero di operazioni sui metadati.
-
FreeDataStorageCapacity: La quantità di capacità di archiviazione disponibile.
