Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Referenz für exportierte Metriken
Die folgenden Abschnitte enthalten umfassende Listen von Metriken, die SageMaker HyperPod nach erfolgreicher Konfiguration des AWS CloudFormation Stacks für Observability aus Amazon Managed Service for SageMaker HyperPod Prometheus exportiert wurden. Sie können mit der Überwachung dieser in den Amazon Managed Grafana-Dashboards visualisierten Metriken beginnen.
Slurm-Exporter-Dashboard
Bietet visualisierte Informationen zu Slurm-Clustern auf. SageMaker HyperPod
Arten von Metriken
-
Cluster-Übersicht: Anzeige der Gesamtzahl der Knoten, Jobs und ihrer Status.
-
Job-Metriken: Visualisierung der Anzahl und des Status von Jobs im Zeitverlauf.
-
Knoten-Metriken: Zeigt den Knotenstatus, die Zuweisung und die verfügbaren Ressourcen an.
-
Partitionsmetriken: Überwachung partitionsspezifischer Metriken wie CPU Arbeitsspeicher und GPU Auslastung.
-
Arbeitseffizienz: Berechnung der Arbeitseffizienz auf der Grundlage der eingesetzten Ressourcen.
Liste der Metriken
Metrikname | Beschreibung |
---|---|
slurm_job_count |
Gesamtzahl der Jobs im Slurm-Cluster |
slurm_job_state_count |
Anzahl der Jobs in jedem Status (z. B. läuft, ausstehend, abgeschlossen) |
slurm_node_count
|
Gesamtzahl der Knoten im Slurm-Cluster |
slurm_node_state_count
|
Anzahl der Knoten in jedem Status (z. B. Idle, Alloc, Mix) |
slurm_partition_node_count
|
Anzahl der Knoten in jeder Partition |
slurm_partition_job_count
|
Anzahl der Jobs in jeder Partition |
slurm_partition_alloc_cpus
|
Gesamtzahl der CPUs in jeder Partition zugewiesenen |
slurm_partition_free_cpus
|
Gesamtzahl der CPUs in jeder Partition verfügbaren |
slurm_partition_alloc_memory
|
Gesamter zugewiesener Speicher in jeder Partition |
slurm_partition_free_memory
|
Insgesamt verfügbarer Speicher in jeder Partition |
slurm_partition_alloc_gpus
|
GPUsIn jeder Partition zugewiesener Gesamtbetrag |
slurm_partition_free_gpus
|
Insgesamt GPUs in jeder Partition verfügbar |
Node Exporter-Dashboard
Stellt visualisierte Informationen zu Systemmetriken bereit, die vom Prometheus-Knotenexporter von den Clusterknoten
Arten von Metriken
-
Systemübersicht: Anzeige der CPU durchschnittlichen Auslastung und der Speichernutzung.
-
Speichermetriken: Visualisierung der Speicherauslastung, einschließlich Gesamtspeicher, freiem Speicher und Auslagerungsspeicher.
-
Festplattennutzung: Überwachung der Festplattenauslastung und -verfügbarkeit.
-
Netzwerkverkehr: Zeigt die im Laufe der Zeit empfangenen und übertragenen Netzwerkbytes an.
-
Dateisystem-Metriken: Analyse der Nutzung und Verfügbarkeit des Dateisystems.
-
Festplatten-I/O-Metriken: Visualisierung der Lese- und Schreibaktivität von Festplatten.
Liste der Metriken
Eine vollständige Liste der exportierten Metriken finden Sie in den Repositorys Node Exporter
Metrikname | Beschreibung |
---|---|
node_load1
|
Durchschnittliche Auslastung von 1 Minute |
node_load5
|
Durchschnittslast von 5 Minuten |
node_load15
|
Durchschnittslast von 15 Minuten |
node_memory_MemTotal
|
Gesamter Systemspeicher |
node_memory_MemFree
|
Freier Systemspeicher |
node_memory_MemAvailable
|
Verfügbarer Speicher für die Zuweisung zu Prozessen |
node_memory_Buffers
|
Speicher, der vom Kernel für die Pufferung verwendet wird |
node_memory_Cached
|
Speicher, der vom Kernel für das Zwischenspeichern von Dateisystemdaten verwendet wird |
node_memory_SwapTotal
|
Insgesamt verfügbarer Swap-Speicherplatz |
node_memory_SwapFree
|
Kostenloser Swap-Speicherplatz |
node_memory_SwapCached
|
Speicher, der einmal ausgelagert wurde, wird wieder eingelagert, ist aber immer noch ausgelagert |
node_filesystem_avail_bytes
|
Verfügbarer Festplattenspeicher in Byte |
node_filesystem_size_bytes
|
Gesamter Festplattenspeicher in Byte |
node_filesystem_free_bytes
|
Freier Festplattenspeicher in Byte |
node_network_receive_bytes
|
Empfangene Netzwerk-Bytes |
node_network_transmit_bytes
|
Übertragene Netzwerk-Bytes |
node_disk_read_bytes
|
Gelesene Festplatten-Bytes |
node_disk_written_bytes
|
Geschriebene Festplatten-Bytes |
NVIDIADCGMExporter-Dashboard
Bietet visualisierte Informationen zu den vom NVIDIA GPU Exporteur gesammelten Metriken. NVIDIA DCGM
Arten von Metriken
-
GPUÜberblick: Anzeige GPU von Auslastung, Temperaturen, Stromverbrauch und Speicherverbrauch.
-
Temperaturmesswerte: Visualisierung von GPU Temperaturen im Zeitverlauf.
-
Stromverbrauch: Überwachung des GPU Stromverbrauchs und der Trends beim Stromverbrauch.
-
Speicherauslastung: Analyse der GPU Speichernutzung, einschließlich belegtem, freiem Speicher und Gesamtspeicher.
-
Lüftergeschwindigkeit: Zeigt GPU Lüftergeschwindigkeiten und -schwankungen an.
-
ECCFehler: Erfassung von GPU ECC Speicherfehlern und ausstehenden Fehlern.
Liste der Metriken
Die folgende Tabelle enthält eine Liste der Messwerte, die Aufschluss über den NVIDIA GPU Zustand und die Leistung geben, einschließlich Taktfrequenzen, Temperaturen, Stromverbrauch, Speicherauslastung, Lüftergeschwindigkeiten und Fehlermetriken.
Metrikname | Beschreibung |
---|---|
DCGM_FI_DEV_SM_CLOCK
|
SM-Taktfrequenz (inMHz) |
DCGM_FI_DEV_MEM_CLOCK
|
Speichertaktfrequenz (inMHz) |
DCGM_FI_DEV_MEMORY_TEMP
|
Speichertemperatur (in C) |
DCGM_FI_DEV_GPU_TEMP
|
GPUTemperatur (in C) |
DCGM_FI_DEV_POWER_USAGE
|
Leistungsaufnahme (in W) |
DCGM_FI_DEV_TOTAL_ENERGY_CONSUMPTION
|
Gesamtenergieverbrauch seit dem Start (in mJ) |
DCGM_FI_DEV_PCIE_REPLAY_COUNTER
|
Gesamtzahl der Wiederholungen PCIe |
DCGM_FI_DEV_MEM_COPY_UTIL
|
Speicherauslastung (in%) |
DCGM_FI_DEV_ENC_UTIL
|
Encoder-Auslastung (in%) |
DCGM_FI_DEV_DEC_UTIL
|
Decoder-Auslastung (in%) |
DCGM_FI_DEV_XID_ERRORS
|
Wert des letzten aufgetretenen XID Fehlers |
DCGM_FI_DEV_FB_FREE
|
Freier Frame-Pufferspeicher (in MiB) |
DCGM_FI_DEV_FB_USED
|
Verwendeter Frame-Pufferspeicher (in MiB) |
DCGM_FI_DEV_NVLINK_BANDWIDTH_TOTAL
|
Gesamtzahl der NVLink Bandbreitenzähler für alle Lanes |
DCGM_FI_DEV_VGPU_LICENSE_STATUS
|
v GPU Lizenzstatus |
DCGM_FI_DEV_UNCORRECTABLE_REMAPPED_ROWS
|
Anzahl der neu zugewiesenen Zeilen für nicht behebbare Fehler |
DCGM_FI_DEV_CORRECTABLE_REMAPPED_ROWS
|
Anzahl der neu zugewiesenen Zeilen für behebbare Fehler |
DCGM_FI_DEV_ROW_REMAP_FAILURE
|
Ob die Neuzuweisung von Zeilen fehlgeschlagen ist |
EFADashboard mit Metriken
Stellt visualisierte Informationen zu den Metriken von Amazon Elastic Fabric Adapter (EFA) bereit, die auf P-Instances installiert sind, die vom EFANode Exporter
Arten von Metriken
-
EFAFehlermetriken: Visualisieren von Fehlern wie Zuweisungsfehlern, Befehlsfehlern und Speicherzuordnungsfehlern.
-
EFANetzwerkverkehr: Überwachung empfangener und übertragener Bytes, Pakete und Arbeitsanfragen.
-
EFARDMALeistung: Analyse von RDMA Lese- und Schreibvorgängen, einschließlich übertragener Byte und Fehlerraten.
-
EFAPortlebensdauer: Zeigt die Lebensdauer von EFA Anschlüssen im Zeitverlauf an.
-
EFAKeep-Alive-Pakete: Verfolgt die Anzahl der empfangenen Keep-Alive-Pakete.
Liste der Metriken
Die folgende Tabelle enthält eine Liste der Metriken, die Einblicke in verschiedene Aspekte des EFA Betriebs bietet, darunter Fehler, abgeschlossene Befehle, Netzwerkverkehr und Ressourcenauslastung.
Metrikname | Beschreibung |
---|---|
node_amazonefa_info
|
Nicht numerische Daten aus /sys/class/infiniband/, Wert ist immer 1. |
node_amazonefa_lifespan
|
Lebensdauer des Anschlusses |
node_amazonefa_rdma_read_bytes
|
Anzahl der mit gelesenen Bytes RDMA |
node_amazonefa_rdma_read_resp_bytes
|
Anzahl der gelesenen Antwortbytes mit RDMA |
node_amazonefa_rdma_read_wr_err
|
Anzahl der Lese- und Schreibfehler mit RDMA |
node_amazonefa_rdma_read_wrs
|
Anzahl der Lesevorgänge mit RDMA |
node_amazonefa_rdma_write_bytes
|
Anzahl der mit geschriebenen Bytes RDMA |
node_amazonefa_rdma_write_recv_bytes
|
Anzahl der geschriebenen und empfangenen Byte mit RDMA |
node_amazonefa_rdma_write_wr_err
|
Anzahl der fehlerhaft geschriebenen Byte RDMA |
node_amazonefa_rdma_write_wrs
|
Anzahl der geschriebenen Byte wrs RDMA |
node_amazonefa_recv_bytes
|
Anzahl der empfangenen Byte |
node_amazonefa_recv_wrs
|
Anzahl der empfangenen Byte wrs |
node_amazonefa_rx_bytes
|
Anzahl der empfangenen Byte |
node_amazonefa_rx_drops
|
Anzahl der verworfenen Pakete |
node_amazonefa_rx_pkts
|
Anzahl der empfangenen Pakete |
node_amazonefa_send_bytes
|
Anzahl der gesendeten Byte |
node_amazonefa_send_wrs
|
Anzahl der gesendeten WRs |
node_amazonefa_tx_bytes
|
Anzahl der übertragenen Byte |
node_amazonefa_tx_pkts
|
Anzahl der übertragenen Pakete |
FSxfür das Lustre-Metrik-Dashboard
Stellt visualisierte Informationen zu den von Amazon FSx für das Lustre-Dateisystem gesammelten Metriken bereit. CloudWatch
Anmerkung
Das Grafana FSx for Lustre-Dashboard verwendet Amazon CloudWatch als Datenquelle, was sich von den anderen Dashboards unterscheidet, die Sie für die Verwendung von Amazon Managed Service für Prometheus konfiguriert haben. Um eine genaue Überwachung und Visualisierung von Metriken zu gewährleisten, die sich auf Ihr FSx for Lustre-Dateisystem beziehen, konfigurieren Sie das FSx for Lustre-Dashboard so, dass Amazon CloudWatch als Datenquelle verwendet wird, und geben Sie an, AWS-Region wo Ihr FSx for Lustre-Dateisystem bereitgestellt wird.
Arten von Metriken
-
DataReadBytes: Die Anzahl der Byte für Lesevorgänge im Dateisystem.
-
DataWriteBytes: Die Anzahl der Byte für Schreiboperationen im Dateisystem.
-
DataReadOperations: Die Anzahl der Lesevorgänge.
-
DataWriteOperations: Die Anzahl der Schreiboperationen.
-
MetadataOperations: Die Anzahl der Metadatenoperationen.
-
FreeDataStorageCapacity: Die Menge der verfügbaren Speicherkapazität.