Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
SageMaker Riferimento alle OpenTelemetry metriche di AI Insights
Questa sezione fornisce un elenco completo delle OpenTelemetry metriche emesse dall'osservabilità dettagliata dell'IA. SageMaker L'osservabilità dettagliata è basata su OpenTelemetry (Otel) e raccoglie metriche operative granulari dai livelli di GPU, nodo e framework di inferenza, pubblicandole con etichette dettagliate. CloudWatch
Le metriche dettagliate relative all'osservabilità (Otel) vengono pubblicate tramite OTLP. OpenTelemetry CloudWatch Queste non sono metriche di Prometheus. Le metriche sono archiviate in modo nativo CloudWatch come dati di metrica OtEL e possono essere interrogate utilizzando la sintassi ProMQL.
Account-level metriche aggregate
| Metrica | Tipo | Description |
|---|
TotalEndpoints | Aggregazione | Numero di tutti gli endpoint nell'account |
TotalICs | Aggregazione | Conteggio di tutti i componenti di inferenza |
TotalGPUs | Aggregazione | Numero di tutte le GPU (derivate da) DCGM_FI_DEV_GPU_UTIL |
Endpoint-level metriche
| Metrica | Tipo | Description |
|---|
InstanceCountPerEndpoint | Aggregazione | Numero di istanze che servono il traffico |
InstancesPerAZ | Aggregazione | Istanze per zona di disponibilità |
EmptyInstanceCount | Aggregazione | Istanze senza circuiti integrati inseriti |
ScalingAction | Raw | Evento di ridimensionamento () in/out |
ICECount | Raw | Numero di errori di capacità insufficiente |
CPUUtilization(EP) | Aggregazione | Endpoint-level utilizzo della CPU |
MemoryUtilization(EP) | Aggregazione | Endpoint-level utilizzo della memoria |
DiskUtilization(EP) | Aggregazione | Endpoint-level utilizzo del disco |
E2EScalingLatency | Raw | End-to-end durata del ridimensionamento |
RebalancingType | Raw | Tipo di evento di riequilibrio |
RebalancingDuration | Raw | Durata del ribilanciamento (secondi) |
RebalancingCopiesMoved | Raw | Copie IC spostate durante il ribilanciamento |
AZSkewDelta | Raw | Squilibrio nella distribuzione AZ |
InstancesReleased | Raw | Istanze liberate mediante ribilanciamento |
Metriche del framework di inferenza (vLLM/SGlang)
| Metrica | Tipo | Description |
|---|
InputTokensPerSecond | Aggregazione | Frequenza dei token di input |
OutputTokensPerSecond | Aggregazione | Frequenza del token di uscita |
TotalTPS | Aggregazione | Token totali al secondo |
TPSUtilization | Aggregazione | Percentuale di utilizzo del TPS |
TTFT | Raw | Time to First Token (istogramma) |
InterTokenLatency | Raw | Inter-Token Latenza (istogramma) |
KVCacheUtilization | Raw | Percentuale di utilizzo della cache KV |
QueueDepth | Raw | Richieste in attesa (coda) |
BatchSize | Raw | Richieste in corso (in volo) |
TPSPerInstance | Aggregazione | TPS aggregato per istanza |
ConcurrentReqsPerCopy | Raw | Per-copy richieste in volo |
FirstChunkLatencyPerIC | Raw | TTFT per IC |
4XXErrorRatePerIC | Aggregazione | Errori del client per IC |
5XXErrorRatePerIC | Aggregazione | Errori del server per IC |
TTFTPerIC | Raw | TTFT filtrato per IC |
ITLPerIC | Raw | ITL filtrato da IC |
InputTPSPerIC | Aggregazione | Ingresso TPS per IC |
OutputTPSPerIC | Aggregazione | TPS di uscita per IC |
KVCachePerIC | Raw | cache KV per IC |
ModelErrorBreakdown | Aggregazione | Suddivisione degli errori per tipo |
TTFTe dipendono dal framework e InterTokenLatency sono supportati solo per vLLM e SGlang.
Metriche GPU (DCGM)
Queste metriche vengono raccolte dall'esportatore NVIDIA Data Center GPU Manager (DCGM). Sono disponibili su tutti gli endpoint GPU indipendentemente dal framework di inferenza.
| Metrica | Tipo | Description |
|---|
DCGM_FI_DEV_GPU_UTIL | Raw | Utilizzo della GPU (%) |
DCGM_FI_DEV_MEM_COPY_UTIL | Raw | Utilizzo delle copie in memoria (%) |
DCGM_FI_DEV_GPU_TEMP | Raw | Temperatura della GPU (°C) |
DCGM_FI_DEV_MEMORY_TEMP | Raw | Temperatura della memoria (°C) |
DCGM_FI_DEV_FB_FREE | Raw | Memoria framebuffer libera (byte) |
DCGM_FI_DEV_FB_USED | Raw | Memoria framebuffer utilizzata (byte) |
DCGM_FI_DEV_SM_ACTIVE | Raw | Multiprocessore di streaming attivo (%) |
Metriche relative ai nodi (istanze)
Queste metriche vengono raccolte dall'esportatore dei nodi. Forniscono visibilità a livello di istanza sull'utilizzo di CPU, memoria e disco.
| Metrica | Tipo | Description |
|---|
node_cpu_seconds_total | Raw | Tempo di CPU per modalità per core (secondi) |
node_memory_MemTotal_bytes | Raw | Memoria totale (byte) |
node_memory_MemAvailable_bytes | Raw | Memoria disponibile (byte) |
node_filesystem_size_bytes | Raw | Dimensione totale del file system (byte) |
node_filesystem_avail_bytes | Raw | Spazio disponibile nel file system (byte) |
Metriche di posizionamento di HA e IC
| Metrica | Tipo | Description |
|---|
ICCopyCountPerAZ | Aggregazione | Copie IC per AZ |
ICCopiesPerAZ | Aggregazione | Copie IC per AZ (visualizzazione alternativa) |
AZSkewScore | Aggregazione | Punteggio di squilibrio AZ |
AZBalanceScore | Aggregazione | Endpoint-level equilibrio |
ICDensityPerAZ | Aggregazione | densità IC per AZ |
ICCopiesPerInstance | Aggregazione | Copie IC per istanza |
ICListPerInstance | Aggregazione | Quali circuiti integrati su quale istanza |
Metriche relative al ciclo di vita e al provisioning
| Metrica | Tipo | Description |
|---|
ModelDownloadTime | Raw | È ora di scaricare l'istanza da Amazon S3 |
GPULoadTime | Raw | È ora di passare i pesi alla memoria della GPU |
ContainerStartDuration | Raw | Avvio del controllo dello stato del container |
ColdStartDuration | Raw | End-to-end: dalla creazione alla prima chiamata |
Metriche disponibili solo come metriche classiche CloudWatch
Le seguenti metriche sono disponibili solo come metriche CloudWatch classiche (namespace e modello dimensionale) e richiedono l'arricchimento OTel per apparire come metriche. OpenTelemetry
| Metrica | Note |
|---|
InvocationsPerIC | Bloccato dall'emissione diretta OpenTelemetry |
InvocationsPerCopy | Bloccato |
ModelLatencyPerIC | Bloccato: utilizzalo vllm:e2e_request_latency_seconds come alternativa a OtEL |
OverheadLatencyPerIC | Bloccato |
MidStreamErrorsPerIC | Bloccato (solo streaming bidirezionale) |
