View a markdown version of this page

CloudWatch SageMaker Approfondimenti sull'IA - Amazon CloudWatch
Funzionalità chiaveArchitettura e flusso di datiCome accederePrerequisitiPrezzi

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

CloudWatch SageMaker Approfondimenti sull'IA

Usa CloudWatch SageMaker AI Insights per monitorare e risolvere i problemi SageMaker degli endpoint di inferenza AI su larga scala. La dashboard mostra metriche e visualizzazioni selezionate in tre visualizzazioni: prestazioni, capacità e affidabilità, in modo da poter identificare rapidamente i problemi, ottimizzare l'utilizzo delle risorse e garantire un'elevata disponibilità su tutti gli endpoint.

SageMaker AI Insights supporta il monitoraggio tra tipi di endpoint (endpoint a modello singolo ed endpoint basati su componenti di inferenza (IC)) e framework di inferenza (vLLM, SGlang, TensorRT‐LLM).

Per SageMaker iniziare a usare AI Insights, consulta i seguenti argomenti.

Argomenti

Funzionalità chiave

  • OpenTelemetry‐collezione nativa. Le metriche vengono raccolte utilizzando un oTel Collector che estrae gli endpoint Prometheus da DCGM (metriche GPU), esportatori di nodi (CPU, memoria, disco) e contenitori di framework di inferenza (vLLM, SGLang).

  • Etichette dimensionali ricche. Ogni metrica include etichette come aws.sagemaker.endpoint.nameaws.sagemaker.inference_component.name, @resource.host.id@resource.cloud.availability_zone, e@resource.host.type.

  • Attribuzione per GPU. Le metriche GPU (DCGM) includono l'attribuzione per componente per inferenza per istanze multi-tenant.

  • Metriche del framework di inferenza. Metriche native vLLM e SGLang: token al secondo, time to first token (TTFT), latenza tra token, utilizzo della cache KV, profondità della coda, dimensione del batch, senza strumentazione personalizzata.

  • Supporto per le query ProMQL. Effettua una CloudWatch query in CloudWatch, Query Studio o Amazon Managed Grafana.

  • Frequenza di raschiamento configurabile. Impostato fino a MetricPublishFrequencyInSeconds (10, 30, 60, 120, 180, 240 o 300 secondi; impostazione predefinita 60). Le metriche del piano di controllo sono basate sugli eventi.

Architettura e flusso di dati

  1. Il contenitore del modello, l'esportatore DCGM e l'esportatore di nodi espongono le metriche compatibili con Prometheus sull'istanza.

  2. OTel Collector analizza questi endpoint e arricchisce ogni metrica con etichette (nome dell'endpoint, nome IC, ID dell'istanza, AZ).

  3. Le metriche arricchite vengono esportate tramite OTLP in. CloudWatch

  4. Le metriche sono interrogabili tramite ProMQL in. CloudWatch

┌─────────────────────────────────────────────────────────────────┐
│  SageMaker Endpoint Instance                                      │
│                                                                   │
│  ┌──────────────┐  ┌──────────────┐  ┌──────────────────────┐    │
│  │ Model        │  │ DCGM         │  │ Node Exporter        │    │
│  │ Container    │  │ Exporter     │  │ (CPU/Mem/Disk)       │    │
│  │ (vLLM/SGLang)│  │ (GPU)        │  │                      │    │
│  └──────┬───────┘  └──────┬───────┘  └──────────┬───────────┘    │
│         │                 │                     │                 │
│         └─────────────────┼─────────────────────┘                 │
│                           ▼                                       │
│              ┌─────────────────────────┐                          │
│              │   OTel Collector        │                          │
│              │   (scrape + enrich)     │                          │
│              └────────────┬────────────┘                          │
└───────────────────────────┼───────────────────────────────────────┘
                            │ OTLP
                            ▼
              ┌─────────────────────────┐
              │   Amazon CloudWatch     │
              │   (PromQL-queryable)    │
              └─────────────────────────┘

Come accedere

Puoi aprire SageMaker AI Insights dalla console SageMaker AI utilizzando uno dei seguenti percorsi.

Origine Azione Destinazione
SageMaker Console AI → Elenco degli endpoint Scegli Open SageMaker AI Insights Dashboard a livello di flotta (senza filtro)
SageMaker Console AI → pagina dei dettagli degli endpoint Scegli Visualizza in SageMaker AI Insights Dashboard filtrato in base a quell'endpoint
SageMaker Console AI → scheda IC → riga Per‐IC Scegli Metriche Dashboard filtrato in base all'endpoint e al componente di inferenza

Puoi anche navigare direttamente nella CloudWatch console scegliendo Monitoraggio dell'infrastruttura → SageMaker AI Insights.

Prerequisiti

  • Almeno un endpoint di inferenza SageMaker AI nello stato InService

  • EnableDetailedObservabilityimpostato true su nella configurazione dell'endpoint (impostazione predefinita per i nuovi endpoint)

  • L'arricchimento OTel è abilitato nel tuo account

  • Autorizzazioni The cloudwatch:GetMetricData e cloudwatch:ListMetrics IAM

Per ulteriori informazioni, consulta Inizia con CloudWatch SageMaker AI Insights.

Prezzi

CloudWatch OpenTelemetry si applica l'inserimento delle metriche. Per ulteriori informazioni, consulta Amazon Pricing. CloudWatch