Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Parametri per endpoint multi-container con invocazione diretta
Oltre alle metriche degli endpoint elencate inMetriche per il monitoraggio di Amazon SageMaker con Amazon CloudWatch, fornisce SageMaker anche metriche per contenitore.
Le metriche per contenitore per endpoint multi-contenitore con invocazione diretta si trovano e sono suddivise in due namespace: e. CloudWatch AWS/SageMaker aws/sagemaker/Endpoints Lo spazio dei nomi include metriche relative alla chiamata e lo spazio AWS/SageMaker dei nomi include metriche di memoria e utilizzo. aws/sagemaker/Endpoints CPU
La tabella seguente elenca i parametri di container per endpoint multi-container con invocazione diretta. Tutti i parametri utilizzano la dimensione [EndpointName, VariantName,
ContainerName], che filtra i parametri su un endpoint specifico, per una variante specifica e corrispondente a un container specifico. Questi parametri condividono gli stessi nomi dei parametri utilizzati per le pipeline di inferenza, ma a livello di container [EndpointName, VariantName, ContainerName].
| Nome parametro | Descrizione | Dimensione | NameSpace |
Invocations
|
Il numero di richieste InvokeEndpoint inviate a un container all'interno di un endpoint. Per ottenere il numero totale di richieste inviate a quel container, utilizza la statistica Sum. Unità: nessuna statistica valida: Sum, Sample Count |
EndpointName, VariantName,
ContainerName
|
AWS/SageMaker |
Invocation4XX Errors
|
Il numero di InvokeEndpoint richieste per le quali il modello ha restituito un codice di risposta su un contenitore specifico. 4xx HTTP Per ogni 4xx risposta, SageMaker invia un1. Unità: nessuna statistica valida: Average, Sum |
EndpointName, VariantName,
ContainerName
|
AWS/SageMaker |
Invocation5XX Errors
|
Il numero di InvokeEndpoint richieste per le quali il modello ha restituito un codice di 5xx HTTP risposta su un contenitore specifico. Per ogni 5xx risposta, SageMaker invia un1. Unità: nessuna statistica valida: Average, Sum |
EndpointName, VariantName,
ContainerName
|
AWS/SageMaker |
ContainerLatency
|
Il tempo impiegato dal contenitore di destinazione per rispondere dal punto di vista SageMaker. ContainerLatencyinclude il tempo impiegato per inviare la richiesta, recuperare la risposta dal contenitore del modello e completare l'inferenza nel contenitore. Unità: microsecondi statistiche valide: Average, Sum, Min, Max, Sample Count |
EndpointName, VariantName,
ContainerName
|
AWS/SageMaker |
OverheadLatency
|
Il tempo aggiunto al tempo impiegato per rispondere a una richiesta del client in termini di sovraccarico SageMaker . OverheadLatencyviene misurato dal momento in cui SageMaker riceve la richiesta fino a quando questa restituisce una risposta al client, meno il. ModelLatency La latenza di gestione può variare in base alle dimensioni di payload di richiesta e risposta, frequenza delle richieste e autenticazione o autorizzazione della richiesta, tra gli altri fattori. Unità: microsecondi statistiche valide: Average, Sum, Min, Max, `Conteggio di esempio ` |
EndpointName, VariantName,
ContainerName
|
AWS/SageMaker |
CPUUtilization
|
La percentuale di CPU unità utilizzate da ogni contenitore in esecuzione su un'istanza. Il valore varia dallo 0% al 100% e viene moltiplicato per il numero diCPUs. Ad esempio, se ce ne sono quattroCPUs, CPUUtilization può variare dallo 0% al 400%. Per gli endpoint con chiamata diretta, il numero di CPUUtilization metriche è uguale al numero di contenitori in quell'endpoint. Unità: percentuale |
EndpointName, VariantName,
ContainerName
|
aws/sagemaker/Endpoints |
MemoryUtilizaton
|
Percentuale di memoria utilizzata da ciascun container in esecuzione su un'istanza. Questo valore è compreso tra 0% e 100%. Analogamente agli endpoint con invocazione direttaCPUUtilization, il numero di metriche è uguale al numero di MemoryUtilization contenitori in quell'endpoint. Unità: percentuale |
EndpointName, VariantName,
ContainerName
|
aws/sagemaker/Endpoints |
Tutti i parametri della tabella precedente sono specifici per gli endpoint multi-container con invocazione diretta. Oltre a questi parametro speciali per container, esistono anche parametri a livello di variante con dimensione [EndpointName, VariantName] per tutti i parametri previsti nella tabella ContainerLatency.
