Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Metriken für Endpunkte mit mehreren Containern und direktem Aufruf
Zusätzlich zu den Endpunktmetriken, die unter aufgeführt sindMetriken für die Überwachung von Amazon SageMaker mit Amazon CloudWatch, bietet es SageMaker auch Metriken pro Container.
Containerspezifische Metriken für Endpunkte mit mehreren Containern und direktem Aufruf befinden sich in zwei Namespaces und sind in zwei Namespaces unterteilt: CloudWatch und. AWS/SageMaker aws/sagemaker/Endpoints Der AWS/SageMaker Namespace umfasst aufrufbezogene Metriken, und der Namespace umfasst Speicher- und Nutzungsmetriken. aws/sagemaker/Endpoints CPU
In der folgenden Tabelle sind die containerspezifischen Metriken für Endpunkte mit mehreren Containern und direktem Aufruf aufgeführt. Alle Metriken verwenden die Dimension [EndpointName, VariantName,
ContainerName], die Metriken an einem bestimmten Endpunkt für eine bestimmte Variante filtert und einem bestimmten Container entspricht. Diese Metriken haben dieselben Metriknamen wie die Metriken für Inferenz-Pipelines, jedoch auf Container-Ebene [EndpointName, VariantName, ContainerName].
| Metrikname | Beschreibung | Dimension | NameSpace |
Invocations
|
Die Anzahl der InvokeEndpoint Anfragen, die an einen Container innerhalb eines Endpunkts gesendet wurden. Um die Gesamtzahl der an diesen Container gesendeten Anfragen zu ermitteln, verwenden Sie die Sum Statistik. Einheiten: Keine Gültige Statistik: Sum, Sample Count |
EndpointName, VariantName,
ContainerName
|
AWS/SageMaker |
Invocation4XX Errors
|
Die Anzahl der InvokeEndpoint Anfragen, für die das Modell einen 4xx HTTP Antwortcode für einen bestimmten Container zurückgegeben hat. SageMaker Sendet für jede 4xx Antwort eine1. Einheiten: Keine Gültige Statistik: Average, Sum |
EndpointName, VariantName,
ContainerName
|
AWS/SageMaker |
Invocation5XX Errors
|
Die Anzahl der InvokeEndpoint Anfragen, für die das Modell einen 5xx HTTP Antwortcode für einen bestimmten Container zurückgegeben hat. SageMaker Sendet für jede 5xx Antwort eine1. Einheiten: Keine Gültige Statistik: Average, Sum |
EndpointName, VariantName,
ContainerName
|
AWS/SageMaker |
ContainerLatency
|
Die Zeit, die der Zielcontainer benötigt hat, um zu antworten, wie von angezeigt SageMaker. ContainerLatencybeinhaltet die Zeit, die benötigt wurde, um die Anfrage zu senden, die Antwort aus dem Container des Modells abzurufen und die Inferenz im Container abzuschließen. Einheiten: Mikrosekunden Gültige Statistiken: Average, Sum, Min, Max, Sample Count |
EndpointName, VariantName,
ContainerName
|
AWS/SageMaker |
OverheadLatency
|
Die Zeit, die zu der Zeit hinzukommt, die SageMaker für die Beantwortung einer Kundenanfrage benötigt wurde, um Gemeinkosten zu berücksichtigen. OverheadLatencywird von der Zeit des Eingangs SageMaker der Anfrage bis zur Rückgabe einer Antwort an den Client gemessen, abzüglich derModelLatency. Die Overhead-Latenz kann in Abhängigkeit von mehreren Faktoren variieren. Diese Faktoren sind beispielsweise die Größe der Nutzlast für Anfragen und Antworten, die Häufigkeit von Anfragen und die Authentifizierung oder Autorisierung der Anfrage. Einheiten: Mikrosekunden Gültige Statistiken: Average, Sum, Min, Max, `Anzahl der Stichproben ` |
EndpointName, VariantName,
ContainerName
|
AWS/SageMaker |
CPUUtilization
|
Der Prozentsatz der CPU Einheiten, die von jedem Container verwendet werden, der auf einer Instance ausgeführt wird. Der Wert liegt zwischen 0% und 100% und wird mit der Anzahl von CPUs multipliziert. Wenn es beispielsweise vier gibtCPUs, CPUUtilization kann der Wert zwischen 0 und 400% liegen. Bei Endpunkten mit direktem Aufruf entspricht die Anzahl der CPUUtilization Metriken der Anzahl der Container in diesem Endpunkt. Einheiten: Prozent |
EndpointName, VariantName,
ContainerName
|
aws/sagemaker/Endpoints |
MemoryUtilizaton
|
Der Prozentsatz des Arbeitsspeichers, der von jedem auf einer Instance laufenden Container verwendet wird. Dieser Wert reicht von 0 bis 100 %. Ähnlich wie CPUUtilization bei Endpunkten mit direktem Aufruf entspricht die Anzahl der MemoryUtilization Metriken der Anzahl der Container in diesem Endpunkt. Einheiten: Prozent |
EndpointName, VariantName,
ContainerName
|
aws/sagemaker/Endpoints |
Alle Metriken in der vorherigen Tabelle sind spezifisch für Endpunkte mit mehreren Containern und direktem Aufruf. Neben diesen speziellen Metriken pro Container gibt es auch Metriken auf Variantenebene mit einer Dimension [EndpointName, VariantName] für alle Metriken in der Tabelle, die ContainerLatency erwartet wird.
