Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Metrik untuk titik akhir multi-kontainer dengan pemanggilan langsung
Selain metrik titik akhir yang tercantumMetrik untuk memantau Amazon SageMaker AI dengan Amazon CloudWatch, SageMaker AI juga menyediakan metrik per kontainer.
Metrik per kontainer untuk titik akhir multi-kontainer dengan pemanggilan langsung ditempatkan dan dikategorikan ke dalam dua ruang nama: CloudWatch dan. AWS/SageMaker aws/sagemaker/Endpoints AWS/SageMakerNamespace mencakup metrik terkait pemanggilan, dan aws/sagemaker/Endpoints namespace mencakup metrik pemanfaatan memori dan CPU.
Tabel berikut mencantumkan metrik per kontainer untuk titik akhir multi-kontainer dengan pemanggilan langsung. Semua metrik menggunakan dimensi [EndpointName, VariantName,
ContainerName], yang memfilter metrik pada titik akhir tertentu, untuk varian tertentu dan sesuai dengan wadah tertentu. Metrik ini memiliki nama metrik yang sama seperti pada pipeline inferensi, tetapi pada tingkat per kontainer []. EndpointName, VariantName, ContainerName
| Nama Metrik | Deskripsi | Dimensi | NameSpace |
Invocations
|
Jumlah InvokeEndpoint permintaan yang dikirim ke kontainer di dalam titik akhir. Untuk mendapatkan jumlah total permintaan yang dikirim ke wadah itu, gunakan Sum statistik. Unit: Tidak Ada Statistik yang valid:Sum, Sample Count |
EndpointName, VariantName,
ContainerName
|
AWS/SageMaker |
Invocation4XX Errors
|
Jumlah InvokeEndpoint permintaan bahwa model mengembalikan kode respons 4xx HTTP untuk pada wadah tertentu. Untuk setiap 4xx respons, SageMaker AI mengirimkan file1. Unit: Tidak Ada Statistik yang valid:Average, Sum |
EndpointName, VariantName,
ContainerName
|
AWS/SageMaker |
Invocation5XX Errors
|
Jumlah InvokeEndpoint permintaan bahwa model mengembalikan kode respons 5xx HTTP untuk pada wadah tertentu. Untuk setiap 5xx respons, SageMaker AI mengirimkan file1. Unit: Tidak Ada Statistik yang valid:Average, Sum |
EndpointName, VariantName,
ContainerName
|
AWS/SageMaker |
ContainerLatency
|
Waktu yang dibutuhkan wadah target untuk merespons seperti yang dilihat dari SageMaker AI. ContainerLatencytermasuk waktu yang dibutuhkan untuk mengirim permintaan, untuk mengambil respons dari wadah model, dan untuk menyelesaikan inferensi dalam wadah. Unit: Mikrodetik Statistik yang valid:Average,,Sum,Min, Max Sample Count |
EndpointName, VariantName,
ContainerName
|
AWS/SageMaker |
OverheadLatency
|
Waktu ditambahkan ke waktu yang dibutuhkan untuk menanggapi permintaan klien oleh SageMaker AI untuk overhead. OverheadLatencydiukur dari saat SageMaker AI menerima permintaan hingga mengembalikan respons ke klien, dikurangiModelLatency. Latensi overhead dapat bervariasi tergantung pada ukuran payload permintaan dan respons, frekuensi permintaan, dan otentikasi atau otorisasi permintaan, di antara faktor-faktor lainnya. Unit: Mikrodetik Statistik yang valid:Average,, Sum MinMax, `Jumlah Sampel ` |
EndpointName, VariantName,
ContainerName
|
AWS/SageMaker |
CPUUtilization
|
Persentase unit CPU yang digunakan oleh setiap kontainer yang berjalan pada sebuah instance. Nilai berkisar dari 0% hingga 100%, dan dikalikan dengan jumlah. CPUs Misalnya, jika ada empat CPUs, CPUUtilization dapat berkisar dari 0% hingga 400%. Untuk titik akhir dengan pemanggilan langsung, jumlah CPUUtilization metrik sama dengan jumlah kontainer di titik akhir tersebut. Unit: Persen |
EndpointName, VariantName,
ContainerName
|
aws/sagemaker/Endpoints |
MemoryUtilizaton
|
Persentase memori yang digunakan oleh setiap kontainer yang berjalan pada sebuah instance. Nilai ini berkisar dari 0% hingga 100%. Mirip seperti CPUUtilization, di titik akhir dengan pemanggilan langsung, jumlah MemoryUtilization metrik sama dengan jumlah kontainer di titik akhir tersebut. Unit: Persen |
EndpointName, VariantName,
ContainerName
|
aws/sagemaker/Endpoints |
Semua metrik di tabel sebelumnya khusus untuk titik akhir multi-kontainer dengan pemanggilan langsung. Selain metrik per-kontainer khusus ini, ada juga metrik pada tingkat varian dengan dimensi [EndpointName, VariantName] untuk semua metrik dalam tabel yang diharapkan. ContainerLatency
