Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
CloudWatch Metrik untuk Penerapan Titik Akhir Multi-Model
Amazon SageMaker menyediakan metrik untuk titik akhir sehingga Anda dapat memantau tingkat hit cache, jumlah model yang dimuat, dan waktu tunggu model untuk memuat, mengunduh, dan mengunggah di titik akhir multi-model. Beberapa metrik berbeda untuk CPU dan GPU mendukung titik akhir multi-model, jadi bagian berikut menjelaskan CloudWatch metrik Amazon yang dapat Anda gunakan untuk setiap jenis titik akhir multi-model.
Untuk informasi selengkapnya tentang metrik, lihat Metrik Pemuatan Model Titik Akhir Multi-Model dan Metrik Instance Model Titik Akhir Multi-Model di. Metrik untuk memantau Amazon SageMaker dengan Amazon CloudWatch Metrik per model tidak didukung.
CloudWatch metrik untuk titik akhir CPU multi-model yang didukung
Anda dapat memantau metrik berikut pada titik akhir multi-model CPU yang didukung.
AWS/SageMakerNamespace menyertakan metrik pemuatan model berikut dari panggilan ke. InvokeEndpoint
Metrik tersedia pada frekuensi 1 menit.
Untuk informasi tentang berapa lama CloudWatch metrik dipertahankan, lihat GetMetricStatisticsdi Referensi Amazon CloudWatch API.
Metrik Pemuatan Model Titik Akhir Multi-Model
| Metrik | Deskripsi |
|---|---|
ModelLoadingWaitTime |
Interval waktu permintaan pemanggilan telah menunggu model target diunduh, atau dimuat, atau keduanya untuk melakukan inferensi. Unit: Mikrodetik Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel |
ModelUnloadingTime |
Interval waktu yang diperlukan untuk membongkar model melalui Unit: Mikrodetik Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel |
ModelDownloadingTime |
Interval waktu yang dibutuhkan untuk mengunduh model dari Amazon Simple Storage Service (Amazon S3). Unit: Mikrodetik Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel |
ModelLoadingTime |
Interval waktu yang diperlukan untuk memuat model melalui Unit: Mikrodetik Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel |
ModelCacheHit |
Jumlah Statistik rata-rata menunjukkan rasio permintaan yang modelnya sudah dimuat. Satuan: Tidak ada Statistik yang valid: Rata-rata, Jumlah, Jumlah Sampel |
Dimensi untuk Metrik Pemuatan Model Titik Akhir Multi-Model
| Dimensi | Deskripsi |
|---|---|
EndpointName, VariantName |
Memfilter metrik pemanggilan titik akhir untuk titik akhir dan |
/aws/sagemaker/EndpointsRuang nama menyertakan metrik instance berikut dari panggilan ke. InvokeEndpoint
Metrik tersedia pada frekuensi 1 menit.
Untuk informasi tentang berapa lama CloudWatch metrik dipertahankan, lihat GetMetricStatisticsdi Referensi Amazon CloudWatch API.
Metrik Instans Model Titik Akhir Multi-Model
| Metrik | Deskripsi |
|---|---|
LoadedModelCount |
Jumlah model yang dimuat dalam wadah titik akhir multi-model. Metrik ini dipancarkan per instance. Statistik rata-rata dengan periode 1 menit memberi tahu Anda jumlah rata-rata model yang dimuat per instance. Statistik Jumlah memberi tahu Anda jumlah total model yang dimuat di semua instance di titik akhir. Model yang dilacak metrik ini belum tentu unik karena model mungkin dimuat dalam beberapa wadah di titik akhir. Satuan: Tidak ada Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel |
CPUUtilization |
Jumlah pemanfaatan masing-masing CPU inti individu. CPUPemanfaatan setiap rentang inti adalah 0-100. Misalnya, jika ada empatCPUs, Untuk varian endpoint, nilainya adalah jumlah dari CPU pemanfaatan wadah primer dan tambahan pada instance. Unit: Persen |
MemoryUtilization |
Persentase memori yang digunakan oleh kontainer pada sebuah instance. Kisaran nilai ini adalah 0% - 100%. Untuk varian titik akhir, nilainya adalah jumlah dari pemanfaatan memori wadah primer dan tambahan pada instance. Unit: Persen |
DiskUtilization |
Persentase ruang disk yang digunakan oleh kontainer pada sebuah instance. Kisaran nilai ini adalah 0% - 100%. Untuk varian endpoint, nilainya adalah jumlah dari pemanfaatan ruang disk dari wadah primer dan tambahan pada instance. Unit: Persen |
CloudWatch metrik untuk penerapan titik GPU akhir multi-model
Anda dapat memantau metrik berikut pada titik akhir multi-model GPU yang didukung.
AWS/SageMakerNamespace menyertakan metrik pemuatan model berikut dari panggilan ke. InvokeEndpoint
Metrik tersedia pada frekuensi 1 menit.
Untuk informasi tentang berapa lama CloudWatch metrik dipertahankan, lihat GetMetricStatisticsdi Referensi Amazon CloudWatch API.
Metrik Pemuatan Model Titik Akhir Multi-Model
| Metrik | Deskripsi |
|---|---|
ModelLoadingWaitTime |
Interval waktu permintaan pemanggilan telah menunggu model target diunduh, atau dimuat, atau keduanya untuk melakukan inferensi. Unit: Mikrodetik Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel |
ModelUnloadingTime |
Interval waktu yang diperlukan untuk membongkar model melalui Unit: Mikrodetik Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel |
ModelDownloadingTime |
Interval waktu yang dibutuhkan untuk mengunduh model dari Amazon Simple Storage Service (Amazon S3). Unit: Mikrodetik Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel |
ModelLoadingTime |
Interval waktu yang diperlukan untuk memuat model melalui Unit: Mikrodetik Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel |
ModelCacheHit |
Jumlah Statistik rata-rata menunjukkan rasio permintaan yang modelnya sudah dimuat. Satuan: Tidak ada Statistik yang valid: Rata-rata, Jumlah, Jumlah Sampel |
Dimensi untuk Metrik Pemuatan Model Titik Akhir Multi-Model
| Dimensi | Deskripsi |
|---|---|
EndpointName, VariantName |
Memfilter metrik pemanggilan titik akhir untuk titik akhir dan |
/aws/sagemaker/EndpointsRuang nama menyertakan metrik instance berikut dari panggilan ke. InvokeEndpoint
Metrik tersedia pada frekuensi 1 menit.
Untuk informasi tentang berapa lama CloudWatch metrik dipertahankan, lihat GetMetricStatisticsdi Referensi Amazon CloudWatch API.
Metrik Instans Model Titik Akhir Multi-Model
| Metrik | Deskripsi |
|---|---|
LoadedModelCount |
Jumlah model yang dimuat dalam wadah titik akhir multi-model. Metrik ini dipancarkan per instance. Statistik rata-rata dengan periode 1 menit memberi tahu Anda jumlah rata-rata model yang dimuat per instance. Statistik Jumlah memberi tahu Anda jumlah total model yang dimuat di semua instance di titik akhir. Model yang dilacak metrik ini belum tentu unik karena model mungkin dimuat dalam beberapa wadah di titik akhir. Satuan: Tidak ada Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel |
CPUUtilization |
Jumlah pemanfaatan masing-masing CPU inti individu. CPUPemanfaatan setiap rentang inti adalah 0-100. Misalnya, jika ada empatCPUs, Untuk varian endpoint, nilainya adalah jumlah dari CPU pemanfaatan wadah primer dan tambahan pada instance. Unit: Persen |
MemoryUtilization |
Persentase memori yang digunakan oleh kontainer pada sebuah instance. Rentang nilai ini adalah 0% ‐ 100%. Untuk varian titik akhir, nilainya adalah jumlah dari pemanfaatan memori wadah primer dan tambahan pada instance. Unit: Persen |
GPUUtilization |
Persentase GPU unit yang digunakan oleh kontainer pada sebuah instance. Nilai dapat berkisar antara rentang adalah 0-100 dan dikalikan dengan jumlah. GPUs Misalnya, jika ada empatGPUs, Untuk varian endpoint, nilainya adalah jumlah dari GPU pemanfaatan wadah primer dan tambahan pada instance. Unit: Persen |
GPUMemoryUtilization |
Persentase GPU memori yang digunakan oleh kontainer pada sebuah instance. Rentang nilai adalah 0-100 dan dikalikan dengan jumlah. GPUs Misalnya, jika ada empatGPUs, Untuk varian titik akhir, nilainya adalah jumlah dari pemanfaatan GPU memori wadah primer dan tambahan pada instance. Unit: Persen |
DiskUtilization |
Persentase ruang disk yang digunakan oleh kontainer pada sebuah instance. Kisaran nilai ini adalah 0% - 100%. Untuk varian endpoint, nilainya adalah jumlah dari pemanfaatan ruang disk dari wadah primer dan tambahan pada instance. Unit: Persen |
