Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
CloudWatch Metrik untuk Penerapan Multi-Model Titik Akhir
Amazon SageMaker AI menyediakan metrik untuk titik akhir sehingga Anda dapat memantau tingkat hit cache, jumlah model yang dimuat, dan waktu tunggu model untuk memuat, mengunduh, dan mengunggah di titik akhir multi-model. Beberapa metrik berbeda untuk titik akhir multi-model yang didukung CPU dan GPU, jadi bagian berikut menjelaskan CloudWatch metrik Amazon yang dapat Anda gunakan untuk setiap jenis titik akhir multi-model.
Untuk informasi selengkapnya tentang metrik, lihat Metrik Pemuatan Multi-Model Model Titik Akhir dan Metrik Multi-Model Instans Model Titik Ak hir diMetrik SageMaker AI Amazon di Amazon CloudWatch. Per-model metrik tidak didukung.
CloudWatch metrik untuk titik akhir multi-model yang didukung CPU
Anda dapat memantau metrik berikut pada titik akhir multi-model yang didukung CPU.
AWS/SageMakerNamespace menyertakan metrik pemuatan model berikut dari panggilan ke InvokeEndpoint.
Metrik tersedia pada frekuensi 1 menit.
Untuk informasi tentang berapa lama CloudWatch metrik dipertahankan, lihat GetMetricStatistics di Refer ensi CloudWatch API Amazon.
Multi-Model Metrik Pemuatan Model Titik Akhir
| Metrik | Deskripsi |
|---|---|
ModelLoadingWaitTime |
Interval waktu permintaan pemanggilan menunggu model target diunduh, atau dimuat, atau keduanya untuk melakukan inferensi. Satuan: Mikrodetik Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel |
ModelUnloadingTime |
Interval waktu yang diperlukan untuk membongkar model melalui panggilan Satuan: Mikrodetik Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel |
ModelDownloadingTime |
Interval waktu yang diperlukan untuk mengunduh model dari Amazon Simple Storage Service (Amazon S3). Satuan: Mikrodetik Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel |
ModelLoadingTime |
Interval waktu yang diperlukan untuk memuat model melalui panggilan Satuan: Mikrodetik Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel |
ModelCacheHit |
Jumlah Statistik rata-rata menunjukkan rasio permintaan yang modelnya sudah dimuat. Satuan: Tidak ada Statistik yang valid: Rata-rata, Jumlah, Jumlah Sampel |
Dimensi untuk Metrik Multi-Model Pemuatan Model Titik Akhir
| Dimensi | Deskripsi |
|---|---|
EndpointName, VariantName |
Memfilter metrik pemanggilan titik |
Ruang /aws/sagemaker/Endpoints nama menyertakan metrik instance berikut dari panggilan ke. InvokeEndpoint
Metrik tersedia pada frekuensi 1 menit.
Untuk informasi tentang berapa lama CloudWatch metrik dipertahankan, lihat GetMetricStatistics di Refer ensi CloudWatch API Amazon.
Multi-Model Metrik Instans Model Titik Akhir
| Metrik | Deskripsi |
|---|---|
LoadedModelCount |
Jumlah model yang dimuat dalam wadah titik akhir multi-model. Metrik ini dipancarkan per instance. Statistik rata-rata dengan periode 1 menit memberi tahu Anda jumlah rata-rata model yang dimuat per instans. Statistik Jumlah memberi tahu Anda jumlah total model yang dimuat di semua instance di titik akhir. Model yang dilacak metrik ini belum tentu unik karena model mungkin dimuat dalam beberapa wadah di titik akhir. Satuan: Tidak ada Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel |
CPUUtilization |
Jumlah pemanfaatan masing-masing inti CPU individu. Pemanfaatan CPU dari setiap rentang inti adalah 0-100. Misalnya, jika ada empat CPU, Untuk varian titik akhir, nilainya adalah jumlah pemanfaatan CPU dari wadah primer dan tambahan pada instance. Unit: Persen |
MemoryUtilization |
Persentase memori yang digunakan oleh kontainer pada sebuah instance. Kisaran nilai ini adalah 0% - 100%. Untuk varian titik akhir, nilainya adalah jumlah pemanfaatan memori dari wadah primer dan tambahan pada instance. Unit: Persen |
DiskUtilization |
Persentase ruang disk yang digunakan oleh kontainer pada sebuah instance. Kisaran nilai ini adalah 0% - 100%. Untuk varian titik akhir, nilainya adalah jumlah pemanfaatan ruang disk dari wadah primer dan tambahan pada instance. Unit: Persen |
CloudWatch metrik untuk penerapan titik akhir multi-model GPU
Anda dapat memantau metrik berikut pada titik akhir multi-model yang didukung GPU.
AWS/SageMakerNamespace menyertakan metrik pemuatan model berikut dari panggilan ke InvokeEndpoint.
Metrik tersedia pada frekuensi 1 menit.
Untuk informasi tentang berapa lama CloudWatch metrik dipertahankan, lihat GetMetricStatistics di Refer ensi CloudWatch API Amazon.
Multi-Model Metrik Pemuatan Model Titik Akhir
| Metrik | Deskripsi |
|---|---|
ModelLoadingWaitTime |
Interval waktu permintaan pemanggilan menunggu model target diunduh, atau dimuat, atau keduanya untuk melakukan inferensi. Satuan: Mikrodetik Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel |
ModelUnloadingTime |
Interval waktu yang diperlukan untuk membongkar model melalui panggilan Satuan: Mikrodetik Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel |
ModelDownloadingTime |
Interval waktu yang diperlukan untuk mengunduh model dari Amazon Simple Storage Service (Amazon S3). Satuan: Mikrodetik Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel |
ModelLoadingTime |
Interval waktu yang diperlukan untuk memuat model melalui panggilan Satuan: Mikrodetik Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel |
ModelCacheHit |
Jumlah Statistik rata-rata menunjukkan rasio permintaan yang modelnya sudah dimuat. Satuan: Tidak ada Statistik yang valid: Rata-rata, Jumlah, Jumlah Sampel |
Dimensi untuk Metrik Multi-Model Pemuatan Model Titik Akhir
| Dimensi | Deskripsi |
|---|---|
EndpointName, VariantName |
Memfilter metrik pemanggilan titik |
Ruang /aws/sagemaker/Endpoints nama menyertakan metrik instance berikut dari panggilan ke. InvokeEndpoint
Metrik tersedia pada frekuensi 1 menit.
Untuk informasi tentang berapa lama CloudWatch metrik dipertahankan, lihat GetMetricStatistics di Refer ensi CloudWatch API Amazon.
Multi-Model Metrik Instans Model Titik Akhir
| Metrik | Deskripsi |
|---|---|
LoadedModelCount |
Jumlah model yang dimuat dalam wadah titik akhir multi-model. Metrik ini dipancarkan per instance. Statistik rata-rata dengan periode 1 menit memberi tahu Anda jumlah rata-rata model yang dimuat per instans. Statistik Jumlah memberi tahu Anda jumlah total model yang dimuat di semua instance di titik akhir. Model yang dilacak metrik ini belum tentu unik karena model mungkin dimuat dalam beberapa wadah di titik akhir. Satuan: Tidak ada Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel |
CPUUtilization |
Jumlah pemanfaatan masing-masing inti CPU individu. Pemanfaatan CPU dari setiap rentang inti adalah 0-100. Misalnya, jika ada empat CPU, Untuk varian titik akhir, nilainya adalah jumlah pemanfaatan CPU dari wadah primer dan tambahan pada instance. Unit: Persen |
MemoryUtilization |
Persentase memori yang digunakan oleh kontainer pada sebuah instance. Kisaran nilai ini adalah 0% ‐ 100%. Untuk varian titik akhir, nilainya adalah jumlah pemanfaatan memori dari wadah primer dan tambahan pada instance. Unit: Persen |
GPUUtilization |
Persentase unit GPU yang digunakan oleh kontainer pada sebuah instance. Nilai dapat berkisar antara rentang adalah 0-100 dan dikalikan dengan jumlah GPU. Misalnya, jika ada empat GPU, Untuk varian titik akhir, nilainya adalah jumlah pemanfaatan GPU dari wadah primer dan tambahan pada instance. Unit: Persen |
GPUMemoryUtilization |
Persentase memori GPU yang digunakan oleh kontainer pada sebuah instance. Kisaran nilai adalah 0-100 dan dikalikan dengan jumlah GPU. Misalnya, jika ada empat GPU, Untuk varian titik akhir, nilainya adalah jumlah pemanfaatan memori GPU dari wadah primer dan tambahan pada instance. Unit: Persen |
DiskUtilization |
Persentase ruang disk yang digunakan oleh kontainer pada sebuah instance. Kisaran nilai ini adalah 0% - 100%. Untuk varian titik akhir, nilainya adalah jumlah pemanfaatan ruang disk dari wadah primer dan tambahan pada instance. Unit: Persen |
