View a markdown version of this page

Metrik SageMaker AI Amazon di Amazon CloudWatch - Amazon SageMaker AI

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Metrik SageMaker AI Amazon di Amazon CloudWatch

Anda dapat memantau Amazon SageMaker AI menggunakan Amazon CloudWatch, yang mengumpulkan data mentah dan memprosesnya menjadi metrik yang dapat dibaca dan hampir real-time. Statistik ini disimpan selama 15 bulan. Dengan mereka, Anda dapat mengakses informasi historis dan mendapatkan perspektif yang lebih baik tentang kinerja aplikasi atau layanan web Anda. Namun, CloudWatch konsol Amazon membatasi pencarian pada metrik yang diperbarui dalam 2 minggu terakhir. Batasan ini memastikan bahwa pekerjaan terbaru ditampilkan di namespace Anda.

Untuk membuat grafik metrik tanpa menggunakan pencarian, tentukan nama tepatnya di tampilan sumber. Anda juga dapat mengatur alarm yang memperhatikan ambang batas tertentu dan mengirim notifikasi atau mengambil tindakan saat ambang batas tersebut terpenuhi. Untuk informasi selengkapnya, lihat Panduan CloudWatch Pengguna Amazon.

SageMaker Metrik titik akhir AI

/aws/sagemaker/EndpointsNamespace menyertakan metrik berikut untuk instance titik akhir.

Metrik tersedia pada frekuensi 1 menit. Anda dapat mengonfigurasi frekuensi penerbitan ke 10, 30, 60, 120, 180, 240, atau 300 detik dengan meny MetricPublishFrequencyInSeconds etel MetricsConfig. Pengaturan ini tidak EnableEnhancedMetrics perlu diaktifkan. Saat Anda meny EnableEnhancedMetrics et True el ke, dimensi tambahan InstanceId dan AcceleratorId (hanya metrik GPU) tersedia. Untuk informasi selengkapnya, lihat Amazon SageMaker AI meningkatkan metrik untuk titik akhir inferensi.

catatan

Amazon CloudWatch mendukung metrik kustom resolusi tinggi dan resolusi terbaiknya adalah 1 detik. Namun, semakin halus resolusinya, semakin pendek umur CloudWatch metrik. Untuk resolusi frekuensi 1 detik, CloudWatch metrik tersedia selama 3 jam. Untuk informasi selengkapnya tentang resolusi dan umur CloudWatch metrik, lihat GetMetricStatistics di Refer ensi CloudWatch API Amazon.

Metrik titik akhir
Metrik Deskripsi
CPUReservation

Jumlah CPU yang dicadangkan oleh kontainer pada sebuah instance.

Metrik ini disediakan hanya untuk titik akhir yang menampung komponen inferensi aktif.

Nilai berkisar antara 0% - 100%. Dalam pengaturan untuk komponen inferensi, Anda mengatur reservasi CPU dengan NumberOfCpuCoresRequired parameter. Misalnya, jika ada 4 CPU, dan 2 dicadangkan, CPUReservation metriknya adalah 50%.

CPUUtilization

Jumlah pemanfaatan masing-masing inti CPU individu. Pemanfaatan CPU dari setiap rentang inti adalah 0-100. Misalnya, jika ada empat CPU, CPUUtilization kisarannya adalah 0% — 400%.

Untuk varian titik akhir, nilainya adalah jumlah pemanfaatan CPU dari wadah primer dan tambahan pada instance.

Unit: Persen

CPUUtilizationNormalized

Jumlah yang dinormalisasi dari pemanfaatan setiap inti CPU individu.

Metrik ini disediakan hanya untuk titik akhir yang menampung komponen inferensi aktif.

Nilai berkisar antara 0% - 100%. Misalnya, jika ada empat CPU, dan metriknya 200%, maka CPUUtilization metriknya CPUUtilizationNormalized adalah 50%.

DiskUtilization

Persentase ruang disk yang digunakan oleh kontainer pada sebuah instance. Kisaran nilai ini adalah 0% - 100%.

Untuk varian titik akhir, nilainya adalah jumlah pemanfaatan ruang disk dari wadah primer dan tambahan pada instance.

Unit: Persen

GPUMemoryUtilization

Persentase memori GPU yang digunakan oleh kontainer pada sebuah instance. Kisaran nilai adalah 0-100 dan dikalikan dengan jumlah GPU. Misalnya, jika ada empat GPU, GPUMemoryUtilization kisarannya adalah 0% — 400%.

Untuk varian titik akhir, nilainya adalah jumlah pemanfaatan memori GPU dari wadah primer dan tambahan pada instance.

Unit: Persen

GPUMemoryUtilizationNormalized

Persentase memori GPU yang dinormalisasi yang digunakan oleh kontainer pada sebuah instance.

Metrik ini disediakan hanya untuk titik akhir yang menampung komponen inferensi aktif.

Nilai berkisar antara 0% - 100%. Misalnya, jika ada empat GPU, dan metriknya 200%, maka GPUMemoryUtilization metriknya GPUMemoryUtilizationNormalized adalah 50%.

GPUReservation

Jumlah GPU yang dicadangkan oleh kontainer pada sebuah instance.

Metrik ini disediakan hanya untuk titik akhir yang menampung komponen inferensi aktif.

Nilai berkisar antara 0% - 100%. Dalam pengaturan untuk komponen inferensi, Anda mengatur reservasi GPU denganNumberOfAcceleratorDevicesRequired. Misalnya, jika ada 4 GPU dan 2 yang dicadangkan, GPUReservation metriknya adalah 50%.

GPUUtilization

Persentase unit GPU yang digunakan oleh kontainer pada instance. Nilai dapat berkisar antara 0-100 dan dikalikan dengan jumlah GPU. Misalnya, jika ada empat GPU, GPUUtilization kisarannya adalah 0% — 400%.

Untuk varian titik akhir, nilainya adalah jumlah pemanfaatan GPU dari wadah primer dan tambahan pada instance.

Unit: Persen

GPUUtilizationNormalized

Persentase unit GPU yang dinormalisasi yang digunakan oleh kontainer pada sebuah instance.

Metrik ini disediakan hanya untuk titik akhir yang menampung komponen inferensi aktif.

Nilai berkisar antara 0% - 100%. Misalnya, jika ada empat GPU, dan metriknya 200%, maka GPUUtilization metriknya GPUUtilizationNormalized adalah 50%.

MemoryReservation

Jumlah memori yang dicadangkan oleh kontainer pada sebuah instance.

Metrik ini disediakan hanya untuk titik akhir yang menampung komponen inferensi aktif.

Nilai berkisar antara 0% - 100%. Dalam pengaturan untuk komponen inferensi, Anda mengatur reservasi memori dengan MinMemoryRequiredInMb parameter. Misalnya, jika instance 32 GiB mencadangkan 1024 MB, MemoryReservation metriknya akan menjadi 3,125%.

MemoryUtilization

Persentase memori yang digunakan oleh kontainer pada sebuah instance. Kisaran nilai ini adalah 0% - 100%.

Untuk varian titik akhir, nilainya adalah jumlah pemanfaatan memori dari wadah primer dan tambahan pada instance.

Unit: Persen

Dimensi untuk metrik titik akhir
Dimensi Deskripsi
EndpointName, VariantName

Memfilter metrik titik akhir untuk titik akhir dan varian yang ProductionVariant ditentukan.

EndpointName, VariantName, InstanceType

Memfilter metrik titik akhir berdasarkan jenis instans untuk varian produksi yang menggunakan kumpulan instance. Gunakan dimensi ini untuk memantau metrik untuk setiap jenis instans dalam varian secara terpisah.

InstanceId

Memfilter metrik titik akhir untuk instance tertentu. Tersedia saat EnableEnhancedMetrics disetel ke True dalamMetricsConfig.

AcceleratorId

(Hanya metrik GPU) Memfilter metrik titik akhir untuk GPU tertentu. Tersedia saat EnableEnhancedMetrics disetel ke True dalamMetricsConfig.

SageMaker Metrik pemanggilan titik akhir AI

AWS/SageMakerNamespace menyertakan metrik permintaan berikut dari panggilan ke InvokeEndpoint.

Metrik tersedia pada frekuensi 1 menit. Anda dapat mengonfigurasi frekuensi penerbitan ke 10, 30, 60, 120, 180, 240, atau 300 detik dengan meny MetricPublishFrequencyInSeconds etel MetricsConfig. Untuk metrik pemanggilan, pengaturan ini harus EnableEnhancedMetrics disetel keTrue. Ketika Anda mengatur EnableEnhancedMetrics keTrue, dimensi tambahan InstanceId dan ContainerId (komponen inferensi saja) juga tersedia. Untuk informasi selengkapnya, lihat Amazon SageMaker AI meningkatkan metrik untuk titik akhir inferensi.

Ilustrasi berikut menunjukkan bagaimana titik akhir SageMaker AI berinteraksi dengan Amazon SageMaker Runtime API. Waktu keseluruhan antara mengirim permintaan ke titik akhir dan menerima respons tergantung pada tiga komponen berikut.

  • Latensi jaringan — waktu yang dibutuhkan antara membuat permintaan dan menerima respons kembali dari SageMaker Runtime Runtime API.

  • Latensi overhead — waktu yang diperlukan untuk mengangkut permintaan ke wadah model dari dan mengangkut respons kembali ke SageMaker Runtime Runtime API.

  • Latensi model — waktu yang dibutuhkan wadah model untuk memproses permintaan dan mengembalikan respons.

Sebuah ilustrasi yang menunjukkan bahwa latensi total adalah jumlah latensi jaringan, overhead dan model.

Untuk informasi selengkapnya tentang latensi total, lihat Praktik terbaik untuk pengujian beban titik akhir inferensi real-time Amazon SageMaker AI. Untuk informasi tentang berapa lama CloudWatch metrik dipertahankan, lihat GetMetricStatistics di Refer ensi CloudWatch API Amazon.

Metrik pemanggilan titik akhir
Metrik Deskripsi
ConcurrentRequestsPerCopy

Jumlah permintaan bersamaan yang diterima oleh komponen inferensi, dinormalisasi oleh setiap salinan komponen inferensi.

Statistik yang valid: Min, Max

ConcurrentRequestsPerModel

Jumlah permintaan bersamaan yang diterima oleh model.

Statistik yang valid: Min, Max

Invocation4XXErrors

Jumlah InvokeEndpoint permintaan di mana model mengembalikan kode respons HTTP 4xx. Untuk setiap respons 4xx, 1 dikirim; jika tidak, 0 dikirim.

Satuan: Tidak ada

Statistik yang valid: Rata-rata, Jumlah

Invocation5XXErrors

Jumlah InvokeEndpoint permintaan di mana model mengembalikan kode respons HTTP 5xx. Untuk setiap respons 5xx, 1 dikirim; jika tidak, 0 dikirim.

Satuan: Tidak ada

Statistik yang valid: Rata-rata, Jumlah

InvocationModelErrors

Jumlah permintaan pemanggilan model yang tidak menghasilkan respons HTTP 2XX. Ini termasuk kode 4XX/5XX status, kesalahan soket tingkat rendah, respons HTTP yang salah format, dan batas waktu permintaan. Untuk setiap respons kesalahan, 1 dikirim; jika tidak, 0 dikirim.

Satuan: Tidak ada

Statistik yang valid: Rata-rata, Jumlah

Invocations

Jumlah InvokeEndpoint permintaan yang dikirim ke titik akhir model.

Untuk mendapatkan jumlah total permintaan yang dikirim ke titik akhir model, gunakan statistik Sum.

Satuan: Tidak ada

Statistik yang valid: Jumlah

InvocationsPerCopy

Jumlah pemanggilan yang dinormalisasi oleh setiap salinan komponen inferensi.

Statistik yang valid: Jumlah

InvocationsPerInstance

Jumlah pemanggilan yang dikirim ke model, dinormalisasi oleh InstanceCount masing-masing ProductionVariant. 1/ numberOfInstances dikirim sebagai nilai pada setiap permintaan. numberOfInstancesadalah jumlah instance aktif untuk di ProductionVariant belakang titik akhir pada saat permintaan.

Satuan: Tidak ada

Statistik yang valid: Jumlah

ModelLatency

Interval waktu yang dibutuhkan oleh model untuk menanggapi permintaan SageMaker Runtime API. Interval ini mencakup waktu komunikasi lokal yang diperlukan untuk mengirim permintaan dan untuk mengambil respons dari wadah model. Ini juga mencakup waktu yang dibutuhkan untuk menyelesaikan inferensi dalam wadah.

Satuan: Mikrodetik

Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel, Persentil

ModelSetupTime

Waktu yang dibutuhkan untuk meluncurkan sumber daya komputasi baru untuk titik akhir tanpa server. Waktu dapat bervariasi tergantung pada ukuran model, berapa lama waktu yang dibutuhkan untuk mengunduh model, dan waktu start-up wadah.

Satuan: Mikrodetik

Statistik yang valid: Rata-rata, Min, Maks, Jumlah Sampel, Persentil

OverheadLatency

Interval waktu ditambahkan ke waktu yang dibutuhkan untuk menanggapi permintaan klien oleh biaya SageMaker overhead AI. Interval ini diukur dari saat SageMaker AI menerima permintaan hingga mengembalikan respons ke klien, dikurangiModelLatency. Latensi overhead dapat bervariasi tergantung pada beberapa faktor, termasuk ukuran muatan permintaan dan respons, frekuensi permintaan, dan authentication/authorization permintaan.

Satuan: Mikrodetik

Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel

MidStreamErrors

Jumlah kesalahan yang terjadi selama streaming respons setelah respons awal dikirim ke pelanggan.

Satuan: Tidak ada

Statistik yang valid: Rata-rata, Jumlah

FirstChunkLatency

Waktu berlalu dari saat permintaan tiba di titik akhir SageMaker AI hingga potongan pertama respons dikirim ke pelanggan. Metrik ini berlaku untuk permintaan inferensi streaming dua arah.

Satuan: Mikrodetik

Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel, Persentil

FirstChunkModelLatency

Waktu yang dibutuhkan oleh wadah model untuk memproses permintaan dan mengembalikan potongan pertama dari respons. Ini diukur dari saat permintaan dikirim ke wadah model hingga byte pertama diterima dari model. Metrik ini berlaku untuk permintaan inferensi streaming dua arah.

Satuan: Mikrodetik

Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel, Persentil

FirstChunkOverheadLatency

Latensi overhead untuk potongan pertama, tidak termasuk waktu pemrosesan model. Ini dihitung sebagai FirstChunkLatency minusFirstChunkModelLatency, mewakili waktu yang dihabiskan dalam operasi routing, preprocessing, dan postprocessing dalam platform SageMaker AI. Latensi overhead dapat bervariasi tergantung pada beberapa faktor, termasuk frekuensi permintaan, beban, dan authentication/authorization permintaan. Metrik ini berlaku untuk permintaan inferensi streaming dua arah.

Satuan: Mikrodetik

Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel, Persentil

Dimensi untuk metrik pemanggilan titik akhir
Dimensi Deskripsi
EndpointName, VariantName

Memfilter metrik pemanggilan titik ProductionVariant akhir untuk titik akhir dan varian yang ditentukan.

EndpointName, VariantName, InstanceType

Memfilter metrik pemanggilan titik akhir berdasarkan jenis instans untuk varian produksi yang menggunakan kumpulan instans. Gunakan dimensi ini untuk melihat pola pemanggilan untuk setiap jenis instans dalam varian.

InferenceComponentName

Memfilter metrik pemanggilan komponen inferensi.

InstanceId

Memfilter metrik pemanggilan untuk instance tertentu. Tersedia saat EnableEnhancedMetrics disetel ke True dalamMetricsConfig.

ContainerId

(Hanya komponen inferensi) Memfilter metrik pemanggilan untuk wadah tertentu. Tersedia saat EnableEnhancedMetrics disetel ke True dalamMetricsConfig.

SageMaker Metrik komponen inferensi AI

/aws/sagemaker/InferenceComponentsNamespace menyertakan metrik berikut dari panggilan ke InvokeEndpoint titik akhir yang menghosting komponen inferensi. Container-level perincian diperlukan EnableEnhancedMetrics=True dalam konfigurasi titik akhir. MetricsConfig

Metrik tersedia pada frekuensi 1 menit. Anda dapat mengonfigurasi frekuensi penerbitan ke 10, 30, 60, 120, 180, 240, atau 300 detik dengan meny MetricPublishFrequencyInSeconds etelMetricsConfig. Pengaturan ini tidak EnableEnhancedMetrics perlu diaktifkan. Saat Anda meny EnableEnhancedMetrics et True el ke, dimensi tambahanInstanceId,ContainerId, dan AcceleratorId (hanya metrik GPU) tersedia. Untuk informasi selengkapnya, lihat Amazon SageMaker AI meningkatkan metrik untuk titik akhir inferensi.

Metrik komponen inferensi
Metrik Deskripsi
CPUUtilizationNormalized

Nilai CPUUtilizationNormalized metrik yang dilaporkan oleh setiap salinan komponen inferensi. Nilai berkisar antara 0% - 100%. Jika Anda menetapkan NumberOfCpuCoresRequired parameter dalam pengaturan untuk salinan komponen inferensi, metrik menyajikan pemanfaatan atas reservasi. Jika tidak, metrik menyajikan pemanfaatan di atas batas.

GPUMemoryUtilizationNormalized

Nilai GPUMemoryUtilizationNormalized metrik yang dilaporkan oleh setiap salinan komponen inferensi.

GPUUtilizationNormalized

Nilai GPUUtilizationNormalized metrik yang dilaporkan oleh setiap salinan komponen inferensi. Jika Anda menetapkan NumberOfAcceleratorDevicesRequired parameter dalam pengaturan untuk salinan komponen inferensi, metrik menyajikan pemanfaatan atas reservasi. Jika tidak, metrik menyajikan pemanfaatan di atas batas.

MemoryUtilizationNormalized

Nilai yang MemoryUtilizationNormalized dilaporkan oleh setiap salinan komponen inferensi. Jika Anda menetapkan MinMemoryRequiredInMb parameter dalam pengaturan untuk salinan komponen inferensi, metrik menampilkan pemanfaatan di atas reservasi. Jika tidak, metrik menyajikan pemanfaatan melebihi batas.

Dimensi untuk metrik komponen inferensi
Dimensi Deskripsi
InferenceComponentName

Memfilter metrik komponen inferensi.

InferenceComponentName, InstanceType

Memfilter metrik komponen inferensi berdasarkan jenis instance. Gunakan dimensi ini saat komponen inferensi diterapkan ke varian produksi dengan kumpulan instance untuk melihat metrik untuk setiap jenis instans secara terpisah.

InstanceId

Memfilter metrik komponen inferensi untuk instance tertentu. Tersedia saat EnableEnhancedMetrics disetel ke True dalamMetricsConfig.

ContainerId

Memfilter metrik komponen inferensi untuk wadah tertentu. Tersedia saat EnableEnhancedMetrics disetel ke True dalamMetricsConfig.

AcceleratorId

(Hanya metrik GPU) Memfilter metrik komponen inferensi untuk GPU tertentu. Tersedia saat EnableEnhancedMetrics disetel ke True dalamMetricsConfig.

SageMaker Metrik titik akhir multi-model AI

AWS/SageMakerNamespace menyertakan metrik pemuatan model berikut dari panggilan ke InvokeEndpoint.

Metrik tersedia pada frekuensi 1 menit.

Untuk informasi tentang berapa lama CloudWatch metrik dipertahankan, lihat GetMetricStatistics di Refer ensi CloudWatch API Amazon.

Multi-model metrik pemuatan model titik akhir
Metrik Deskripsi
ModelLoadingWaitTime

Interval waktu permintaan pemanggilan menunggu model target diunduh, dimuat, atau keduanya untuk menjalankan inferensi.

Satuan: Mikrodetik

Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel

ModelUnloadingTime

Interval waktu yang diperlukan untuk membongkar model melalui panggilan UnloadModel API container.

Satuan: Mikrodetik

Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel

ModelDownloadingTime

Interval waktu yang diperlukan untuk mengunduh model dari Amazon Simple Storage Service (Amazon S3).

Satuan: Mikrodetik

Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel

ModelLoadingTime

Interval waktu yang diperlukan untuk memuat model melalui panggilan LoadModel API container.

Satuan: Mikrodetik

Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel

ModelCacheHit

Jumlah InvokeEndpoint permintaan yang dikirim ke titik akhir multi-model yang modelnya sudah dimuat.

Statistik rata-rata menunjukkan rasio permintaan yang modelnya sudah dimuat.

Satuan: Tidak ada

Statistik yang valid: Rata-rata, Jumlah, Jumlah Sampel

Dimensi untuk metrik pemuatan model titik akhir multi-model
Dimensi Deskripsi
EndpointName, VariantName

Memfilter metrik pemanggilan titik ProductionVariant akhir untuk titik akhir dan varian yang ditentukan.

Ruang /aws/sagemaker/Endpoints nama menyertakan metrik instance berikut dari panggilan ke. InvokeEndpoint

Metrik tersedia pada frekuensi 1 menit.

Untuk informasi tentang berapa lama CloudWatch metrik dipertahankan, lihat GetMetricStatistics di Refer ensi CloudWatch API Amazon.

Multi-model metrik contoh model titik akhir
Metrik Deskripsi
LoadedModelCount

Jumlah model yang dimuat dalam wadah titik akhir multi-model. Metrik ini dipancarkan per instance.

Statistik rata-rata dengan periode 1 menit memberi tahu Anda jumlah rata-rata model yang dimuat per instans.

Statistik Jumlah memberi tahu Anda jumlah total model yang dimuat di semua instance di titik akhir.

Model yang dilacak metrik ini belum tentu unik karena model mungkin dimuat dalam beberapa wadah di titik akhir.

Satuan: Tidak ada

Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel

Dimensi untuk metrik pemuatan model titik akhir multi-model
Dimensi Deskripsi
EndpointName, VariantName

Memfilter metrik pemanggilan titik ProductionVariant akhir untuk titik akhir dan varian yang ditentukan.

SageMaker Metrik pekerjaan AI

Ruang /aws/sagemaker/ProcessingJobs nama/aws/sagemaker/TrainingJobs,, /aws/sagemaker/TransformJobs dan mencakup metrik berikut untuk memproses pekerjaan, pekerjaan pelatihan, dan pekerjaan transformasi batch.

Metrik tersedia pada frekuensi 1 menit.

catatan

Amazon CloudWatch mendukung metrik kustom resolusi tinggi dan resolusi terbaiknya adalah 1 detik. Namun, semakin halus resolusinya, semakin pendek umur CloudWatch metrik. Untuk resolusi frekuensi 1 detik, CloudWatch metrik tersedia selama 3 jam. Untuk informasi selengkapnya tentang resolusi dan umur CloudWatch metrik, lihat GetMetricStatistics di Refer ensi CloudWatch API Amazon.

Tip

Untuk membuat profil pekerjaan pelatihan Anda dengan resolusi yang lebih baik hingga perincian 100 milidetik (0,1 detik) dan menyimpan metrik pelatihan tanpa batas waktu di Amazon S3 untuk analisis khusus kapan saja, pertimbangkan untuk menggunakan Amazon Debugger. SageMaker SageMaker Debugger menyediakan aturan bawaan untuk mendeteksi masalah pelatihan umum secara otomatis. Ini mendeteksi masalah pemanfaatan sumber daya perangkat keras (seperti CPU, GPU, dan I/O hambatan). Ini juga mendeteksi masalah model yang tidak konvergen (seperti overfit, gradien menghilang, dan tensor yang meledak). SageMaker Debugger juga menyediakan visualisasi melalui Studio Classic dan laporan profilnya. Untuk menjelajahi visualisasi Debugger, lihat Panduan Dasbor SageMaker Debugger Insights, Panduan Laporan Pembuatan Profil Debugger, dan Analisis Data Menggunakan Pustaka Klien SMDebug.

Memproses pekerjaan, pekerjaan pelatihan, dan metrik pekerjaan transformasi batch
Metrik Deskripsi
CPUUtilization Jumlah pemanfaatan masing-masing inti CPU individu. Pemanfaatan CPU dari setiap rentang inti adalah 0-100. Misalnya, jika ada empat CPU, CPUUtilization kisarannya adalah 0% — 400%. Untuk pekerjaan pemrosesan, nilainya adalah pemanfaatan CPU dari wadah pemrosesan pada instance.

Untuk pekerjaan pelatihan, nilainya adalah pemanfaatan CPU dari wadah algoritma pada instance.

Untuk pekerjaan transformasi batch, nilainya adalah pemanfaatan CPU dari wadah transformasi pada instance.

catatan

Untuk pekerjaan multi-instance, setiap instans melaporkan metrik pemanfaatan CPU. Namun, tampilan default di CloudWatch menunjukkan pemanfaatan CPU rata-rata di semua instance.

Unit: Persen

DiskUtilization

Persentase ruang disk yang digunakan oleh kontainer pada sebuah instance. Kisaran nilai ini adalah 0% - 100%. Metrik ini tidak didukung untuk pekerjaan transformasi batch.

Untuk pekerjaan pemrosesan, nilainya adalah pemanfaatan ruang disk dari wadah pemrosesan pada instance.

Untuk pekerjaan pelatihan, nilainya adalah pemanfaatan ruang disk dari wadah algoritma pada instance.

Unit: Persen

catatan

Untuk pekerjaan multi-instance, setiap instans melaporkan metrik pemanfaatan disk. Namun, tampilan default di CloudWatch menunjukkan pemanfaatan disk rata-rata di semua instance.

GPUMemoryUtilization

Persentase memori GPU yang digunakan oleh kontainer pada sebuah instance. Kisaran nilai adalah 0-100 dan dikalikan dengan jumlah GPU. Misalnya, jika ada empat GPU, GPUMemoryUtilization kisarannya adalah 0% — 400%.

Untuk pekerjaan pemrosesan, nilainya adalah pemanfaatan memori GPU dari wadah pemrosesan pada instance.

Untuk pekerjaan pelatihan, nilainya adalah pemanfaatan memori GPU dari wadah algoritma pada instance.

Untuk pekerjaan transformasi batch, nilainya adalah pemanfaatan memori GPU dari wadah transformasi pada instance.

catatan

Untuk pekerjaan multi-instance, setiap instans melaporkan metrik pemanfaatan memori GPU. Namun, tampilan default di CloudWatch menunjukkan pemanfaatan memori GPU rata-rata di semua instance.

Unit: Persen

GPUUtilization

Persentase unit GPU yang digunakan oleh kontainer pada sebuah instance. Nilai dapat berkisar antara 0-100 dan dikalikan dengan jumlah GPU. Misalnya, jika ada empat GPU, GPUUtilization kisarannya adalah 0% — 400%.

Untuk pekerjaan pemrosesan, nilainya adalah pemanfaatan GPU dari wadah pemrosesan pada instance.

Untuk pekerjaan pelatihan, nilainya adalah pemanfaatan GPU dari wadah algoritma pada instance.

Untuk pekerjaan transformasi batch, nilainya adalah pemanfaatan GPU dari wadah transformasi pada instance.

catatan

Untuk pekerjaan multi-instance, setiap instans melaporkan metrik pemanfaatan GPU. Namun, tampilan default di CloudWatch menunjukkan pemanfaatan GPU rata-rata di semua instance.

Unit: Persen

MemoryUtilization

Persentase memori yang digunakan oleh kontainer pada sebuah instance. Kisaran nilai ini adalah 0% - 100%.

Untuk pekerjaan pemrosesan, nilainya adalah pemanfaatan memori dari wadah pemrosesan pada instance.

Untuk pekerjaan pelatihan, nilainya adalah pemanfaatan memori dari wadah algoritma pada instance.

Untuk pekerjaan transformasi batch, nilainya adalah pemanfaatan memori dari wadah transformasi pada instance.

Unit: Persen

catatan

Untuk pekerjaan multi-instance, setiap instans melaporkan metrik pemanfaatan memori. Namun, tampilan default di CloudWatch menunjukkan pemanfaatan memori rata-rata di semua instance.

Dimensi untuk metrik pekerjaan
Dimensi Deskripsi
Host

Untuk pekerjaan pemrosesan, nilai untuk dimensi ini memiliki format[processing-job-name]/algo-[instance-number-in-cluster]. Gunakan dimensi ini untuk memfilter metrik instans untuk pekerjaan pemrosesan dan instance yang ditentukan. Format dimensi ini hanya ada di /aws/sagemaker/ProcessingJobs namespace.

Untuk pekerjaan pelatihan, nilai untuk dimensi ini memiliki format[training-job-name]/algo-[instance-number-in-cluster]. Gunakan dimensi ini untuk memfilter metrik instans untuk pekerjaan dan instance pelatihan yang ditentukan. Format dimensi ini hanya ada di /aws/sagemaker/TrainingJobs namespace.

Untuk pekerjaan transformasi batch, nilai untuk dimensi ini memiliki format[transform-job-name]/[instance-id]. Gunakan dimensi ini untuk memfilter metrik instans untuk pekerjaan dan instance transformasi batch yang ditentukan. Format dimensi ini hanya ada di /aws/sagemaker/TransformJobs namespace.

SageMaker Metrik pekerjaan Inference Recommender

/aws/sagemaker/InferenceRecommendationsJobsNamespace menyertakan metrik berikut untuk pekerjaan rekomendasi inferensi.

Metrik Inferensi Rekomendasi
Metrik Deskripsi
ClientInvocations

Jumlah InvokeEndpoint permintaan yang dikirim ke titik akhir model, seperti yang diamati oleh Inference Recommender.

Satuan: Tidak ada

Statistik yang valid: Jumlah

ClientInvocationErrors

Jumlah InvokeEndpoint permintaan yang gagal, seperti yang diamati oleh Inference Recommender.

Satuan: Tidak ada

Statistik yang valid: Jumlah

ClientLatency

Interval waktu yang dibutuhkan antara mengirim InvokeEndpoint panggilan dan menerima respons seperti yang diamati oleh Inference Recommender. Perhatikan bahwa waktu dalam milidetik, sedangkan metrik pemanggilan ModelLatency titik akhir dalam mikrodetik.

Unit: Milidetik

Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel, Persentil

NumberOfUsers

Jumlah pengguna bersamaan yang mengirim InvokeEndpoint permintaan ke titik akhir model.

Satuan: Tidak ada

Statistik yang valid: Max, Min, Rata-rata

Dimensi untuk metrik pekerjaan Inferensi Rekomendasi
Dimensi Deskripsi
JobName

Menyaring metrik pekerjaan Inferensi Rekomendasi untuk pekerjaan Inferensi Rekomendasi yang ditentukan.

EndpointName

Menyaring metrik pekerjaan Inferensi Rekomendasikan untuk titik akhir yang ditentukan.

SageMaker Metrik Kebenaran Dasar

Metrik Kebenaran Dasar
Metrik Deskripsi
ActiveWorkers

Seorang pekerja aktif tunggal pada tim kerja pribadi mengirimkan, melepaskan, atau menolak tugas. Untuk mendapatkan jumlah total pekerja aktif, gunakan statistik Sum. Ground Truth mencoba menyampaikan setiap ActiveWorkers acara individu sekali. Jika pengiriman ini tidak berhasil, metrik ini mungkin tidak melaporkan jumlah total pekerja aktif.

Satuan: Tidak ada

Statistik yang valid: Jumlah, Jumlah Sampel

DatasetObjectsAutoAnnotated

Jumlah objek dataset yang diberi anotasi otomatis dalam pekerjaan pelabelan. Metrik ini hanya dipancarkan saat pelabelan otomatis diaktifkan. Untuk melihat kemajuan pekerjaan pelabelan, gunakan metrik Max.

Satuan: Tidak ada

Statistik yang valid: Maks

DatasetObjectsHumanAnnotated

Jumlah objek dataset yang dianotasi oleh manusia dalam pekerjaan pelabelan. Untuk melihat kemajuan pekerjaan pelabelan, gunakan metrik Max.

Satuan: Tidak ada

Statistik yang valid: Maks

DatasetObjectsLabelingFailed

Jumlah objek dataset yang gagal memberi label dalam pekerjaan pelabelan. Untuk melihat kemajuan pekerjaan pelabelan, gunakan metrik Max.

Satuan: Tidak ada

Statistik yang valid: Maks

JobsFailed

Satu pekerjaan pelabelan gagal. Untuk mendapatkan jumlah total pekerjaan pelabelan yang gagal, gunakan statistik Jumlah.

Satuan: Tidak ada

Statistik yang valid: Jumlah, Jumlah Sampel

JobsSucceeded

Pekerjaan pelabelan tunggal berhasil. Untuk mendapatkan jumlah total pekerjaan pelabelan yang berhasil, gunakan statistik Jumlah.

Satuan: Tidak ada

Statistik yang valid: Jumlah, Jumlah Sampel

JobsStopped

Satu pekerjaan pelabelan dihentikan. Untuk mendapatkan jumlah total pekerjaan pelabelan yang dihentikan, gunakan statistik Jumlah.

Satuan: Tidak ada

Statistik yang valid: Jumlah, Jumlah Sampel

TasksAccepted

Satu tugas diterima oleh seorang pekerja. Untuk mendapatkan jumlah total tugas yang diterima oleh pekerja, gunakan statistik Jumlah. Ground Truth mencoba menyampaikan setiap TaskAccepted peristiwa individu sekali. Jika pengiriman ini tidak berhasil, metrik ini mungkin tidak melaporkan jumlah total tugas yang diterima.

Satuan: Tidak ada

Statistik yang valid: Jumlah, Jumlah Sampel

TasksDeclined

Satu tugas ditolak oleh seorang pekerja. Untuk mendapatkan jumlah total tugas yang ditolak oleh pekerja, gunakan statistik Jumlah. Ground Truth mencoba menyampaikan setiap TasksDeclined peristiwa individu sekali. Jika pengiriman ini tidak berhasil, metrik ini mungkin tidak melaporkan jumlah total tugas yang ditolak.

Satuan: Tidak ada

Statistik yang Valid: Jumlah, Jumlah Sampel

TasksReturned

Satu tugas dikembalikan. Untuk mendapatkan jumlah total tugas yang dikembalikan, gunakan statistik Sum. Ground Truth mencoba menyampaikan setiap TasksReturned peristiwa individu sekali. Jika pengiriman ini tidak berhasil, metrik ini mungkin tidak melaporkan jumlah total tugas yang dikembalikan.

Satuan: Tidak ada

Statistik yang valid: Jumlah, Jumlah Sampel

TasksSubmitted

Tugas tunggal dilakukan submitted/completed oleh pekerja swasta. Untuk mendapatkan jumlah total tugas yang diajukan oleh pekerja, gunakan statistik Jumlah. Ground Truth mencoba menyampaikan setiap TasksSubmitted peristiwa individu sekali. Jika pengiriman ini tidak berhasil, metrik ini mungkin tidak melaporkan jumlah total tugas yang dikirimkan.

Satuan: Tidak ada

Statistik yang valid: Jumlah, Jumlah Sampel

TimeSpent

Waktu yang dihabiskan untuk tugas yang diselesaikan oleh pekerja swasta. Metrik ini tidak termasuk waktu ketika seorang pekerja berhenti atau beristirahat. Ground Truth mencoba menyampaikan setiap TimeSpent acara sekali. Jika pengiriman ini tidak berhasil, metrik ini mungkin tidak melaporkan jumlah total waktu yang dihabiskan.

Unit: detik

Statistik yang valid: Jumlah, Jumlah Sampel

TotalDatasetObjectsLabeled

Jumlah objek dataset yang berhasil diberi label dalam pekerjaan pelabelan. Untuk melihat kemajuan pekerjaan pelabelan, gunakan metrik Max.

Satuan: Tidak ada

Statistik yang valid: Maks

Dimensi untuk metrik objek dataset
Dimensi Deskripsi
LabelingJobName

Memfilter metrik jumlah objek kumpulan data untuk pekerjaan pelabelan.

Metrik Toko SageMaker Fitur Amazon

Fitur Metrik konsumsi Store
Metrik Deskripsi
ConsumedReadRequestsUnits

Jumlah unit baca yang dikonsumsi selama periode waktu yang ditentukan. Anda dapat mengambil unit baca yang dikonsumsi untuk operasi runtime penyimpanan fitur dan grup fitur yang sesuai.

Satuan: Tidak ada

Statistik yang valid: Semua

ConsumedWriteRequestsUnits

Jumlah unit tulis yang dikonsumsi selama periode waktu yang ditentukan. Anda dapat mengambil unit tulis yang dikonsumsi untuk operasi runtime penyimpanan fitur dan grup fitur yang sesuai.

Satuan: Tidak ada

Statistik yang valid: Semua

ConsumedReadCapacityUnits

Jumlah unit kapasitas baca yang disediakan yang dikonsumsi selama periode waktu yang ditentukan. Anda dapat mengambil unit kapasitas baca yang dikonsumsi untuk operasi runtime penyimpanan fitur dan grup fitur yang sesuai.

Satuan: Tidak ada

Statistik yang valid: Semua

ConsumedWriteCapacityUnits

Jumlah unit kapasitas tulis yang disediakan yang dikonsumsi selama periode waktu yang ditentukan. Anda dapat mengambil unit kapasitas tulis yang dikonsumsi untuk operasi runtime penyimpanan fitur dan grup fitur yang sesuai.

Satuan: Tidak ada

Statistik yang valid: Semua

Dimensi untuk metrik konsumsi Toko Fitur
Dimensi Deskripsi
FeatureGroupName, OperationName

Fitur filter menyimpan metrik konsumsi runtime dari grup fitur dan operasi yang telah Anda tentukan.

Fitur Menyimpan metrik operasional
Metrik Deskripsi
Invocations

Jumlah permintaan yang dibuat untuk operasi runtime penyimpanan fitur selama periode waktu yang ditentukan.

Satuan: Tidak ada

Statistik yang valid: Jumlah

Operation4XXErrors

Jumlah permintaan yang dibuat ke operasi runtime Feature Store di mana operasi mengembalikan kode respons HTTP 4xx. Untuk setiap respons 4xx, 1 dikirim; jika tidak, 0 dikirim.

Satuan: Tidak ada

Statistik yang valid: Rata-rata, Jumlah

Operation5XXErrors

Jumlah permintaan yang dibuat ke operasi runtime penyimpanan fitur di mana operasi mengembalikan kode respons HTTP 5xx. Untuk setiap respons 5xx, 1 dikirim; jika tidak, 0 dikirim.

Satuan: Tidak ada

Statistik yang valid: Rata-rata, Jumlah

ThrottledRequests

Jumlah permintaan yang dibuat ke operasi runtime penyimpanan fitur di mana permintaan dibatasi. Untuk setiap permintaan yang dibatasi, 1 dikirim; jika tidak, 0 dikirim.

Satuan: Tidak ada

Statistik yang valid: Rata-rata, Jumlah

Latency

Interval waktu untuk memproses permintaan yang dibuat untuk operasi runtime Feature Store. Interval ini diukur dari saat SageMaker AI menerima permintaan hingga mengembalikan respons ke klien.

Satuan: Mikrodetik

Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel, Persentil

Dimensi untuk metrik operasional Toko Fitur
Dimensi Deskripsi

FeatureGroupName, OperationName

Fitur filter menyimpan metrik operasional runtime dari grup fitur dan operasi yang telah Anda tentukan. Anda dapat menggunakan dimensi ini untuk operasi non batch, seperti GetRecord, PutRecord, DeleteRecord, dan ListRecords.
OperationName

Fitur filter menyimpan metrik operasional runtime untuk operasi yang telah Anda tentukan. Anda dapat menggunakan dimensi ini untuk operasi batch seperti BatchGetRecord dan BatchWriteRecord.

SageMaker metrik saluran pipa

AWS/Sagemaker/ModelBuildingPipelineNamespace menyertakan metrik berikut untuk eksekusi pipeline.

Tersedia dua kategori metrik eksekusi pipeline:

  • Metrik Eksekusi di Semua Pipeline — Metrik eksekusi pipeline tingkat akun (untuk semua pipeline di akun saat ini)

  • Metrik Eksekusi berdasarkan Pipeline — Metrik eksekusi pipa per pipeline

Metrik tersedia pada frekuensi 1 menit.

Metrik eksekusi pipa
Metrik Deskripsi
ExecutionStarted

Jumlah eksekusi pipeline yang dimulai.

Unit: Hitungan

Statistik yang valid: Rata-rata, Jumlah

ExecutionFailed

Jumlah eksekusi pipeline yang gagal.

Unit: Hitungan

Statistik yang valid: Rata-rata, Jumlah

ExecutionSucceeded

Jumlah eksekusi pipeline yang berhasil.

Unit: Hitungan

Statistik yang valid: Rata-rata, Jumlah

ExecutionStopped

Jumlah eksekusi pipeline yang berhenti.

Unit: Hitungan

Statistik yang valid: Rata-rata, Jumlah

ExecutionDuration

Durasi dalam milidetik saat eksekusi pipeline berjalan.

Unit: Milidetik

Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel

Dimensi untuk metrik eksekusi pipeline
Dimensi Deskripsi
PipelineName

Memfilter metrik eksekusi pipeline untuk pipeline tertentu.

AWS/Sagemaker/ModelBuildingPipelineNamespace menyertakan metrik berikut untuk langkah-langkah pipeline.

Metrik tersedia pada frekuensi 1 menit.

Metrik langkah pipa
Metrik Deskripsi
StepStarted

Jumlah langkah yang dimulai.

Unit: Hitungan

Statistik yang valid: Rata-rata, Jumlah

StepFailed

Jumlah langkah yang gagal.

Unit: Hitungan

Statistik yang valid: Rata-rata, Jumlah

StepSucceeded

Jumlah langkah yang berhasil.

Unit: Hitungan

Statistik yang valid: Rata-rata, Jumlah

StepStopped

Jumlah langkah yang berhenti.

Unit: Hitungan

Statistik yang valid: Rata-rata, Jumlah

StepDuration

Durasi dalam milidetik saat langkah berjalan.

Unit: Milidetik

Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel

Dimensi untuk metrik langkah pipa
Dimensi Deskripsi
PipelineName, StepName

Memfilter metrik langkah untuk pipeline dan langkah tertentu.