Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
SageMaker Referensi OpenTelemetry metrik AI Insights
Bagian ini menyediakan daftar lengkap OpenTelemetry metrik yang dipancarkan oleh pengam SageMaker atan terperinci AI. Pengamatan terperinci dibangun di atas OpenTelemetry (oTel) dan mengumpulkan metrik operasional berbutir halus dari lapisan kerangka kerja GPU, node, dan inferensi, menerbitkannya dengan label kaya. CloudWatch
Pengamatan terperinci menerbitkan metrik OpenTelemetry (oTel) CloudWatch melalui OTLP. Ini bukan metrik Prometheus. Metrik disimpan secara asli CloudWatch sebagai data metrik oTel dan dapat dikueri menggunakan sintaks PromQL.
Account-level metrik agregat
| Metrik | Tipe | Deskripsi |
|---|
TotalEndpoints | Agregat | Hitung semua titik akhir dalam akun |
TotalICs | Agregat | Hitung semua komponen inferensi |
TotalGPUs | Agregat | Hitungan semua GPU (berasal dariDCGM_FI_DEV_GPU_UTIL) |
Endpoint-level metrik
| Metrik | Tipe | Deskripsi |
|---|
InstanceCountPerEndpoint | Agregat | Jumlah instans yang melayani lalu lintas |
InstancesPerAZ | Agregat | Instans per zona ketersediaan |
EmptyInstanceCount | Agregat | Instans tanpa IC yang ditempatkan |
ScalingAction | Mentah | Peristiwa penskalaan (in/out) |
ICECount | Mentah | Jumlah Kesalahan Kapasitas Tidak Mencukupi |
CPUUtilization(EP) | Agregat | Endpoint-level Pemanfaatan CPU |
MemoryUtilization(EP) | Agregat | Endpoint-level pemanfaatan memori |
DiskUtilization(EP) | Agregat | Endpoint-level pemanfaatan disk |
E2EScalingLatency | Mentah | End-to-end durasi penskalaan |
RebalancingType | Mentah | Jenis acara penyeimbangan kembali |
RebalancingDuration | Mentah | Durasi penyeimbangan ulang (detik) |
RebalancingCopiesMoved | Mentah | Salinan IC dipindahkan selama penyeimbangan ulang |
AZSkewDelta | Mentah | Ketidakseimbangan distribusi AZ |
InstancesReleased | Mentah | Instans dibebaskan dengan menyeimbangkan kembali |
Metrik kerangka inferensi (vLLM/SGlang)
| Metrik | Tipe | Deskripsi |
|---|
InputTokensPerSecond | Agregat | Tingkat token masukan |
OutputTokensPerSecond | Agregat | Tingkat token keluaran |
TotalTPS | Agregat | Total token per detik |
TPSUtilization | Agregat | Persentase pemanfaatan TPS |
TTFT | Mentah | Waktu untuk Token Pertama (histogram) |
InterTokenLatency | Mentah | Inter-Token Latensi (histogram) |
KVCacheUtilization | Mentah | Persentase penggunaan cache KV |
QueueDepth | Mentah | Menunggu permintaan (antrian) |
BatchSize | Mentah | Menjalankan permintaan (dalam penerbangan) |
TPSPerInstance | Agregat | TPS dikumpulkan per instans |
ConcurrentReqsPerCopy | Mentah | Per-copy permintaan dalam penerbangan |
FirstChunkLatencyPerIC | Mentah | TTFT untuk IC |
4XXErrorRatePerIC | Agregat | Kesalahan klien per IC |
5XXErrorRatePerIC | Agregat | Kesalahan server per IC |
TTFTPerIC | Mentah | TTFT disaring oleh IC |
ITLPerIC | Mentah | ITL disaring oleh IC |
InputTPSPerIC | Agregat | Masukan TPS untuk IC |
OutputTPSPerIC | Agregat | Output TPS per IC |
KVCachePerIC | Mentah | KV cache per IC |
ModelErrorBreakdown | Agregat | Rincian kesalahan berdasarkan jenis |
TTFTdan InterTokenLatency bergantung pada kerangka kerja dan hanya didukung untuk vLLM dan sgLang.
Metrik GPU (DCGM)
Metrik ini dikumpulkan dari eksportir NVIDIA Data Center GPU Manager (DCGM). Mereka tersedia di semua titik akhir GPU terlepas dari kerangka inferensi.
| Metrik | Tipe | Deskripsi |
|---|
DCGM_FI_DEV_GPU_UTIL | Mentah | Pemanfaatan GPU (%) |
DCGM_FI_DEV_MEM_COPY_UTIL | Mentah | Pemanfaatan salinan memori (%) |
DCGM_FI_DEV_GPU_TEMP | Mentah | Suhu GPU (° C) |
DCGM_FI_DEV_MEMORY_TEMP | Mentah | Suhu memori (° C) |
DCGM_FI_DEV_FB_FREE | Mentah | Memori framebuffer gratis (byte) |
DCGM_FI_DEV_FB_USED | Mentah | Memori framebuffer yang digunakan (byte) |
DCGM_FI_DEV_SM_ACTIVE | Mentah | Streaming multiprosesor aktif (%) |
Metrik simpul (contoh)
Metrik ini dikumpulkan dari eksportir node. Mereka memberikan visibilitas tingkat contoh ke dalam CPU, memori, dan pemanfaatan disk.
| Metrik | Tipe | Deskripsi |
|---|
node_cpu_seconds_total | Mentah | Waktu CPU per mode per inti (detik) |
node_memory_MemTotal_bytes | Mentah | Total memori (byte) |
node_memory_MemAvailable_bytes | Mentah | Memori yang tersedia (byte) |
node_filesystem_size_bytes | Mentah | Ukuran total sistem file (byte) |
node_filesystem_avail_bytes | Mentah | Ruang yang tersedia sistem file (byte) |
Metrik penempatan HA dan IC
| Metrik | Tipe | Deskripsi |
|---|
ICCopyCountPerAZ | Agregat | Salinan IC per AZ |
ICCopiesPerAZ | Agregat | Salinan IC per AZ (tampilan alternatif) |
AZSkewScore | Agregat | Skor ketidakseimbangan AZ |
AZBalanceScore | Agregat | Endpoint-level keseimbangan |
ICDensityPerAZ | Agregat | Kepadatan IC per AZ |
ICCopiesPerInstance | Agregat | Salinan IC per instans |
ICListPerInstance | Agregat | IC mana pada contoh mana |
Metrik siklus hidup dan penyediaan
| Metrik | Tipe | Deskripsi |
|---|
ModelDownloadTime | Mentah | Saatnya Amazon S3 mengunduh contoh |
GPULoadTime | Mentah | Waktu untuk bobot ke memori GPU |
ContainerStartDuration | Mentah | Wadah mulai pemeriksaan kesehatan |
ColdStartDuration | Mentah | End-to-end: penciptaan hingga pemanggilan pertama |
Metrik hanya tersedia sebagai metrik CloudWatch klasik
Metrik berikut hanya tersedia sebagai metrik CloudWatch klasik (namespace dan model dimensi) dan memerlukan pengayaan oTEL agar muncul sebagai OpenTelemetry metrik.
| Metrik | Catatan |
|---|
InvocationsPerIC | Diblokir dari OpenTelemetry emisi langsung |
InvocationsPerCopy | Diblokir |
ModelLatencyPerIC | Diblokir — gunakan vllm:e2e_request_latency_seconds sebagai alternatif oTel |
OverheadLatencyPerIC | Diblokir |
MidStreamErrorsPerIC | Diblokir (hanya streaming dua arah) |
