View a markdown version of this page

CloudWatch SageMaker Wawasan AI - Amazon CloudWatch
Kemampuan utamaArsitektur dan aliran dataCara mengaksesPrasyaratHarga

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

CloudWatch SageMaker Wawasan AI

Gunakan CloudWatch SageMaker AI Insights untuk memantau dan memecahkan masalah titik akhir inferensi SageMaker AI dalam skala besar. Dasbor menampilkan metrik dan visualisasi yang dikuratori di tiga tampilan — Kin erja, Kapasitas, dan Ke andalan — sehingga Anda dapat dengan cepat mengidentifikasi masalah, mengoptimalkan pemanfaatan sumber daya, dan memastikan ketersediaan tinggi di seluruh titik akhir Anda.

SageMaker AI Insights mendukung pemantauan di seluruh jenis titik akhir (titik akhir model tunggal dan titik akhir berbasis komponen inferensi (IC)) dan kerangka kerja inferensi (vLLM, SGlang, Tensorrt‐LLM).

Untuk memulai SageMaker AI Insights, lihat topik berikut.

Topik

Kemampuan utama

  • OpenTelemetry-koleksi asli. Metrik dikumpulkan menggunakan OtEL Collector yang mengikis titik akhir Prometheus dari DCGM (metrik GPU), eksportir node (CPU, memori, disk), dan wadah kerangka inferensi (vLLM, SGlang).

  • Label dimensi yang kaya. Setiap metrik menyertakan label sepertiaws.sagemaker.endpoint.name,aws.sagemaker.inference_component.name,@resource.host.id,@resource.cloud.availability_zone, dan@resource.host.type.

  • Atribusi per‐GPU. Metrik GPU (DCGM) mencakup atribusi komponen per inferensi untuk instans multitenant.

  • Metrik kerangka inferensi. Metrik vLLM dan SGlang asli — token per detik, waktu ke token pertama (TTFT), latensi antar token, pemanfaatan cache KV, kedalaman antrian, ukuran batch—tanpa instrumentasi khusus.

  • Dukungan kueri PromQL. Kueri di CloudWatch, CloudWatch Query Studio, atau Amazon Managed Grafana.

  • Frekuensi goresan yang dapat dikonfigurasi. Atur melalui MetricPublishFrequencyInSeconds (10, 30, 60, 120, 180, 240, atau 300 detik; default 60). Metrik bidang kontrol didorong oleh peristiwa.

Arsitektur dan aliran data

  1. Model wadah, eksportir DCGM, dan eksportir node mengek spos metrik yang kompatibel dengan Prometheus pada instance.

  2. OT el Collec tor mengikis titik akhir ini dan memperkaya setiap metrik dengan label (nama titik akhir, nama IC, ID instance, AZ).

  3. Metrik yang diperkaya diekspor melalui OTLP ke CloudWatch.

  4. Metrik dapat dikueri melalui Prom QL di. CloudWatch

┌─────────────────────────────────────────────────────────────────┐
│  SageMaker Endpoint Instance                                      │
│                                                                   │
│  ┌──────────────┐  ┌──────────────┐  ┌──────────────────────┐    │
│  │ Model        │  │ DCGM         │  │ Node Exporter        │    │
│  │ Container    │  │ Exporter     │  │ (CPU/Mem/Disk)       │    │
│  │ (vLLM/SGLang)│  │ (GPU)        │  │                      │    │
│  └──────┬───────┘  └──────┬───────┘  └──────────┬───────────┘    │
│         │                 │                     │                 │
│         └─────────────────┼─────────────────────┘                 │
│                           ▼                                       │
│              ┌─────────────────────────┐                          │
│              │   OTel Collector        │                          │
│              │   (scrape + enrich)     │                          │
│              └────────────┬────────────┘                          │
└───────────────────────────┼───────────────────────────────────────┘
                            │ OTLP
                            ▼
              ┌─────────────────────────┐
              │   Amazon CloudWatch     │
              │   (PromQL-queryable)    │
              └─────────────────────────┘

Cara mengakses

Anda dapat membuka SageMaker AI Insights dari konsol SageMaker AI dengan menggunakan salah satu jalur berikut.

Sumber Tindakan Tujuan
SageMaker Konsol AI → Daftar titik akhir Pilih Open SageMaker AI Insights Dasbor tingkat armada (tanpa filter)
SageMaker Konsol AI → halaman detail titik akhir Pilih Lihat di SageMaker AI Insights Dasbor difilter ke titik akhir itu
SageMaker Konsol AI → tab IC → baris per-IC Pilih Metrik Dasbor difilter ke titik akhir dan komponen inferensi

Anda juga dapat menavigasi langsung melalui CloudWatch konsol dengan memilih Pemantauan Infrastruktur → W SageMaker awasan AI.

Prasyarat

  • Setidaknya satu titik akhir inferensi SageMaker AI dalam status InService

  • EnableDetailedObservabilitydisetel ke true pada konfigurasi titik akhir (default untuk titik akhir baru)

  • Pengayaan oTel diaktifkan di akun Anda

  • Izin cloudwatch:GetMetricData dan cloudwatch:ListMetrics IAM

Untuk informasi selengkapnya, lihat Memulai dengan CloudWatch SageMaker AI Insights.

Harga

CloudWatch OpenTelemetry konsumsi metrik berlaku. Untuk informasi selengkapnya, lihat CloudWatch Harga Amazon.