Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

# CloudWatch SageMaker Wawasan AI
<a name="SageMaker-Insights"></a>

Gunakan CloudWatch SageMaker AI Insights untuk memantau dan memecahkan masalah titik akhir inferensi SageMaker AI dalam skala besar. Dasbor menampilkan metrik dan visualisasi yang dikuratori di tiga tampilan — Kin ** erja**, ** Kapasitas**, dan Ke ** andalan ** — sehingga Anda dapat dengan cepat mengidentifikasi masalah, mengoptimalkan pemanfaatan sumber daya, dan memastikan ketersediaan tinggi di seluruh titik akhir Anda.

SageMaker AI Insights mendukung pemantauan di seluruh jenis titik akhir (titik akhir model tunggal dan titik akhir berbasis komponen inferensi (IC)) dan kerangka kerja inferensi (vLLM, SGlang, Tensorrt‐LLM).

Untuk memulai SageMaker AI Insights, lihat topik berikut.

**Topik**
+ [Memulai dengan CloudWatch SageMaker AI Insights](SageMaker-AI-Insights-Get-Started.md)
+ [SageMaker Dasbor Wawasan AI](SageMaker-AI-Insights-Dashboard.md)
+ [SageMaker Referensi OpenTelemetry metrik AI Insights](SageMaker-AI-Insights-Metrics.md)
+ [Memecahkan Masalah Wawasan AI SageMaker](SageMaker-AI-Insights-Troubleshooting.md)

## Kemampuan utama
<a name="SageMaker-AI-Insights-capabilities"></a>
+ **OpenTelemetry-koleksi asli. ** Metrik dikumpulkan menggunakan OtEL Collector yang mengikis titik akhir Prometheus dari DCGM (metrik GPU), eksportir node (CPU, memori, disk), dan wadah kerangka inferensi (vLLM, SGlang).
+ **Label dimensi yang kaya. ** Setiap metrik menyertakan label seperti`aws.sagemaker.endpoint.name`,`aws.sagemaker.inference_component.name`,`@resource.host.id`,`@resource.cloud.availability_zone`, dan`@resource.host.type`.
+ **Atribusi per‐GPU. ** Metrik GPU (DCGM) mencakup atribusi komponen per inferensi untuk instans multitenant.
+ **Metrik kerangka inferensi. ** Metrik vLLM dan SGlang asli — token per detik, waktu ke token pertama (TTFT), latensi antar token, pemanfaatan cache KV, kedalaman antrian, ukuran batch—tanpa instrumentasi khusus.
+ **Dukungan kueri PromQL. ** Kueri di CloudWatch, CloudWatch Query Studio, atau Amazon Managed Grafana.
+ **Frekuensi goresan yang dapat dikonfigurasi. ** Atur melalui `MetricPublishFrequencyInSeconds` (10, 30, 60, 120, 180, 240, atau 300 detik; default 60). Metrik bidang kontrol didorong oleh peristiwa.

## Arsitektur dan aliran data
<a name="SageMaker-AI-Insights-architecture"></a>

1. **Model wadah**, eksportir ** DCGM**, dan eksportir ** node mengek ** spos metrik yang kompatibel dengan Prometheus pada instance.

1. OT ** el Collec ** tor mengikis titik akhir ini dan memperkaya setiap metrik dengan label (nama titik akhir, nama IC, ID instance, AZ).

1. Metrik yang diperkaya ** diekspor melalui OTLP ** ke CloudWatch.

1. Metrik ** dapat dikueri melalui Prom ** QL di. CloudWatch

```
┌─────────────────────────────────────────────────────────────────┐
│  SageMaker Endpoint Instance                                      │
│                                                                   │
│  ┌──────────────┐  ┌──────────────┐  ┌──────────────────────┐    │
│  │ Model        │  │ DCGM         │  │ Node Exporter        │    │
│  │ Container    │  │ Exporter     │  │ (CPU/Mem/Disk)       │    │
│  │ (vLLM/SGLang)│  │ (GPU)        │  │                      │    │
│  └──────┬───────┘  └──────┬───────┘  └──────────┬───────────┘    │
│         │                 │                     │                 │
│         └─────────────────┼─────────────────────┘                 │
│                           ▼                                       │
│              ┌─────────────────────────┐                          │
│              │   OTel Collector        │                          │
│              │   (scrape + enrich)     │                          │
│              └────────────┬────────────┘                          │
└───────────────────────────┼───────────────────────────────────────┘
                            │ OTLP
                            ▼
              ┌─────────────────────────┐
              │   Amazon CloudWatch     │
              │   (PromQL-queryable)    │
              └─────────────────────────┘
```

## Cara mengakses
<a name="SageMaker-AI-Insights-access"></a>

Anda dapat membuka SageMaker AI Insights dari konsol SageMaker AI dengan menggunakan salah satu jalur berikut.


| Sumber | Tindakan | Tujuan | 
| --- | --- | --- | 
| SageMaker Konsol AI →  Daftar titik akhir  | Pilih  Open SageMaker AI Insights  | Dasbor tingkat armada (tanpa filter) | 
| SageMaker Konsol AI → halaman detail titik akhir | Pilih  Lihat di SageMaker AI Insights  | Dasbor difilter ke titik akhir itu | 
| SageMaker Konsol AI →  tab  IC → baris per-IC | Pilih  Metrik  | Dasbor difilter ke titik akhir dan komponen inferensi | 

Anda juga dapat menavigasi langsung melalui CloudWatch konsol dengan memilih Pemantauan ** Infrastruktur ** → W ** SageMaker awasan AI**.

## Prasyarat
<a name="SageMaker-AI-Insights-prerequisites"></a>
+ Setidaknya satu titik akhir inferensi SageMaker AI dalam status `InService`
+ `EnableDetailedObservability`disetel ke `true` pada konfigurasi titik akhir (default untuk titik akhir baru)
+ Pengayaan oTel diaktifkan di akun Anda
+ Izin `cloudwatch:GetMetricData` dan `cloudwatch:ListMetrics` IAM

Untuk informasi selengkapnya, lihat [Memulai dengan CloudWatch SageMaker AI Insights](SageMaker-AI-Insights-Get-Started.md).

## Harga
<a name="SageMaker-AI-Insights-pricing"></a>

CloudWatch OpenTelemetry konsumsi metrik berlaku. Untuk informasi selengkapnya, lihat [ CloudWatch Harga Amazon](https://aws.amazon.com/cloudwatch/pricing/).