Jalankan beban kerja AI/ML inferensi di Amazon EKS

Penskalaan GPU Dinamis — Karpenter menyediakan instans GPU berukuran tepat sesuai permintaan berdasarkan permintaan sumber daya Pod, penskalaan dari nol saat idle dan menambah kapasitas saat lalu lintas meningkat. Ini menghindari penyediaan sumber daya GPU yang mahal secara berlebihan.

Fast cold start — SOCI (Seekable OCI) parallel pull download dan unpack layer image container besar secara bersamaan, mengurangi waktu tarik gambar dari menit ke detik. Dikombinasikan dengan model streaming dari Amazon S3 langsung ke memori GPU, Pod dapat mulai melayani dalam waktu kurang dari dua menit.

Pemulihan kegagalan GPU otomatis - Agen pemantauan simpul EKS mendeteksi kegagalan perangkat keras GPU dan memicu penggantian node otomatis, meminimalkan waktu henti tanpa intervensi manual.

Optimalisasi biaya — Instans spot dengan On-Demand fallback, pemilihan instans berukuran tepat, dan perilaku scale-to-zero mengurangi biaya GPU. Kapasitas cadangan (ODCR) memberikan penghematan tambahan untuk beban kerja kondisi mapan.

Standar terbuka dan portabilitas - Beban kerja inferensi dijalankan pada API Kubernetes standar (Deployments, Services, HPA) dengan server model open source seperti VLLm atau SGlang, menyediakan portabilitas di seluruh lingkungan.

Pemantauan terintegrasi — Metrik Prometheus dari VllM atau SGLang dan Eksportir NVIDIA DCGM memberikan visibilitas ke latensi permintaan, throughput token, pemanfaatan GPU, dan penggunaan memori melalui dasbor Grafana.

Inferensi — Proses menjalankan model terlatih untuk menghasilkan output (teks, embeddings, klasifikasi) dari data input.

Server model — Layanan kontainer yang memuat model ke dalam memori, menerima permintaan inferensi, dan mengembalikan prediksi. Contohnya termasuk VllM, SGlang, Triton Inference Server, dan Text Generation Inference (TGI).

Bobot model — Parameter yang dipelajari dari model terlatih, disimpan sebagai file (biasanya dalam format SafeTensors atau GGUF) yang dimuat server model ke dalam memori GPU.

Accelerator — Perangkat keras khusus seperti GPU atau AWS Trainium/Inferentia chip NVIDIA yang mempercepat operasi matriks yang diperlukan untuk inferensi.

Paralelisme tensor — Memisahkan model di beberapa GPU pada node yang sama untuk melayani model yang melebihi memori satu GPU.

Cache KV — Buffer memori yang menyimpan pasangan nilai kunci yang dihitung sebelumnya selama pembuatan teks, menghindari perhitungan berlebihan untuk setiap token baru.

Time to First Token (TTFT) — Waktu dari kedatangan permintaan hingga token pertama yang dihasilkan. Penting untuk aplikasi interaktif.

Time Per Output Token (TPOT) — Rata-rata waktu untuk menghasilkan setiap token berikutnya setelah yang pertama.

End-to-end latensi permintaan - Total waktu dari pengajuan permintaan hingga penyelesaian respons penuh.

Permintaan per detik — Total permintaan inferensi yang disajikan per detik di semua replika.

Token keluaran per detik — Tingkat pembuatan token, diukur sebagai total token keluaran dibagi dengan waktu yang telah berlalu.

Pemanfaatan GPU — Persentase siklus komputasi GPU yang secara aktif digunakan untuk inferensi.

Pemanfaatan cache KV — Persentase memori cache KV yang dialokasikan yang digunakan, menunjukkan seberapa dekat server dengan kapasitas.

SOCI parallel pull - Mengunduh dan membongkar lapisan gambar kontainer secara bersamaan, bukan secara berurutan. Diaktifkan secara default pada Mode Otomatis EKS untuk instans GPU.

Streaming model dari S3 - Alat seperti Run:ai model streaming Model Streamer bobot langsung dari Amazon S3 ke memori GPU, melewati disk lokal dan mengurangi waktu muat dari menit ke detik.

Menyimpan gambar di Amazon ECR — Menarik dari repositori ECR regional melalui titik akhir VPC menghindari latensi internet untuk gambar kontainer besar.

Caching penyimpanan instance - G-family instance dengan disk NVMe lokal dapat menyimpan lapisan kontainer dan artefak model, mempercepat penarikan berikutnya pada node yang sama.