AI/ML Inferenz-Workloads auf Amazon EKS ausführen

Dynamische GPU-Skalierung — Karpenter stellt bei Bedarf GPU-Instances in der richtigen Größe auf der Grundlage von Pod-Ressourcenanforderungen bereit, skaliert im Leerlauf von Null und fügt Kapazität hinzu, wenn der Verkehr zunimmt. Dadurch wird eine übermäßige Bereitstellung teurer GPU-Ressourcen vermieden.

Schnelle Kaltstarts — Der parallel SOCI-Pull (Seekable OCI) lädt große Container-Image-Ebenen gleichzeitig herunter und entpackt sie, wodurch die Abrufzeiten von Bildern von Minuten auf Sekunden reduziert werden. In Kombination mit dem direkten Streaming von Modellen von Amazon S3 in den GPU-Speicher können Pods in weniger als zwei Minuten mit der Bereitstellung beginnen.

Automatische Wiederherstellung nach GPU-Ausfällen — Der EKS-Node-Monitoring-Agent erkennt GPU-Hardwarefehler und löst einen automatischen Knotenaustausch aus, wodurch Ausfallzeiten ohne manuelles Eingreifen minimiert werden.

Kostenoptimierung — Spot-Instances mit On-Demand Fallback, Instance-Auswahl der richtigen Größe und Scale-to-Zero-Verhalten reduzieren die GPU-Kosten. Reservierte Kapazität (ODCRs) bietet zusätzliche Einsparungen bei stationären Workloads.

Offene Standards und Portabilität — Inferenz-Workloads werden auf Standard-Kubernetes-APIs (Deployments, Services, HPAs) mit Open-Source-Modellservern wie vLLM oder SGlang ausgeführt und bieten so eine Portabilität zwischen Umgebungen.

Integrierte Überwachung — Prometheus-Metriken von vLLM oder SGlang und dem NVIDIA DCGM Exporter bieten über Grafana-Dashboards Einblicke in die Anforderungslatenz, den Token-Durchsatz, die GPU-Auslastung und die Speichernutzung.

Inferenz — Der Prozess, bei dem ein trainiertes Modell ausgeführt wird, um aus Eingabedaten Ausgaben (Text, Einbettungen, Klassifizierungen) zu generieren.

Modellserver — Ein containerisierter Dienst, der ein Modell in den Speicher lädt, Inferenzanfragen empfängt und Vorhersagen zurückgibt. Beispiele hierfür sind vLLM, SGlang, Triton Inference Server und Text Generation Inference (TGI).

Modellgewichte — Die erlernten Parameter eines trainierten Modells, gespeichert als Dateien (normalerweise im SafeTensors oder GGUF-Format), die der Modellserver in den GPU-Speicher lädt.

Beschleuniger — Spezialisierte Hardware wie NVIDIA-GPUs oder AWS Trainium/Inferentia -Chips, die die für die Inferenz erforderlichen Matrixoperationen beschleunigen.

Tensorparallelität — Aufteilung eines Modells auf mehrere GPUs auf demselben Knoten, um Modelle zu bedienen, die den Arbeitsspeicher einer einzelnen GPU überschreiten.

KV-Cache — Ein Speicherpuffer, der zuvor berechnete Schlüssel-Wert-Paare während der Textgenerierung speichert, wodurch redundante Berechnungen für jedes neue Token vermieden werden.

Time to First Token (TTFT) — Zeit vom Eingang der Anfrage bis zum ersten generierten Token. Kritisch für interaktive Anwendungen.

Time Per Output Token (TPOT) — Durchschnittliche Zeit für die Generierung jedes nachfolgenden Tokens nach dem ersten.

End-to-end Latenz der Anfrage — Gesamtzeit von der Einreichung der Anfrage bis zum Abschluss der vollständigen Antwort.

Anfragen pro Sekunde — Gesamtzahl der Inferenzanfragen, die pro Sekunde über alle Replikate hinweg bedient wurden.

Ausgabetokens pro Sekunde — Rate der Token-Generierung, gemessen als Gesamtzahl der ausgegebenen Token geteilt durch die verstrichene Zeit.

GPU-Auslastung — Prozentsatz der GPU-Rechenzyklen, die aktiv für Inferenzen verwendet werden.

KV-Cache-Auslastung — Prozentsatz des belegten zugewiesenen KV-Cache-Speichers, der angibt, wie nahe der Server an der Kapazität ist.

SOCI-Parallel-Pull — Lädt Container-Bildebenen gleichzeitig und nicht sequentiell herunter und entpackt sie. Standardmäßig aktiviert im EKS-Automodus für GPU-Instanzen.

Model-Streaming von S3 — Tools wie Run:ai Model Streamer streamen Modellgewichte direkt von Amazon S3 in den GPU-Speicher, umgehen die lokale Festplatte und reduzieren die Ladezeit von Minuten auf Sekunden.

Bilder in Amazon ECR speichern — Durch das Abrufen von Bildern aus einem regionalen ECR-Repository über einen VPC-Endpunkt wird Internetlatenz bei großen Container-Images vermieden.

Caching im Instance-Speicher — G-family Instances mit lokalen NVMe-Festplatten können Container-Ebenen und Modellartefakte zwischenspeichern, wodurch nachfolgende Pulls auf demselben Knoten beschleunigt werden.