AI/ML Inferenz-Workloads auf Amazon EKS ausführen

Dynamische GPU-Skalierung — Karpenter stellt bei Bedarf auf der Grundlage von Pod-Ressourcenanforderungen GPU-Instances in der richtigen Größe bereit. Im Leerlauf skaliert es von Null an und erhöht die Kapazität, wenn der Datenverkehr zunimmt. Dadurch wird eine übermäßige Bereitstellung teurer GPU-Ressourcen vermieden.

Schnelle Kaltstarts — SOCI (Seekable OCI) lädt große Container-Image-Ebenen parallel herunter und entpackt sie gleichzeitig, wodurch die Abrufzeiten von Bildern von Minuten auf Sekunden reduziert werden. In Kombination mit dem Modellstreaming von Amazon S3 direkt in den GPU-Speicher können Pods in weniger als zwei Minuten mit der Bereitstellung beginnen.

Automatische Wiederherstellung bei GPU-Ausfällen — Der EKS-Node-Monitoring-Agent erkennt GPU-Hardwarefehler und löst den automatischen Node-Austausch aus, wodurch Ausfallzeiten ohne manuelles Eingreifen minimiert werden.

Kostenoptimierung — Spot-Instances mit On-Demand Fallback, Instance-Auswahl in der richtigen Größe und Skalierungsverhalten auf Null reduzieren die GPU-Kosten. Reserved Capacity (ODCRs) bietet zusätzliche Einsparungen bei stationären Workloads.

Offene Standards und Portabilität — Inference-Workloads werden auf Standard-Kubernetes-APIs (Deployments, Services, HPAs) mit Open-Source-Modellservern wie vLLM oder sGLang ausgeführt und bieten so die Portabilität zwischen Umgebungen.

Integrierte Überwachung — Prometheus-Metriken von vLLM oder sGLang und dem NVIDIA DCGM Exporter bieten über Grafana-Dashboards Einblick in die Anforderungslatenz, den Token-Durchsatz, die GPU-Auslastung und die Speichernutzung.

Inferenz — Der Prozess, bei dem ein trainiertes Modell ausgeführt wird, um Ausgaben (Text, Einbettungen, Klassifizierungen) aus Eingabedaten zu generieren.

Modellserver — Ein containerisierter Dienst, der ein Modell in den Speicher lädt, Inferenzanforderungen empfängt und Vorhersagen zurückgibt. Beispiele hierfür sind vLLM, sGLang, Triton Inference Server und Text Generation Inference (TGI). https://github.com/huggingface/text-generation-inference

Modellgewichte — Die erlernten Parameter eines trainierten Modells, die als Dateien (normalerweise im SafeTensors oder GGUF-Format) gespeichert werden, die der Modellserver in den GPU-Speicher lädt.

Beschleuniger — Spezialisierte Hardware wie NVIDIA-GPUs oder AWS Trainium/Inferentia -Chips, die die für die Inferenz erforderlichen Matrixoperationen beschleunigen.

Tensorparallelität — Aufteilung eines Modells auf mehrere GPUs auf demselben Knoten, um Modelle zu bedienen, die den Speicher einer einzelnen GPU überschreiten.

KV-Cache — Ein Speicherpuffer, der zuvor berechnete Schlüssel-Wert-Paare während der Textgenerierung speichert, wodurch redundante Berechnungen für jedes neue Token vermieden werden.

Zeit bis zum ersten Token (TTFT) — Zeit vom Eintreffen der Anfrage bis zum ersten generierten Token. Kritisch für interaktive Anwendungen.

Time Per Output Token (TPOT) — Durchschnittliche Zeit, um jedes nachfolgende Token nach dem ersten zu generieren.

End-to-end Anforderungslatenz — Gesamtzeit von der Einreichung der Anfrage bis zum Abschluss der vollständigen Antwort.

Anforderungen pro Sekunde — Gesamtzahl der pro Sekunde bearbeiteten Inferenzanforderungen für alle Replikate.

Ausgabe-Token pro Sekunde — Rate der Token-Generierung, gemessen als Gesamtzahl der Ausgabe-Token geteilt durch die verstrichene Zeit.

GPU-Auslastung — Prozentsatz der GPU-Rechenzyklen, die aktiv für Inferenzen verwendet werden.

KV-Cache-Auslastung — Prozentsatz des verwendeten zugewiesenen KV-Cache-Speichers, der angibt, wie nahe der Server an der Kapazität ist.

SOCI-Parallel-Pull — Lädt Container-Image-Ebenen nicht nacheinander, sondern gleichzeitig herunter und entpackt sie. Standardmäßig im EKS-Auto-Modus für GPU-Instances aktiviert.

Modellstreaming von S3 — Tools wie Run:ai Model Streamer streamen Modellgewichte direkt von Amazon S3 in den GPU-Speicher, umgehen dabei die lokale Festplatte und reduzieren die Ladezeit von Minuten auf Sekunden.

Bilder in Amazon ECR speichern — Durch das Abrufen aus einem regionalen ECR-Repository über einen VPC-Endpunkt werden Internetlatenzen für große Container-Images vermieden.

Instance-Speicher-Caching — G-family Instances mit lokalen NVMe-Festplatten können Container-Ebenen zwischenspeichern und Artefakte modellieren, wodurch nachfolgende Abrufe auf demselben Knoten beschleunigt werden.