Unterstützung für die Verbesserung dieser Seite beitragen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Um zu diesem Benutzerhandbuch beizutragen, wählen Sie den GitHub Link Diese Seite bearbeiten auf, der sich im rechten Bereich jeder Seite befindet.

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Ressourcen für den Einstieg in AI/ML Amazon EKS

Für den Einstieg mit Machine Learning in EKS wählen Sie zunächst aus diesen präskriptiven Mustern aus, um schnell einen EKS-Cluster sowie ML-Software und -Hardware für die Ausführung von ML-Workloads bereitzustellen.

Workshops

Generative KI in Amazon EKS Workshop

Erfahren Sie mehr über die ersten Schritte mit Anwendungen großer Sprachmodelle (LLM) und Inferenz in Amazon EKS. Erfahren Sie, wie Sie LLM-Workloads in Produktionsqualität bereitstellen und verwalten können. In praktischen Übungen erfahren Sie, wie Sie Amazon EKS zusammen mit AWS Services und Open-Source-Tools nutzen können, um robuste LLM-Lösungen zu entwickeln. Die Workshop-Umgebung stellt alle erforderlichen Infrastrukturen und Tools zur Verfügung, sodass Sie sich ganz auf das Lernen und die Umsetzung konzentrieren können.

Generative KI in Amazon EKS unter Verwendung von Neuron

Erfahren Sie mehr über die ersten Schritte mit Anwendungen großer Sprachmodelle (LLM) und Inferenz in Amazon EKS. Erfahren Sie, wie Sie produktionsreife LLM-Workloads bereitstellen und verwalten, fortschrittliche RAG-Muster mit Vektordatenbanken implementieren und datengestützte LLM-Anwendungen mit Open-Source-Frameworks erstellen. In praktischen Übungen erfahren Sie, wie Sie Amazon EKS zusammen mit AWS Services und Open-Source-Tools nutzen können, um robuste LLM-Lösungen zu entwickeln. Die Workshop-Umgebung stellt alle erforderlichen Infrastrukturen und Tools zur Verfügung, sodass Sie sich ganz auf das Lernen und die Umsetzung konzentrieren können.

Bewährte Methoden

Die AI/ML Schwerpunktthemen im Amazon EKS Best Practices-Leitfaden enthalten detaillierte Empfehlungen zu den folgenden Bereichen zur Optimierung Ihrer AI/ML Workloads auf Amazon EKS.

AI/ML Datenverarbeitung und Autoscaling

In diesem Abschnitt werden bewährte Methoden für die Optimierung von AI/ML Rechenleistung und Autoscaling in Amazon EKS beschrieben, wobei der Schwerpunkt auf GPU-Ressourcenmanagement, Knotenstabilität und Anwendungsskalierung liegt. Er bietet Strategien wie die Planung von Workloads mit bekannten Labels und Knotenaffinität, die Verwendung von ML-Kapazitätsblöcken oder On-Demand Kapazitätsreservierungen und die Implementierung von Knotenzustandsprüfungen mit Tools wie dem EKS Node Monitoring Agent.

AI/ML Netzwerk

In diesem Abschnitt werden bewährte Methoden für die Optimierung von AI/ML Netzwerken in Amazon EKS zur Verbesserung von Leistung und Skalierbarkeit beschrieben, darunter Strategien wie die Auswahl von Instances mit höherer Netzwerkbandbreite oder Elastic Fabric Adapter (EFA) für verteilte Schulungen, die Installation von Tools wie MPI und NCCL und die Aktivierung der Präfix-Delegierung zur Erhöhung der IP-Adressen und zur Verbesserung der Pod-Startzeiten.

AI/ML Sicherheit

Dieser Abschnitt konzentriert sich auf die Sicherung der Datenspeicherung und die Einhaltung der Vorschriften für AI/ML Workloads auf Amazon EKS, einschließlich Praktiken wie der Verwendung von Amazon S3 mit AWS Key Management Service (KMS) für die serverseitige Verschlüsselung (SSE-KMS), die Konfiguration von Buckets mit regionalen KMS-Schlüsseln und S3-Bucket-Schlüsseln zur Kostensenkung, die Erteilung von IAM-Berechtigungen für KMS-Aktionen wie die Entschlüsselung von EKS-Pods und die Prüfung anhand von Protokollen. AWS CloudTrail

AI/ML Speicher

Dieser Abschnitt enthält bewährte Methoden für die Optimierung des Speichers in AI/ML Workloads auf Amazon EKS, darunter Methoden wie die Bereitstellung von Modellen mit CSI-Treibern zur Bereitstellung von Diensten wie S3, FSx for Lustre oder EFS als persistente Volumes, die Auswahl von Speicher auf der Grundlage der Workload-Anforderungen (z. B. FSx for Lustre für verteiltes Training mit Optionen wie Scratch-SSD oder Persistent-SSD) und die Aktivierung von Funktionen wie Datenkomprimierung und Striping.

AI/ML Beobachtbarkeit

Dieser Abschnitt konzentriert sich auf die Überwachung und Optimierung der GPU-Auslastung für AI/ML Workloads auf Amazon EKS, um die Effizienz zu verbessern und die Kosten zu senken. Dazu gehören Strategien wie die Ausrichtung auf eine hohe GPU-Auslastung mit Tools wie CloudWatch Container Insights und NVIDIAS, die in Prometheus und Grafana DCGM-Exporter integriert sind, sowie Metriken, die wir für Ihre Workloads analysieren sollten. AI/ML

AI/ML Leistung

Dieser Abschnitt konzentriert sich auf die Verbesserung der Anwendungsskalierung und -leistung für AI/ML Workloads auf Amazon EKS durch Container-Image-Management und Startoptimierung, einschließlich Praktiken wie der Verwendung kleiner, leichter Basis-Images oder AWS Deep Learning Containers mit mehrstufigen Builds, dem Vorladen von Images über EBS-Snapshots oder dem Pre-Pulling in den Runtime-Cache mithilfe von Deployments. DaemonSets

Referenzarchitekturen

In diesen GitHub Repositorys finden Sie Referenzarchitekturen, Beispielcode und Hilfsprogramme zur Implementierung verteilter Schulungen und Inferenzen für AI/ML Workloads auf Amazon EKS und anderen Services. AWS

Verteiltes AWSome-Training

Dieses Repository bietet eine Sammlung von bewährten Methoden, Referenzarchitekturen, Beispielen für das Modelltraining und Service-Programmen für das Training großer Modelle in AWS. Es unterstützt verteilte Schulungen mit Amazon EKS, einschließlich CloudFormation Vorlagen für EKS-Cluster, benutzerdefinierte AMI- und Container-Builds, Testfälle für Frameworks wie PyTorch (DDP/FSDP, MegatronLM, NeMo) und JAX sowie Tools für Validierung, Beobachtbarkeit und Leistungsüberwachung wie EFA Prometheus Exporter und Nvidia Nsight Systems.

AWSome-Inferenz

Dieses Repository bietet Referenzarchitekturen und Testfälle für die Optimierung von Inferenzlösungen AWS, wobei der Schwerpunkt auf Amazon EKS und beschleunigten EC2-Instances liegt. Es umfasst Infrastruktur-Setups für VPC- und EKS-Cluster, Projekte für Frameworks wie NVIDIA NIMs TensorRT-LLM, Triton Inference Server und RayService mit Beispielen für Modelle wie Llama3-8B Llama 3.1 405B. Bietet Bereitstellungen auf mehreren Knoten mit K8s LeaderWorkerSet, EKS-Autoscaling, Multi-Instance GPUs (MIG) und realen Anwendungsfällen wie einem Audio-Bot für ASR, Inferenz und TTS.

Lernprogramme

Wenn Sie an der Einrichtung von Machine-Learning-Plattformen und -Frameworks in EKS interessiert sind, sehen Sie sich die in diesem Abschnitt beschriebenen Tutorials an. Diese Tutorials decken alles ab, von Mustern für die optimale Nutzung von GPU-Prozessoren über die Auswahl von Modellierungs-Tools bis hin zur Entwicklung von Frameworks für spezialisierte Branchen.

Entwicklung generativer KI-Plattformen in EKS

Spezialisierte generative KI-Frameworks in EKS ausführen

NVIDIA-GPU-Leistung für ML in EKS maximieren

Video-Codierungs-Workloads in EKS ausführen

Beschleunigtes Laden von Images für Inferenz-Workloads

Überwachung von ML-Workloads