View a markdown version of this page

Überblick über künstliche Intelligenz und Machine Learning auf Amazon EKS - Amazon EKS
Warum sollten Sie Amazon EKS verwenden für AI/MLWichtige AnwendungsfälleFallstudienStruktur des LeitfadensBeginnen Sie mit AI/ML der Nutzung auf Amazon EKS

Unterstützung für die Verbesserung dieser Seite beitragen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Um zu diesem Benutzerhandbuch beizutragen, wählen Sie den GitHub Link Diese Seite bearbeiten auf, der sich im rechten Bereich jeder Seite befindet.

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Überblick über künstliche Intelligenz und Machine Learning auf Amazon EKS

Tipp

Melden Sie sich für bevorstehende Amazon AI/ML EKS-Workshops an.

Amazon Elastic Kubernetes Service (Amazon EKS) ist ein verwalteter Kubernetes-Service, mit dem Unternehmen Workloads für künstliche Intelligenz (KI) und maschinelles Lernen (ML) mit beispielloser Flexibilität und Kontrolle bereitstellen, verwalten und skalieren können. Da Amazon EKS auf Upstream-Kubernetes aufbaut, können Sie Ihr vorhandenes Kubernetes-Wissen anwenden und sich gleichzeitig nahtlos in Open-Source-Tools und -Services integrieren. AWS

Ganz gleich, ob Sie groß angelegte Modelle trainieren, Online-Inferenzen in Echtzeit ausführen oder generative KI-Anwendungen einsetzen, Amazon EKS bietet die Leistung, Skalierbarkeit und Kosteneffizienz, die Ihre AI/ML Projekte benötigen.

Warum sollten Sie Amazon EKS verwenden für AI/ML

Amazon EKS bietet die Kontrolle, Integrationen, Leistung und Skalierbarkeit, die für AI/ML Projekte erforderlich sind. Amazon EKS basiert auf Upstream-Kubernetes und ist in AWS Services integriert. Es hilft Ihnen, vorhandenes Kubernetes-Fachwissen zu nutzen und gleichzeitig komplexe Workloads zu orchestrieren. Für Teams, die mit AI/ML Implementierungen noch nicht vertraut sind, können bestehende Kubernetes-Fähigkeiten ohne steile Lernkurven übertragen werden.

Amazon EKS unterstützt alles, von Betriebssystemanpassungen bis hin zur Rechenskalierung, und fördert technologische Flexibilität, sodass die Wahlmöglichkeiten für future Infrastrukturentscheidungen erhalten bleiben. Die Plattform bietet die Leistungs- und Optimierungsoptionen, die für AI/ML Workloads erforderlich sind, einschließlich der folgenden Funktionen:

  • Vollständige Cluster-Kontrolle: Fine-tune Kosten und Konfigurationen ohne versteckte Abstraktionen.

  • Sub-second Latenz: Führen Sie Inferenz-Workloads in Echtzeit in der Produktion aus.

  • Erweiterte Anpassungen: Konfiguration von GPUs mit mehreren Instanzen, Netzwerkoptimierung und Optimierung auf Betriebssystemebene.

  • Einheitliche Orchestrierung: Orchestrieren Sie über AI/ML Pipelines und lokale, Edge- und Cloud-Umgebungen hinweg.

  • Kostenoptimierung: Verwenden Sie Auto Scaling, native GPU-Planung und verschiedene GPU- und Accelerator-Instance-Typen.

Wichtige Anwendungsfälle

Amazon EKS unterstützt eine Vielzahl von AI/ML Workloads, darunter die folgenden häufigen Anwendungsfälle:

  • Inferenz: Self-host Modelle auf Amazon EKS für Anwendungsfälle, die Reaktionszeiten mit niedriger Latenz erfordern.

  • Batch-Inferenz: Verarbeiten Sie große Datenmengen effizient durch geplante Jobs.

  • Modelltraining: Trainieren Sie komplexe Modelle mit großen Datensätzen über längere Zeiträume.

  • Feinabstimmung von Modellen: Erweitern Sie Open-Source-Modelle mit firmeneigenem Fachwissen.

  • Pipelines zur erweiterten Generierung (Retrieval Augmented Generation): Integrieren Sie Abruf- und Generierungsprozesse.

  • Agentische KI: Stellen Sie Agenten mit Modellen bereit, die auf Amazon Bedrock, Drittanbietern oder Amazon EKS gehostet werden.

Fallstudien

Kunden entscheiden sich aus verschiedenen Gründen für Amazon EKS, z. B. um die GPU-Nutzung zu optimieren oder Inferenz-Workloads mit Latenz unter einer Sekunde auszuführen, wie in den folgenden Fallstudien gezeigt wird. Eine Liste aller Fallstudien zu Amazon EKS finden Sie unter AWS -Kundenerfolgsgeschichten.

  • Die BMW Group betreibt eine der weltweit größten vernetzten Flotten mit über 25 Millionen vernetzten Fahrzeugen und hat ihre Connected AI-Plattform auf Amazon EKS mit Ray für verteiltes Training und Karpenter für GPU-Autoscaling aufgebaut, wodurch die Trainingszeit für Modelle von Stunden auf 30 Minuten für 5€ pro Trainingslauf reduziert und gleichzeitig mehr als 550 Entwickler in über 60 KI-Anwendungsfällen unterstützt werden.

  • Booking.com, eine der weltweit führenden Reiseplattformen, hat ihr ML-Inferenzsystem für das Suchranking auf Amazon EKS migriert, um die Skalierbarkeit für Experimente zu nutzen und bis zu 250.000 Anfragen pro Sekunde mit einer Latenz von 40 ms p99,9 zu verarbeiten.

  • Unitary verarbeitet täglich 26 Millionen Videos mithilfe von KI für die Moderation von Inhalten. Das Unternehmen benötigt Inferenzen mit hohem Durchsatz und niedriger Latenz und hat eine Verkürzung der Container-Startzeiten um 80% erreicht, was eine schnelle Reaktion auf Skalierungsereignisse bei schwankendem Datenverkehr gewährleistet.

  • Synthesia bietet generative KI-Videoerstellung als Service für Kunden an, um realistische Videos aus Textanweisungen zu erstellen. Das Unternehmen erzielte eine 30-fache Verbesserung des Durchsatzes beim Training mit ML-Modellen.

  • Ada Support, ein Unternehmen für AI-powered Kundenservice-Automatisierung, konnte die Rechenkosten um 15% senken und gleichzeitig die Recheneffizienz um 30% steigern.

  • Snorkel AI versetzt Unternehmen in die Lage, Basismodelle und umfangreiche Sprachmodelle zu entwickeln und anzupassen. Das Unternehmen erzielte durch die Implementierung intelligenter Skalierungsmechanismen für GPU-Ressourcen Kosteneinsparungen von über 40%

  • Artera verwendet Amazon Elastic File System (Amazon EFS) und Amazon EKS, um ML-Modelle zu trainieren, die die Krebsbehandlung mithilfe hochauflösender Biopsiebilder personalisieren.

  • Anthropic betreibt seine Flaggschiff-Familie von Claude-Foundation-Modellen auf Amazon EKS und betreibt einige der größten EKS-Cluster in der Produktion, bestehend aus AWS Trainium (trn2) -Instances und NVIDIA-GPUs für KI-Workloads sowie AWS Graviton-Prozessoren für CPU-intensive Datenverarbeitung.

Struktur des Leitfadens

Der Leitfaden enthält eine Reihe praktischer Anleitungen, denen Sie Schritt für Schritt folgen können, um AI/ML Workloads auf Amazon EKS bereitzustellen und zu verwalten. Jeder Leitfaden enthält Anweisungen und Konfigurationen, die Sie direkt in Ihrer Umgebung implementieren können.

Neben den Anweisungen bietet der Leitfaden die erforderlichen Hintergrundinformationen und grundlegende Konzepte für jedes Thema. Er enthält auch Links zu relevanter AWS Dokumentation und Ressourcen für die erforderlichen tieferen technischen Details.

Beginnen Sie mit AI/ML der Nutzung auf Amazon EKS

Um mit der Planung und Nutzung von AI/ML Plattformen und Workloads auf Amazon EKS zu beginnen, folgen Sie dem Amazon EKS-Cluster für AI/ML Workloads einrichten Abschnitt zur Erstellung eines Amazon EKS-Clusters, einschließlich der erforderlichen Kubernetes-Komponenten, in Ihrem Konto. AWS Sobald Ihre Umgebung betriebsbereit ist, können Sie mit den nächsten Schritten fortfahren: