Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Beginnen Sie mit der Bereitstellung von Tools für Machine Learning auf EKS
Um mit Machine Learning zu beginnenEKS, wählen Sie zunächst aus diesen präskriptiven Mustern, um schnell einen EKS Cluster sowie ML-Software und -Hardware für die Ausführung von ML-Workloads vorzubereiten. Die meisten dieser Muster basieren auf Terraform-Blueprints, die auf der Website Data on
-
GPUsoder Neuron-Instanzen sind erforderlich, um diese Prozeduren auszuführen. Mangelnde Verfügbarkeit dieser Ressourcen kann dazu führen, dass diese Verfahren bei der Clustererstellung oder der automatischen Knotenskalierung fehlschlagen.
-
Neuron SDK (Tranium- und Inferentia-basierte Instances) können Geld sparen und sind verfügbarer als. NVIDIA GPUs Wenn Ihre Workloads dies zulassen, empfehlen wir Ihnen, die Verwendung von Neutron für Ihre Machine-Learning-Workloads in Betracht zu ziehen (siehe Willkommen AWS bei
Neuron). -
Für einige der ersten Erfahrungen hier ist es erforderlich, dass Sie Daten über Ihr eigenes Hugging Face Face-Konto
abrufen.
Wählen Sie zunächst eines der folgenden Muster aus, die Ihnen den Einstieg in die Infrastruktur für die Ausführung Ihrer Machine Learning Learning-Workloads erleichtern sollen:
-
JupyterHub weiter EKS
: Erkunden Sie den JupyterHub Blueprint , in dem Time Slicing und MIG Funktionen sowie mandantenfähige Konfigurationen mit Profilen vorgestellt werden. Dies ist ideal für die Bereitstellung großer Plattformen auf. JupyterHub EKS -
Große Sprachmodelle auf AWS Neuron und RayServe
: Verwenden Sie AWS Neuron , um große Sprachmodelle (LLMs) auf Amazon EKS und AWS Trainium- und Inferentia-Beschleunigern auszuführen. AWS Anweisungen zum Einrichten einer Plattform für LLMInferenzanfragen LLMs mit folgenden Komponenten finden Sie unter Serving with RayServe und v AWS auf Neuron -
AWS SDKNeuron-Toolkit für Deep Learning
-
AWS Inferentia- und Trainium-Beschleuniger
-
v LLM — Sprachmodell mit variabler Länge (siehe die v-Dokumentationsseite) LLM
-
RayServe Bibliothek zur Bereitstellung skalierbarer Modelle (siehe Website Ray Serve: Scalable and Programmable
Serving) -
Llama-3-Sprachmodell mit Ihrem eigenen Hugging
Face Face-Konto. -
Beobachtbarkeit mit einem Neuron Monitor AWS CloudWatch
-
WebUI öffnen
-
-
Große Sprachmodelle auf NVIDIA und Triton
: Stellen Sie mehrere große Sprachmodelle (LLMs) auf Amazon bereit EKS und NVIDIAGPUs. Anweisungen LLM zum Einrichten einer Plattform für Inferenzanfragen mit folgenden Komponenten finden Sie unter Bereitstellen mehrerer großer Sprachmodelle mit NVIDIA Triton Server und v -
NVIDIATriton Inference Server (siehe die Triton
Inference Server-Website) GitHub -
v LLM — Sprachmodell mit variabler Länge (siehe die v-Dokumentationsseite) LLM
-
Zwei Sprachmodelle: mistralai/Mistral-7B-Instruct-v0.2 and meta-llama/Llama -2-7b-chat-hf, mit deinem eigenen Hugging
Face Face-Konto.
-
Weiter mit eingeschaltetem ML EKS
Neben der Auswahl aus den auf dieser Seite beschriebenen Blueprints gibt es auch andere Möglichkeiten, wie Sie die EKS ML-On-Dokumentation durcharbeiten können, wenn Sie dies bevorzugen. Beispielsweise ist Folgendes möglich:
-
Probieren Sie Tutorials für ML on aus EKS — Führen Sie andere end-to-end Tutorials zum Erstellen und Ausführen Ihrer eigenen Machine-Learning-Modelle ausEKS. Siehe Probieren Sie Tutorials zur Bereitstellung von Machine Learning Learning-Workloads und -Plattformen aus auf EKS.
Informationen zur Verbesserung Ihrer Arbeit mit ML finden EKS Sie in den folgenden Abschnitten:
-
Bereiten Sie sich auf ML vor — Erfahren Sie, wie Sie sich EKS mithilfe von Funktionen wie Benutzereinstellungen AMIs und GPU Reservierungen auf ML vorbereiten können. Siehe Bereiten Sie sich auf die Erstellung eines EKS Clusters für Machine Learning vor.
