Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Inizia a distribuire strumenti di Machine Learning su EKS
Per passare al Machine Learning onEKS, inizia scegliendo tra questi modelli prescrittivi per preparare rapidamente un EKS cluster e un software e hardware ML per iniziare a eseguire carichi di lavoro ML. La maggior parte di questi modelli si basa su progetti Terraform disponibili sul sito Data on Amazon EKS
-
GPUsoppure sono necessarie istanze Neuron per eseguire queste procedure. La mancanza di disponibilità di queste risorse può causare il fallimento di queste procedure durante la creazione del cluster o la scalabilità automatica dei nodi.
-
Neuron SDK (istanze basate su Tranium e Inferenza) consente di risparmiare denaro e offre una maggiore disponibilità di. NVIDIA GPUs Quindi, quando i tuoi carichi di lavoro lo consentono, ti consigliamo di prendere in considerazione l'utilizzo di Neutron per i tuoi carichi di lavoro di Machine Learning (vedi Welcome to AWS
Neuron). -
Alcune delle esperienze introduttive qui richiedono che tu ottenga dati tramite il tuo account Hugging Face
.
Per iniziare, scegli tra la seguente selezione di modelli progettati per iniziare a configurare l'infrastruttura per eseguire i tuoi carichi di lavoro di Machine Learning:
-
JupyterHub on EKS
: Esplora il JupyterHub progetto , che presenta Time Slicing e le MIG sue funzionalità, oltre alle configurazioni multi-tenant con profili. È ideale per l'implementazione di piattaforme su larga scala su. JupyterHub EKS -
Modelli linguistici di grandi dimensioni su AWS Neuron e RayServe
: Usa AWS Neuron per eseguire modelli linguistici di grandi dimensioni (LLMs) su Amazon EKS e sugli AWS acceleratori Trainium e AWS Inferentia. Vedi Serving LLMs with RayServe and v LLM on AWS Neuron per istruzioni sulla configurazione di una piattaforma per effettuare richieste di inferenza, con componenti che includono: -
AWS SDKToolkit Neuron per il deep learning
-
AWS Acceleratori Inferentia e Trainium
-
v LLM - modello di linguaggio a lunghezza variabile (vedi il sito di documentazione v) LLM
-
RayServe libreria di servizi per modelli scalabili (vedi il sito Ray Serve: Scalable and Programmable Serving
) -
Modello linguistico Llama-3, utilizzando il proprio account Hugging Face.
-
Osservabilità con e Neuron Monitor AWS CloudWatch
-
Apri WebUI
-
-
Modelli linguistici di grandi dimensioni su NVIDIA e Triton
: distribuisci più modelli linguistici di grandi dimensioni (LLMs) su Amazon EKS e. NVIDIA GPUs Vedi Implementazione di più modelli linguistici di grandi dimensioni con NVIDIA Triton Server e v LLM per istruzioni su come configurare una piattaforma per effettuare richieste di inferenza, con componenti che includono: -
NVIDIATriton Inference Server (vedi il sito Triton Inference Server)
GitHub -
v LLM - modello di linguaggio a lunghezza variabile (vedi il sito di documentazione v) LLM
-
Due modelli linguistici: mistralai/Mistral-7B-Instruct-v0.2 and meta-llama/Llama -2-7b-chat-hf, utilizzando il proprio account Hugging Face
.
-
Continuando con ML attivo EKS
Oltre a scegliere tra i progetti descritti in questa pagina, ci sono altri modi per procedere con l'apprendimento automatico sulla EKS documentazione, se preferisci. Ad esempio, puoi:
-
Prova i tutorial per il machine learning su EKS: esegui altri end-to-end tutorial per creare ed eseguire i tuoi modelli di Machine Learning su. EKS Per informazioni, consulta Prova i tutorial per distribuire carichi di lavoro e piattaforme di Machine Learning su EKS.
Per migliorare il tuo lavoro con ML onEKS, fai riferimento a quanto segue:
-
Preparati per il machine learning: scopri come prepararti per il machine EKS learning con funzionalità come personalizzazione AMIs e GPU prenotazioni. Per informazioni, consulta Preparati a creare un EKS cluster per il Machine Learning.
