Contribuisci a migliorare questa pagina
Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Per contribuire a questa guida per l'utente, scegli il GitHub link Modifica questa pagina nel riquadro destro di ogni pagina.
Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Panoramica dell'intelligenza artificiale e del Machine Learning su Amazon EKS
Suggerimento
Registrati
Amazon Elastic Kubernetes Service (Amazon EKS) è un servizio Kubernetes gestito che consente alle organizzazioni di implementare, gestire e scalare carichi di lavoro di intelligenza artificiale (AI) e machine learning (ML) con flessibilità e controllo senza precedenti. Poiché Amazon EKS è basato su Kubernetes upstream, puoi applicare le tue competenze Kubernetes esistenti integrandoti perfettamente con strumenti e servizi open source. AWS
Che tu stia addestrando modelli su larga scala, eseguendo inferenze online in tempo reale o distribuendo applicazioni di intelligenza artificiale generativa, Amazon EKS offre le prestazioni, la scalabilità e l'efficienza dei costi richieste dai tuoi progetti. AI/ML
Perché usare Amazon EKS per AI/ML
Amazon EKS fornisce il controllo, le integrazioni, le prestazioni e la scalabilità necessarie per i AI/ML progetti. Basato su Kubernetes upstream e integrato con i servizi AWS , Amazon EKS ti aiuta a utilizzare le competenze Kubernetes esistenti orchestrando carichi di lavoro complessi. Per i team alle prime armi con le AI/ML implementazioni, le competenze Kubernetes esistenti vengono trasferite senza curve di apprendimento ripide.
Amazon EKS supporta qualsiasi cosa, dalla personalizzazione del sistema operativo alla scalabilità di calcolo, e promuove la flessibilità tecnologica che preserva la scelta per le decisioni future sull'infrastruttura. La piattaforma offre le prestazioni e le opzioni di ottimizzazione richieste dai AI/ML carichi di lavoro, incluse le seguenti funzionalità:
-
Controllo completo del cluster: Fine-tune costi e configurazioni senza astrazioni nascoste.
-
Sub-second latenza: esegui carichi di lavoro di inferenza in tempo reale in produzione.
-
Personalizzazioni avanzate: configura GPU multiistanza, ottimizzazione della rete e ottimizzazione a livello di sistema operativo.
-
Orchestrazione unificata: orchestrazione tra pipeline e ambienti locali, edge e cloud. AI/ML
-
Ottimizzazione dei costi: utilizza la scalabilità automatica, la pianificazione nativa della GPU e diversi tipi di istanze di GPU e acceleratore.
Casi d’uso principali
Amazon EKS supporta un'ampia gamma di AI/ML carichi di lavoro, inclusi i seguenti casi d'uso comuni:
-
Inferenza: Self-host modelli su Amazon EKS per casi d'uso che richiedono tempi di risposta a bassa latenza.
-
Inferenza in batch: elabora set di dati di grandi dimensioni in modo efficiente tramite processi pianificati.
-
Addestramento dei modelli: Addestra modelli complessi su set di dati di grandi dimensioni per lunghi periodi di tempo.
-
Ottimizzazione dei modelli: migliora i modelli open source con conoscenze proprietarie del settore.
-
Pipeline di generazione aumentata di recupero (RAG): integra i processi di recupero e generazione.
-
Agentic AI: distribuisci agenti con modelli ospitati su Amazon Bedrock, terze parti o su Amazon EKS.
Casi di studio
I clienti scelgono Amazon EKS per vari motivi, come l'ottimizzazione dell'utilizzo della GPU o l'esecuzione di carichi di lavoro di inferenza con latenza inferiore al secondo, come dimostrato nei seguenti case study. Per un elenco di tutti i casi di studio relativi ad Amazon EKS, consulta AWS Customer Success Stories
-
Il BMW Group
gestisce una delle flotte connesse più grandi al mondo, con oltre 25 milioni di veicoli connessi, ha costruito la sua piattaforma Connected AI su Amazon EKS con Ray per la formazione distribuita e Karpenter per la scalabilità automatica delle GPU, riducendo i tempi di formazione dei modelli da ore a 30 minuti a 5€ per sessione di formazione e supportando oltre 550 sviluppatori in oltre 60 casi d'uso dell'intelligenza artificiale. -
Booking.com
, una delle piattaforme di viaggio più importanti al mondo, ha migrato il suo sistema di inferenza ML per il ranking di ricerca su Amazon EKS per sbloccare la scalabilità per la sperimentazione, elaborando fino a 250.000 richieste al secondo con una latenza di 40 ms p99,9. -
Unitary
elabora 26 milioni di video ogni giorno utilizzando l'intelligenza artificiale per la moderazione dei contenuti. L'azienda richiede un throughput elevato e un'inferenza a bassa latenza e ha ottenuto una riduzione dell'80% dei tempi di avvio dei container, il che garantisce una risposta rapida agli eventi di scalabilità in base alle fluttuazioni del traffico. -
Synthesia
offre la creazione di video con intelligenza artificiale generativa come servizio per consentire ai clienti di creare video realistici a partire da istruzioni di testo. L'azienda ha ottenuto un miglioramento di 30 volte nella produttività della formazione sui modelli ML. -
Ada Support
, una società di automazione del servizio AI-powered clienti, ha ottenuto una riduzione del 15% dei costi di elaborazione insieme a un aumento del 30% dell'efficienza di elaborazione. -
Snorkel AI consente
alle aziende di creare e adattare modelli di base e modelli linguistici di grandi dimensioni. L'azienda ha ottenuto risparmi sui costi di oltre il 40% implementando meccanismi di scalabilità intelligenti per le risorse GPU. -
Artera
utilizza Amazon Elastic File System (Amazon EFS) e Amazon EKS per addestrare modelli di machine learning che personalizzano il trattamento del cancro utilizzando immagini bioptiche ad alta risoluzione. -
Anthropic
utilizza la sua famiglia di modelli base Claude di punta su Amazon EKS e gestisce alcuni dei più grandi cluster EKS in produzione, costituiti da istanze AWS Trainium (trn2) e GPU NVIDIA per carichi di lavoro AI insieme ai processori Graviton per l'elaborazione di dati ad uso intensivo della CPU. AWS
Struttura della guida
La guida include una serie di guide pratiche che puoi seguire passo dopo passo per distribuire e gestire i carichi di lavoro su Amazon EKS. AI/ML Ogni guida fornisce istruzioni e configurazioni che puoi implementare direttamente nel tuo ambiente.
Oltre alle istruzioni, la guida fornisce le informazioni di base e i concetti fondamentali necessari per ogni argomento. Include anche i collegamenti alla AWS documentazione e alle risorse pertinenti per i dettagli tecnici più approfonditi necessari.
Inizia a usare AI/ML su Amazon EKS
Per iniziare a pianificare e utilizzare AI/ML piattaforme e carichi di lavoro su Amazon EKS, segui la Configura il cluster Amazon EKS per i AI/ML carichi di lavoro sezione per creare un cluster Amazon EKS, inclusi i componenti Kubernetes richiesti, nel tuo account. AWS Una volta che l'ambiente è attivo e funzionante, puoi continuare con i passaggi successivi:
-
Configura il cluster Amazon EKS per i AI/ML carichi di lavoro: crea il cluster Amazon EKS, il monitoraggio e l'infrastruttura bucket Amazon S3 da utilizzare in questa sezione.
-
Esegui carichi di lavoro di AI/ML inferenza su Amazon EKS: usa Amazon EKS per distribuire, configurare e iniziare a utilizzare un'applicazione di inferenza con un modello di linguaggio di grandi dimensioni (LLM).
-
Configurazione del cluster Amazon EKS per AI/ML carichi di lavoro: configura i cluster Amazon EKS ottimizzati per i AI/ML carichi di lavoro.
-
Gestisci le risorse di calcolo per i AI/ML carichi di lavoro su Amazon EKS: gestisci e ottimizza le risorse di calcolo per i carichi di lavoro di machine learning su Amazon EKS.
-
Gestione dei dispositivi hardware su Amazon EKS: Gestisci dispositivi hardware specializzati utilizzando Dynamic Resource Allocation (DRA) e plug-in per dispositivi.
