Esegui carichi di lavoro di AI/ML inferenza su Amazon EKS

Scalabilità dinamica della GPU: Karpenter fornisce istanze GPU della giusta dimensione su richiesta in base alle richieste di risorse Pod, scalando da zero quando non sono attive e aggiungendo capacità all'aumentare del traffico. In questo modo si evita l'eccessivo approvvigionamento di costose risorse GPU.

Avvio rapido a freddo: il pull parallelo SOCI (Seekable OCI) scarica e decomprime contemporaneamente grandi livelli di immagini del contenitore, riducendo i tempi di recupero delle immagini da minuti a secondi. In combinazione con lo streaming dei modelli da Amazon S3 direttamente alla memoria della GPU, i Pod possono iniziare a funzionare in meno di due minuti.

Ripristino automatico degli errori della GPU: l'agente di monitoraggio dei nodi EKS rileva i guasti hardware della GPU e attiva la sostituzione automatica dei nodi, riducendo al minimo i tempi di inattività senza intervento manuale.

Ottimizzazione dei costi: le istanze Spot con On-Demand fallback, la selezione delle istanze della dimensione corretta e il comportamento scalabile a zero riducono i costi della GPU. La capacità riservata (ODCR) offre ulteriori risparmi per i carichi di lavoro stazionari.

Standard aperti e portabilità: i carichi di lavoro di inferenza vengono eseguiti su API Kubernetes standard (Deployments, Services, HPA) con server di modelli open source come VLLm o SGlang, garantendo la portabilità tra gli ambienti.

Monitoraggio integrato: le metriche Prometheus di vLLM o SGlang e NVIDIA DCGM Exporter forniscono visibilità sulla latenza delle richieste, sulla velocità effettiva dei token, sull'utilizzo della GPU e sull'utilizzo della memoria tramite le dashboard Grafana.

Inferenza: il processo di esecuzione di un modello addestrato per generare output (testo, incorporamenti, classificazioni) dai dati di input.

Server modello: servizio containerizzato che carica un modello in memoria, riceve richieste di inferenza e restituisce previsioni. Gli esempi includono VLLm, sGLang, Triton Inference Server e Text Generation Inference (TGI).

Pesi dei modelli: i parametri appresi di un modello addestrato, memorizzati come file (in genere in formato GGUF) che il server del modello SafeTensors carica nella memoria della GPU.

Acceleratore: hardware specializzato come GPU o AWS Trainium/Inferentia chip NVIDIA che velocizza le operazioni di matrice necessarie per l'inferenza.

Parallelismo tensoriale: suddivisione di un modello su più GPU sullo stesso nodo per offrire modelli che superano la memoria di una singola GPU.

Cache KV: un buffer di memoria che memorizza le coppie chiave-valore precedentemente calcolate durante la generazione del testo, evitando calcoli ridondanti per ogni nuovo token.

Time to First Token (TTFT): tempo compreso tra l'arrivo della richiesta e il primo token generato. Fondamentale per le applicazioni interattive.

Time Per Output Token (TPOT): tempo medio per generare ogni token successivo al primo.

End-to-end latenza della richiesta: tempo totale dall'invio della richiesta al completamento della risposta completa.

Richieste al secondo: richieste di inferenza totali servite al secondo su tutte le repliche.

Token di output al secondo: velocità di generazione dei token, misurata come token di output totali diviso per il tempo trascorso.

Utilizzo della GPU: percentuale di cicli di calcolo della GPU utilizzati attivamente per l'inferenza.

Utilizzo della cache KV: percentuale di memoria cache KV allocata in uso, che indica quanto il server è vicino alla capacità.

SOCI parallel pull: scarica e decomprime i livelli di immagine del contenitore contemporaneamente anziché in sequenza. Attivato per impostazione predefinita nella modalità automatica EKS per le istanze GPU.

Streaming di modelli da S3: strumenti come Run:ai Model Streamer trasmettono i pesi dei modelli direttamente da Amazon S3 alla memoria della GPU, bypassando il disco locale e riducendo il tempo di caricamento da minuti a secondi.

Archivia immagini in Amazon ECR: l'estrazione da un repository ECR regionale su un endpoint VPC evita la latenza Internet per le immagini di contenitori di grandi dimensioni.

Memorizzazione nella cache dell'archivio delle istanze: G-family le istanze con dischi NVMe locali possono memorizzare nella cache livelli di container e artefatti del modello, velocizzando i richiami successivi sullo stesso nodo.