Esegui carichi di lavoro di AI/ML inferenza su Amazon EKS

Scalabilità dinamica della GPU: Karpenter fornisce istanze GPU di dimensioni adeguate su richiesta in base alle richieste di risorse Pod, scalando da zero quando sono inattive e aggiungendo capacità all'aumentare del traffico. In questo modo si evita il provisioning eccessivo di costose risorse GPU.

Avvio rapido a freddo: SOCI (Seekable OCI) scarica e decomprime contemporaneamente grandi livelli di immagini dei contenitori, riducendo i tempi di estrazione delle immagini da minuti a secondi. In combinazione con lo streaming dei modelli da Amazon S3 direttamente alla memoria GPU, i Pods possono iniziare a funzionare in meno di due minuti.

Ripristino automatico dei guasti della GPU: l'agente di monitoraggio dei nodi EKS rileva i guasti hardware della GPU e attiva la sostituzione automatica dei nodi, riducendo al minimo i tempi di inattività senza intervento manuale.

Ottimizzazione dei costi: le istanze Spot con On-Demand fallback, selezione delle istanze della dimensione corretta e comportamento scalabile a zero riducono i costi della GPU. La capacità riservata (ODCR) offre ulteriori risparmi per i carichi di lavoro stazionari.

Standard aperti e portabilità: i carichi di lavoro di inferenza vengono eseguiti su API Kubernetes standard (Deployments, Services, HPA) con server modello open source come VLLM o SGLang, che garantiscono la portabilità tra gli ambienti.

Monitoraggio integrato: le metriche Prometheus di VLLM o SGLang e NVIDIA DCGM Exporter forniscono visibilità sulla latenza delle richieste, sul throughput dei token, sull'utilizzo della GPU e sull'utilizzo della memoria tramite le dashboard Grafana.

Inferenza: processo di esecuzione di un modello addestrato per generare output (testo, incorporamenti, classificazioni) dai dati di input.

Model server: un servizio containerizzato che carica un modello in memoria, riceve richieste di inferenza e restituisce previsioni. Gli esempi includono vLLM, SGlang, Triton Inference Server e Text Generation Inference (TGI). https://github.com/huggingface/text-generation-inference

Pesi del modello: i parametri appresi di un modello addestrato, archiviati come file (in genere in formato GGUF) che il server dei modelli SafeTensors carica nella memoria della GPU.

Acceleratore: hardware specializzato come GPU o AWS Trainium/Inferentia chip NVIDIA che velocizza le operazioni sulla matrice necessarie per l'inferenza.

Parallelismo tensoriale: suddivisione di un modello su più GPU sullo stesso nodo per servire modelli che superano la memoria di una singola GPU.

Cache KV: un buffer di memoria che memorizza le coppie chiave-valore calcolate in precedenza durante la generazione del testo, evitando calcoli ridondanti per ogni nuovo token.

Time to First Token (TTFT): tempo che intercorre tra l'arrivo della richiesta e il primo token generato. Fondamentale per le applicazioni interattive.

Time Per Output Token (TPOT): tempo medio per generare ogni token successivo dopo il primo.

End-to-end latenza della richiesta: tempo totale dall'invio della richiesta al completamento della risposta completa.

Richieste al secondo: richieste di inferenza totali fornite al secondo in tutte le repliche.

Token di output al secondo: velocità di generazione dei token, misurata come token di output totali divisi per il tempo trascorso.

Utilizzo della GPU: percentuale di cicli di calcolo della GPU utilizzati attivamente per l'inferenza.

Utilizzo della cache KV: percentuale di memoria cache KV allocata in uso, che indica il livello massimo di capacità del server.

Pull parallelo SOCI: scarica e decomprime i livelli dell'immagine del contenitore contemporaneamente anziché in sequenza. Abilitato per impostazione predefinita in EKS Auto Mode per le istanze GPU.

Streaming di modelli da S3: strumenti come Run:ai Model Streamer trasmettono i modelli direttamente da Amazon S3 alla memoria della GPU, bypassando il disco locale e riducendo il tempo di caricamento da minuti a secondi.

Archivia le immagini in Amazon ECR: l'estrazione da un repository ECR regionale su un endpoint VPC evita la latenza Internet per le immagini di contenitori di grandi dimensioni.

Memorizzazione nella cache dell'Instance Store: G-family le istanze con dischi NVMe locali possono memorizzare nella cache i layer di container e gli artefatti del modello, velocizzando i pull successivi sullo stesso nodo.