Exécutez AI/ML des charges de travail d'inférence sur Amazon EKS

Mise à l'échelle dynamique du GPU  : Karpenter fournit des instances GPU de la bonne taille à la demande en fonction des demandes de ressources des pods, en partant de zéro en cas d'inactivité et en ajoutant de la capacité à mesure que le trafic augmente. Cela permet d'éviter de surprovisionner des ressources GPU coûteuses.

Démarrages rapides à froid  : la fonction d'extraction parallèle SOCI (Seekable OCI) télécharge et décompresse simultanément de grandes couches d'images de conteneurs, réduisant ainsi les temps d'extraction des images de quelques minutes à quelques secondes. Combinés à la diffusion de modèles depuis Amazon S3 directement vers la mémoire du GPU, les Pods peuvent commencer à être utilisés en moins de deux minutes.

Restauration automatique en cas de panne du GPU  : l'agent de surveillance des nœuds EKS détecte les défaillances matérielles du GPU et déclenche le remplacement automatique des nœuds, minimisant ainsi les temps d'arrêt sans intervention manuelle.

Optimisation des coûts  : les instances repérées grâce à une On-Demand solution de repli, à une sélection d'instances de la bonne taille et à un comportement évolutif jusqu'à zéro réduisent les coûts du GPU. La capacité réservée (ODCR) permet de réaliser des économies supplémentaires pour les charges de travail en régime permanent.

Standards ouverts et portabilité — Les charges de travail d'inférence s'exécutent sur des API Kubernetes standard (déploiements, services, HPA) avec des serveurs modèles open source tels que vLLm ou sgLang, assurant la portabilité entre les environnements.

Surveillance intégrée  : les métriques Prometheus de vLLM ou SGlang et de l'exportateur NVIDIA DCGM fournissent une visibilité sur la latence des requêtes, le débit des jetons, l'utilisation du GPU et l'utilisation de la mémoire via les tableaux de bord Grafana.

Inférence  : processus qui consiste à exécuter un modèle entraîné pour générer des sorties (texte, intégrations, classifications) à partir des données d'entrée.

Serveur de modèles  : service conteneurisé qui charge un modèle en mémoire, reçoit des demandes d'inférence et renvoie des prédictions. Les exemples incluent vLLM, SGlang, Triton Inference Server et Text Generation Inference (TGI).

Poids du modèle  : paramètres appris d'un modèle entraîné, stockés sous forme de fichiers (généralement au SafeTensors format GGUF) que le serveur de modèles charge dans la mémoire du GPU.

Accélérateur  : matériel spécialisé tel que des GPU NVIDIA ou des AWS Trainium/Inferentia puces qui accélèrent les opérations matricielles requises pour l'inférence.

Parallélisme tensoriel  : division d'un modèle sur plusieurs GPU sur le même nœud afin de desservir des modèles dont la mémoire dépasse celle d'un seul GPU.

Cache KV  : mémoire tampon qui stocke les paires clé-valeur précédemment calculées lors de la génération du texte, évitant ainsi les calculs redondants pour chaque nouveau jeton.

Time to First Token (TTFT) — Temps écoulé entre l'arrivée de la demande et le premier jeton généré. Essentiel pour les applications interactives.

Temps par jeton de sortie (TPOT) — Temps moyen nécessaire pour générer chaque jeton suivant après le premier.

End-to-end latence de la demande  : temps total écoulé entre la soumission de la demande et l'achèvement de la réponse complète.

Demandes par seconde  : nombre total de demandes d'inférence traitées par seconde pour toutes les répliques.

Jetons de sortie par seconde — Taux de génération de jetons, mesuré comme le total des jetons de sortie divisé par le temps écoulé.

Utilisation du GPU  : pourcentage de cycles de calcul du GPU activement utilisés pour l'inférence.

Utilisation du cache KV  : pourcentage de la mémoire cache KV allouée utilisée, indiquant à quel point le serveur est proche de sa capacité maximale.

Pull parallèle SOCI  : télécharge et décompresse les couches d'images de conteneurs simultanément plutôt que de manière séquentielle. Activé par défaut en mode automatique EKS pour les instances GPU.

Streaming de modèles depuis S3 — Des outils tels que Run:ai Model Streamer diffusent les poids des modèles directement depuis Amazon S3 vers la mémoire GPU, en contournant le disque local et en réduisant le temps de chargement de quelques minutes à quelques secondes.

Stockez des images dans Amazon ECR — L'extraction depuis un référentiel ECR régional via un point de terminaison VPC permet d'éviter la latence Internet pour les images de conteneur volumineuses.

Mise en cache du stockage des G-family instances  : les instances dotées de disques NVMe locaux peuvent mettre en cache des couches de conteneurs et des artefacts de modèle, accélérant ainsi les extractions suivantes sur le même nœud.