Déploiement de modèles sur Amazon SageMaker HyperPod

Amazon va SageMaker HyperPod désormais au-delà de la formation pour proposer une plateforme d'inférence complète qui associe la flexibilité de Kubernetes à l'excellence opérationnelle des services gérés. AWS Déployez, faites évoluer et optimisez vos modèles d'apprentissage automatique avec une fiabilité de niveau professionnel en utilisant le même HyperPod calcul tout au long du cycle de vie des modèles.

Amazon SageMaker HyperPod propose des interfaces de déploiement flexibles qui vous permettent de déployer des modèles par le biais de plusieurs méthodes, notamment kubectl, Python SDK, Amazon SageMaker Studio UI ou CLI. HyperPod Le service fournit des fonctionnalités avancées de mise à l’échelle automatique avec une allocation dynamique des ressources qui s’ajuste automatiquement en fonction de la demande. En outre, il inclut des fonctionnalités complètes d’observabilité et de surveillance qui suivent des métriques critiques telles que le délai d’obtention du premier jeton, la latence et l’utilisation des GPU pour vous aider à optimiser les performances.

Infrastructure unifiée pour l’entraînement et l’inférence

Optimisez votre utilisation des GPU en effectuant une transition transparente des ressources de calcul entre les charges de travail d’entraînement et d’inférence. Cela réduit le coût total de possession tout en maintenant la continuité opérationnelle.

Enterprise-ready options de déploiement

Déployez des modèles provenant de sources multiples, notamment des modèles à poids ouverts et à portes d'Amazon SageMaker JumpStart et des modèles personnalisés d'Amazon S3 et Amazon FSx avec prise en charge des architectures d'inférence à nœud unique et à nœuds multiples.

Mise en cache hiérarchisée gérée Key-value (KV) et routage intelligent

La mise en cache KV enregistre les vecteurs clé-valeur précalculés après le traitement des jetons précédents. Lorsque le jeton suivant est traité, les vecteurs n'ont pas besoin d'être recalculés. Grâce à une architecture de mise en cache à deux niveaux, vous pouvez configurer un cache L1 qui utilise la mémoire du processeur pour une réutilisation locale à faible latence, et un cache L2 qui exploite Redis pour permettre un partage de cache évolutif au niveau des nœuds.

Le routage intelligent analyse les demandes entrantes et les dirige vers l'instance d'inférence la plus susceptible de disposer de paires clé-valeur mises en cache pertinentes. Le système examine la demande puis l'achemine en fonction de l'une des stratégies de routage suivantes :

Pour plus d'informations sur l'activation de cette fonctionnalité, consultezConfiguration de la mise en cache KV et du routage intelligent.

Cache L2 intégré, prise en charge du stockage hiérarchisé pour la mise en cache KV

S'appuyant sur l'infrastructure de cache KV existante, intègre HyperPod désormais le stockage hiérarchisé en tant qu'option de backend L2 supplémentaire aux côtés de Redis. Grâce au stockage hiérarchisé SageMaker géré intégré, les performances sont améliorées. Cette amélioration fournit aux clients une option plus évolutive et plus efficace pour le déchargement du cache, particulièrement utile pour les charges de travail d'inférence LLM à haut débit. L'intégration maintient la compatibilité avec les serveurs modèles vLLM existants et les capacités de routage tout en offrant de meilleures performances.

Vous pouvez réduire la latence de démarrage à froid lors de la mise à l'échelle des déploiements en mettant en cache les poids des modèles sur le stockage NVMe local de l'hôte et en extrayant préalablement l'image du conteneur du serveur d'inférence sur les nœuds cibles. Vous pouvez activer ces fonctionnalités indépendamment ou conjointement sur le modelCacheConfig terrain, et elles fonctionnent avec les modèles d'Amazon SageMaker JumpStart, Amazon S3 et Amazon FSx. Pour de plus amples informations, veuillez consulter Mise en cache des poids des modèles et mise en cache des images.

Multi-instance déploiement de types avec basculement automatique

HyperPod L'inférence prend en charge le déploiement de type multi-instance afin d'améliorer la fiabilité du déploiement et l'utilisation des ressources. Spécifiez une liste hiérarchisée de types d'instance dans votre configuration de déploiement, et le système sélectionne automatiquement parmi les alternatives disponibles lorsque votre type d'instance préféré manque de capacité. Le planificateur Kubernetes utilise l'affinité des preferredDuringSchedulingIgnoredDuringExecution nœuds pour évaluer les types d'instances par ordre de priorité, en plaçant les charges de travail sur le type d'instance disponible le plus prioritaire tout en garantissant le déploiement même lorsque les ressources préférées ne sont pas disponibles. Cette fonctionnalité permet d'éviter les échecs de déploiement dus à des contraintes de capacité tout en préservant vos préférences en matière de coûts et de performances, garantissant ainsi une disponibilité continue du service même en cas de fluctuations de capacité du cluster.

Affinité de nœud personnalisée pour un contrôle de planification granulaire

HyperPod L'inférence prend en charge l'affinité de nœud personnalisée pour contrôler le placement de la charge de travail au-delà de la sélection du type d'instance. Spécifiez les critères de sélection des nœuds tels que la distribution des zones de disponibilité, le filtrage des types de capacité (à la demande ou ponctuel) ou des étiquettes de nœuds personnalisées nodeAffinity dans le champ. Le système prend en charge les contraintes de placement obligatoires requiredDuringSchedulingIgnoredDuringExecution et les préférences facultativespreferredDuringSchedulingIgnoredDuringExecution, offrant ainsi un contrôle total sur les décisions de planification des pods tout en préservant la flexibilité du déploiement.