View a markdown version of this page

SageMaker Inférence - Amazon Nova
CaractéristiquesModèles et instances pris en chargeComposants InférencePris en charge AWS RégionsImages de conteneurs prises en chargeBonnes pratiquesSupport

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

SageMaker Inférence

Les modèles Amazon Nova personnalisés sont désormais disponibles par SageMaker inférence. Lorsque Amazon Nova est activé SageMaker, vous pouvez commencer à obtenir des prédictions, ou des inférences, à partir de vos modèles Amazon Nova personnalisés entraînés. SageMaker propose une large sélection d'infrastructures de machine learning et d'options de déploiement de modèles pour répondre à tous vos besoins en matière d'inférence ML. Grâce à SageMaker l'inférence, vous pouvez étendre le déploiement de vos modèles, gérer les modèles plus efficacement en production et réduire la charge opérationnelle.

SageMaker vous propose diverses options d'inférence, telles que des points de terminaison en temps réel pour obtenir une inférence à faible latence et des points de terminaison asynchrones pour des lots de demandes. En tirant parti de l’option d’inférence adaptée à votre cas d’utilisation, vous pouvez garantir des déploiements et des inférences de modèles efficaces. Pour plus d'informations sur l' SageMaker inférence, voir Déployer des modèles pour l'inférence.

Important

Seuls les modèles personnalisés de rang complet et les LoRA-merged modèles sont pris en charge par SageMaker inférence. Pour les modèles LoRa et les modèles de base non fusionnés, utilisez Amazon Bedrock.

Caractéristiques

Les fonctionnalités suivantes sont disponibles pour les modèles Amazon Nova par SageMaker inférence :

Capacités du modèle

  • Génération de texte

Déploiement et évolutivité

  • Real-time points de terminaison avec sélection d'instance personnalisée

  • Mise à l'échelle automatique : ajustez automatiquement la capacité en fonction des modèles de trafic afin d'optimiser les coûts et l'utilisation du processeur graphique. Pour plus d'informations, consultez la section Mise à l'échelle automatique SageMaker des modèles Amazon.

  • Support de l'API de streaming pour la génération de jetons en temps réel

Surveillance et optimisation

  • CloudWatch Intégration d'Amazon pour la surveillance et les alertes

  • Optimisation de la disponibilité et de la Zone-aware latence grâce à la configuration VPC

Outils de développement

  • AWS CLI support — Pour plus d'informations, consultez la section Référence des commandes AWS CLI pour SageMaker.

  • Intégration de Jupyter Notebook via la prise en charge du SDK

Modèles et instances pris en charge

Lorsque vous créez vos points de terminaison d' SageMaker inférence, vous pouvez définir deux variables d'environnement pour configurer votre déploiement : CONTEXT_LENGTH et. MAX_CONCURRENCY

  • CONTEXT_LENGTH— Longueur totale maximale du jeton (entrée + sortie) par demande

  • MAX_CONCURRENCY— Nombre maximum de demandes simultanées que le terminal pourra traiter

Le tableau suivant répertorie les modèles Amazon Nova, les types d'instances et les configurations prises en charge. Les valeurs MAX_CONCURRENCY représentent la simultanéité maximale prise en charge pour chaque paramètre CONTEXT_LENGTH :

Modèle Type d'instance Configurations prises en charge Quantification FP8 requise
Amazon Nova Micro ml.g5.12xlarge

LONGUEUR_CONTEXTE : 4000, SIMULTANÉITÉ MAXIMALE : 12

LONGUEUR_CONTEXTE : 8000, SIMULTANÉITÉ MAXIMALE : 6

 Non
ml.g5.24xlarge LONGUEUR_CONTEXTE : 8000, SIMULTANÉITÉ MAXIMALE : 8 Non
ml.g6e.xlarge

LONGUEUR_CONTEXTE : 8000, SIMULTANÉITÉ MAXIMALE : 2

 Non
ml.g6e.2xlarge

LONGUEUR_CONTEXTE : 8000, SIMULTANÉITÉ MAXIMALE : 2

 Non
ml.g6e.4xlarge

LONGUEUR_CONTEXTE : 8000, SIMULTANÉITÉ MAXIMALE : 4

 Non
ml.g6.12xlarge

LONGUEUR_CONTEXTE : 4000, SIMULTANÉITÉ MAXIMALE : 12

LONGUEUR_CONTEXTE : 8000, SIMULTANÉITÉ MAXIMALE : 6

 Non
ml.g6.24xlarge LONGUEUR_CONTEXTE : 8000, SIMULTANÉITÉ MAXIMALE : 8 Non
ml.g6.48xlarge LONGUEUR_CONTEXTE : 8000, SIMULTANÉITÉ MAXIMALE : 12 Non
ml.p5.48xlarge

LONGUEUR_CONTEXTE : 16000, SIMULTANÉITÉ MAXIMALE : 128

LONGUEUR_CONTEXTE : 64000, SIMULTANÉITÉ MAXIMALE : 32

LONGUEUR_CONTEXTE : 128 000, SIMULTANÉITÉ MAXIMALE : 8

 Non
Amazon Nova Lite ml.g6.12xlarge

LONGUEUR_CONTEXTE : 8000, SIMULTANÉITÉ MAXIMALE : 2

 Oui - Activé par défaut
ml.g6.24xlarge

LONGUEUR_CONTEXTE : 8000, SIMULTANÉITÉ MAXIMALE : 4

 Oui - Activé par défaut
ml.g6.48xlarge

LONGUEUR_CONTEXTE : 4000, SIMULTANÉITÉ MAXIMALE : 16

LONGUEUR_CONTEXTE : 8000, SIMULTANÉITÉ MAXIMALE : 8

 Non
ml.p5.48xlarge

LONGUEUR_CONTEXTE : 16000, SIMULTANÉITÉ MAXIMALE : 128

LONGUEUR_CONTEXTE : 60000, SIMULTANÉITÉ MAXIMALE : 8

 Non
Nova 2 Lite ml.g6.48xlarge

LONGUEUR_CONTEXTE : 8000, SIMULTANÉITÉ MAXIMALE : 8

 Oui - Activé par défaut
ml.p5.48xlarge

LONGUEUR_CONTEXTE : 16000, SIMULTANÉITÉ MAXIMALE : 128

LONGUEUR_CONTEXTE : 64000, SIMULTANÉITÉ MAXIMALE : 32

LONGUEUR_CONTEXTE : 128 000, SIMULTANÉITÉ MAXIMALE : 8

LONGUEUR_CONTEXTE : 256000, SIMULTANÉITÉ MAXIMALE : 2

 Non
Note

Pour les cas où la quantification FP8 est requise, elle sera activée par défaut.

Les valeurs MAX_CONCURRENCY affichées sont les limites supérieures de chaque paramètre CONTEXT_LENGTH. Vous pouvez utiliser des longueurs de contexte plus faibles avec la même simultanéité, mais le dépassement de ces valeurs entraînera l'échec de la création de points de SageMaker terminaison.

Par exemple, sur Amazon Nova Micro avec un fichier ml.g5.12xlarge :

  • CONTEXT_LENGTH=2000, MAX_CONCURRENCY=12 → Valide

  • CONTEXT_LENGTH=8000, MAX_CONCURRENCY=12 → Rejeté (la limite de simultanéité est de 6 pour une longueur de contexte de 8 000)

  • CONTEXT_LENGTH=8000, MAX_CONCURRENCY=4 → Valide

  • CONTEXT_LENGTH=8000, MAX_CONCURRENCY=6 → Valide

  • CONTEXT_LENGTH=10000→ Rejeté (la longueur maximale du contexte est de 8 000 sur cette instance)

Composants Inférence

Vous pouvez déployer des modèles Amazon Nova à l'aide de composants d' SageMaker inférence, qui vous permettent d'héberger plusieurs modèles sur un seul point de terminaison et d'optimiser l'utilisation des ressources. Les composants d'inférence vous permettent de spécifier les ressources de calcul (CPU, mémoire, GPU) requises pour chaque modèle, ce qui permet un hébergement multimodèle efficace sur une infrastructure partagée.

Le tableau suivant répertorie les ressources de calcul minimales requises pour chaque modèle Amazon Nova lors de l'utilisation de composants d'inférence :

Modèle Nombre minimum de cœurs de processeur Mémoire minimale (Mo) Nombre minimum de GPU
Amazon Nova Micro 15 25000 4
Amazon Nova Lite 20 35 000 4
Nova 2 Lite 20 100 000 4
Note

Les ComputeResourceRequirements valeurs doivent respecter ou dépasser les exigences minimales répertoriées dans le tableau ci-dessus pour le modèle que vous déployez. L'utilisation de valeurs inférieures aux valeurs minimales entraînera l'échec de la création du composant d'inférence.

Vous pouvez déployer plusieurs composants d'inférence sur le même point de terminaison, à condition que les ressources totales requises ne dépassent pas la capacité de l'instance.

Le nombre de composants d'inférence que vous pouvez héberger sur un seul point de terminaison dépend des ressources disponibles du type d'instance et des exigences minimales de chaque modèle. Par exemple, sur un ml.p5.48xlarge (8 GPU, 192 vCPU, ~1 To de mémoire) :

  • 1 composant d'inférence Amazon Nova Micro (4 GPU, 15 cœurs de processeur, 25 000 Mo) → Valide

  • 2 composants d'inférence Amazon Nova Micro (8 GPU au total, 30 cœurs de processeur, 50 000 Mo) → Valide (correspond à la capacité de l'instance)

  • 1 composant d'inférence Nova 2 Lite (4 GPU, 20 cœurs de processeur, 100 000 Mo) → Valide

  • 2 composants d'inférence Nova 2 Lite (8 GPU au total, 40 cœurs de processeur, 200 000 Mo) → Valide

  • 3 composants d'inférence Amazon Nova Micro (12 GPU au total) → Rejeté (plus de 8 GPU disponibles)

Pris en charge AWS Régions

Le tableau suivant répertorie les AWS régions dans lesquelles les modèles Amazon Nova sont disponibles par SageMaker inférence :

Nom de la région Code région Disponibilité
USA Est (Virginie du Nord) us-east-1 Available
USA Ouest (Oregon) us-west-2 Available

Images de conteneurs prises en charge

Le tableau suivant répertorie les URI des images de conteneur pour les modèles Amazon Nova sur la base de l' SageMaker inférence par région. Le SM-Inference-latest tag pointe actuellement versv1.4.

Région URI d'image de conteneur
us-east-1 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-inference-repo:SM-Inference-latest
us-west-2 176779409107.dkr.ecr.us-west-2.amazonaws.com/nova-inference-repo:SM-Inference-latest

Bonnes pratiques

Pour connaître les meilleures pratiques relatives au déploiement et à la gestion des modèles sur SageMaker, consultez la section Meilleures pratiques pour SageMaker.

Support

Pour les problèmes et l'assistance concernant les modèles Amazon Nova sur SageMaker inférence, contactez le AWS support via la console ou votre responsable de AWS compte.

Rubriques