Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Caractéristiques du conteneur d'inférence

Le conteneur d' SageMaker inférence Amazon Nova inclut un ensemble de fonctionnalités que vous pouvez activer pour personnaliser le comportement du modèle lors de l'inférence. Chaque fonctionnalité est introduite dans une version de conteneur spécifique et peut nécessiter des variables d'environnement, des paramètres de requête ou les deux pour être activée.

Cette page répertorie les fonctionnalités disponibles dans le conteneur d'inférence, décrit comment activer chacune d'entre elles et identifie la version du conteneur dans laquelle la fonctionnalité a été introduite. Utilisez cette référence pour déterminer quelles fonctionnalités sont disponibles pour votre déploiement et comment les configurer.

Les fonctionnalités activées par le biais de variables d'environnement sont définies lorsque vous créez la configuration du SageMaker modèle ou du point de terminaison. Incluez-les dans le Environment paramètre de l'appel CreateModel d'API. Les fonctionnalités activées par le biais de paramètres de demande sont définies par appel dans le corps de la demande.

Récapitulatif des caractéristiques

Le tableau suivant fournit une référence rapide de toutes les fonctionnalités prises en charge dans le conteneur d' SageMaker inférence Amazon Nova.

Température par défaut

Définit la température d'échantillonnage par défaut pour toutes les demandes d'inférence envoyées au terminal. La température contrôle le caractère aléatoire ou prévisible de la sortie du modèle. Une valeur de 0 permet au modèle de toujours sélectionner le mot suivant le plus probable, produisant ainsi un résultat cohérent et reproductible. Des valeurs plus élevées (jusqu'à2) rendent le modèle plus enclin à sélectionner des mots moins probables, ce qui produit des réponses plus créatives et variées.

Quand utiliser : Baissez la température (par exemple, 0.1 jusqu'à0.3) pour les tâches nécessitant des réponses factuelles et cohérentes, telles que la classification ou l'extraction de données. Augmentez-le (par exemple, 0.7 à1.0) pour des tâches créatives telles que la rédaction d'une histoire ou le brainstorming. La température fonctionne conjointement avec top-p et top-k : les trois contrôlent la façon dont le modèle sélectionne les jetons, et vous pouvez les combiner pour affiner le comportement de sortie.

Variable d'environnement

"Environment": {
    "DEFAULT_TEMPERATURE": "0.7"
}

Recharge par défaut

Définit la valeur supérieure par défaut pour toutes les demandes d'inférence. Top-p contrôle la diversité des résultats en limitant les choix du modèle à un sous-ensemble des mots les plus probables. Plus précisément, le modèle trie tous les mots suivants possibles par probabilité et ne prend en compte que le plus petit groupe dont la probabilité combinée atteint la valeur maximale. Par exemple, une valeur supérieure à 1 0.9 signifie que le modèle ne prend en compte que les mots qui, ensemble, représentent 90 % de la probabilité, sans tenir compte des options improbables restantes.

Quand l'utiliser : utilisez une valeur supérieure inférieure (par exemple0.5) pour que le modèle s'en tienne aux mots les plus fiables, produisant ainsi un résultat plus ciblé. Utilisez une valeur plus élevée (par exemple,0.95) pour permettre une plus grande variété. Top-p est souvent utilisée comme alternative à la température : les deux contrôlent la diversité des sorties, mais le top-p s'adapte de manière dynamique en fonction de la confiance du modèle à chaque étape. Vous pouvez utiliser les deux ensemble, auquel cas le modèle applique la contrainte la plus restrictive à chaque étape.

Variable d'environnement

"Environment": {
    "DEFAULT_TOP_P": "0.9"
}

Top-k par défaut

Définit la valeur top-k par défaut pour toutes les demandes d'inférence. Top-k limite les choix du modèle à un nombre fixe de mots suivants les plus probables. Par exemple, un top k 50 signifie que le modèle ne prend en compte que les 50 mots les plus probables à chaque étape, quelles que soient leurs probabilités individuelles. La valeur de -1 désactive cette limite, ce qui permet au modèle de prendre en compte tous les mots possibles.

Quand l'utiliser : Utilisez top-k pour limiter strictement le nombre de choix de mots pris en compte par le modèle. Des valeurs plus faibles (par exemple10) produisent des résultats plus prévisibles, tandis que des valeurs plus élevées permettent une plus grande variété. Top-k peut être combiné avec la température et la recharge : lorsque plusieurs commandes d'échantillonnage sont actives, le modèle les applique toutes, en utilisant celle qui est la plus restrictive à chaque étape.

Variable d'environnement

"Environment": {
    "DEFAULT_TOP_K": "50"
}

Nombre maximum de nouveaux jetons par défaut

Définit le nombre maximum par défaut de jetons (mots ou parties de mots) que le modèle génère dans une réponse. Cette valeur s'applique à toutes les demandes, sauf si elle est remplacée. Utilisez-le pour contrôler la longueur des réponses et gérer les coûts sur l'ensemble de votre terminal.

Quand l'utiliser : définissez cette option lorsque vous souhaitez appliquer une longueur de réponse maximale cohérente pour toutes les demandes. Par exemple, configurez-le 256 pour les tâches à réponse courte ou 2048 pour la génération de contenu plus longue. La valeur maximale autorisée dépend de la CONTEXT_LENGTH configuration pour votre point de terminaison, car les jetons d'entrée et les jetons de sortie ne peuvent pas dépasser la longueur du contexte.

Variable d'environnement

"Environment": {
    "DEFAULT_MAX_NEW_TOKENS": "512"
}

logprobs par défaut

Définit le nombre par défaut de probabilités de journalisation à renvoyer pour chaque jeton généré. Une probabilité logarithmique est un score numérique qui indique le degré de confiance du modèle dans le choix de chaque mot. Lorsque cette option est activée, la réponse inclut ces scores pour chaque jeton de sortie, ce qui est utile pour évaluer la confiance du modèle, comparer des choix de mots alternatifs et déboguer le comportement de génération.

Quand l'utiliser : activez logprobs lorsque vous avez besoin d'évaluer le niveau de confiance du modèle dans ses résultats, par exemple, pour signaler les réponses peu fiables à des fins d'évaluation humaine ou pour comparer la probabilité de différentes complétions. L'activation des logprobs peut légèrement augmenter la latence de réponse et la taille de la charge utile de réponse.

Variable d'environnement

"Environment": {
    "DEFAULT_LOGPROBS": "5"
}

Décodage spéculatif Eagle3

Le décodage spéculatif Eagle3 est une technique d'optimisation qui accélère la génération de texte. Il fonctionne en utilisant un modèle de brouillon plus petit et plus rapide pour prédire plusieurs jetons à l'avance, puis en vérifiant ces prédictions par rapport au modèle principal en une seule étape. Lorsque les prédictions sont correctes, le modèle génère effectivement plusieurs jetons dans le temps qu'il faudrait normalement pour en générer un. Le modèle principal vérifie toujours les jetons de brouillon, de sorte que le résultat final est identique à ce que le modèle principal produirait seul : seule la vitesse change, pas la qualité.

Quand l'utiliser : le décodage spéculatif Eagle3 est activé par défaut et bénéficie à la plupart des charges de travail. N'envisagez de le désactiver que si vous observez un comportement inattendu ou si vous devez isoler des caractéristiques de performance pendant le débogage.

Variable d'environnement

L'exemple suivant désactive le décodage spéculatif Eagle3 :

"Environment": {
    "DISABLE_SPECULATIVE_DECODING": "true"
}

Type de données du cache KV

Définit le type de données pour le cache clé-valeur (KV) utilisé lors de l'inférence. Le cache KV stocke la mémoire des jetons précédents du modèle lors d'une conversation, ce qui lui permet de générer chaque nouveau jeton sans retraiter l'intégralité de l'entrée. Pour les séquences longues, ce cache peut consommer une quantité importante de mémoire GPU. La configuration du cache KV sur un type de données de moindre précision tel que FP8 réduit l'utilisation de la mémoire et peut améliorer le débit, au prix de légères différences numériques de sortie.

Quand l'utiliser : activez le cache FP8 KV lorsque vous devez prendre en charge des longueurs de contexte plus longues ou une plus grande simultanéité sur votre instance. Cela est particulièrement utile sur les instances GPU dont la mémoire est limitée. Testez votre cas d'utilisation pour vérifier que la qualité de sortie répond à vos exigences, car une précision inférieure peut produire des résultats légèrement différents.

Variable d'environnement

"Environment": {
    "KV_CACHE_DTYPE": "fp8"
}

Quantification

Définit le type de données de quantification pour les poids du modèle. La quantification compresse les poids du modèle dans un format de moindre précision (FP8 au lieu de la précision supérieure par défaut), ce qui réduit la quantité de mémoire GPU requise par le modèle. Cela peut améliorer le débit d'inférence et permettre à des modèles plus grands de s'adapter à des types d'instances plus petits, avec un impact minimal sur la qualité de sortie.

Quand l'utiliser : utilisez la quantification FP8 lorsque vous souhaitez réduire l'utilisation de la mémoire afin de prendre en charge une plus grande simultanéité ou d'adapter un modèle à un type d'instance plus petit. Notez que certaines combinaisons de modèles et de types d'instances nécessitent une quantification FP8 automatique. Consultez l'avertissement ci-dessous.

Variable d'environnement

"Environment": {
    "QUANTIZATION_DTYPE": "fp8"
}

Nombre de jetons spéculatifs

Contrôle le nombre de jetons que le modèle de brouillon prédit à l'avance à chaque étape de décodage spéculatif d'Eagle3. Une valeur plus élevée signifie que le projet de modèle tente de prédire un plus grand nombre de jetons à la fois, ce qui peut améliorer le débit lorsque les prévisions sont précises. Si les prévisions du modèle provisoire divergent fréquemment de celles du modèle principal, une valeur inférieure peut être plus efficace.

Quand utiliser : Augmentez cette valeur lorsque votre charge de travail produit des modèles de sortie prévisibles (par exemple, des données structurées ou un modèle de texte) que le modèle provisoire est susceptible de deviner correctement. Diminuez cette valeur pour les résultats créatifs ou très variables pour lesquels les prévisions sont moins fiables.

Variable d'environnement

"Environment": {
    "NUM_SPECULATIVE_TOKENS": "5"
}

Décodage du suffixe

Le décodage des suffixes est une méthode alternative pour accélérer la génération de texte. Au lieu d'utiliser un modèle de brouillon distinct (comme le fait Eagle3), le décodage des suffixes recherche des modèles répétés dans le texte qui a déjà été généré ou dans l'invite de saisie, et réutilise ces modèles pour prédire les futurs jetons. Cette approche fonctionne bien lorsque la sortie est susceptible de contenir des phrases répétées, des formats structurés ou un contenu qui reflète étroitement l'entrée.

Quand l'utiliser : utilisez le décodage des suffixes pour les tâches dont la sortie contient des modèles répétitifs, telles que la génération de données structurées, le remplissage de modèles ou la synthèse de contenu qui réutilise des phrases de la source. Pour la génération à usage général où la sortie est très variée, la méthode Eagle3 par défaut fournit généralement un meilleur débit.

Variable d'environnement

"Environment": {
    "SPECULATIVE_DECODING_METHOD": "suffix"
}