Optimisez l'inférence du modèle pour la latence

L'inférence optimisée en termes de latence pour les modèles de base Amazon Bedrock permet d'accélérer les temps de réponse et d'améliorer la réactivité des applications d'IA. Les versions optimisées du modèle Claude 3.5 Haiku d'Anthropic et des modèles Llama 3.1 405B et 70B de Meta offrent une latence considérablement réduite sans compromettre la précision.

L'accès à la fonctionnalité d'optimisation de la latence ne nécessite aucune configuration supplémentaire ni aucun ajustement précis du modèle, ce qui permet d'améliorer immédiatement les applications existantes avec des temps de réponse plus rapides. Vous pouvez définir le paramètre « Latence » sur « optimisé » lorsque vous appelez l'API d'exécution Amazon Bedrock. Si vous sélectionnez « standard » comme option d'invocation, vos demandes seront traitées par inférence standard. Par défaut, toutes les demandes sont acheminées via « standard ».

“performanceConfig” : {
    “latency” : “standard | optimized” 
}

Une fois que vous avez atteint le quota d'utilisation pour l'optimisation de la latence pour un modèle, nous essaierons de répondre à la demande avec une latence standard. Dans de tels cas, la demande sera facturée aux taux de latence standard. La configuration de latence pour une demande traitée est visible dans les réponses et les AWS CloudTrail journaux de l'API. Vous pouvez également consulter les métriques des demandes optimisées pour la latence dans les Amazon CloudWatch journaux sous « model-id+latency-optimized ».

L'inférence optimisée pour la latence est disponible pour les Llama 3.1 70B et 405B de Meta, ainsi que pour le Claude 3.5 Haiku d'Anthropic dans les régions de l'est des États-Unis (Ohio) et de l'ouest des États-Unis (Oregon) par inférence interrégionale.

Pour plus d'informations sur les tarifs, rendez-vous sur la page des tarifs.