Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Mise en cache des invites pour une inférence de modèle plus rapide

La mise en cache des invites est une fonctionnalité facultative que vous pouvez utiliser avec les modèles pris en charge dans Amazon Bedrock afin de réduire la latence des réponses d’inférence et les coûts des jetons d’entrée. Amazon Bedrock prend en charge deux types de mise en cache rapide : la mise en cache rapide implicite et la mise en cache rapide explicite. La prise en charge de chaque type varie selon le modèle et l'API.

La mise en cache des invites peut être utile lorsque des charges de travail comportant des contextes longs et répétés sont fréquemment réutilisées pour plusieurs requêtes. Par exemple, si vous avez un chatbot où les utilisateurs peuvent charger des documents et poser des questions à leur sujet, le modèle peut prendre beaucoup de temps à traiter les documents chaque fois que l’utilisateur fournit des entrées. Grâce à la mise en cache des invites, vous pouvez mettre le document en cache afin que les futures requêtes contenant le document n’aient pas besoin de le retraiter.

Types de mise en cache rapide

Les deux types diffèrent quant à la manière dont le contenu d'invite réutilisable est sélectionné :

Mise en cache rapide implicite

La mise en cache implicite tente automatiquement de réutiliser les préfixes d'invite éligibles sans nécessiter de contrôles de cache dans votre demande. Conservez le contenu statique au début de votre invite et le contenu dynamique à la fin pour augmenter la probabilité d'une correspondance exacte entre les préfixes.

La mise en cache rapide implicite est la meilleure solution. La répétition d'une invite identique ne garantit pas l'accès au cache, et les taux d'accès au cache peuvent varier.

Mise en cache rapide explicite

La mise en cache explicite des invites vous permet d'identifier des préfixes d'invite réutilisables à l'aide de contrôles de cache ou de points de contrôle de cache spécifiques au modèle. Les points de contrôle du cache sont des marqueurs qui définissent la sous-section contiguë de votre invite que vous souhaitez mettre en cache. Les préfixes rapides doivent rester statiques entre les requêtes. Les modifications apportées à un préfixe d'invite dans les requêtes suivantes entraînent des erreurs de cache.

Les points de contrôle du cache comportent un nombre minimum et maximum de jetons, selon le modèle. Vous ne pouvez créer un point de contrôle du cache que si le nombre total de préfixes d’invite correspond au nombre minimum de jetons. Par exemple, Claude Opus 5 nécessite au moins 512 jetons par point de contrôle de cache, Claude Sonnet 5 nécessite au moins 1 024 jetons par point de contrôle de cache et Claude Haiku 4.5 nécessite au moins 4 096 jetons par point de contrôle de cache. Le minimum s'applique cumulativement à l'intégralité du préfixe d'invite avant chaque point de contrôle, y compris, le cas échéant, au contenu des champs toolssystem, et. messages Il n'y a pas de nombre minimum de jetons requis entre les points de contrôle du cache. Pour un modèle avec un minimum de 1 024 jetons, vous pouvez définir des points de contrôle supplémentaires distants de moins de 1 024 jetons, à condition que le préfixe d'invite total avant chaque point de contrôle contienne au moins 1 024 jetons. Si vous ajoutez un point de contrôle de cache avant que le nombre total de préfixes d'invite n'atteigne le nombre minimum de jetons, votre inférence est toujours réussie, mais votre préfixe n'est pas mis en cache.

Le cache possède une durée de vie (TTL), qui se réinitialise à chaque accès réussi au cache. Pendant cette période, le contexte en cache est conservé. Si aucun accès au cache ne se produit pendant la période TTL, celui-ci expire. De nombreux modèles prennent en charge un TTL de 5 minutes. Consultez la fiche modèle de votre modèle pour connaître les conditions TTL exactes.

La mise en cache explicite des invites permet de contrôler quel contenu d'invite est éligible à la mise en cache. Cela ne garantit pas qu'une demande éligible entraîne un accès au cache.

Facturation des jetons mis en cache

Pour la mise en cache rapide implicite et la mise en cache rapide explicite, les jetons lus avec succès depuis le cache sont signalés comme des jetons mis en cache et facturés au taux de lecture du cache du modèle. Les jetons qui ne sont pas lus depuis le cache sont facturés au tarif standard des jetons d'entrée. Selon le modèle, les jetons écrits dans le cache peuvent être facturés à un taux supérieur au taux de jetons d'entrée standard. Pour plus d’informations, consultez la page Tarification Amazon Bedrock.

Vous pouvez utiliser la mise en cache rapide lorsque vous exécutez une inférence dans Amazon Bedrock avec des modèles pris en charge. La disponibilité de chaque type de mise en cache rapide varie selon le modèle et l'API. La mise en cache rapide est disponible via les fonctionnalités Amazon Bedrock suivantes :

Pour les modèles qui prennent en charge la mise en cache rapide explicite, les API fournissent un contrôle granulaire du cache d'invite. Vous pouvez définir des points de contrôle de cache individuels dans vos instructions et ajouter des points de contrôle jusqu'au maximum autorisé pour le modèle. Pour de plus amples informations, veuillez consulter Modèles, régions et limites de mise en cache explicites pris en charge.

Modèles, régions et limites de mise en cache explicites pris en charge

La prise en charge de la mise en cache rapide varie selon le modèle et l'API. Les fiches modèles indiquent si un modèle prend en charge la mise en cache rapide implicite, la mise en cache rapide explicite ou les deux. La mise en cache rapide est disponible dans toutes les AWS régions où les modèles pris en charge sont disponibles. Pour vérifier la disponibilité des modèles par région, consultezDisponibilité régionale par modèle.

Le tableau suivant répertorie les modèles qui prennent en charge la mise en cache rapide explicite, ainsi que leurs minimums de jetons, leur nombre maximum de points de contrôle de cache et les champs qui autorisent les points de contrôle de cache.

Pour connaître les types de mise en cache rapide pris en charge par un modèle, reportez-vous à la section Modèles en un coup d'œil, puis choisissez le modèle qui vous intéresse.

Pour utiliser l'option TTL d'une heure avec les modèles pris en charge (Claude Fable 5Claude Opus 5,Claude Opus 4.8,Claude Opus 4.7,Claude Opus 4.6,Claude Opus 4.5, etClaude Haiku 4.5) Claude Sonnet 5 Claude Sonnet 4.6Claude Sonnet 4.5, spécifiez le ttl champ dans votre point de contrôle du cache. Dans l'API Converse, ajoutez-le "ttl": "1h" à votre cachePoint objet. Dans l' InvokeModel API pour les modèles Claude, ajoutez-les "ttl": "1h" à votre cache_control objet. Si aucune ttl valeur n'est fournie, le comportement de mise en cache par défaut de 5 minutes s'applique. Le TTL d'une heure est utile pour les sessions de longue durée ou les scénarios de traitement par lots dans lesquels vous souhaitez conserver le cache pendant de longues périodes.

Amazon Novapropose une mise en cache implicite pour toutes les invites textuelles, y compris User les messages. System Ce mécanisme peut apporter des avantages en termes de latence lorsque les instructions commencent par des parties répétitives, sans configuration explicite. Amazon Novales modèles présentés comme prenant en charge la mise en cache rapide explicite dans leurs fiches modèles vous permettent également de spécifier des points de contrôle du cache pour mieux contrôler l'éligibilité du cache.

Mise en cache rapide des modèles d'Anthropic

Les modèles anthropiques qui prennent en charge la mise en cache rapide sur Amazon Bedrock prennent en charge à la fois la mise en cache rapide implicite et la mise en cache rapide explicite. La mise en cache implicite tente automatiquement de réutiliser les préfixes d'invite éligibles sans nécessiter de contrôles de cache dans votre demande.

Pour la mise en cache rapide et explicite, Amazon Bedrock propose une approche simplifiée de la gestion du cache qui réduit la complexité liée au placement manuel des points de contrôle du cache. Au lieu de vous obliger à spécifier des emplacements précis pour les points de contrôle du cache, vous pouvez utiliser la gestion automatique du cache avec un seul point d’arrêt à la fin de votre contenu statique.

Lorsque vous activez la gestion simplifiée du cache, le système vérifie automatiquement les accès au cache aux limites des blocs de contenu précédents, en remontant jusqu’à environ 20 blocs de contenu par rapport au point d’arrêt spécifié. Cela permet au modèle de trouver le préfixe correspondant le plus long dans votre cache sans que vous ayez à prévoir l’emplacement optimal des points de contrôle. Pour l’utiliser, placez un point de contrôle du cache unique à la fin de votre contenu statique, avant tout contenu dynamique ou variable. Le système trouvera automatiquement la meilleure correspondance dans le cache.

Pour un contrôle plus précis, vous pouvez toujours utiliser plusieurs points de contrôle du cache (jusqu’à 4 pour les modèles Claude) pour définir les limites exactes du cache. Vous devez utiliser plusieurs points de contrôle du cache si vous mettez en cache des sections qui changent à des fréquences différentes ou si vous souhaitez mieux contrôler exactement ce qui est mis en cache.

Meilleures pratiques relatives à l'utilisation de la gestion du cache dans les modèles anthropiques

Si certaines instructions sont utilisées à une cadence régulière (c'est-à-dire si les instructions système sont utilisées plus fréquemment que toutes les 5 minutes), continuez à utiliser le cache de 5 minutes, car celui-ci continuera d'être actualisé sans frais supplémentaires.

Il est préférable d'utiliser le cache d'une heure dans les scénarios suivants :

Vous pouvez utiliser à la fois des contrôles de cache d'une heure et de 5 minutes dans la même requête, mais avec une contrainte importante : les entrées de cache avec un TTL plus long doivent apparaître avant des TTL plus courts (c'est-à-dire qu'une entrée de cache d'une heure doit apparaître avant toute entrée de cache de 5 minutes).

Mise en cache rapide pour les modèles d'OpenAI

Les modèles OpenAI sur Amazon Bedrock prennent en charge la mise en cache rapide implicite via l'API Responses. GPT-5.6 les modèles prennent également en charge la mise en cache rapide explicite. L'API Responses est disponible à la fois sur les bedrock-mantle terminaux bedrock-runtime et sur les terminaux.

GPT-5.6 modèles

GPT-5.6 Sol (openai.gpt-5.6-sol), Terra () et Luna (openai.gpt-5.6-terraopenai.gpt-5.6-luna) prennent en charge à la fois la mise en cache rapide implicite et la mise en cache rapide explicite. Les points d'arrêt explicites du cache des invites vous permettent de contrôler avec précision les parties de votre invite éligibles à la mise en cache. Cela est particulièrement utile pour les flux de travail agentiques où les instructions système, les définitions d'outils et les fichiers de référence se répètent sur de nombreux appels alors que seules les dernières entrées sont modifiées.

Caractéristiques principales :

Comprendre la réponse

L'objet d'utilisation de la réponse inclut deux champs spécifiques au cache :

Lorsque cached_tokens cette valeur est supérieure à zéro et cache_write_tokens égale à zéro, votre demande correspondait entièrement à une entrée de cache existante. Aucune nouvelle écriture n'a eu lieu et vous avez réalisé le maximum d'économies.

Meilleures pratiques pour utiliser la gestion du cache dans les modèles GPT 5.6

GPT-5.5 et modèles antérieurs

Pour les modèles OpenAI antérieurs à GPT-5.6 (tels que openai.gpt-5.5 etopenai.gpt-5.4), la mise en cache rapide implicite est automatique. Il n'est pas nécessaire d'ajouter de paramètres particuliers. Le système tente automatiquement de mettre en cache les préfixes d'invite éligibles de 1 024 jetons ou plus. Les écritures en cache sont gratuites sur ces modèles.

Caractéristiques principales :

Meilleures pratiques relatives à l'utilisation de la gestion du cache dans les modèles GPT-5.5 et les modèles antérieurs

Prise en main

Les sections suivantes présentent un bref aperçu de l’utilisation de la fonctionnalité de mise en cache des invites pour chaque méthode d’interaction avec les modèles via Amazon Bedrock.