Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Almacenamiento en caché de peticiones para una inferencia de modelos más rápida

El almacenamiento en caché de peticiones es una característica opcional que puede utilizar con los modelos compatibles en Amazon Bedrock para reducir la latencia de la respuesta de inferencia y los costos de los tokens de entrada. Amazon Bedrock admite dos tipos de almacenamiento en caché de mensajes: el almacenamiento en caché de mensajes implícito y el almacenamiento en caché de mensajes explícito. La compatibilidad con cada tipo varía según el modelo y la API.

El almacenamiento en caché de peticiones puede ser útil cuando tiene cargas de trabajo con contextos largos y repetitivos que se reutilizan con frecuencia para múltiples consultas. Por ejemplo, si tiene un chatbot en el que los usuarios pueden cargar documentos y hacer preguntas sobre ellos, el modelo puede tardar mucho tiempo en procesar el documento cada vez que el usuario proporciona información. Con el almacenamiento en caché de peticiones, puede almacenar en caché el documento para que las futuras consultas que contengan el documento no tengan que volver a procesarlo.

Tipos de almacenamiento rápido en caché

Los dos tipos difieren en la forma en que se selecciona el contenido de las solicitudes reutilizable:

Almacenamiento en caché de mensajes implícito

El almacenamiento en caché de mensajes implícito intenta reutilizar automáticamente los prefijos de mensajes que cumplan los requisitos sin requerir controles de caché en la solicitud. Mantén el contenido estático al principio de la solicitud y el contenido dinámico al final para aumentar la probabilidad de que el prefijo coincida exactamente.

El almacenamiento en caché de mensajes implícitos es la mejor opción. Repetir un mensaje idéntico no garantiza una visita a la caché, y las tasas de aciertos de la caché pueden variar.

Almacenamiento en caché de mensajes explícitos

El almacenamiento en caché de mensajes explícito permite identificar prefijos de mensajes reutilizables mediante controles de caché o puntos de control de caché específicos del modelo. Los puntos de control de la caché son marcadores que definen la subsección contigua de la solicitud que desea almacenar en caché. Los prefijos de las solicitudes deben permanecer estáticos entre las solicitudes. Los cambios en un prefijo de aviso en solicitudes posteriores provocan errores en la memoria caché.

Los puntos de control de la caché tienen un número mínimo y máximo de fichas, según el modelo. Solo puede crear un punto de control de caché si el prefijo de petición total cumple con el número mínimo de tokens. Por ejemplo, Claude Opus 5 requiere al menos 512 tokens por punto de control de caché, Claude Sonnet 5 requiere al menos 1024 tokens por punto de control de caché y Claude Haiku 4.5 requiere al menos 4.096 tokens por punto de control de caché. El mínimo se aplica de forma acumulativa a todo el prefijo de aviso antes de cada punto de control, incluido, cuando proceda, el contenido de los campos y. tools system messages No se requiere un número mínimo de fichas entre los puntos de control de la caché. En el caso de un modelo con un mínimo de 1024 fichas, puede definir puntos de control adicionales con una diferencia de menos de 1024 fichas, siempre que el prefijo total que aparece antes de cada punto de control contenga al menos 1024 fichas. Si añades un punto de control de caché antes de que el prefijo total de la línea de comandos alcance el número mínimo de fichas, la inferencia seguirá siendo correcta, pero el prefijo no se almacenará en caché.

La caché tiene un tiempo de vida (TTL), que se restablece con cada visita a la caché exitosa. Durante este período, se conserva el contexto de la memoria caché. Si no se realiza ningún acceso a la caché en la ventana TTL, la caché caduca. Muchos modelos admiten un TTL de 5 minutos. Consulta la tarjeta de modelo de tu modelo para ver las condiciones exactas del TTL.

El almacenamiento en caché explícito de mensajes permite controlar qué contenido de mensajes se puede almacenar en caché. No garantiza que una solicitud que cumpla los requisitos provoque un acceso a la memoria caché.

Facturación de los tokens almacenados en caché

Tanto para el almacenamiento en caché de mensajes implícitos como para el almacenamiento en caché de mensajes explícitos, los tokens leídos correctamente de la caché se registran como tokens almacenados en caché y se facturan según la tasa de lectura de caché del modelo. Los tokens que no se leen desde la caché se facturan según la tarifa estándar de los tokens de entrada. Según el modelo, los tokens escritos en la caché se pueden facturar a una tasa superior a la tarifa estándar de los tokens de entrada. Para obtener más información, consulte la página de Precios de Amazon Bedrock.

Puede utilizar el almacenamiento rápido en caché cuando ejecute la inferencia en Amazon Bedrock con modelos compatibles. La disponibilidad de cada tipo de almacenamiento en caché de solicitudes varía según el modelo y la API. El almacenamiento rápido en caché está disponible a través de las siguientes funciones de Amazon Bedrock:

En el caso de los modelos que admiten el almacenamiento explícito de mensajes en caché, las API proporcionan un control detallado sobre el almacenamiento en caché de mensajes. Puedes establecer puntos de control de caché individuales dentro de tus instrucciones y añadir puntos de control hasta el máximo permitido para el modelo. Para obtener más información, consulte Modelos compatibles, regiones y límites de almacenamiento en caché explícitos.

Modelos compatibles, regiones y límites de almacenamiento en caché explícitos

La compatibilidad inmediata con el almacenamiento en caché varía según el modelo y la API. Las tarjetas modelo identifican si un modelo admite el almacenamiento en caché de mensajes implícito, el almacenamiento en caché de mensajes explícito o ambos. El almacenamiento rápido en caché está disponible en todas AWS las regiones en las que están disponibles los modelos compatibles. Para comprobar la disponibilidad de los modelos por región, consulteDisponibilidad regional por modelos.

En la siguiente tabla se enumeran los modelos que admiten el almacenamiento en caché de mensajes explícitos, junto con sus valores mínimos de símbolos, el número máximo de puntos de control de la caché y los campos que permiten los puntos de control de la caché.

Para ver qué tipos de almacenamiento rápido en caché admite un modelo, consulte la sección Descripción general de los modelos y, a continuación, elija el modelo que le interese.

Para usar la opción TTL de 1 hora con los modelos compatibles (Claude Fable 5,Claude Opus 5,Claude Opus 4.8,,Claude Opus 4.7, Claude Opus 4.6Claude Opus 4.5, yClaude Haiku 4.5) Claude Sonnet 5 Claude Sonnet 4.6Claude Sonnet 4.5, especifica el ttl campo en el punto de control de la caché. En la API de Converse, "ttl": "1h" añádelo a tu objeto. cachePoint En la InvokeModel API para modelos de Claude, "ttl": "1h" añádelo a tu cache_control objeto. Si no se proporciona ningún ttl valor, se aplica el comportamiento de almacenamiento en caché predeterminado de 5 minutos. El TTL de 1 hora es útil para sesiones de larga duración o escenarios de procesamiento por lotes en los que se desea mantener la caché durante períodos prolongados.

Amazon Novaofrece almacenamiento en caché implícito para todas las solicitudes de texto, incluidos los mensajes. User System Este mecanismo puede proporcionar beneficios de latencia cuando las solicitudes comienzan con partes repetitivas, sin una configuración explícita. Amazon NovaLos modelos que se muestran compatibles con el almacenamiento en caché de mensajes explícitos en sus tarjetas de modelo también permiten especificar puntos de control de la caché para tener un mayor control sobre la aptitud de la caché.

Almacenamiento rápido en caché para los modelos de Anthropic

Los modelos antrópicos que admiten el almacenamiento rápido en caché en Amazon Bedrock admiten tanto el almacenamiento en caché implícito como el almacenamiento en caché explícito. El almacenamiento en caché implícito intenta reutilizar automáticamente los prefijos de aviso que cumplan los requisitos sin requerir controles de caché en la solicitud.

Para el almacenamiento en caché de prontas explícitas, Amazon Bedrock ofrece un enfoque simplificado para la administración de la caché que reduce la complejidad de colocar manualmente los puntos de control de la caché. En lugar de tener que especificar las ubicaciones exactas de los puntos de control de caché, puede utilizar la administración automática de caché con un único punto de interrupción al final del contenido estático.

Al habilitar la administración simplificada de la memoria caché, el sistema comprueba automáticamente si se ha accedido a la memoria caché en los límites de los bloques de contenido anteriores y analiza hasta aproximadamente 20 bloques de contenido desde el punto de interrupción especificado. Esto permite que el modelo encuentre el prefijo coincidente más largo de la caché sin necesidad de que usted prediga las ubicaciones óptimas de los puntos de control. Para usarlo, coloque un único punto de control de caché al final del contenido estático, antes de cualquier contenido dinámico o variable. El sistema encontrará automáticamente la mejor coincidencia en la caché.

Para un control más detallado, puede seguir utilizando varios puntos de control de caché (hasta cuatro para los modelos Claude) para especificar los límites exactos de la caché. Debe utilizar varios puntos de control de caché si almacena en caché secciones que cambian con diferentes frecuencias o si desea tener más control sobre qué es exactamente lo que se almacena en caché.

Mejores prácticas para usar la administración de la caché en los modelos antrópicos

Si tiene mensajes que se utilizan con una cadencia normal (es decir, mensajes del sistema que se utilizan con más frecuencia que cada 5 minutos), siga utilizando la caché de 5 minutos, ya que se seguirá actualizando sin coste adicional.

La memoria caché de 1 hora se utiliza mejor en los siguientes casos:

Puedes usar los controles de caché de 1 hora y 5 minutos en la misma solicitud, pero con una restricción importante: las entradas de caché con un TTL más largo deben aparecer antes que los TTL más cortos (es decir, debe aparecer una entrada de caché de 1 hora antes de cualquier entrada de caché de 5 minutos).

Almacenamiento rápido en caché para los modelos de OpenAI

Los modelos OpenAI de Amazon Bedrock admiten el almacenamiento en caché inmediato implícito a través de la API de respuestas. GPT-5.6 Los modelos también admiten el almacenamiento en caché explícito de mensajes. La API de respuestas está disponible tanto en los terminales como en bedrock-runtime los bedrock-mantle terminales.

GPT-5.6 modelos

GPT-5.6 Sol (openai.gpt-5.6-sol), Terra (openai.gpt-5.6-terra) y Luna (openai.gpt-5.6-luna) admiten tanto el almacenamiento en caché de mensajes implícito como el almacenamiento en caché de mensajes explícito. Los puntos de interrupción explícitos en la caché de las solicitudes te permiten controlar con precisión qué partes de la solicitud se pueden almacenar en caché. Esto es especialmente útil para los flujos de trabajo de las agencias, en los que las instrucciones del sistema, las definiciones de herramientas y los archivos de referencia se repiten en muchas llamadas y solo cambian las entradas más recientes.

Características clave:

Interpretación de la respuesta

El objeto de uso de la respuesta incluye dos campos específicos de la caché:

Cuando cached_tokens es superior a cero y cache_write_tokens es cero, su solicitud coincide totalmente con una entrada de la caché existente; no se han producido nuevas escrituras y ha obtenido el máximo ahorro de costes.

Mejores prácticas para usar la administración de caché en los modelos GPT 5.6

GPT-5.5 y modelos anteriores

Para los modelos de OpenAI anteriores a GPT-5.6 (como openai.gpt-5.5 yopenai.gpt-5.4), el almacenamiento en caché de mensajes implícito es automático. No es necesario añadir ningún parámetro especial. El sistema intenta almacenar automáticamente en caché los prefijos de aviso válidos de 1024 fichas o más. Las escrituras en caché no tienen ningún coste adicional en estos modelos.

Características clave:

Prácticas recomendadas para usar la administración de caché en modelos anteriores y en modelos anteriores GPT-5.5

Introducción

En las siguientes secciones se muestra una breve descripción de cómo utilizar la característica de almacenamiento en caché de peticiones para cada método de interacción con los modelos a través de Amazon Bedrock.